JP2013064644A - Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures - Google Patents
Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures Download PDFInfo
- Publication number
- JP2013064644A JP2013064644A JP2011203436A JP2011203436A JP2013064644A JP 2013064644 A JP2013064644 A JP 2013064644A JP 2011203436 A JP2011203436 A JP 2011203436A JP 2011203436 A JP2011203436 A JP 2011203436A JP 2013064644 A JP2013064644 A JP 2013064644A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- light
- shape
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、形状測定装置、形状測定方法、構造物製造システム及び構造物の製造方法に関する。 The present invention relates to a shape measuring device, a shape measuring method, a structure manufacturing system, and a structure manufacturing method.
被測定物の形状を非接触で測定する方法としてライン光を被測定物に照射して、被測定物の断面形状に対応して形成される光切断線から被測定物の形状を測定する光切断法が知られている。 Light that irradiates the object to be measured with line light as a method for measuring the shape of the object to be measured in a non-contact manner, and measures the shape of the object to be measured from the light cutting line formed corresponding to the cross-sectional shape of the object to be measured. Cutting methods are known.
光切断法による形状測定装置は、測定対象物にライン光を照射し、一定の角度に取り付けられた計測カメラによりそのライン光の位置を撮像し三角測量の原理でその3次元位置を特定し、形状データを生成するものである。このような形状測定装置として、2つの計測カメラを用いてライン光の位置を撮像するものが知られている(例えば、特許文献1参照)。 The shape measuring device by the light section method irradiates the measurement object with line light, images the position of the line light with a measurement camera attached at a fixed angle, specifies the three-dimensional position on the principle of triangulation, Shape data is generated. As such a shape measuring apparatus, an apparatus that images the position of line light using two measurement cameras is known (for example, see Patent Document 1).
しかしながら、上記従来技術においては、計測カメラから見た測定対象物の測定面の法線が大きな角度をなす場合や、測定面が曲面である場合に形状データが精密に測定できなくなるといった問題があった。 However, the above-described prior art has a problem in that the shape data cannot be measured accurately when the normal of the measurement surface of the measurement object viewed from the measurement camera forms a large angle or when the measurement surface is a curved surface. It was.
本発明は、上記の事情に鑑みなされたものであり、測定対象物の形状を高精度で測定できる形状測定装置、形状測定方法、及び構造物の製造方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a shape measuring device, a shape measuring method, and a structure manufacturing method capable of measuring the shape of a measurement object with high accuracy.
本発明の第1の態様に従えば、被測定物に所定の光量分布を有する光を照射して前記被測定物上にパターン光を形成する照明部と、前記光が前記被測定物に照射される照射方向と異なる方向から前記被測定物に照射された前記パターン光の像を撮像する撮像素子を含む撮像部と、前記像の撮像信号を評価する評価部と、該評価部の該評価結果に基づき前記撮像部の撮像結果に対して所定の処理を行うことで前記被測定物の位置情報を算出する処理部と、を備えることを特徴とする形状測定装置が提供される。 According to the first aspect of the present invention, an illumination unit that irradiates light to be measured with light having a predetermined light amount distribution to form pattern light on the object to be measured, and the light irradiates the object to be measured. An imaging unit including an imaging element that captures an image of the pattern light irradiated on the object to be measured from a direction different from the irradiated direction, an evaluation unit that evaluates an imaging signal of the image, and the evaluation of the evaluation unit There is provided a shape measuring apparatus comprising: a processing unit that calculates position information of the object to be measured by performing a predetermined process on the imaging result of the imaging unit based on the result.
本発明の第2の態様に従えば、形状測定装置が実行する形状測定方法であって、被測定物に照明部から所定の光量分布を有する光を照射することによりパターン光を形成する照射手順と、前記光が前記被測定物に照射される照射方向と異なる方向から前記被測定物に照射された前記パターン光の像を撮像する撮像手順と、前記像の撮像信号を評価する評価手順と、前記評価結果に基づき前記撮像手順による撮像結果に対して所定の処理を行うことで前記被測定物の位置情報を算出する処理手順と、を有することを特徴とする形状測定方法が提供される。 According to the second aspect of the present invention, there is provided a shape measuring method executed by the shape measuring apparatus, wherein the object to be measured is irradiated with light having a predetermined light quantity distribution from the illumination unit to form pattern light. An imaging procedure for capturing an image of the pattern light irradiated on the object to be measured from a direction different from an irradiation direction on which the light is irradiated on the object to be measured; and an evaluation procedure for evaluating an imaging signal of the image And a processing procedure for calculating position information of the object to be measured by performing a predetermined process on the imaging result of the imaging procedure based on the evaluation result. .
本発明の第3の態様に従えば、構造物の形状に関する設計情報を作製する設計工程と、
前記設計情報に基づいて前記構造物を作製する成形工程と、作製された前記構造物の形状を第2の態様に係る形状測定方法を用いて測定する測定工程と、前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程と、
を有することを特徴とする構造物の製造方法が提供される。
According to the third aspect of the present invention, a design process for producing design information related to the shape of the structure;
Obtained in the forming step for producing the structure based on the design information, the measuring step for measuring the shape of the produced structure using the shape measuring method according to the second aspect, and the measuring step An inspection process for comparing the shape information with the design information;
There is provided a method of manufacturing a structure characterized by comprising:
本発明の第4の態様に従えば、構造物の形状に関する設計情報を作製する設計装置と、前記設計情報に基づいて前記構造物を作製する成形装置と、作製された前記構造物の形状を、撮像画像に基づいて測定する第1の態様に係る形状測定装置と、前記測定によって得られた形状情報と、前記設計情報とを比較する検査装置と、を含む構造物製造システムが提供される。 According to the fourth aspect of the present invention, a design apparatus for producing design information related to the shape of a structure, a molding apparatus for producing the structure based on the design information, and a shape of the produced structure There is provided a structure manufacturing system that includes a shape measuring device according to a first aspect that measures based on a captured image, and an inspection device that compares the shape information obtained by the measurement with the design information. .
本発明によれば、測定対象物の形状を高精度で測定できる。 According to the present invention, the shape of the measurement object can be measured with high accuracy.
以下、本発明の形状測定装置に係る実施例について図面を参照して説明する。図1は、第1実施形態に係る形状測定装置の構成を示す図である。本実施形態に係る形状測定装置100は、被測定物3の3次元形状を検出する3次元形状計測装置(例えば、座標測定機(CMM:Coordinate Measuring Machine))である。形状測定装置100は、被測定物3の表面に一本のライン状に光量の多い分布が形成されたライン光(ライン状の測定光)をある方向から投影することで、ライン状投影パターンを被測定物に投影している。そのライン状投影パターンが投影された被測定物を、投影方向とは異なる角度から撮像する。撮像されたライン状投影パターンの各点の位置がどの位置に撮影されているかによって、ライン状投影パターンが投影された位置の座標を求めている。言い換えると、この形状測定装置100は、撮像された被測定物3表面の撮像画像よりライン状投影パターンの長手方向の画素毎に三角測量の原理等を用いて被測定物3表面の基準平面からの高さを算出し、被測定物3表面の三次元形状を求める装置である。さらに、ライン状投影パターンを被測定物3表面の全域を走査させる毎にライン状投影パターンを撮像する。このようにすることで、被測定物の全領域の形状測定を可能とする。
Embodiments according to the shape measuring apparatus of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a shape measuring apparatus according to the first embodiment. The
形状測定装置100は、図1に示すように測定装置本体1及び制御装置4を備えている。制御装置4は、制御線を介して測定装置本体1に接続されており、測定装置本体1を制御する。測定装置本体1は、回転機構13及びヘッド駆動部14を有する駆動部11(図3参照)と、位置検出部12(図3参照)と、ヘッド部17と、定盤18と、光切断プローブ2とを備えている。なお、ここでは、被測定物3は定盤18の上に配置されている。
The shape measuring
定盤18は、石製又は鋳鉄製からなるものであり、上面が水平に保たれたものとなっている。
ヘッド駆動部14は、制御装置4から供給される駆動信号に基づいて、互いが直交するX軸、Y軸、Z軸の直交3軸の方向にヘッド部17を移動させる。ヘッド駆動部14は、X軸移動部141、Y軸移動部142、及びZ軸移動部143を備えている。ここで、XY平面とは、定盤18の上面と平行な面を規定するものである。すなわち、X軸方向とは、定盤18上における一方向を規定するものであり、Y軸方向とは、定盤18の上面においてX軸方向に直交する方向を規定するものであり、Z軸方向とは、定盤18の上面に直交する方向を規定するものである。
The
Based on the drive signal supplied from the control device 4, the
X軸移動部141は、ヘッド部17をX軸方向に駆動するX軸用モータを備え、定盤18上の所定の範囲内でX軸方向にヘッド部17を移動させる。Y軸移動部142は、ヘッド部17をY軸方向に駆動するY軸用モータを備え、定盤18上の所定の範囲内でY軸方向にヘッド部17を移動させる。また、Z軸移動部143は、ヘッド部17をZ軸方向に駆動するZ軸用モータを備え、所定の範囲内でZ軸方向にヘッド部17を移動させる。
なお、ヘッド部17は、光切断プローブ2の上部に位置し、回転機構13を介して光切断プローブ2(センサー部)を支持している。すなわち、ヘッド駆動部14は、互いに直交する3次元座標系の座標軸方向それぞれに、光切断プローブ2を移動させる。
The
The
図2は、本実施形態における回転機構13の構成を示す図である。
図2に示すように、回転機構13は、ヘッド部17と光切断プローブ2との間に配置され、ヘッド駆動部14に対して光切断プローブ2を回転可能に支持する。すなわち、回転機構13は、被測定物3の表面に対して光切断プローブ2を任意の角度に回転可能としている。
FIG. 2 is a diagram illustrating a configuration of the
As shown in FIG. 2, the
また、回転機構13は、第1回転軸131、第2回転軸132、及び第3回転軸133を備えている。なお、回転機構13は、第1回転軸131、第2回転軸132、及び第3回転軸133の各軸を回転させる駆動モータを備えており、制御装置4から供給される駆動信号に基づいて、光切断プローブ2を任意の角度に回転させる。
The
第1回転軸131は、第1回転軸131の下に取り付けられた第2回転軸132及び第3回転軸133を含めて光切断プローブ2を360度の範囲でZ軸回転させる回転軸である。
第2回転軸132は、第1回転軸131下部に取り付けられ、第3回転軸133を含めて光切断プローブ2を上下方向に−95〜+95度の範囲で回転させる機構である。
第3回転軸133は、第2回転軸132に取り付けられ、光切断プローブ2を360度の範囲で回転させる機構である。
The first
The second
The third
光切断プローブ2(センサー部)は、被測定物3に光切断を行うためのライン光を照射する光照射部21(照明)、及びライン光の照射方向とは異なる方向から被測定物3に照射されたライン光を検出する光検出部22を有している。
The light cutting probe 2 (sensor unit) is applied to the device under
光照射部21は、図示しないシリンドリカルレンズや細い帯状の切り欠きを有したスリット板等から構成され、光源からの照明光を受けて扇状のライン光を生じさせるものである。光源としては、LEDやレーザー光源・SLD(Super Luminescent Diode)等を用いることができる。
The
光検出部22は、光照射部21の光照射方向とライン光の長手方向を含む面からはずれた異なる方向から被測定物3の表面に投影されるライン光を撮像する。すなわち、光検出部22は、光検出部22は、ライン光が照射されることで光切断面(線)が現れた被測定物3の表面を検出する。
The
また、光検出部22は、図2に示すように第1撮像素子22a及び第2撮像素子22bを含んでいる。第1撮像素子22a及び第2撮像素子22bは被測定物3の表面を異なる位置から検出する。第1撮像素子22a及び第2撮像素子22bの各々は、例えば1024×1024画素のCCDカメラから構成されるものである。光検出部22は、後述のように駆動部11を駆動させてライン光が所定間隔走査される毎に被測定物3を第1撮像素子22a及び第2撮像素子22bのそれぞれが撮像するようになっている。
In addition, the
次に、図3を参照して、形状測定装置100の構成について説明する。
図3は、本実施形態による形状測定装置100の構成を示すブロック図である。なお、この図において、図1乃至図3と同じ構成には、同じ符号を附す。
Next, the configuration of the
FIG. 3 is a block diagram showing the configuration of the
図3において、形状測定装置100は、測定装置本体1と制御装置4とを備えている。
また、上述したように、測定装置本体1は、駆動部11、位置検出部12、及び光切断プローブ2を備えている。
駆動部11は、回転機構13とヘッド駆動部14とを備え、制御装置4から供給される駆動信号に基づいて、光切断プローブ2の位置及び姿勢を変更させる。すなわち、駆動部11は、光切断プローブ2と被測定物3とを相対移動させるようになっている。
In FIG. 3, the
Further, as described above, the measurement apparatus
The
位置検出部12は、回転位置検出部15とヘッド位置検出部16とを備えている。
ヘッド位置検出部16は、例えばヘッド駆動部14のX軸、Y軸、及びZ軸方向の位置をそれぞれ検出するX軸用エンコーダ、Y軸用エンコーダ、及びZ軸用エンコーダを含む。ヘッド位置検出部16は、それらのエンコーダによってヘッド駆動部14の位置を検出し、ヘッド駆動部14の位置を示す信号を後述の座標検出部51に供給するようになっている。
The
The head
回転位置検出部15は、第1回転軸131、第2回転軸132、及び第3回転軸133の回転位置をそれぞれ検出するエンコーダを備える。回転位置検出部15は、それらのエンコーダを用いて、第1回転軸131、第2回転軸132、及び第3回転軸133の回転位置を検出し、検出した回転位置を示す信号を座標検出部51に供給する。
The
光切断プローブ2は、上述したように、光切断方式により被測定物3の表面形状を検出するために、光照射部21及び光検出部22を備えている。光照射部21は、後述の間隔調整部52から供給される光の照射を制御する制御信号に基づき、被測定物3に直線上の光があたるように、被測定物3に直線状のスリット光(ライン状の光)を照射する。
光検出部22は、光照射部21からの照射光により被測定物3の表面に形成される光切断線の像を撮像する。ここで、光切断線の像は、被測定物3の断面形状に応じて光切断線の像の各点の位置が異なる位置に形成される。そして、光検出部22は、被測定物3の表面に形成される陰影パターンを撮像し、撮像した画像情報を制御装置4の座標算出部53に供給する。また、光検出部22は、シャインプルーフ光学系を有している。図5を図示しながら説明すると、光照射部21からライン光の照射方向をL1としたときに、光検出部22の撮像面は、L1とスリット光の長手方向とを含む面と共役な関係となっている。
As described above, the
The
制御装置4は、演算処理部41と、入力装置42と、モニタ44とを備えている。入力装置42は、ユーザが各種指示情報を入力するキーボードなどを備える。
入力装置42は、入力された指示情報を検出し、検出した指示情報を記憶部55に記憶させるものである。また、モニタ44は、データ出力部57から供給された測定データ(全測定ポイントの座標値)等を受け取るものである。モニタ44は、受け取った測定データ(全測定ポイントの座標値)等を表示することができる。また、モニタ44は、計測画面、指示画面等を表示することもできる。
The control device 4 includes an
The
演算処理部41は、形状測定装置100における被測定物3の形状を測定する処理の制御を行い、被測定物3表面の基準平面からの高さを算出し、被測定物3の三次元形状を求める演算処理を行うものである。また、演算処理部41は、座標検出部51、座標算出部53、駆動制御部54、記憶部55、測定制御部56、及びデータ出力部57を備えている。
The
座標検出部51は、回転位置検出部15及びヘッド位置検出部16から出力される6軸座標信号によって、光切断プローブ2の位置、及び光切断プローブ2の姿勢を検知する。
ここで、6軸座標信号とは、X軸、Y軸、Z軸の直交3軸、及び第1回転軸131、第2回転軸132、第3回転軸133の3軸の座標を示す信号である。
The coordinate
Here, the 6-axis coordinate signal is a signal indicating the coordinates of the three axes of the X axis, the Y axis, and the Z axis, and the
つまり、座標検出部51は、ヘッド位置検出部16から出力される直交3軸の座標信号によって、光切断プローブ2の位置、すなわち水平方向における観察位置(光軸中心位置)と上下方向における観察位置とを検知できるようになっている。また、座標検出部51は、回転位置検出部15から出力される回転位置を示す信号によって、光切断プローブ2の姿勢を検知できるようになっている。
That is, the coordinate
座標検出部51は、光切断プローブ2の位置、及び光切断プローブ2の姿勢を示す情報として、6軸の座標情報を座標算出部53に供給する。
また、座標検出部51は、光切断プローブ2の6軸の座標情報に基づいて、光切断プローブ2の移動経路、移動速度などを検出する。
The coordinate
In addition, the coordinate
座標算出部53は、光検出部22の第1撮像素子22a及び第2撮像素子22bの各々が撮像した画像情報を受け取る。座標算出部53は、受け取った画像情報について所定の評価を行う評価部53aと、該評価部53aの評価結果に基づき画像情報に対して処理の処理を行う処理部53bとを含んでいる。なお、評価部53a及び処理部53bの詳細については後述する。
The coordinate
座標算出部53は、座標検出部51から供給された光切断プローブ2の6軸の座標情報を受け取る。座標算出部53は、受け取った光切断プローブ2の6軸の座標情報から、光切断プローブ2に固定された光照射部21の座標と、光検出部22の座標とを算出する。なお、光照射部21は、光切断プローブ2に固定されているので、光照射部21の照射角度は、光切断プローブ2に対して固定である。また、光検出部22も光切断プローブ2に固定されているので、光検出部22の撮像角度は、光切断プローブ2に対して固定である。
The coordinate
座標算出部53は、照射した光が被測定物3にあたった点を、撮像された画像の画素毎に、三角測量を用いて算出する。ここで、照射した光が被測定物3にあたった点の座標は、光照射部21の座標から光照射部21の照射角度で描画される直線と、光検出部22の座標から光検出部22の撮像角度で描画される直線(光軸)とが交わる点の座標である。
なお、上記の撮像された画像は、測定位置に配置された光切断プローブ2によって検出された画像を示す。
このような構成に基づき、形状測定装置100は被測定物3に照射されるスリット光を所定の方向に走査させることにより、光が照射された位置の座標を算出することができる。つまり、被測定物3の表面形状を求めることができる。座標算出部53は、被測定物3の形状をライン光のパターンが撮影された位置に基づいて、ライン光が照射された位置の情報である点群データとして検出するようになっている。なお、座標算出部53における被測定物3の形状を検出方法の詳細については後述する。
The coordinate
In addition, said imaged image shows the image detected by the
Based on such a configuration, the
駆動制御部54は、ヘッド駆動部14及び回転機構13に駆動信号を出力して、駆動部11を移動させる制御を行うためのものである。
The
記憶部55は、例えば、RAM(Random Access Memory)などのメモリであり、入力装置42から供給された各種指示情報を測定条件テーブルとして記憶する。ここで、測定条件テーブルには、測定条件や測定の終了条件、被測定物3の測定開始点(最初の測定ポイント)の座標値、等、測定開始位置での測定目標方向、各測定ポイントの間隔(例えば、一定間隔の測定ピッチ)、各測定ポイントで測定するときに回転機構13の設定角度情報を示すデータなどの項目が含まれる。
また、記憶部55は、座標算出部53から供給された被測定物表面の三次元座標値である点群データを測定データとして記憶する。また、記憶部55は、座標検出部51から供給された各測定ポイントの座標値データ(6軸の座標情報)を経路情報として記憶する。また、記憶部55は、設計データ(CADデータ)を記憶する。
The
The
また、測定制御部56は、記憶部55から読み出した測定終了条件に基づいて、被測定物3の形状の検出を終了させるものである。なお、測定終了条件の詳細は後述する。
Further, the
データ出力部57は、記憶部55から測定データ(全測定ポイントの座標値)等を読み出す。データ出力部57は、その測定データ(全測定ポイントの座標値)等をモニタ44に供給する。また、データ出力部57は、測定データ(全測定ポイントの座標値)等をプリンタ(不図示)へ出力する。
The
次に、図4から図9を参照して、形状測定装置100が被測定物3をスキャン(相対移動)し形状データを作成するまでの手順を説明する。
図4は、本実施形態形における形状測定装置100の測定手順を示す図である。
この図において、まず、測定オブジェクトである被測定物3が、ユーザによって測定台に設置される(ステップS101)。つまり、被測定物3は、形状測定装置100の定盤18上における稼動範囲の測定有効空間に設置される。
Next, with reference to FIG. 4 to FIG. 9, a procedure until the
FIG. 4 is a diagram showing a measurement procedure of the
In this figure, first, a device under
次に、ユーザが、ヘッド駆動部14及び回転機構13を測定開始位置に移動させる(ステップS102)。つまり、光切断プローブ2が、測定開始位置に移動させられる。すなわち、光切断プローブ2から照射される光切断線(ライン光)が被測定物3の測定開始位置に照射されるように、例えば、移動ツマミ(入力装置42の一部)を用いて6軸座標を調整され、駆動制御部54は、移動ツマミからの操作信号に基づいて、ヘッド駆動部14及び回転機構13を移動及び回転させる。そして、駆動制御部54は、移動ツマミからの操作信号に基づいて、登録位置として設定された駆動部11の測定開始位置を記憶部55に記憶させる。これにより、形状測定装置100は、測定開始位置が設定される。
Next, the user moves the
ヘッド駆動部14及び回転機構13を測定開始位置に移動させる場合、光切断線は、光切断プローブ2内の光検出部22によりモニタされ、画像中心位置に撮像されるように微調整されてもよい。
なお、光切断プローブ2は、形状測定装置100に取り付け前に単体校正が実施され、ライン光が計測カメラの中心位置にある場合が、ワーキングディスタンスの中心となるように予め校正されている。
When the
The
次に、光切断線の照射方向(測定目標方向)が、ユーザによって指定される(ステップS103)。つまり、ユーザによって、第3回転軸133を移動ツマミにより光切断線の長手方向を被測定物3の形状に応じて調整される。同時に、光切断線の照射方向も被測定物3の測定位置の面の方向に応じて調整される。この場合、スキャン方向は、光切断線の長手方向と垂直な方向となる。ここで、駆動制御部54は、移動ツマミからの操作信号に基づいて、回転機構13の第3回転軸133を回転させるとともに、登録位置として設定された測定開始位置での測定目標方向を記憶部55に記憶させる。
Next, the irradiation direction (measurement target direction) of the light cutting line is designated by the user (step S103). That is, the user adjusts the longitudinal direction of the optical cutting line according to the shape of the
次に、形状測定装置100では、測定データ取得距離、又は測定終了条件が、ユーザによって指定される(ステップS104)。つまり、入力装置42により、どこからどこまでを測定領域とするかを指定する測定データ取得範囲、又は測定終了条件が指定され、入力装置42は、指定された測定データ取得距離、又は測定終了条件を記憶部55に記憶させる。
Next, in the
本実施形態では、自動追従動作を終了させる測定終了条件として、以下に示す条件の設定が可能である。なお、測定制御部56は、指定された測定終了条件に到達するまで、光切断プローブ2の位置及び姿勢(上述の相対位置)を変更させて、座標算出部53から点群の位置情報を繰り返し出力させる。
In the present embodiment, the following conditions can be set as measurement end conditions for ending the automatic tracking operation. The
(1)測定距離によって測定を終了する。
この場合、形状測定装置100では、例えば、mm(ミリメートル)単位によって、被測定物3の測定開始位置から測定を行う距離が指定される。また、その距離の指定においては、頻繁に利用する距離を予めメニュー化しておいて、そのメニューの内から指定する方式でもよい。
また、この測定終了条件が指定された場合に、測定制御部56は、光切断プローブ2の位置が被測定物3の測定開始位置から上述の指定された距離以上離れた位置になった場合に被測定物3の形状の測定を終了させる。
(1) The measurement is terminated depending on the measurement distance.
In this case, in the
In addition, when the measurement end condition is designated, the
(2)同一位置点群の検出によって測定を終了する。
この測定終了条件が指定された場合、座標算出部53によって出力された点群データが、既に取得済みのデータと一致(同一位置点群)、又は近距離で重なる場合に、形状測定装置100は、測定を終了する。すなわち、測定制御部56は、上述の相対位置を変更させて、座標算出部53に点群データを繰り返し検出させ、新しく検出された点群データ(点群の位置情報)が、既に検出された点群データの値を含む予め定められた範囲内である場合に、被測定物3の形状の検出を終了させる。例えば、球面を連続的に測定(スキャン)し、360度測定の結果、近距離の点群が重なる場合に、測定制御部56は、被測定物3の形状の測定を終了させる。
(2) The measurement is terminated by detecting the same position point group.
When this measurement end condition is designated, when the point cloud data output by the coordinate
(3)法線角度の範囲によって測定を終了する。
この測定終了条件が指定された場合、形状測定装置100は、後述する法線ベクトルの向きが予め定められた範囲内にあるかをモニタし、法線ベクトルの向きがこの範囲から外れた場合に測定を終了する。つまり、測定制御部56は、法線ベクトルの向きが予め定められた範囲内にあるかをモニタし、後述する法線ベクトルの向きが、予め定められた範囲外である場合に、被測定物3の形状の測定を終了させる。
(3) The measurement is terminated depending on the range of the normal angle.
When this measurement end condition is designated, the
(4)空間座標範囲によって測定を終了する。
この測定終了条件が指定された場合、形状測定装置100は、後述する絶対座標の指定された範囲内に到達した場合に、測定を終了する。つまり、測定制御部56は、上述の相対位置を変更させて座標算出部53から出力された点群データが、絶対座標の指定された範囲内に到達した場合に、被測定物3の形状の測定を終了させる。
このように、形状測定装置100では、以上の(1)から(4)の測定終了条件を単体、及び組み合わせ条件として指定する。
(4) The measurement is terminated according to the spatial coordinate range.
When the measurement end condition is specified, the
As described above, in the
次に、形状測定装置100では、被測定物3の表面のデータ測定ピッチがユーザによって指定される(ステップS105)。つまり、入力装置42を用いて、測定ピッチ(スキャンピッチ)が指定され、入力装置42は、指定された測定ピッチを記憶部55に記憶させる。また、このときに各測定位置のうち、少なくとも複数の位置について、それぞれ光切断線の照射方向(測定目標方向)を設定する。
Next, in the
以上により、形状測定装置100において、被測定物3の形状を測定するための設定が完了する。
Thus, the setting for measuring the shape of the
次に、形状測定装置100は、被測定物3の形状の測定を開始する(ステップS106)。つまり、測定制御部56は、上述で設定された測定条件テーブルを記憶部55から読み出して、測定条件テーブルに基づいて被測定物3の形状の測定を開始する。形状測定装置100は、以下のように、光切断プローブ2の位置及び姿勢(上述の相対位置)を変更させて、その都度、光検出部22から画像データを座標算出部53に出力する。座標測定部は、光検出部22からの画像データを受けるたびに、点群データを出力させる。
Next, the
被測定物3の形状測定を開始した後、形状測定装置100は、測定終了条件に達したかを判定する(ステップS107)。つまり、測定制御部56は、ステップS104の処理において指定された測定終了条件に達したか否かを判定する。測定制御部56は、測定終了条件に達したと判定した場合に、ステップS110に処理を進める。また、測定制御部56は、測定終了条件に達していないと判定した場合に、ステップS108に処理を進める。
After starting the shape measurement of the
ステップS108においては、形状測定装置100は、6軸の現座標情報、光切断の画像を取得する。つまり、測定制御部56は、測定条件テーブルに基づいて測定開始位置に光切断プローブ2の位置を移動及び姿勢を変更させる。そして、測定制御部56は、座標検出部51に6軸の現座標情報を検出させるとともに光検出部22に光切断の画像を取得させる。
なお、光検出部22によって光切断プローブ2の画像を取得されるのと同期して、座標検出部51は、位置検出部12が検出した移動後の(現在の)6軸の座標情報をラッチし、座標算出部53に供給する。また、光検出部22によって取得された画像は座標算出部53に供給される。
In step S108, the
Note that the coordinate
次に、形状測定装置100は、6軸の座標情報と光検出部22で取得された画像データ内から、光切断線の像の短手方向で検出できる輝度ピーク位置を求め、その輝度ピーク位置からライン光の中心位置を求める。ライン光の長手方向のそれぞれの位置から、ライン光の中心位置を求めることで、光検出部22で取得された1画像分の点群データを生成する(ステップS109)。つまり、座標算出部53は、座標検出部51から供給された6軸の座標情報と、光検出部22によって取得された画像データとに基づいて、1画像分の点群データを生成する。座標算出部53は、生成した点群データを記憶部55に記憶させる。
Next, the
座標算出部53は、点群データを生成する際に、後述するプローブ座標から後述する絶対座標に変換するようにしている。以下、座標算出部53が、プローブ座標から絶対座標に変換して、点群データを生成する一例を説明する。
When generating the point cloud data, the coordinate
(プローブ座標系について)
まず、本実施形態におけるプローブ座標系について説明する。
図5は、本実施形態形におけるプローブ座標系を示すベクトル関連図である。なお、本説明においては、第1撮像素子22aのプローブ座標系を例に挙げて説明するが、第2撮像素子22bのプローブ座標系についても同様のことが言えるものとする。図6において、プローブ座標系は、第1撮像素子22a単体において、照明光軸L1と撮像光軸L2が交わる点を原点とし、光照射部21の方向をZ軸のプラス方向、Z軸と直交する紙面右に向かう方向をX軸のプラス方向、紙面奥に向かう方向をY軸のプラス方向として示される。本実施形態では、第1撮像素子22aは、上述のように1024×1024画素のCCDカメラから構成されるので、ライン光の長手方向を垂直方向として撮像する。そのため、座標算出部53は、最大輝度位置の検出を水平方向(ライン光の短手方向)に行うことにより、最大1024個のピーク位置を検出することが可能となる。
(About probe coordinate system)
First, the probe coordinate system in this embodiment will be described.
FIG. 5 is a vector relation diagram showing the probe coordinate system in this embodiment. In this description, the probe coordinate system of the
これにより、予め第1撮像素子22a単体の校正がされた状態では、座標算出部53は、撮像された画像内の精密な水平画素位置から、校正データを基にした補正演算により、光切断面内のプローブ座標系での3次元座標を生成することが可能である。
なお、本実施形態において、第1撮像素子22a単体校正が完了しているものとし、補正演算内容の詳細に関しては、説明を省略する。
Thereby, in a state where the
In the present embodiment, it is assumed that the
(絶対座標系について)
次に、本実施形態における絶対座標系について説明する。
絶対座標系は、例えば、図1に示した形状測定装置100の定盤18上における左手前を原点としてX軸、Y軸、及びZ軸方向での測定空間内の3次元位置を示す座標系である。なお、座標算出部53は、生成する点群データをこの絶対座標系の位置情報(座標情報)として生成する。本実施形態に係る光検出部22は、第1撮像素子22a及び第2撮像素子22bが異なる位置に取り付けられているため、各々についてプローブ座標系が設定されている。そのため、それぞれのプローブ座標系を絶対座標系に統一することで共通化する必要がある。
(About absolute coordinate system)
Next, the absolute coordinate system in the present embodiment will be described.
The absolute coordinate system is, for example, a coordinate system indicating a three-dimensional position in the measurement space in the X-axis, Y-axis, and Z-axis directions with the left front on the
(プローブ座標系から絶対座標系への変換)
次に、座標算出部53における、プローブ座標系から絶対座標系に変換して、点群データを生成する処理について説明する。座標算出部53は、プローブ座標系として生成された点群座標に6軸の座標情報を加味した演算を行い、絶対座標系に変換する。
ここで、プローブ座標系によって示される点の3次元座標を式(1)として示す。
(Conversion from probe coordinate system to absolute coordinate system)
Next, a process of converting the probe coordinate system to the absolute coordinate system and generating point cloud data in the coordinate
Here, the three-dimensional coordinates of the points indicated by the probe coordinate system are shown as Expression (1).
図6は、本実施形態形における回転軸ベクトルを示すベクトル関連図である。
この図において、第1回転軸131及び第2回転軸132の回転中心をポイントC1とし、第3回転軸133の回転中心(プローブ座標原点でもある)をポイントC2として示す。また、光切断プローブ2によって画像が取得される際の第1回転軸131の角度を角度aとし、第2回転軸132の角度を角度bとし、第3回転軸133の角度を角度cとして示す。ここで、第1回転軸131、第2回転軸132、及び第3回転軸133の各回転軸に対応する回転行列をそれぞれMa、Mb、及びMcとすると、絶対座標への変換は、式(2)として示される。
FIG. 6 is a vector relation diagram showing a rotation axis vector in the present embodiment.
In this figure, the rotation center of the
ここで、O(オー)は、第1回転軸131及び第2回転軸132の回転中心における絶対座標を示すベクトルであり、座標検出部51が検出した形状測定装置100のX軸、Y軸、及びZ軸の座標情報と一致させるように校正されている。
また、Lは、(a=b=0)である場合の第1回転軸131及び第2回転軸132の回転中心を基点として、第3回転軸133の回転中心に向けてのベクトルを示す。ベクトルLのノルムをl(エル)とすると、ベクトルLは、式(3)として示される。
Here, O (O) is a vector indicating absolute coordinates at the rotation center of the
L represents a vector directed to the rotation center of the
式(3)として示される演算処理により、座標算出部53は、ベクトルLの先端、即ち、プローブ座標系の原点ポイントC2を、絶対座標系に変換することができる。つまり、座標算出部53は、光切断プローブ2によって検出された被測定物3の表面の位置情報(点群データ)を絶対座標系に変換することができることを示している。
By the arithmetic processing shown as Expression (3), the coordinate
ここで、光検出部22から座標算出部53へ供給される画像データ(撮像信号)の一例について説明する。図7は撮像素子で撮影した画像データの輝度分布形状を示す概念図であり、例えば第1撮像素子22aが撮像した画像情報に対応する。なお、図7のL1は第1撮像素子22aで撮像されたライン光の長手方向に対応する。また、図7のL2は第1撮像素子22aにおけるライン光の短手方向に対応する。また、図7のL3は第1撮像素子22aの画素が検出した画素データの輝度の大きさを示すものである。以下の説明では、図7に示す画素データをL2の方向に沿って、輝度分布を示した線をラインプロファイルと呼ぶことにする。なお、このラインプロファイルは、各画素の画素値を基に、L2の方向に沿って補間計算を行って、画素と画素の間の輝度値を補間している。
Here, an example of image data (imaging signal) supplied from the
本実施形態では被測定物3上にレーザー光からなるライン光を照射している。一般にレーザー光は光の断面強度分布がガウシアン分布を有するので、図7に示すように第1撮像素子22aにおける各ラインプロファイルも同様にガウシアン分布を有したものとなる。本実施形態では、第1撮像素子22aが上述のようにライン光の長さ方向における各位置毎にライン光の像の短手方向の光量分布プロファイルを検出する。すなわち、被測定面が平面の場合だと、上記L1方向に沿ってライン光の像の長さ方向が一致するので、その長さに直交する方向に撮像素子の画素が1024列有しているときには、1つのライン光に対して1024本のラインプロファイルを検出可能となっている。なお、第2撮像素子22bは第1撮像素子22aと同一の構成を有していることから、第1撮像素子22aと同様に1024本のライン光の像の短手方向の光量分布であるラインプロファイルを検出可能となっている。
In the present embodiment, line light composed of laser light is irradiated onto the object to be measured 3. In general, since laser light has a Gaussian distribution of cross-sectional intensity of light, each line profile in the
ところで、光検出部22が撮像する画像を構成する被測定物3からの散乱光は、その物面の法線方向と光検出部22(第1撮像素子22a及び第2撮像素子22b)の撮像光軸方向とがなす角度に依存してその強度分布が変化する。そのため、上記法線角度の変化によって光検出部22が取得するラインプロファイルの形状が変形してしまう。このような変形が生じたラインプロファイルが示すピークの輝度値は信頼性が低いものとなってしまう。
By the way, the scattered light from the
そこで、本実施形態に係る座標算出部53は、評価部53aが光検出部22の撮像結果、すなわち第1撮像素子22a及び第2撮像素子22bが取得した画像データからラインプロファイルについて評価するようにしている。また、座標算出部53は、処理部53bが上記評価結果に基づき光検出部22の撮像結果に対して後述する所定処理を行うことで被測定物3の位置情報を算出するようにしている。
Therefore, the coordinate
評価部53aは、第1撮像素子22a及び第2撮像素子22bのそれぞれが取得した全てのラインプロファイルについて評価を行う。なお、評価部53aの評価項目としては、以下に示すものがある。
The
(1)測定面の法線方向に対する光検出部22の撮像光軸のなす角度についての評価。
図8は被測定物3の法線方向に対する光検出部22の撮像光軸のなす角度がラインプロファイルに及ぼす影響を示した図である。図8(a)は、撮像光軸と被測定物3の測定面の法線とがなす角度が略90°の場合における光検出部22が撮像したラインプロファイルの幅をW1と規定するものである。また、図8(b)は、撮像光軸と測定面の法線とがなす角度が60°の場合における光検出部22が撮像したラインプロファイルの幅をW2と規定するものである。図8(c)は、撮像光軸と測定面の法線とがなす角度が30°の場合における光検出部22が撮像したラインプロファイルの幅をW3と規定するものである。
(1) Evaluation of the angle formed by the imaging optical axis of the
FIG. 8 is a diagram showing the influence of the angle formed by the imaging optical axis of the
光検出部22に対する測定面の傾き、すなわち法線角度θは、ラインプロファイルの幅をWとした場合、θ=acos(W/W1)の式で表すことができる。なお、前記式におけるWは、ラインプロファイルの幅である。評価部53aはラインプロファイルの幅Wの値に基づいて被測定物3の測定面の法線角度を評価し、推定することができる。評価部53aは法線角度が所定の閾値から大きく外れる場合、そのラインプロファイルについては信頼性が低いデータであると評価することができる。
The inclination of the measurement surface with respect to the
(2)ラインプロファイルの幅高さ比についての評価。
評価部53aは、図9に示すようにラインプロファイルについて所定輝度となる幅W及び高さHの比、すなわち一定の閾値で規定されるラインプロファイルの幅Wが一定幅以上か否かについて評価する。
(2) Evaluation of the width / height ratio of the line profile.
As shown in FIG. 9, the
被測定物3の法線方向に対する光検出部22の撮像光軸のなす角度が大き過ぎると、ラインプロファイルが幅方向に押しつぶされた形状となるため、幅Wが狭くなるとともに高さHが高くなり、ラインプロファイルの幅高さ比が変化する。したがって、評価部53aはラインプロファイルの幅高さ比が所定値から外れる場合には、そのラインプロファイルは信頼性が低いデータであると評価することができる。
If the angle formed by the imaging optical axis of the
(3)ラインプロファイルの非対象性についての評価。
評価部53aは、図10に示すようにラインプロファイルの最大輝度位置を中心とし、その左右に関して、所定輝度値を示すラインとラインプロファイルとで構成される領域A,Bの各面積(積分値)を比較し、その比率が一定値を超えた場合、そのラインプロファイルは信頼性評価値が低いものであると評価することができる。上記比率が一定値を超えた場合とは、中心に対するラインプロファイルの左右の歪みが大きいことを意味する。これは、ラインプロファイルは本来ガウシアン分布を有するため、最大輝度位置を中心とし、その左右の面積が略等しくなるものの、左右の面積が異なっている(ラインプロファイルが歪んでいる)ということは、そのラインプロファイルがデータとして信頼性が低いといえるからである。したがって、評価部53aはラインプロファイルの非対象性が所定の範囲よりも大きい場合には、そのラインプロファイルは信頼性が低いデータであると評価することができる。
(3) Evaluation of non-target property of line profile.
As shown in FIG. 10, the
(4)ラインプロファイルの周波数成分についての評価。
評価部53aはラインプロファイルについてフーリエ変換を行い、周波数成分を求め、特定周波数以上、或いは以下の周波数成分が含まれている場合、そのラインプロファイルは信頼性評価値が低いものであると評価することができる。ここで、特定周波数以上の場合とはラインプロファイルがノイズ成分を多く含むデータを意味し、特定周波数以下の場合とはラインプロファイルのピーク、すなわち最大輝度が低いデータを意味する。
(4) Evaluation of frequency components of line profile.
The
このように本実施形態においては、評価部53aが上述した(1)〜(4)のすくなくともいずれかについて行う。
As described above, in this embodiment, the
具体的に評価部53aは、第1撮像素子22a及び第2撮像素子22bの各々が取得したラインプロファイルのうち、被測定物3の同一位置におけるラインプロファイル同士を比較する。そして、評価部53aは被測定物3の同一位置において、第1撮像素子22a及び第2撮像素子22bのうち、いずれのデータ(ラインプロファイル)が高信頼性であるか否かについて評価を行い、その評価結果を記憶部55に記憶する。
Specifically, the
処理部53bは、記憶部55に記憶された評価結果に基づいて、第1撮像素子22a及び第2撮像素子22bのいずれか一方から選択したラインプロファイルに基づき、信頼性の高いデータのみを合成することで三次元座標値の点群データを算出する。そして、処理部53bは三角測量を用いることで被測定物3の3次元形状を算出することができる。
Based on the evaluation result stored in the
次に、形状測定装置100は、ステップS107において、測定終了条件に達するまで、上述のステップS108、S109を繰り返し処理させる。形状測定装置100は、測定終了条件に達するとステップS110に進む。
形状測定装置100は、ステップS110において点群データを記憶部55にセーブする(記憶させる)。
Next, the
The
以上のように、本実施形態による形状測定装置100によれば、異なる位置に取り付けられた第1撮像素子22a及び第2撮像素子22bの各々が取得したラインプロファイルについて評価部53aが評価を行った結果に基づき、処理部53bが第1撮像素子22a及び第2撮像素子22bのいずれか一方のうち信頼性の高いラインプロファイルを選択する座標算出部53を備える。これにより、信頼性の高いラインプロファイルのみに基づいて被測定物3の3次元形状を算出できるので、被測定物3の形状を高精度で測定することができる。
As described above, according to the
(第2実施形態)
続いて、本発明の第2実施形態について説明する。本実施形態と第1実施形態との違いは、座標算出部53の評価部53aが第1撮像素子22a及び第2撮像素子22bで撮影された画像データから、ライン光の像の短手方向の光量分布であるラインプロファイルごとに信頼性評価値を設定し、処理部53bが信頼性評価値を重み付けに利用して被測定物3の3次元形状を算出する点である。信頼性評価値とは、ラインプロファイルにおけるデータとしての信頼性を示す指標であり、信頼性評価値が低い場合は無効なデータを示し、信頼性評価値が高い場合は有効なデータであることを示すものである。なお、以下では座標算出部53による形状算出方法について説明し、第1実施形態と共通であるその他の構成及び工程の説明については省略する。
(Second Embodiment)
Subsequently, a second embodiment of the present invention will be described. The difference between the present embodiment and the first embodiment is that the
評価部53aは、第1実施形態に示した項目について評価を行う。
評価部53aは、例えば法線角度が所定の閾値から大きく外れるラインプロファイルについては信頼性評価値が低いものとする。また、評価部53aは、幅高さ比が所定の範囲から大きく外れるラインプロファイルについては信頼性評価値が低いものとする。また、評価部53aは、対象性が低い、すなわち大きく歪んだラインプロファイルについては信頼性評価値が低いものとする。また、周波数成分が所定範囲から大きく外れたラインプロファイルについては信頼性評価値が低いものとする。
The
For example, the
処理部53bは、記憶部55に記憶された信頼性評価値に基づいて、被測定物3における同一位置における第1撮像素子22a及び第2撮像素子22bの各ラインプロファイルに対し、重み付けをして合成することで三次元座標値の点群データを算出する。
The
処理部53bは、第1撮像素子22a及び第2撮像素子22bの任意の画素列における各ラインプロファイルに対し、上記信頼性評価値に基づく重み付けを行う。
図11は処理部53bによる重み付け処理を概念的に説明するための図である。図11においてP1は所定位置における第1撮像素子22aのラインプロファイルを示し、P2は所定位置における第2撮像素子22bのラインプロファイルを示すものである。
The
FIG. 11 is a diagram for conceptually explaining the weighting process by the
本説明では評価部53aが評価したラインプロファイルの非対称性に関する信頼性評価値に基づき、処理部53bが重み付けをおこなう場合を例に説明する。処理部53bは、図11に示すように、非対称性が大きく信頼性評価値が低い(相対的に信頼性が低い)第1撮像素子22aにおける重み付けを0.3とし、非対称性が低く信頼性評価値が高い(相対的に信頼性が高い)第2撮像素子22bにおける重み付けを0.7に設定する。
In this description, a case where the
このように処理部53bは第1撮像素子22a及び第2撮像素子22bのうち信頼性の高い方のデータを重視した上で被測定物3の各測定位置におけるラインプロファイルを合成することができるので、三次元座標値の点群データを算出できる。そして、処理部53bは三角測量を用いることで被測定物の3次元形状を算出する。
In this way, the
本実施形態によれば、評価部53aがラインプロファイルについて信頼性評価値を算出し、処理部53bが信頼性評価値を重み付けに利用するので、信頼性の高い点群データを得ることができる。したがって、被測定物3の3次元形状を精度良く算出することができる。
According to this embodiment, since the
(第3実施形態)
続いて、本発明の第3実施形態について説明する。本実施形態と第1実施形態との違いは、座標算出部53の処理部53bが絶対座標系に変換した三次元座標値の点群データを合成方法である。なお、以下では処理部53bによる点群データの合成方法を主体に説明し、第1実施形態と共通であるその他の構成及び工程の説明については省略する。
(Third embodiment)
Subsequently, a third embodiment of the present invention will be described. The difference between the present embodiment and the first embodiment is a method of synthesizing point group data of three-dimensional coordinate values converted into an absolute coordinate system by the
絶対座標系に変換後の三次元座標値の点群データは、光検出部22(第1撮像素子22a及び第2撮像素子22b)の取付誤差、光学系の誤差(レンズ歪み等)によって僅かながら位置がずれた状態となっている。これに対し、本実施形態に係る処理部53bは、上記位置ズレを考慮した上で画素データの合成を行うようにしている。
The point group data of the three-dimensional coordinate values after being converted into the absolute coordinate system is slightly changed due to the mounting error of the light detection unit 22 (
本実施形態における処理部53bの点群データの合成方法を概念的に説明する。図12は絶対座標系に変換された三次元座標値の点群データを示す図である。図12では絶対座標系のYZ平面におけるラインプロファイルを示し、X方向が輝度を示している。
A method of synthesizing point cloud data in the
上記位置ズレが生じた場合、図12に示される処理部53bにより選択された第1撮像素子22a及び第2撮像素子22bの各々のラインプロファイルP1,P2がそれぞれずれた位置に変換されたものとなっている。
When the positional deviation occurs, the line profiles P1 and P2 of the
本実施形態に係る処理部53bは、図12に示すようにライン光の幅方向(短辺方向)に長辺を有する矩形状の領域Aを設定し、該領域A内に存在する複数のラインプロファイルの中から輝度のピーク値を算出し、この領域Aのピーク輝度値を合成する処理を行う。なお、領域A内においてラインプロファイルを構成する各点の場所と輝度とを重み付けすることでピーク輝度値を算出するようにしても構わない。
The
処理部53bは上記領域Aを同図のY方向に沿って順次移動させつつ、各領域A内に存在する複数のラインプロファイルP1,P2の中から輝度のピーク値を算出することでライン光の長さ方向に沿って全ての点群データを合成する。そして、処理部53bは三角測量を用いることで被測定物3の3次元形状を算出することができる。
The
本実施形態によれば、処理部53bが上記領域Aを設定することで局所的に点群データを合成するため、第1実施形態に比べて光検出部22に起因した誤差が考慮された信頼性の高い点群データを算出することができる。したがって、被測定物3の3次元形状を精度良く算出することができる。
According to this embodiment, since the
(第4実施形態)
続いて、本発明の第4実施形態について説明する。本実施形態と上記第1乃至第3実施形態との違いは、光検出部が撮像素子を1つだけ備える点である。なお、以下では光検出部の構成を主体に説明し、上記実施形態と共通であるその他の構成及び工程の説明については省略する。
(Fourth embodiment)
Subsequently, a fourth embodiment of the present invention will be described. The difference between the present embodiment and the first to third embodiments is that the light detection unit includes only one image sensor. Hereinafter, the configuration of the light detection unit will be mainly described, and description of other configurations and processes that are common to the above-described embodiment will be omitted.
図13は本実施形態における光検出部122の概略構成を示す図である。
図13に示すように光検出部122としては、撮像素子122aを1つのみ備えている。撮像素子122aは、例えば1024×1024画素のCCDカメラから構成されるものである。光検出部122は、駆動部11を駆動させてライン光が所定間隔走査される毎に被測定物3を撮像素子122aが撮像するようになっている。
FIG. 13 is a diagram showing a schematic configuration of the
As shown in FIG. 13, the
座標算出部53は、光検出部122の撮像素子122aが撮像した画像情報を受け取る。また、座標算出部53は、座標検出部51から供給された光切断プローブ2の6軸の座標情報を受け取る。座標算出部53は、受け取った光切断プローブ2の6軸の座標情報から、光切断プローブ2に固定された光照射部21の座標と、光検出部122の座標とを算出する。
The coordinate
本実施形態においても、撮像素子122aは、上述のように1024×1024画素のCCDカメラから構成されるので、ライン光の長手方向を垂直方向として撮像する。そのため、座標算出部53は、最大輝度位置の検出を水平方向(ライン光の短手方向)に行うことにより、最大1024個のピーク位置を検出することが可能となっている。
Also in this embodiment, since the
これにより、撮像素子122a単体の校正がされた状態では、座標算出部53は、撮像された画像内の精密な水平画素位置から、校正データを基にした補正演算により、光切断面内のプローブ座標系での3次元座標を生成することが可能である。なお、本実施形態において、撮像素子122a単体校正が完了しているものとし、補正演算内容の詳細に関しては、説明を省略する。
As a result, in a state where the
座標算出部53は、点群データを生成する際に、上述したようにプローブ座標から絶対座標に変換する。
The coordinate
本実施形態に係る評価部53aは光検出部122の撮像結果、すなわち撮像素子122aが取得したラインプロファイルについて評価している。また、処理部53bは、該評価結果に基づき光検出部122の撮像結果に対して所定の処理を行うことで被測定物3の位置情報を算出するようにしている。
The
本実施形態において評価部53aが行う評価としては、上記第1実施形態で示した(1)〜(4)のものが挙げられる。具体的に、評価部53aは、撮像素子122aが撮像して取得したラインプロファイルの各々について評価(法線角度、幅高さ比、非対称性、周波数等)を行う。そして、評価結果(すなわちラインプロファイルが信頼性の高いデータであるか否かについての結果)を記憶部55へと送信する。
Examples of the evaluation performed by the
処理部53bは、記憶部55に記憶された評価結果に基づいて、撮像素子122aのラインプロファイルのうち信頼性の低いものについては除外した上で三次元座標値の点群データを算出する。従って、処理部53bは三角測量を用いることで被測定物3の3次元形状を高精度で算出することができる。
このように本発明は、撮像素子122aを1つのみ備えた光検出部122を含む形状測定装置においてもライン光の測定プロファイルを評価することで被測定物3の3次元形状を精度良く測定できる。
Based on the evaluation results stored in the
As described above, the present invention can accurately measure the three-dimensional shape of the
(第5実施形態)
次に、本発明の第5実施形態として、上述した第1〜第4実施形態のいずれかの形状測定装置100を備えた構造物製造システムについて説明する。
図14は、構造物製造システム200のブロック構成図である。構造物製造システム200は、上述した形状測定装置100と、設計装置110と、成形装置120と、制御装置(検査装置)130と、リペア装置140とを備える。
(Fifth embodiment)
Next, as a fifth embodiment of the present invention, a structure manufacturing system including the
FIG. 14 is a block configuration diagram of the structure manufacturing system 200. The structure manufacturing system 200 includes the
設計装置110は、構造物の形状に関する設計情報を作製し、作成した設計情報を成形装置120に送信する。また、設計装置110は、作成した設計情報を制御装置150の後述する座標記憶部151に記憶させる。ここで、設計情報とは、構造物の各位置の座標を示す情報である。
成形装置120は、設計装置110から入力された設計情報に基づいて上記構造物を作製する。成形装置120の成形工程には、鋳造、鍛造、または切削等が含まれる。
形状測定装置100は、作製された構造物(被測定物)の座標を測定し、測定した座標を示す情報(形状情報)を制御装置150へ送信する。
The
The
The
制御装置150は、座標記憶部151と、検査部152とを備える。座標記憶部151には、前述の通り、設計装置110により設計情報が記憶される。検査部152は、座標記憶部151から設計情報を読み出す。検査部152は、形状測定装置100から受信した座標を示す情報(形状情報)と座標記憶部151から読み出した設計情報とを比較する。
The
検査部152は、比較結果に基づき、構造物が設計情報通りに成形されたか否かを判定する。換言すれば、検査部152は、作成された構造物が良品であるか否かを判定する。
検査部152は、構造物が設計情報通りに成形されていない場合、修復可能であるか否か判定する。修復できる場合、検査部152は、比較結果に基づき、不良部位と修復量を算出し、リペア装置140に不良部位を示す情報と修復量を示す情報とを送信する。
The
If the structure is not molded according to the design information, the
リペア装置140は、制御装置150から受信した不良部位を示す情報と修復量を示す情報とに基づき、構造物の不良部位を加工する。
The
図15は、構造物製造システム200による処理の流れを示したフローチャートである。まず、設計装置110が、構造物の形状に関する設計情報を作製する(ステップS201)。次に、成形装置120は、設計情報に基づいて上記構造物を作製する(ステップS202)。次に、形状測定装置100は、作製された上記構造物の形状を測定する(ステップS203)。次に、制御装置150の検査部152は、形状測定装置100で得られた形状情報と、上記設計情報とを比較することにより、構造物が誠設計情報通りに作成されたか否か検査する(ステップS204)。
FIG. 15 is a flowchart showing the flow of processing by the structure manufacturing system 200. First, the
次に、制御装置150の検査部152は、作成された構造物が良品であるか否かを判定する(ステップS205)。作成された構造物が良品である場合(ステップS205;YES)、構造物製造システム200はその処理を終了する。一方、作成された構造物が良品でない場合(ステップS205;NO)、制御装置150の検査部152は、作成された構造物が修復できるか否か判定する(ステップS206)。
Next, the
作成された構造物が修復できると検査部152が判断した場合(ステップS206;YES)、リペア装置140は、構造物の再加工を実施し(ステップS207)、ステップS103の処理に戻る。一方、作成された構造物が修復できないと検査部152が判断した場合(ステップS206;NO)、構造物製造システム200はその処理を終了する。以上で、本フローチャートの処理を終了する。
When the
以上により、上記の実施形態における形状測定装置100が構造物の座標(3次元形状)を正確に測定することができるので、構造物製造システム200は、作成された構造物が良品であるか否か判定することができる。また、構造物製造システム200は、構造物が良品でない場合、構造物の再加工を実施し、修復することができる。
As described above, since the
以上、本発明に係る実施形態について説明したが、本発明は上記実施形態に限定されることはなく、発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、上記実施形態においては、被測定物に対してライン状のパターン光を照射し、被測定物に照射されたパターン光による散乱光を受光することで光切断法を用いて被測定物の3次元形状を検出する場合を例として説明した。本発明は被測定物の表面に照射されたときにスポット状のパターンとなる光束を照射し、被測定物に照射された光束による散乱光を照射方向と異なる角度から受光する構成についても適用可能である。なお、ここでいうスポット状の光とは、被測定物3の表面に照射された光の形状が円形状のもののみに限られず、長辺及び短辺を有する島状のものを含んでいる。
As mentioned above, although embodiment which concerns on this invention was described, this invention is not limited to the said embodiment, In the range which does not deviate from the meaning of invention, it can change suitably. For example, in the above-described embodiment, the object to be measured is irradiated with line-shaped pattern light, and scattered light is received by the pattern light irradiated to the object to be measured. The case where a three-dimensional shape is detected has been described as an example. The present invention can also be applied to a configuration in which a light beam that forms a spot-like pattern is irradiated when the surface of the object to be measured is irradiated, and scattered light from the light beam irradiated to the object to be measured is received from an angle different from the irradiation direction. It is. Here, the spot-shaped light is not limited to the circular shape of the light irradiated on the surface of the
スポット状のパターン(以下、スポット光という)は、CMOSセンサ251上にスポット状のパターンの像(以下、スポット光像という)として結像され、CMOSセンサ251は、CMOSセンサ251上におけるスポット光像の位置を検出する。形状測定装置100は、光束を走査して被測定物3の表面に照射し、各スポット光像の位置を検出する。そして、この形状測定装置100は、検出したスポット光像の位置に三角測量の原理等を用いて被測定物3表面の基準平面からの高さを算出し、被測定物3表面の三次元形状を求める。なお、光切断法を用いる場合には、スポット光を走査して各スポット状のパターンを一方向に短周期的に走査することで、あたかもライン状のパターンが被測定物に投影されたのと等価になるように、照射する。このように一方向に短周期的に走査された光束を順次、その一方向とは垂直な方向に被測定物を移動させることで、被測定物の測定領域全域に渡って、スポット状のパターンが投影される。
A spot-like pattern (hereinafter referred to as spot light) is formed as an image of a spot-like pattern (hereinafter referred to as spot light image) on the CMOS sensor 251, and the CMOS sensor 251 is a spot light image on the CMOS sensor 251. The position of is detected. The
本発明はスポット光を用いた光切断法において、被測定物を移動させる方向における各スポット光のラインプロファイルについて上述したような評価を行うことができる。このようにすれば、信頼性の低いスポット光のデータを除外することで被測定物の三次元形状を精度良く算出できる。 The present invention can perform the above-described evaluation on the line profile of each spot light in the direction in which the object to be measured is moved in the light cutting method using the spot light. In this way, the three-dimensional shape of the object to be measured can be accurately calculated by excluding the spot light data with low reliability.
また、上記実施形態においては、被測定物における測定面の全域に対してパターン光を走査することで3次元形状を測定する場合について説明したが、本発明は被測定物の測定面の一箇所に対してパターン光を照射することで被測定物の任意の位置における断面形状、すなわち2次元形状を測定する場合について適用することができる。この構成によれば、信頼性の低い測定点のデータが除去されるため、被測定物の断面形状(二次元形状)を精度良く算出できる。 Moreover, in the said embodiment, although the case where a three-dimensional shape was measured by scanning pattern light with respect to the whole region of the measurement surface in a to-be-measured object, this invention is one place of the measurement surface of a to-be-measured object. It can be applied to the case where the cross-sectional shape at an arbitrary position of the object to be measured, that is, the two-dimensional shape, is measured by irradiating the pattern light on. According to this configuration, since data of measurement points with low reliability is removed, the cross-sectional shape (two-dimensional shape) of the object to be measured can be calculated with high accuracy.
上記の実施形態において、第1回転軸131、第2回転軸132、及び第3回転軸133を備えた回転機構13を用いて、光切断プローブ2の向きを変更する形態を説明したが、被測定物3を固定するテーブルを回転させる形態であっても構わない。
In the above embodiment, the mode in which the direction of the
3…被測定物、21…光照射部、22…光検出部、22a…第1撮像素子、22b…第2撮像素子、53a…評価部、53b…処理部、100…形状測定装置、122a…撮像素子、200…構造物製造システム、A…領域
DESCRIPTION OF
Claims (18)
前記光が前記被測定物に照射される照射方向と異なる方向から前記被測定物に照射された前記パターン光の像を撮像する撮像素子を含む撮像部と、
前記像の撮像信号を評価する評価部と、
該評価部の該評価結果に基づき前記撮像部の撮像結果に対して所定の処理を行うことで前記被測定物の位置情報を算出する処理部と、
を備えることを特徴とする形状測定装置。 An illumination unit that forms pattern light having a predetermined light amount distribution on the object to be measured;
An imaging unit including an imaging element that captures an image of the pattern light irradiated on the measurement object from a direction different from an irradiation direction of the light irradiated on the measurement object;
An evaluation unit that evaluates an imaging signal of the image;
A processing unit that calculates position information of the object to be measured by performing a predetermined process on the imaging result of the imaging unit based on the evaluation result of the evaluation unit;
A shape measuring apparatus comprising:
前記評価部は、前記撮像素子の各々における前記被測定物の同一測定位置での前記画像データを比較し、予め設定される評価基準に基づいて複数の前記画素データから一つのデータを選定することを特徴とする請求項2〜6のいずれか一項に記載の形状測定装置。 The imaging unit includes a plurality of the imaging elements,
The evaluation unit compares the image data at the same measurement position of the object to be measured in each of the imaging elements, and selects one data from the plurality of pixel data based on a preset evaluation criterion. The shape measuring apparatus according to any one of claims 2 to 6, wherein
前記評価部は、前記撮像素子の各々における前記被測定物の同一測定位置での前記画像データを比較し、
前記処理部は、前記評価部の比較結果に基づいて前記各撮像素子の前記画像データについて重み付けし、該重み付けに基づいて当該画像データを合成することで前記被測定物の位置情報を算出することを特徴とする請求項2〜6のいずれか一項に記載の形状測定装置。 The imaging unit includes a plurality of the imaging elements,
The evaluation unit compares the image data at the same measurement position of the measurement object in each of the imaging elements,
The processing unit weights the image data of the imaging elements based on the comparison result of the evaluation unit, and calculates the position information of the object to be measured by combining the image data based on the weighting. The shape measuring apparatus according to any one of claims 2 to 6, wherein
被測定物に照明部から所定の光量分布を有する光を照射することによりパターン光を形成する照射手順と、
前記光が前記被測定物に照射される照射方向と異なる方向から前記被測定物に照射された前記パターン光の像を撮像する撮像手順と、
前記像の撮像信号を評価する評価手順と、
前記評価結果に基づき前記撮像手順による撮像結果に対して所定の処理を行うことで前記被測定物の位置情報を算出する処理手順と、
を有することを特徴とする形状測定方法。 A shape measuring method executed by a shape measuring apparatus,
An irradiation procedure for forming a pattern light by irradiating the object to be measured with light having a predetermined light amount distribution from the illumination unit,
An imaging procedure for capturing an image of the pattern light irradiated on the object to be measured from a direction different from an irradiation direction on which the light is irradiated on the object to be measured;
An evaluation procedure for evaluating the imaging signal of the image;
A processing procedure for calculating position information of the object to be measured by performing a predetermined process on the imaging result of the imaging procedure based on the evaluation result;
A shape measuring method characterized by comprising:
前記設計情報に基づいて前記構造物を作製する成形工程と、
作製された前記構造物の形状を請求項14に記載の形状測定方法を用いて測定する測定工程と、
前記測定工程で得られた形状情報と、前記設計情報とを比較する検査工程と、
を有することを特徴とする構造物の製造方法。 A design process for creating design information on the shape of the structure;
A molding process for producing the structure based on the design information;
A measuring step of measuring the shape of the manufactured structure using the shape measuring method according to claim 14;
An inspection process for comparing the shape information obtained in the measurement process with the design information;
A method for producing a structure characterized by comprising:
前記設計情報に基づいて前記構造物を作製する成形装置と、
作製された前記構造物の形状を、撮像画像に基づいて測定する請求項1から12のいずれか1項に記載の形状測定装置と、
前記測定によって得られた形状情報と、前記設計情報とを比較する検査装置と、
を含む構造物製造システム。 A design device for creating design information on the shape of the structure;
A molding apparatus for producing the structure based on the design information;
The shape measuring device according to any one of claims 1 to 12, wherein the shape of the manufactured structure is measured based on a captured image;
An inspection device for comparing the shape information obtained by the measurement with the design information;
Structure manufacturing system including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011203436A JP2013064644A (en) | 2011-09-16 | 2011-09-16 | Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011203436A JP2013064644A (en) | 2011-09-16 | 2011-09-16 | Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013064644A true JP2013064644A (en) | 2013-04-11 |
Family
ID=48188279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011203436A Pending JP2013064644A (en) | 2011-09-16 | 2011-09-16 | Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013064644A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015129680A (en) * | 2014-01-08 | 2015-07-16 | 株式会社ニコン | Shape measurement device, attitude control device, structure manufacturing system, and shape measurement method |
JP2016530485A (en) * | 2013-07-15 | 2016-09-29 | ファロ テクノロジーズ インコーポレーテッド | Laser line probe with improved high dynamic range |
KR101661665B1 (en) * | 2016-03-21 | 2016-10-04 | (주)디엠소프트 | Device and method for inspecting welding quality using vision system |
JP2016200503A (en) * | 2015-04-10 | 2016-12-01 | キヤノン株式会社 | Measuring device for measuring shape of measurement object |
US9531967B2 (en) | 2013-12-31 | 2016-12-27 | Faro Technologies, Inc. | Dynamic range of a line scanner having a photosensitive array that provides variable exposure |
US9658061B2 (en) | 2013-12-31 | 2017-05-23 | Faro Technologies, Inc. | Line scanner that uses a color image sensor to improve dynamic range |
JP2018066767A (en) * | 2018-02-06 | 2018-04-26 | 株式会社ニコン | Shape measuring device, structure manufacturing system, and shape measuring method |
JP2021034044A (en) * | 2019-08-16 | 2021-03-01 | シック アイヴィピー エービー | Method and device for providing intensity peak position in image data from light triangulation in three-dimensional imaging system |
CN112639395A (en) * | 2018-09-27 | 2021-04-09 | 雅马哈发动机株式会社 | Three-dimensional measuring apparatus |
JP2021081324A (en) * | 2019-11-20 | 2021-05-27 | 株式会社リコー | Shape measurement device, system, and method |
KR20230107842A (en) | 2020-11-20 | 2023-07-18 | 엔티엔 가부시키가이샤 | work device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01119704A (en) * | 1987-11-04 | 1989-05-11 | Fujitsu Ltd | Apparatus for measuring three-dimensional configuration |
JP2008002995A (en) * | 2006-06-23 | 2008-01-10 | Konica Minolta Sensing Inc | Three-dimensional shape measuring device |
JP2009192332A (en) * | 2008-02-13 | 2009-08-27 | Konica Minolta Sensing Inc | Three-dimensional processor and method for controlling display of three-dimensional data in the three-dimensional processor |
-
2011
- 2011-09-16 JP JP2011203436A patent/JP2013064644A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01119704A (en) * | 1987-11-04 | 1989-05-11 | Fujitsu Ltd | Apparatus for measuring three-dimensional configuration |
JP2008002995A (en) * | 2006-06-23 | 2008-01-10 | Konica Minolta Sensing Inc | Three-dimensional shape measuring device |
JP2009192332A (en) * | 2008-02-13 | 2009-08-27 | Konica Minolta Sensing Inc | Three-dimensional processor and method for controlling display of three-dimensional data in the three-dimensional processor |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016530485A (en) * | 2013-07-15 | 2016-09-29 | ファロ テクノロジーズ インコーポレーテッド | Laser line probe with improved high dynamic range |
US9500469B2 (en) | 2013-07-15 | 2016-11-22 | Faro Technologies, Inc. | Laser line probe having improved high dynamic range |
US9531967B2 (en) | 2013-12-31 | 2016-12-27 | Faro Technologies, Inc. | Dynamic range of a line scanner having a photosensitive array that provides variable exposure |
US9658061B2 (en) | 2013-12-31 | 2017-05-23 | Faro Technologies, Inc. | Line scanner that uses a color image sensor to improve dynamic range |
US9909856B2 (en) | 2013-12-31 | 2018-03-06 | Faro Technologies, Inc. | Dynamic range of a line scanner having a photosensitive array that provides variable exposure |
JP2015129680A (en) * | 2014-01-08 | 2015-07-16 | 株式会社ニコン | Shape measurement device, attitude control device, structure manufacturing system, and shape measurement method |
JP2016200503A (en) * | 2015-04-10 | 2016-12-01 | キヤノン株式会社 | Measuring device for measuring shape of measurement object |
KR101661665B1 (en) * | 2016-03-21 | 2016-10-04 | (주)디엠소프트 | Device and method for inspecting welding quality using vision system |
JP2018066767A (en) * | 2018-02-06 | 2018-04-26 | 株式会社ニコン | Shape measuring device, structure manufacturing system, and shape measuring method |
CN112639395A (en) * | 2018-09-27 | 2021-04-09 | 雅马哈发动机株式会社 | Three-dimensional measuring apparatus |
US11982522B2 (en) | 2018-09-27 | 2024-05-14 | Yamaha Hatsudoki Kabushiki Kaisha | Three-dimensional measuring device |
JP2021034044A (en) * | 2019-08-16 | 2021-03-01 | シック アイヴィピー エービー | Method and device for providing intensity peak position in image data from light triangulation in three-dimensional imaging system |
JP7078678B2 (en) | 2019-08-16 | 2022-05-31 | シック アイヴィピー エービー | Methods and Devices for Providing Intensity Peak Positions in Image Data from Optical Triangulation in 3D Imaging Systems |
US11467030B2 (en) | 2019-08-16 | 2022-10-11 | Sick Ivp Ab | Method and arrangements for providing intensity peak position in image data from light triangulation in a three-dimensional imaging system |
JP2021081324A (en) * | 2019-11-20 | 2021-05-27 | 株式会社リコー | Shape measurement device, system, and method |
WO2021099883A1 (en) * | 2019-11-20 | 2021-05-27 | Ricoh Company, Ltd. | Shape measuring device, system with fabricating unit and shape measuring device, and method |
KR20230107842A (en) | 2020-11-20 | 2023-07-18 | 엔티엔 가부시키가이샤 | work device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013064644A (en) | Shape-measuring device, shape-measuring method, system for manufacturing structures, and method for manufacturing structures | |
CN109115126B (en) | Method for calibrating a triangulation sensor, control and processing unit and storage medium | |
CN106338244B (en) | measuring machine and method for acquiring small-scale 3D information | |
JP5911904B2 (en) | Accurate image acquisition on structured light systems for optical measurement of shape and position | |
KR101629545B1 (en) | Shape measuring device, shape measuring method, structure manufacturing method, and program | |
US9952038B2 (en) | Shape measurement device, structure production system, shape measurement method, structure production method, and shape measurement program | |
JP2013542401A (en) | Shape measuring device, structure manufacturing method and structure manufacturing system | |
US20120246899A1 (en) | Profile measuring apparatus, method for measuring profile, and method for manufacturing structure | |
TWI623724B (en) | Shape measuring device, structure manufacturing system, stage system, shape measuring method, structure manufacturing method, shape measuring program, and computer readable recording medium | |
JP5948729B2 (en) | Shape measuring device | |
JP4760358B2 (en) | Road surface shape measuring method and measuring system | |
JP7090068B2 (en) | Non-contact probe and method of operation | |
US9157874B2 (en) | System and method for automated x-ray inspection | |
JP2014153149A (en) | Shape measurement device, structure manufacturing system, shape measurement method and program | |
JP2014126381A (en) | Shape measurement device, structure fabrication system, shape measurement method, structure fabrication method and shape measurement program | |
JP2015072197A (en) | Shape measurement device, structure manufacturing system, shape measurement method, structure manufacturing method, and shape measurement program | |
JP2014145735A (en) | Shape measurement device, structure production system, evaluation device, shape measurement method, structure production method, and shape measurement program | |
JP3678916B2 (en) | Non-contact 3D measurement method | |
JP3602965B2 (en) | Non-contact three-dimensional measurement method | |
JP6205727B2 (en) | Shape measuring method, structure manufacturing method, shape measuring program, optical shape measuring apparatus, and structure manufacturing system | |
JP6248510B2 (en) | Shape measuring device, structure manufacturing system, shape measuring method, structure manufacturing method, shape measuring program, and recording medium | |
JP6252178B2 (en) | Shape measuring device, posture control device, structure manufacturing system, and shape measuring method | |
JP2016024067A (en) | Measurement method and measurement device | |
JP2018054430A (en) | Inspection device and method of generating measurement trajectory path | |
JP2016095243A (en) | Measuring device, measuring method, and article manufacturing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151110 |