JP7359906B1 - Information processing device, measuring device and measuring method - Google Patents

Information processing device, measuring device and measuring method Download PDF

Info

Publication number
JP7359906B1
JP7359906B1 JP2022098530A JP2022098530A JP7359906B1 JP 7359906 B1 JP7359906 B1 JP 7359906B1 JP 2022098530 A JP2022098530 A JP 2022098530A JP 2022098530 A JP2022098530 A JP 2022098530A JP 7359906 B1 JP7359906 B1 JP 7359906B1
Authority
JP
Japan
Prior art keywords
measurement
sensor
captured image
reference image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022098530A
Other languages
Japanese (ja)
Other versions
JP2024000022A (en
Inventor
順吏 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DMG Mori Co Ltd
Original Assignee
DMG Mori Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DMG Mori Co Ltd filed Critical DMG Mori Co Ltd
Priority to JP2022098530A priority Critical patent/JP7359906B1/en
Application granted granted Critical
Publication of JP7359906B1 publication Critical patent/JP7359906B1/en
Publication of JP2024000022A publication Critical patent/JP2024000022A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】測定対象の測定箇所と測定データとを容易に対応づけられるようにする。【解決手段】情報処理装置は、測定対象と接触式のセンサとを含む撮像画像を取得する画像取得部と、センサが測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する参照画像格納部と、取得された撮像画像と参照画像との一致を判定する判定部と、を備える。この情報処理装置は、一致が判定されたときにセンサにより測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象の測定箇所と対応づける。【選択図】図3An object of the present invention is to easily associate measurement points of a measurement target with measurement data. [Solution] An information processing device includes an image acquisition unit that acquires a captured image including a measurement target and a contact type sensor, and stores a reference image captured in advance at the time of measurement when the sensor is in contact with the measurement target. and a determination unit that determines whether the acquired captured image and the reference image match. This information processing device associates measurement data measured by the sensor when a match is determined with a measurement point of the measurement object corresponding to a captured image acquired when a match is determined. [Selection diagram] Figure 3

Description

本発明は、接触式センサを用いた測定技術に関する。 The present invention relates to a measurement technique using a contact sensor.

リニアゲージなどの接触式センサにより測定対象の寸法を測定する技術が知られている。リニアゲージの接触子を測定対象の表面に当接させることで、接触子と一体のスケールが変位する。このスケールの変位を内蔵の磁気センサにより検出することで、その表面の位置を検出でき、測定対象の寸法を算出できる(特許文献1)。 2. Description of the Related Art Techniques for measuring the dimensions of a measurement object using a contact sensor such as a linear gauge are known. By bringing the contact of the linear gauge into contact with the surface of the object to be measured, the scale integrated with the contact is displaced. By detecting the displacement of this scale with a built-in magnetic sensor, the position of its surface can be detected, and the dimensions of the object to be measured can be calculated (Patent Document 1).

このようなセンサからデータを取得する際、センサにより測定対象のどの部分を測定した情報なのかを特定する必要がある。そこで従来、センサ専用のアプリケーションを利用してその対応関係を取得したり、測定とデータの取り込みとのタイミングとを自動化するプログラムを別途作成するなどの方法がとられていた。 When acquiring data from such a sensor, it is necessary to specify which part of the object to be measured is the information measured by the sensor. Conventionally, methods such as using a sensor-specific application to obtain the correspondence relationship or creating a separate program to automate the timing of measurement and data acquisition have been taken.

特開2011-53046号公報Japanese Patent Application Publication No. 2011-53046

しかしながら、センサ専用のアプリケーションを採用する場合、そのセンサを含む測定器以外の機器と連携させることは容易でない。また、自動化プログラムの作成は難易度が高く、測定工程などの環境が変わるたびにプログラムを更新する必要がある。いずれにしても汎用性の面で問題があった。 However, when adopting a sensor-specific application, it is not easy to link it with equipment other than the measuring instrument including the sensor. Furthermore, it is difficult to create an automation program, and it is necessary to update the program every time the environment such as the measurement process changes. In any case, there was a problem in terms of versatility.

本発明のある態様は情報処理装置である。この情報処理装置は、測定対象と接触式のセンサとを含む撮像画像を取得する画像取得部と、センサが測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する参照画像格納部と、取得された撮像画像と参照画像との一致を判定する判定部と、を備える。この情報処理装置は、一致が判定されたときにセンサにより測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象の測定箇所と対応づける。 An embodiment of the present invention is an information processing device. This information processing device includes an image acquisition unit that acquires a captured image including a measurement target and a contact type sensor, and a reference image that stores a reference image captured in advance during measurement when the sensor is in contact with the measurement target. It includes a storage section and a determination section that determines whether the acquired captured image and the reference image match. This information processing device associates measurement data measured by the sensor when a match is determined with a measurement point of the measurement object corresponding to a captured image acquired when a match is determined.

本発明のある態様は測定装置である。この測定装置は、測定対象を撮像する撮像部と、測定対象を測定するための接触式のセンサと、測定対象の測定データを処理する情報処理部と、を備える。この情報処理部は、測定対象とセンサとを含む撮像画像を取得する画像取得部と、センサが測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する参照画像格納部と、取得された撮像画像と参照画像との一致を判定する判定部と、を含む。この情報処理部は、一致が判定されたときにセンサにより測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象の測定箇所と対応づける。 An embodiment of the present invention is a measuring device. This measuring device includes an imaging section that captures an image of the measurement object, a contact type sensor that measures the measurement object, and an information processing section that processes measurement data of the measurement object. The information processing unit includes an image acquisition unit that acquires a captured image including the measurement target and the sensor, and a reference image storage unit that stores a reference image captured in advance during measurement when the sensor is in contact with the measurement target. , and a determination unit that determines whether the acquired captured image and the reference image match. The information processing unit associates the measurement data measured by the sensor when a match is determined with a measurement location of the measurement object corresponding to the captured image acquired when a match is determined.

本発明のある態様は測定方法である。この測定方法は、接触式のセンサが測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する工程と、測定対象とセンサとを含む撮像画像を取得する工程と、取得された撮像画像と参照画像との一致を判定する工程と、を含む。一致が判定されたときにセンサにより測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象の測定箇所と対応づける。 An embodiment of the present invention is a measurement method. This measurement method consists of a step of storing a reference image taken in advance during measurement when a contact type sensor is in contact with a measurement target, a step of acquiring a captured image including the measurement target and the sensor, and a step of acquiring a captured image including the measurement target and the sensor. and determining whether the captured image matches the reference image. The measurement data measured by the sensor when a match is determined is associated with the measurement point of the measurement object corresponding to the captured image acquired when the match is determined.

本発明によれば、測定対象とセンサとを含む撮像画像に基づき、測定対象の測定箇所と測定データとを容易に対応づけることができる。 According to the present invention, it is possible to easily associate a measurement point of a measurement object with measurement data based on a captured image including the measurement object and a sensor.

実施形態に係る測定システムを模式的に表す平面図である。FIG. 1 is a plan view schematically showing a measurement system according to an embodiment. 測定装置の主要部の構成を模式的に表す斜視図である。FIG. 2 is a perspective view schematically showing the configuration of the main parts of the measuring device. センサの構成を表す断面図である。FIG. 2 is a cross-sectional view showing the configuration of a sensor. 情報処理装置の機能ブロック図である。FIG. 2 is a functional block diagram of an information processing device. 撮像部の撮像画像の例を示す。An example of an image captured by the imaging unit is shown. 情報処理装置による測定処理を表すフローチャートである。It is a flow chart showing measurement processing by an information processing device. 変形例1にかかる測定対象の測定方法を表す図である。7 is a diagram illustrating a method for measuring a measurement target according to Modification 1. FIG. 変形例2にかかる測定対象の測定方法を表す図である。FIG. 7 is a diagram illustrating a method for measuring a measurement target according to a second modification. 変形例3にかかる測定時の処理を表す図である。FIG. 7 is a diagram showing processing at the time of measurement according to modification example 3;

以下、図面を参照しつつ、本発明の一実施形態について説明する。
図1は、実施形態に係る測定システムを模式的に表す平面図である。
測定システム1は、所定の軌道に沿って順次搬送される測定対象Wの寸法を測定するシステムである。測定システム1は、測定対象Wを搬送する搬送装置2と、測定対象Wが予め定める測定領域Rに位置したときにその測定対象Wの寸法を測定する測定装置4と、搬送装置2および測定装置4を制御する制御装置6を備える。
Hereinafter, one embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a plan view schematically showing a measurement system according to an embodiment.
The measurement system 1 is a system that measures the dimensions of a measurement object W that is sequentially conveyed along a predetermined trajectory. The measurement system 1 includes a transport device 2 that transports a measurement object W, a measurement device 4 that measures the dimensions of the measurement object W when the measurement object W is located in a predetermined measurement region R, and the transport device 2 and the measurement device. 4 is provided.

搬送装置2は、本実施形態ではベルトコンベアである。測定装置4は、測定対象Wを撮像する撮像部7と、測定対象Wの各表面の位置を検出するセンサ8と、撮像部7の撮像画像およびセンサ8の検出情報を処理して測定対象Wの寸法を算出する情報処理装置10を含む。センサ8は接触式センサであり、本実施形態ではリニアゲージである(詳細後述)。制御装置6は、搬送装置2を駆動制御する搬送制御部12と、センサ8を駆動制御するセンサ駆動部14を含む。 The conveyance device 2 is a belt conveyor in this embodiment. The measuring device 4 includes an imaging unit 7 that images the measurement target W, a sensor 8 that detects the position of each surface of the measurement target W, and processes the captured image of the imaging unit 7 and the detection information of the sensor 8 to obtain the measurement target W. includes an information processing device 10 that calculates the dimensions of. The sensor 8 is a contact type sensor, and in this embodiment is a linear gauge (details will be described later). The control device 6 includes a transport control section 12 that drives and controls the transport device 2, and a sensor drive section 14 that drives and controls the sensor 8.

図2は、測定装置4の主要部の構成を模式的に表す斜視図である。
搬送装置2の搬送経路に沿った所定位置に測定領域Rが設定されている。センサ8は、測定領域Rの上方で任意に移動可能に設けられている。すなわち、センサ8は、ベルトコンベアによる搬送方向(X方向)、搬送方向と垂直な奥行方向(Y方向)および上下方向(Z方向)に移動可能であり、センサ駆動部14がその移動を制御する。なお、図2ではベルトコンベアが左方向に駆動される例が示されているが、右方向に駆動されてもよい。
FIG. 2 is a perspective view schematically showing the configuration of the main parts of the measuring device 4. As shown in FIG.
A measurement area R is set at a predetermined position along the transport path of the transport device 2. The sensor 8 is provided above the measurement region R so as to be movable arbitrarily. That is, the sensor 8 is movable in the conveyance direction (X direction) by the belt conveyor, the depth direction (Y direction) perpendicular to the conveyance direction, and the vertical direction (Z direction), and the sensor drive unit 14 controls the movement. . Although FIG. 2 shows an example in which the belt conveyor is driven to the left, it may also be driven to the right.

測定対象Wが測定領域Rに到達すると、センサ8が下降してその先端(つまり接触子)が測定対象Wの表面に当接する。この接触子が当接したときに出力されるセンサ信号に基づいて測定対象Wの面の位置が検出される。撮像部7はカメラであり、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge-Coupled Device)などのイメージセンサ(撮像素子)を備える。このカメラは約100万画素(1224×1024)の解像度を有し、1秒間に最大60枚の撮像画像を取得可能である。 When the measurement target W reaches the measurement region R, the sensor 8 descends and its tip (that is, a contact) comes into contact with the surface of the measurement target W. The position of the surface of the object W to be measured is detected based on the sensor signal output when this contact comes into contact. The imaging unit 7 is a camera, and includes an image sensor (imaging element) such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device). This camera has a resolution of about 1 million pixels (1224 x 1024) and can capture up to 60 images per second.

撮像部7は、測定対象Wとセンサ8とを含む画像を撮像する。情報処理装置10は、センサ8による測定時に撮像された撮像画像に基づき、測定対象Wの測定箇所を特定できる。すなわち、その測定箇所の位置(図2の例では高さ)を算出できる。この測定方法の詳細については後述する。 The imaging unit 7 captures an image including the measurement target W and the sensor 8. The information processing device 10 can identify the measurement location of the measurement target W based on the captured image captured during measurement by the sensor 8 . That is, the position (height in the example of FIG. 2) of the measurement point can be calculated. Details of this measurement method will be described later.

図3は、センサ8の構成を表す断面図である。
センサ8は、円筒状の本体20と、本体20に支持されるスピンドル22と、スピンドル22の先端に設けられた接触子24と、スピンドル22の後端部に設けられたスケール26と、スケール26の位置を検出する磁気センサ28を備える。本体20の先端側にはボールスプライン軸受構造30が設けられ、スピンドル22を本体20の軸線方向に摺動可能に支持している。
FIG. 3 is a cross-sectional view showing the configuration of the sensor 8. As shown in FIG.
The sensor 8 includes a cylindrical main body 20, a spindle 22 supported by the main body 20, a contact 24 provided at the tip of the spindle 22, a scale 26 provided at the rear end of the spindle 22, and a scale 26. It is equipped with a magnetic sensor 28 that detects the position of. A ball spline bearing structure 30 is provided on the distal end side of the main body 20, and supports the spindle 22 so as to be slidable in the axial direction of the main body 20.

本体20は、外筒32、シリンダハウジング34およびカバーケース36を軸線方向に組み付けて構成される。外筒32にボールスプライン軸受構造30が設けられている。ボールスプライン軸受構造30は、スピンドル22の外周面に設けられたスプライン溝33と、外筒32とスプライン溝33との間に配置される複数のボール35と、これらのボール35を回動自在に保持しながらスピンドル22の軸線方向に移動するリテーナ37を有する。 The main body 20 is constructed by assembling an outer cylinder 32, a cylinder housing 34, and a cover case 36 in the axial direction. A ball spline bearing structure 30 is provided in the outer cylinder 32. The ball spline bearing structure 30 includes a spline groove 33 provided on the outer peripheral surface of the spindle 22, a plurality of balls 35 disposed between the outer cylinder 32 and the spline groove 33, and a rotatable structure for rotating these balls 35. It has a retainer 37 that moves in the axial direction of the spindle 22 while holding it.

外筒32の先端開口部には、円筒状のパッキン38が設けられている。スピンドル22は、パッキン38を貫通し、本体20から進出又は退避する方向へ駆動される。それにより、センサ8が軸線方向に伸縮するように構成される。 A cylindrical packing 38 is provided at the tip opening of the outer cylinder 32. The spindle 22 passes through the packing 38 and is driven in the direction of advancing or retracting from the main body 20. Thereby, the sensor 8 is configured to expand and contract in the axial direction.

シリンダハウジング34の内方には、スピンドル22を軸線方向に駆動するためのエアシリンダ機構40が設けられている。接触子24は本体20から露出し、スピンドル22が駆動されることで測定対象Wの面に着脱する。スケール26は、接触子24と連動して本体20の内部を軸線方向に変位する。スケール26には、位置検出用のパターン(着磁パターン)が形成されている。本体20の内部には、スケール26のパターンと対向するように磁気センサ28が設けられている。 An air cylinder mechanism 40 for driving the spindle 22 in the axial direction is provided inside the cylinder housing 34. The contactor 24 is exposed from the main body 20, and is attached to and detached from the surface of the measurement target W by driving the spindle 22. The scale 26 moves in the axial direction inside the main body 20 in conjunction with the contactor 24 . A position detection pattern (magnetization pattern) is formed on the scale 26 . A magnetic sensor 28 is provided inside the main body 20 so as to face the pattern of the scale 26 .

このような構成により、スピンドル22が変位したときに、磁気センサ28がスケール26のパターンを位置情報として読み取る。磁気センサ28は、フレキシブルプリント基板44およびコネクタ46を介して信号ケーブル48に接続されている。センサ8の検出信号は、信号ケーブル48を介して情報処理装置10へ出力される。本実施形態ではこのように磁気式のセンサを用いているが、光学式又は静電式のセンサを用いてもよい。 With this configuration, when the spindle 22 is displaced, the magnetic sensor 28 reads the pattern of the scale 26 as position information. The magnetic sensor 28 is connected to a signal cable 48 via a flexible printed circuit board 44 and a connector 46. The detection signal of the sensor 8 is output to the information processing device 10 via the signal cable 48. In this embodiment, a magnetic sensor is used in this way, but an optical or electrostatic sensor may also be used.

図4は、情報処理装置10の機能ブロック図である。
情報処理装置10の各構成要素は、CPU(Central Processing Unit)および各種補助プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
FIG. 4 is a functional block diagram of the information processing device 10.
Each component of the information processing device 10 includes hardware including arithmetic units such as a CPU (Central Processing Unit) and various auxiliary processors, storage devices such as memory and storage, wired or wireless communication lines connecting them, and storage devices. It is realized by software that is stored in the computer and supplies processing instructions to the arithmetic unit. A computer program may be composed of a device driver, an operating system, various application programs located in an upper layer thereof, and a library that provides common functions to these programs. Each block described below indicates a functional unit block rather than a hardware unit configuration.

なお、制御装置6(図1参照)の各構成要素も、プロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され演算器に処理命令を供給するソフトウェアにより実現されてもよい。情報処理装置10は、本実施形態では制御装置6と別個の装置として構成されるが、制御装置6と一体の装置として構成されてもよい。 Note that each component of the control device 6 (see FIG. 1) includes hardware including arithmetic units such as a processor, storage devices such as memory and storage, and wired or wireless communication lines that connect them, and is stored in the storage device. It may also be realized by software that supplies processing instructions to the arithmetic unit. Although the information processing device 10 is configured as a device separate from the control device 6 in this embodiment, it may be configured as a device integrated with the control device 6.

情報処理装置10は、入出力インタフェース部110、データ処理部112およびデータ格納部114を含む。入出力インタフェース部110は、外部装置又は外部機器とのデータのやりとりを含む入出力インタフェースに関する処理を担当する。データ処理部112は、入出力インタフェース部110により取得されたデータおよびデータ格納部114に格納されているデータに基づいて各種処理を実行する。データ処理部112は、入出力インタフェース部110およびデータ格納部114のインタフェースとしても機能する。データ格納部114は、各種プログラムと設定データを格納する。 Information processing device 10 includes an input/output interface section 110, a data processing section 112, and a data storage section 114. The input/output interface unit 110 is in charge of processing related to input/output interfaces including exchanging data with external devices or devices. The data processing unit 112 executes various processes based on the data acquired by the input/output interface unit 110 and the data stored in the data storage unit 114. The data processing section 112 also functions as an interface for the input/output interface section 110 and the data storage section 114. The data storage unit 114 stores various programs and setting data.

入出力インタフェース部110は、入力部120および出力部122を含む。入力部120は、画像取得部124および測定データ取得部126を含む。画像取得部124は、撮像部7が撮像した撮像画像を取得する。測定データ取得部126は、センサ8により測定された測定データを取得する。出力部122は表示部128を含む。表示部128は、ユーザインタフェースとして各種画像を表示する。 The input/output interface section 110 includes an input section 120 and an output section 122. The input section 120 includes an image acquisition section 124 and a measurement data acquisition section 126. The image acquisition unit 124 acquires a captured image captured by the imaging unit 7. The measurement data acquisition unit 126 acquires measurement data measured by the sensor 8. The output section 122 includes a display section 128. The display unit 128 displays various images as a user interface.

データ格納部114は、参照画像格納部140および測定データ格納部142を含む。参照画像格納部140は、センサ8の測定時、つまり接触子24が測定対象Wに接触しているときに合わせて予め撮像された参照画像を記憶する。この参照画像は、センサ8の測定時に取得された撮像画像であることと、測定箇所が測定対象Wのどの部分であるかを判定するための画像であり、測定対象Wに設定された測定箇所の数だけ存在する。測定箇所を示す測定IDに対応づけるように各参照画像が記憶される。測定データ格納部142は、測定がなされるごとにその測定データを測定IDに対応づけて記憶する。データ格納部114は、データ処理部112が演算処理を行う場合のワーキングエリアとして機能するメモリを含む。 The data storage section 114 includes a reference image storage section 140 and a measurement data storage section 142. The reference image storage unit 140 stores a reference image captured in advance at the time of measurement by the sensor 8, that is, when the contactor 24 is in contact with the measurement target W. This reference image is a captured image acquired during measurement by the sensor 8, and is an image for determining which part of the measurement object W the measurement point is, and is an image for determining which part of the measurement object W the measurement point is set in the measurement object W. There are as many as Each reference image is stored so as to be associated with a measurement ID indicating a measurement location. The measurement data storage unit 142 stores measurement data in association with a measurement ID every time a measurement is performed. The data storage unit 114 includes a memory that functions as a working area when the data processing unit 112 performs arithmetic processing.

データ処理部112は、撮像処理部130、測定データ管理部132、判定部134、計時部136および報知部138を含む。撮像処理部130は、撮像部7を制御して測定対象Wとセンサ8とを含む画像を撮像させる。測定データ管理部132は、測定対象Wについて測定箇所を示す測定IDと参照画像とを対応づけて参照画像格納部140に登録する。また、測定データ管理部132は、測定データが取得されるごとにその測定データを測定IDに対応づけて測定データ格納部142に記憶させる。 The data processing section 112 includes an imaging processing section 130, a measurement data management section 132, a determination section 134, a clock section 136, and a notification section 138. The imaging processing unit 130 controls the imaging unit 7 to capture an image including the measurement target W and the sensor 8 . The measurement data management unit 132 associates a measurement ID indicating a measurement location of the measurement object W with a reference image and registers them in the reference image storage unit 140. Furthermore, each time measurement data is acquired, the measurement data management unit 132 associates the measurement data with a measurement ID and stores the measurement data in the measurement data storage unit 142.

なお、測定対象Wは加工後の製品でもよいし、加工途中の半製品でもよい。測定対象Wが複数種ある場合には、その種別ごとに参照画像が登録される。測定対象Wにおいて測定箇所が複数ある場合には、その測定箇所ごとに参照画像が登録される。 Note that the measurement target W may be a processed product or a semi-finished product in the middle of processing. If there are multiple types of measurement targets W, a reference image is registered for each type. If there are a plurality of measurement points in the measurement target W, a reference image is registered for each measurement point.

判定部134は、取得された撮像画像と前記参照画像との一致を判定する。具体的には、判定部134は、順次取得される撮像画像を参照画像格納部140に登録された複数の参照画像のそれぞれと照合し、その一致性(類似性)を判定する。撮像画像と参照画像との類似度が予め定める判定基準内にあれば両者が一致していると判定する。この一致性の判定は、画像のピクセル単位で行われてもよい。あるいは、各画像について輪郭や特徴的形状を抽出し、それらの一致性を判定してもよい。 The determination unit 134 determines whether the acquired captured image and the reference image match. Specifically, the determination unit 134 compares the sequentially acquired captured images with each of the plurality of reference images registered in the reference image storage unit 140, and determines their coincidence (similarity). If the degree of similarity between the captured image and the reference image falls within predetermined criteria, it is determined that they match. This matching determination may be performed pixel by pixel of the image. Alternatively, contours and characteristic shapes may be extracted from each image and their consistency may be determined.

測定データ管理部132は、撮像画像と参照画像との一致が判定されたときにセンサ8により測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象Wの測定箇所と対応づける。すなわち、該当する測定箇所を示す測定IDと、その測定データとを対応づけて測定データ格納部142に記憶させる。それにより、センサ8による測定結果が保存される。判定部134は、画像の一致を判定するだけであり、その判定結果にセンサ8による測定結果(測定値)が含まれるわけではない。その画像の一致が判定されたときに、判定結果に基づく測定対象Wの測定箇所と、センサ8による測定結果とを対応づけることで、結果的に測定がなされたことになるのである。 The measurement data management unit 132 stores the measurement data measured by the sensor 8 when it is determined that the captured image and the reference image match, of the measurement target W that corresponds to the captured image that was acquired when it was determined that they match. Correlate with the measurement location. That is, the measurement ID indicating the relevant measurement location and the measurement data are associated and stored in the measurement data storage unit 142. Thereby, the measurement results by the sensor 8 are saved. The determining unit 134 only determines whether the images match, and the determination result does not include the measurement results (measured values) by the sensor 8. When it is determined that the images match, the measurement location on the measurement object W based on the determination result is associated with the measurement result by the sensor 8, and as a result, the measurement has been performed.

計時部136は、測定処理のための所定の時間を計時するタイマを駆動する。報知部138は、撮像画像が取得されてから設定時間内に撮像画像と参照画像との一致が判定されなかった場合に所定の報知処理を実行する。報知部138は、測定対象Wの加工精度が基準値を下回る等の加工不備やセンサ8の作動不良などを測定エラーとして表示部128に表示させる。報知部138は、測定エラーを音声などにより報知してもよい。 The clock unit 136 drives a timer that clocks a predetermined time for measurement processing. The notification unit 138 executes a predetermined notification process when a match between the captured image and the reference image is not determined within a set time after the captured image is acquired. The notification unit 138 causes the display unit 128 to display a processing defect such as the processing accuracy of the measurement object W being lower than a reference value, a malfunction of the sensor 8, etc. as a measurement error. The notification unit 138 may notify the measurement error by voice or the like.

次に、測定対象Wの測定方法について詳細に説明する。
図5は、撮像部7の撮像画像の例を示す。この例では測定対象Wが段差形状を有し、低位置にある第1面F1と、高位置にある第2面F2が測定箇所として設定されている。第1面F1が「第1測定箇所」に該当し、第2面F2が「第2測定箇所」に該当する。図5(A)は第1面F1の測定時の撮像画像(第1撮像画像)を示し、図5(B)は第2面F2の測定時の撮像画像(第2撮像画像)を示す。
Next, a method for measuring the measurement target W will be described in detail.
FIG. 5 shows an example of an image captured by the imaging unit 7. In this example, the measurement target W has a stepped shape, and a first surface F1 at a low position and a second surface F2 at a high position are set as measurement points. The first surface F1 corresponds to the "first measurement point", and the second surface F2 corresponds to the "second measurement point". FIG. 5(A) shows a captured image (first captured image) when measuring the first surface F1, and FIG. 5(B) shows a captured image (second captured image) when measuring the second surface F2.

測定対象Wの測定にあたり、搬送制御部12による測定対象Wの搬送制御と、センサ駆動部14によるセンサ8の駆動制御とが連携する。センサ駆動部14(図1参照)は、測定領域Rの上方にセンサ8を待機させる。搬送制御部12は、測定対象Wが測定領域Rの所定位置に到達すると、搬送装置2のベルトコンベアを一旦停止する。このとき、測定対象Wの第1面F1がセンサ8の直下に位置する。撮像部7は、このときその画角に測定対象Wとセンサ8とが含まれるようにワーキングディスタンスが予め設定されている。 In measuring the measurement target W, the transport control of the measurement target W by the transport control unit 12 and the drive control of the sensor 8 by the sensor drive unit 14 cooperate. The sensor drive unit 14 (see FIG. 1) causes the sensor 8 to stand by above the measurement region R. When the measurement target W reaches a predetermined position in the measurement area R, the conveyance control unit 12 temporarily stops the belt conveyor of the conveyance device 2. At this time, the first surface F1 of the measurement target W is located directly below the sensor 8. The working distance of the imaging unit 7 is set in advance so that the measurement target W and the sensor 8 are included in the angle of view at this time.

そして、センサ駆動部14がセンサ8を待機位置から下降させ、接触子24が第1面F1に当接したとき、つまりセンサ8の検出信号が出力されたときにその下降を停止させる。図5(A)の例では、センサ8はほぼ最大に伸び切った状態を保持している。撮像部7は、少なくとも接触子24が第1面F1に当接する前後を含む設定時間において連続的な撮像(第1撮像による連写)を実行する。 Then, the sensor drive unit 14 lowers the sensor 8 from the standby position, and stops the lowering when the contactor 24 contacts the first surface F1, that is, when the detection signal of the sensor 8 is output. In the example shown in FIG. 5(A), the sensor 8 maintains a substantially fully extended state. The imaging unit 7 performs continuous imaging (continuous imaging by first imaging) during a set time including at least before and after the contact 24 contacts the first surface F1.

この設定時間は、測定対象Wの加工精度が許容範囲である場合に各測定箇所と接触子24とが接触するタイミングを予め実験や解析により取得し、そのタイミングに対して前後に所定の余裕をもたせたものとしてもよい。例えば参照画像の取得の際に必要十分と認められた時間を設定時間として設定してもよい。 This set time is determined by determining the timing at which each measurement point contacts the contactor 24 in advance when the machining accuracy of the measurement target W is within the allowable range, through experiments and analysis, and by setting a predetermined margin before and after that timing. It may also be made to last. For example, a time that is deemed necessary and sufficient when acquiring a reference image may be set as the set time.

判定部134は、このとき取得される複数の撮像画像と、いずれかの参照画像との一致を判定する。第1面F1の加工精度が許容範囲にあるとき、その複数の撮像画像のいずれかと、第1面F1の測定に対応する参照画像(第1参照画像)とが一致することとなる。この一致が判定されたときの測定データが第1面F1の高さ位置を示すものとして記憶される。なお、第1面F1の高さ位置は、センサ8の三次元座標(Z座標)と、センサ8の磁気センサ28が検出するスケール26の変位量に基づいて算出できる。 The determining unit 134 determines whether the plurality of captured images acquired at this time match any of the reference images. When the processing accuracy of the first surface F1 is within the allowable range, one of the plurality of captured images matches the reference image (first reference image) corresponding to the measurement of the first surface F1. Measured data when this coincidence is determined is stored as indicating the height position of the first surface F1. Note that the height position of the first surface F1 can be calculated based on the three-dimensional coordinate (Z coordinate) of the sensor 8 and the amount of displacement of the scale 26 detected by the magnetic sensor 28 of the sensor 8.

続いて、センサ駆動部14がセンサ8を待機位置へ上昇させる。搬送制御部12はベルトコンベアを所定量駆動する。このとき、測定対象Wの第2面F2がセンサ8の直下に位置する。そして、センサ駆動部14が再びセンサ8を下降させ、接触子24が第2面F2に当接した後にセンサ8の下降を停止させる。 Subsequently, the sensor drive unit 14 raises the sensor 8 to the standby position. The conveyance control unit 12 drives the belt conveyor by a predetermined amount. At this time, the second surface F2 of the measurement object W is located directly below the sensor 8. Then, the sensor drive unit 14 lowers the sensor 8 again, and stops the lowering of the sensor 8 after the contactor 24 contacts the second surface F2.

図5(B)の例では、第1面F1の測定時と同じ位置までセンサ8を下降させている。一方、第2面F2が第1面F1よりも高位置にあるため、センサ8が所定長さ縮んだ状態となっている。撮像部7は、少なくとも接触子24が第2面F2に当接する前後を含む設定時間において連続的な撮像(第2撮像による連写)を実行する。この設定時間はセンサ8が縮みうる時間を含むものとする。本実施形態ではこの設定時間を第1面F1の測定の場合と同様とするが、変形例においては異ならせてもよい。 In the example of FIG. 5(B), the sensor 8 is lowered to the same position as when measuring the first surface F1. On the other hand, since the second surface F2 is located at a higher position than the first surface F1, the sensor 8 is in a contracted state by a predetermined length. The imaging unit 7 performs continuous imaging (continuous imaging by second imaging) during a set time including at least before and after the contact 24 contacts the second surface F2. It is assumed that this set time includes the time during which the sensor 8 can shrink. In this embodiment, this setting time is the same as in the case of measuring the first surface F1, but it may be different in a modified example.

判定部134は、このとき取得される複数の撮像画像と、いずれかの参照画像との一致を判定する。第2面F2の加工精度が許容範囲にあるとき、その複数の撮像画像のいずれかと、第2面F2の測定に対応する参照画像(第2参照画像)とが一致することとなる。この一致が判定されたときの測定データが第2面F2の高さ位置を示すものとして記憶される。なお、第2面F2の高さ位置は、センサ8の三次元座標(Z座標)と、センサ8の磁気センサ28が検出するスケール26の変位量に基づいて算出できる。 The determining unit 134 determines whether the plurality of captured images acquired at this time match any of the reference images. When the processing accuracy of the second surface F2 is within the allowable range, one of the plurality of captured images matches the reference image (second reference image) corresponding to the measurement of the second surface F2. Measured data obtained when this coincidence is determined is stored as indicating the height position of the second surface F2. Note that the height position of the second surface F2 can be calculated based on the three-dimensional coordinate (Z coordinate) of the sensor 8 and the amount of displacement of the scale 26 detected by the magnetic sensor 28 of the sensor 8.

なお、変形例においては、第2面F2の測定時におけるセンサ8の下降位置を、第1面F1の測定時の場合と異ならせてもよい。測定対象Wの種別によっては、測定箇所の数が1つの場合、あるいは3つ以上の場合もあり得る。その測定箇所の数や位置に応じて参照画像が用意され、センサ8の駆動および撮像部7の撮像が制御される。 In addition, in a modification, the lowering position of the sensor 8 when measuring the second surface F2 may be different from that when measuring the first surface F1. Depending on the type of measurement target W, the number of measurement points may be one or three or more. A reference image is prepared according to the number and position of the measurement points, and the driving of the sensor 8 and the imaging of the imaging section 7 are controlled.

図6は、情報処理装置10による測定処理を表すフローチャートである。
本処理は、測定対象Wが測定領域Rに到達し、搬送制御部12およびセンサ駆動部14が測定のための動作を開始したことを契機に実行される。
FIG. 6 is a flowchart showing measurement processing by the information processing device 10.
This process is executed when the measurement target W reaches the measurement region R and the transport control unit 12 and the sensor drive unit 14 start operations for measurement.

計時部136が図示しないタイマをクリアして計時を開始する(S10)。画像取得部124は、撮像部7にて撮像された撮像画像を順次取得する。判定部134は、第1撮像画像が第1参照画像と一致したと判定すると(S12のY)、その一致に取得された測定データ(第1測定データ)を測定IDに対応づけて保存する(S14)。また、第2撮像画像が第2参照画像と一致したと判定すると(S16のY)、その一致に取得された測定データ(第2測定データ)を測定IDに対応づけて保存する(S18)。 The clock section 136 clears a timer (not shown) and starts clocking (S10). The image acquisition unit 124 sequentially acquires images captured by the imaging unit 7. When the determination unit 134 determines that the first captured image matches the first reference image (Y in S12), the determination unit 134 stores the measurement data (first measurement data) acquired for the coincidence in association with the measurement ID ( S14). Further, if it is determined that the second captured image matches the second reference image (Y in S16), the measurement data (second measurement data) acquired for the match is stored in association with the measurement ID (S18).

そして、予め設定したデータ取得時間が経過したとき(S20のY)、その測定対象Wについて各測定箇所の測定が完了していれば(S22のY)、次の測定対象Wの測定に移行するためにS10へ戻る。その測定対象Wについて各測定箇所の測定が完了していなければ(S22のN)、報知部138が測定エラーを報知する(S24)。すなわち、正常な測定がなされたかったか、又は測定対象Wの加工寸法が設計値から大きくずれていることを示すアラート画像を表示部128に表示させる。なお、「データ取得時間」については、測定対象Wの測定箇所の数に応じて必要十分な時間が予め設定される。 Then, when the preset data acquisition time has elapsed (Y in S20), if the measurement of each measurement point for that measurement target W has been completed (Y in S22), the process moves to the measurement of the next measurement target W. Therefore, the process returns to S10. If the measurement of each measurement point for the measurement target W is not completed (N in S22), the notification unit 138 reports a measurement error (S24). That is, the display unit 128 displays an alert image indicating that normal measurement was desired or that the processing dimensions of the measurement object W deviate greatly from the design values. Note that the "data acquisition time" is set in advance to a necessary and sufficient time according to the number of measurement points on the measurement target W.

以上に説明したように、本実施形態では、接触式のセンサ8を測定対象Wに接触させて測定データを得るところ、センサ8と測定対象Wを含む撮像画像に基づいて測定箇所と測定データとを対応づけることができる。すなわち、測定箇所については撮像画像から特定し、測定結果はセンサ出力から得る。このため、測定箇所を容易に特定できるとともに、正確な測定データを得ることができる。撮像画像は測定箇所を特定できれば足りるため、撮像画像に基づいて計測する手法よりも画像解像度を低く抑えることができ、撮像部(カメラ)のコストを低減することもできる。 As explained above, in this embodiment, the contact type sensor 8 is brought into contact with the measurement target W to obtain measurement data, and the measurement location and measurement data are determined based on the captured image including the sensor 8 and the measurement target W. can be matched. That is, the measurement location is identified from the captured image, and the measurement result is obtained from the sensor output. Therefore, the measurement location can be easily identified and accurate measurement data can be obtained. Since the captured image is sufficient as long as it can specify the measurement location, the image resolution can be kept lower than in the method of measuring based on the captured image, and the cost of the imaging unit (camera) can also be reduced.

撮像画像と参照画像との一致を判定すれば足りるため、専用のアプリケーションを必ずしも要しない。撮像画像と参照画像との一致をトリガとして測定データの取り込む手法を採用するため、測定環境が変わったとしても参照画像を更新すれば足り、プログラムそのものを更新する必要もない。このため、測定装置4としての汎用性が高い。 Since it is sufficient to determine whether the captured image and the reference image match, a dedicated application is not necessarily required. Since a method is adopted in which measurement data is captured using the match between the captured image and the reference image as a trigger, even if the measurement environment changes, it is sufficient to update the reference image, and there is no need to update the program itself. Therefore, the measuring device 4 has high versatility.

[変形例]
図7は、変形例1にかかる測定対象Wの測定方法を表す図である。
本変形例では、撮像画像と参照画像との比較を画像の全体ではなく一部で行う。すなわち、撮像画像P1における測定箇所ごとに比較対象とする特定部分P2を設定する。ただし、センサ8と測定対象Wとの当接部が含まれるように特定部分P2を設定する。
[Modified example]
FIG. 7 is a diagram illustrating a method for measuring the measurement target W according to the first modification.
In this modification, the comparison between the captured image and the reference image is performed not on the entire image but on a part of the image. That is, a specific portion P2 to be compared is set for each measurement location in the captured image P1. However, the specific portion P2 is set to include the contact portion between the sensor 8 and the measurement target W.

図7の例では、第1面F1の測定に関して特定部分P2が設定されている。判定部134は、撮像画像P1の特定部分P2と、参照画像における対応部分との一致を判定する。この一致が判定されたときの測定データが第1面F1の高さ位置を示すものとして記憶される。なお、第2面F2の測定についても同様である。 In the example of FIG. 7, a specific portion P2 is set for measurement of the first surface F1. The determining unit 134 determines whether the specific portion P2 of the captured image P1 matches the corresponding portion in the reference image. Measured data when this coincidence is determined is stored as indicating the height position of the first surface F1. Note that the same applies to the measurement of the second surface F2.

このように撮像画像の一部を判定対象とすることで、判定処理時間を短縮できる。また、判定対象とする画像部分を小さくすることで、測定対象Wの背景の影響がなくなるため、判定精度を向上させることも可能となる。 By using a portion of the captured image as a determination target in this way, the determination processing time can be shortened. In addition, by reducing the size of the image portion to be determined, the influence of the background of the measurement target W is eliminated, so that it is also possible to improve the determination accuracy.

図8は、変形例2にかかる測定対象Wの測定方法を表す図である。
本変形例では、測定装置204が、センサ8(第1センサ)およびセンサ208(第2センサ)を備える。センサ8はZ方向に駆動され、測定対象Wの上面(第1測定箇所)の位置を測定する。センサ208はY方向に駆動され、測定対象Wの側面(第2測定箇所)の位置を測定する。
FIG. 8 is a diagram illustrating a method for measuring the measurement target W according to the second modification.
In this modification, the measuring device 204 includes a sensor 8 (first sensor) and a sensor 208 (second sensor). The sensor 8 is driven in the Z direction and measures the position of the upper surface (first measurement location) of the measurement target W. The sensor 208 is driven in the Y direction and measures the position of the side surface (second measurement location) of the measurement target W.

図8の例では、センサ208による測定面が、撮像部7側からみて測定対象Wの背面となる。このため、測定時にセンサ208の接触子224が測定対象Wの背後に隠れ、撮像画像には接触子224と測定対象Wとの接触状態が表れない。そこで本変形例では、第1測定箇所の測定と第2測定箇所の測定との時間差を設定する。データ格納部114が時間差記憶部を含み、その時間差記憶部が時間差を予め記憶する。この「時間差」は、参照画像を取得する際に計測してもよい。 In the example of FIG. 8, the surface measured by the sensor 208 is the back surface of the measurement target W when viewed from the imaging unit 7 side. Therefore, the contact 224 of the sensor 208 is hidden behind the measurement target W during measurement, and the contact state between the contact 224 and the measurement target W does not appear in the captured image. Therefore, in this modification, a time difference is set between the measurement at the first measurement location and the measurement at the second measurement location. The data storage section 114 includes a time difference storage section, and the time difference storage section stores the time difference in advance. This "time difference" may be measured when acquiring the reference image.

すなわち、センサ8による測定がなされた所定時間後にセンサ208の測定がなされる。判定部134は、第1測定箇所の測定について撮像画像と参照画像との一致を判定する。測定データ管理部132は、撮像画像と参照画像との一致が判定されたときにセンサ8により測定された測定データを、一致が判定されたときに取得された撮像画像に対応する測定対象Wの測定箇所と対応づける。そして、測定データ管理部132は、その測定データが第1測定箇所と対応づけられた後、所定時間として上記時間差が経過したときにセンサ208により測定された測定データを、第2測定箇所と対応づける。 That is, the measurement by the sensor 208 is performed a predetermined time after the measurement by the sensor 8 is performed. The determination unit 134 determines whether the captured image and the reference image match the measurement at the first measurement location. The measurement data management unit 132 stores the measurement data measured by the sensor 8 when it is determined that the captured image and the reference image match, of the measurement target W that corresponds to the captured image that was acquired when it was determined that they match. Correlate with the measurement location. Then, after the measurement data is associated with the first measurement location, the measurement data management unit 132 associates the measurement data measured by the sensor 208 when the above-mentioned time difference has elapsed as a predetermined time with the second measurement location. Attach.

このように、センサと測定対象との当接状態が撮像画像に表れる場合にその撮像画像と参照画像との一致に基づいて測定データ(第1測定データ)を取得してもよい。そして、センサと測定対象との当接状態が撮像画像に表れない場合には、第1測定データの取得からの上記時間差の経過に応じて測定データ(第2測定データ)を取得してもよい。 In this way, when the contact state between the sensor and the object to be measured appears in the captured image, measurement data (first measurement data) may be acquired based on the match between the captured image and the reference image. If the contact state between the sensor and the measurement target does not appear in the captured image, measurement data (second measurement data) may be acquired in accordance with the elapse of the time difference from the acquisition of the first measurement data. .

図9は、変形例3にかかる測定時の処理を表す図である。
本変形例では、測定開始に先立ってセンサ8の故障有無を判定し、故障を判定したときにその旨を示すエラー報知を実行する。この判定処理をセンサ8の待機時に行う。
FIG. 9 is a diagram illustrating processing at the time of measurement according to Modification 3.
In this modification, it is determined whether or not there is a failure in the sensor 8 prior to the start of measurement, and when a failure is determined, an error notification indicating the fact is executed. This determination process is performed when the sensor 8 is on standby.

ここでは故障の一例として、スピンドル22(図3参照)の摺動部に異物が噛み込むなどして、センサ8が待機状態において縮んだ状態となる場合を想定する。このような場合、センサ8による正常な測定は期待できない。そこで本変形例では、このような故障の有無を撮像画像の一致性に基づいて判定する。 As an example of a failure, assume here that a foreign object gets caught in the sliding portion of the spindle 22 (see FIG. 3), causing the sensor 8 to contract in the standby state. In such a case, normal measurement by the sensor 8 cannot be expected. Therefore, in this modification, the presence or absence of such a failure is determined based on the consistency of captured images.

参照画像格納部140は、センサ8が正常であるときに判定基準となる第2参照画像を予め記憶する。この第2参照画像は、測定開始前の待機時に合わせて予め撮像されたものであり、図9(A)に示すように、センサ8が伸び切った状態となっている。 The reference image storage unit 140 stores in advance a second reference image that serves as a determination standard when the sensor 8 is normal. This second reference image is taken in advance during standby before the start of measurement, and as shown in FIG. 9(A), the sensor 8 is in a fully extended state.

判定部134は、センサ8の待機時に取得された撮像画像と第2参照画像との一致を判定する。報知部138は、撮像画像と第2参照画像との一致が判定されなかった場合に所定の報知処理を実行する。報知部138は、センサ8の故障を示すアラートを表示部128に表示させる。報知部138は、アラートを音声などにより報知してもよい。 The determining unit 134 determines whether the captured image acquired when the sensor 8 is on standby and the second reference image match. The notification unit 138 executes a predetermined notification process when it is not determined that the captured image and the second reference image match. The notification unit 138 causes the display unit 128 to display an alert indicating a failure of the sensor 8. The notification unit 138 may notify the alert by voice or the like.

[その他の変形例]
上記実施形態では、接触式のセンサ8としてリニアゲージを例示したが、タッチプローブその他のセンサを採用してもよい。タッチプローブの場合には、接触子につながる部分を伸縮させる機能はない。
[Other variations]
In the embodiment described above, a linear gauge is illustrated as the contact type sensor 8, but a touch probe or other sensor may be employed. In the case of a touch probe, there is no function to expand or contract the part connected to the contact.

上記実施形態では、搬送装置2としてベルトコンベアを例示したが、軌道上をレールに沿って移動する荷台等の移動体その他の搬送装置を採用してもよい。 In the above embodiment, a belt conveyor is illustrated as the conveyance device 2, but a moving body such as a loading platform that moves along a rail on a track or other conveyance device may be employed.

上記実施形態では述べなかったが、情報処理装置10は、センサ8の測定データに基づいて測定対象Wの寸法を算出してもよい。判定部134は、算出された寸法と設計寸法との誤差が予め定める判定基準値を超えた場合、測定対象Wを不良品と判定してもよい。そして、報知部138が不良品である旨を報知してもよい。 Although not described in the above embodiment, the information processing device 10 may calculate the dimensions of the measurement target W based on the measurement data of the sensor 8. The determination unit 134 may determine the measurement object W to be a defective product when the error between the calculated dimension and the design dimension exceeds a predetermined determination reference value. Then, the notification unit 138 may notify that the product is defective.

上記実施形態では、単一のセンサ8により測定対象Wの測定を行う構成を示したが、複数のセンサにより測定対象の複数の測定箇所を測定してもよい。複数のセンサによる測定を順次行ってもよいし、同時に行ってもよい。その場合、参照画像格納部は、複数のセンサによる測定時に合わせて予め撮像された参照画像を記憶する。判定部は、取得された撮像画像と参照画像との一致を判定する。 In the embodiment described above, a configuration is shown in which the measurement target W is measured using a single sensor 8, but a plurality of sensors may be used to measure a plurality of measurement points on the measurement target. Measurements by multiple sensors may be performed sequentially or simultaneously. In that case, the reference image storage unit stores reference images captured in advance at the time of measurement by a plurality of sensors. The determination unit determines whether the acquired captured image and the reference image match.

上記実施形態では述べなかったが、センサが測定対象に形成された穴の寸法を測定してもよい。その場合、センサの接触子が穴に挿入されることで撮像画像に表れなくなる可能性がある。その場合でも、センサが穴の面に接触している測定時に合わせて予め撮像された参照画像を記憶する。判定部は、取得された撮像画像と参照画像との一致を判定する。この場合、撮像画像および参照画像のいずれにも接触子は表れないが、画像どうしの一致を判定することはできる。測定時に撮像した参照画像を予め記憶しておき、撮像画像をこれと比較する手法をとることで、センサと測定対象との当接状態が画像に表れるか否かは問題ではなくなる。 Although not described in the above embodiment, the sensor may measure the size of a hole formed in the measurement target. In that case, there is a possibility that the contact of the sensor will not appear in the captured image due to being inserted into the hole. Even in that case, a reference image captured in advance at the time of measurement when the sensor is in contact with the surface of the hole is stored. The determination unit determines whether the acquired captured image and the reference image match. In this case, although the contact does not appear in either the captured image or the reference image, it is possible to determine whether the images match each other. By storing a reference image captured during measurement in advance and comparing the captured image with this, it does not matter whether the contact state between the sensor and the object to be measured appears in the image or not.

上記実施形態では、「センサの測定時」をセンサ8と測定対象Wとの接触時としたが、上記実施形態のようにセンサ8が伸縮するタイプである場合、センサ8が測定対象Wに接触した瞬間としてもよいし、接触から所定時間(センサが縮む時間)後としてもよい。接触から所定時間後とする場合、撮像時は接触時としてもよい。 In the above embodiment, the "measurement time of the sensor" is defined as the time when the sensor 8 comes into contact with the measurement target W. However, if the sensor 8 is of the expandable type as in the above embodiment, the sensor 8 comes into contact with the measurement target W. It may be done at the moment of contact, or it may be set after a predetermined time (time for the sensor to shrink) after contact. If a predetermined period of time has elapsed after contact, the imaging time may be taken at the time of contact.

上記実施形態および変形例では、測定対象の測定箇所として第1測定箇所および第2測定箇所を例示したが、さらに第3測定箇所があるなど、測定箇所が3つ以上あってもよいことは言うまでもない。測定箇所の数と同数の参照画像を用意するなど、測定箇所の数に応じた数の参照画像を予め記憶してもよい。 In the above embodiments and modifications, the first measurement point and the second measurement point are illustrated as the measurement points of the measurement target, but it goes without saying that there may be three or more measurement points, such as a third measurement point. stomach. The number of reference images corresponding to the number of measurement points may be stored in advance, such as preparing the same number of reference images as the number of measurement points.

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。 It should be noted that the present invention is not limited to the above-described embodiments and modified examples, and can be embodied by modifying the constituent elements without departing from the scope of the invention. Various inventions may be formed by appropriately combining a plurality of components disclosed in the above embodiments and modified examples. Furthermore, some components may be deleted from all the components shown in the above embodiments and modified examples.

1 測定システム、2 搬送装置、4 測定装置、6 制御装置、7 撮像部、8 センサ、10 情報処理装置、12 搬送制御部、14 センサ駆動部、20 本体、22 スピンドル、24 接触子、26 スケール、28 磁気センサ、30 ボールスプライン軸受構造、40 エアシリンダ機構、110 入出力インタフェース部、112 データ処理部、114 データ格納部、120 入力部、122 出力部、124 画像取得部、126 測定データ取得部、128 表示部、130 撮像処理部、132 測定データ管理部、134 判定部、136 計時部、138 報知部、140 参照画像格納部、142 測定データ格納部、204 測定装置、208 センサ、224 接触子、F1 第1面、F2 第2面、P1 撮像画像、P2 特定部分、R 測定領域、W 測定対象。 1 measurement system, 2 transport device, 4 measurement device, 6 control device, 7 imaging unit, 8 sensor, 10 information processing device, 12 transport control unit, 14 sensor drive unit, 20 main body, 22 spindle, 24 contact, 26 scale , 28 magnetic sensor, 30 ball spline bearing structure, 40 air cylinder mechanism, 110 input/output interface unit, 112 data processing unit, 114 data storage unit, 120 input unit, 122 output unit, 124 image acquisition unit, 126 measurement data acquisition unit , 128 display unit, 130 imaging processing unit, 132 measurement data management unit, 134 determination unit, 136 time measurement unit, 138 notification unit, 140 reference image storage unit, 142 measurement data storage unit, 204 measurement device, 208 sensor, 224 contact , F1 first surface, F2 second surface, P1 captured image, P2 specific portion, R measurement area, W measurement target.

Claims (8)

測定対象と接触式のセンサとを含む撮像画像を取得する画像取得部と、
前記センサが前記測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する参照画像格納部と、
取得された撮像画像と前記参照画像との一致を判定する判定部と、を備え、
前記一致が判定されたときに前記センサにより測定された測定データを、前記一致が判定されたときに取得された撮像画像に対応する前記測定対象の測定箇所と対応づける、情報処理装置。
an image acquisition unit that acquires a captured image including the measurement target and the contact sensor;
a reference image storage unit that stores a reference image captured in advance at the time of measurement when the sensor is in contact with the measurement target;
a determination unit that determines whether the acquired captured image matches the reference image,
An information processing device that associates measurement data measured by the sensor when the match is determined with a measurement point of the measurement target corresponding to a captured image acquired when the match is determined.
前記判定部は、前記撮像画像の一部である特定部分と、前記参照画像における対応部分との一致を判定する、請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the determination unit determines whether a specific portion that is a part of the captured image matches a corresponding portion in the reference image. 前記測定対象の測定箇所として第1測定箇所および第2測定箇所が含まれ、
前記画像取得部は、前記撮像画像として、前記第1測定箇所の測定時になされた第1撮像による第1撮像画像と、前記第2測定箇所の測定時になされた第2撮像による第2撮像画像を取得し、
前記参照画像格納部は、前記参照画像として、前記第1撮像画像に対応する第1参照画像と、前記第2撮像画像に対応する第2参照画像を予め記憶し、
前記判定部は、各撮像画像と対応する参照画像との一致を判定する、請求項1又は2に記載の情報処理装置。
The measurement points of the measurement target include a first measurement point and a second measurement point,
The image acquisition unit includes, as the captured images, a first captured image obtained by first capturing performed when measuring the first measurement location, and a second captured image obtained by second imaging performed during measurement of the second measurement location. Acquired,
The reference image storage section stores in advance, as the reference images, a first reference image corresponding to the first captured image and a second reference image corresponding to the second captured image,
The information processing apparatus according to claim 1 or 2, wherein the determination unit determines whether each captured image matches a corresponding reference image.
前記測定対象の測定箇所として第1測定箇所および第2測定箇所が含まれ、
前記第1測定箇所の測定と前記第2測定箇所の測定との時間差を予め記憶する時間差記憶部をさらに備え、
前記撮像画像と前記参照画像との一致に基づいて測定データが前記第1測定箇所と対応づけられた後、前記時間差が経過したときに前記センサにより測定された測定データを、前記第2測定箇所と対応づける、請求項1又は2に記載の情報処理装置。
The measurement points of the measurement target include a first measurement point and a second measurement point,
further comprising a time difference storage unit that stores in advance a time difference between the measurement at the first measurement location and the measurement at the second measurement location,
After the measurement data is associated with the first measurement location based on the match between the captured image and the reference image, the measurement data measured by the sensor when the time difference has elapsed is transferred to the second measurement location. The information processing device according to claim 1 or 2, wherein the information processing device is associated with.
前記撮像画像が取得されてから設定時間内に前記撮像画像と前記参照画像との一致が判定されなかった場合に所定の報知処理を実行する報知部をさらに備える、請求項1又は2に記載の情報処理装置。 3 . The image forming apparatus according to claim 1 , further comprising a notification unit that executes a predetermined notification process when a match between the captured image and the reference image is not determined within a set time after the captured image is acquired. Information processing device. 前記参照画像格納部は、さらに前記センサが測定開始前の待機時に合わせて予め撮像された第2参照画像を予め記憶し、
前記判定部は、前記センサの待機時に取得された撮像画像と前記第2参照画像との一致を判定し、
前記撮像画像と前記第2参照画像との一致が判定されなかった場合に所定の報知処理を実行する報知部をさらに備える、請求項1又は2に記載の情報処理装置。
The reference image storage unit further stores in advance a second reference image captured in advance while the sensor is on standby before starting measurement;
The determination unit determines whether the captured image acquired during standby of the sensor and the second reference image match;
The information processing device according to claim 1 or 2, further comprising a notification unit that performs predetermined notification processing when it is determined that the captured image and the second reference image match.
測定対象を撮像する撮像部と、
前記測定対象を測定するための接触式のセンサと、
前記測定対象の測定データを処理する情報処理部と、
を備える測定装置であって、
前記情報処理部は、
前記測定対象と前記センサとを含む撮像画像を取得する画像取得部と、
前記センサが前記測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する参照画像格納部と、
取得された撮像画像と前記参照画像との一致を判定する判定部と、を含み、
前記一致が判定されたときに前記センサにより測定された測定データを、前記一致が判定されたときに取得された撮像画像に対応する前記測定対象の測定箇所と対応づける、測定装置。
an imaging unit that images the measurement target;
a contact type sensor for measuring the measurement target;
an information processing unit that processes measurement data of the measurement target;
A measuring device comprising:
The information processing unit includes:
an image acquisition unit that acquires a captured image including the measurement target and the sensor;
a reference image storage unit that stores a reference image captured in advance at the time of measurement when the sensor is in contact with the measurement target;
a determination unit that determines whether the acquired captured image matches the reference image,
A measurement device that associates measurement data measured by the sensor when the match is determined with a measurement point of the measurement target corresponding to a captured image acquired when the match is determined.
接触式のセンサが測定対象に接触している測定時に合わせて予め撮像された参照画像を記憶する工程と、
前記測定対象と前記センサとを含む撮像画像を取得する工程と、
取得された撮像画像と前記参照画像との一致を判定する工程と、を含み、
前記一致が判定されたときに前記センサにより測定された測定データを、前記一致が判定されたときに取得された撮像画像に対応する前記測定対象の測定箇所と対応づける、測定方法。
a step of storing a reference image captured in advance at the time of measurement when the contact type sensor is in contact with the measurement target;
acquiring a captured image including the measurement target and the sensor;
a step of determining a match between the acquired captured image and the reference image,
A measuring method, comprising associating measurement data measured by the sensor when the match is determined with a measurement point of the measurement target corresponding to a captured image acquired when the match is determined.
JP2022098530A 2022-06-20 2022-06-20 Information processing device, measuring device and measuring method Active JP7359906B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022098530A JP7359906B1 (en) 2022-06-20 2022-06-20 Information processing device, measuring device and measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022098530A JP7359906B1 (en) 2022-06-20 2022-06-20 Information processing device, measuring device and measuring method

Publications (2)

Publication Number Publication Date
JP7359906B1 true JP7359906B1 (en) 2023-10-11
JP2024000022A JP2024000022A (en) 2024-01-05

Family

ID=88242191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022098530A Active JP7359906B1 (en) 2022-06-20 2022-06-20 Information processing device, measuring device and measuring method

Country Status (1)

Country Link
JP (1) JP7359906B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130063563A1 (en) 2004-01-14 2013-03-14 Hexagon Metrology, Inc. Transprojection of geometry data
JP2021179379A (en) 2020-05-14 2021-11-18 株式会社東京精密 Shape measurement device and control method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130063563A1 (en) 2004-01-14 2013-03-14 Hexagon Metrology, Inc. Transprojection of geometry data
JP2021179379A (en) 2020-05-14 2021-11-18 株式会社東京精密 Shape measurement device and control method therefor

Also Published As

Publication number Publication date
JP2024000022A (en) 2024-01-05

Similar Documents

Publication Publication Date Title
JP4670743B2 (en) Wire harness appearance inspection device and appearance inspection method
US6621928B1 (en) Image edge detection method, inspection system, and recording medium
US10366484B2 (en) Inspection method, inspection apparatus, processing apparatus, and recording medium for detecting defects of a work
CN101117043B (en) Silk screen printing device
CN112683215A (en) Method for generating information about a sensor chain of a coordinate measuring machine
KR20090098893A (en) Probe inspecting device, displacement correcting method, information processor, information processing method, and program
US20140043472A1 (en) Tire surface shape measuring device and tire surface shape measuring method
CN115524347A (en) Defect detection method, defect detection apparatus, and computer-readable storage medium
JP7359906B1 (en) Information processing device, measuring device and measuring method
JPH10334221A (en) Image acquisition device
JP5314328B2 (en) Arm offset acquisition method
JP4299688B2 (en) Substrate inspection method and substrate inspection apparatus
JP3725993B2 (en) Electronic component mounting circuit board inspection method and apparatus
CN116583797A (en) Problem analysis supporting program, problem analysis supporting device, problem analysis supporting method, and three-dimensional data display program
JP2008139260A (en) Image display unit and method, appearance inspection device, cream solder printer
JP2009147018A (en) Component mounting time simulation method, component mounting time simulation device, and component mounting machine
JP2008014857A (en) Device, method, and program for acquiring coordinate for inspection of printed board
JPS5857780A (en) Method and device for inspecting printed board
TWI635463B (en) Method for detecting appearance of articles with continuous image capturing function
JPH11142118A (en) Distance measuring method and apparatus and record medium in which the method is recorded
JP3062255B2 (en) Method for detecting reference position of circuit board to be inspected in circuit board inspection apparatus
JP2874752B2 (en) Image processing position detection method
US20230136847A1 (en) CMM Downtime System
JP4008722B2 (en) Method and apparatus for detecting floating electrode of electronic component
JPH0926316A (en) Noncontact three-dimensional displacement detection apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230928

R150 Certificate of patent or registration of utility model

Ref document number: 7359906

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150