JP2020187097A - 三次元座標測定装置 - Google Patents

三次元座標測定装置 Download PDF

Info

Publication number
JP2020187097A
JP2020187097A JP2019093824A JP2019093824A JP2020187097A JP 2020187097 A JP2020187097 A JP 2020187097A JP 2019093824 A JP2019093824 A JP 2019093824A JP 2019093824 A JP2019093824 A JP 2019093824A JP 2020187097 A JP2020187097 A JP 2020187097A
Authority
JP
Japan
Prior art keywords
camera
measurement
unit
probe
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019093824A
Other languages
English (en)
Other versions
JP2020187097A5 (ja
JP7211891B2 (ja
Inventor
正康 池淵
Masayasu Ikebuchi
正康 池淵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2019093824A priority Critical patent/JP7211891B2/ja
Priority to US16/795,613 priority patent/US10837757B1/en
Priority to DE102020205516.5A priority patent/DE102020205516A1/de
Publication of JP2020187097A publication Critical patent/JP2020187097A/ja
Publication of JP2020187097A5 publication Critical patent/JP2020187097A5/ja
Application granted granted Critical
Publication of JP7211891B2 publication Critical patent/JP7211891B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G01B11/007Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines feeler heads therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/047Accessories, e.g. for positioning, for tool-setting, for measuring probes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】煩雑な校正作業を要することなく高い精度で信頼性の高い形状測定を行うことを可能にする三次元座標測定装置を提供する。【解決手段】形状測定時に、可動カメラにより測定対象物が撮像され、測定画像データが生成される。可動カメラに固定された複数のマーカが基準カメラにより撮像され、基準画像データが生成される。基準画像データと本体メモリに記憶された参照マーカ情報およびカメラパラメータとに基づいて可動カメラの位置姿勢情報が算出される。位置姿勢情報および測定画像データにより測定点の座標が算出される。校正時に、可動カメラが位置および姿勢の互いに異なる複数の状態に移行する。各状態で参照部材の複数のマーカが撮像される。複数の基準画像データと複数のマーカの配置を示す参照マーカ情報とに基づいて新たなカメラパラメータが算出され、本体メモリ内のカメラパラメータが新たなカメラパラメータで更新される。【選択図】図14

Description

本発明は、測定対象物の形状等を測定可能な三次元座標測定装置に関する。
従来より、測定対象物の形状等を測定するために三次元座標測定装置が用いられる。三次元座標測定装置においては、測定対象物の表面における複数の測定点の位置が順次算出される。算出される各測定点の位置は三次元座標系で表される。算出された複数の測定点の位置に基づいて、測定対象物の所望の部分の寸法が測定される。
特許文献1に記載された三次元座標測定装置(三次元形状測定機)においては、θステージ上に測定対象物が載置される。θステージは、鉛直方向に延びる回転軸の周りで回転可能に構成されている。θステージの上方には、回転軸を含む鉛直面内で移動可能に光プローブが設けられている。
測定対象物の形状測定時には、光プローブから出射される光が測定対象物の表面に入射するように、光プローブの鉛直方向の位置が調整される。また、光プローブが鉛直面内を水平方向に移動し、θステージが回転する。それにより、光プローブが測定対象物の上面全体に対して走査される。光プローブから出射される光が測定対象物上の複数の測定点の各々に入射するときの光プローブの位置が、複数のレーザ測長器およびロータリエンコーダ等の複数の検出手段により検出される。複数の検出結果に基づいて各測定点の位置(三次元座標)が算出される。
特開2000−266524号公報 Z. Zhang, "A flexible new technique for camera calibration",IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.22,No.11,pp.1330-1334, 2000.
上記のように、光学式座標測定装置においては、測定対象物上の複数の測定点の位置が、複数の検出手段を用いて算出される。そのため、各検出手段の検出精度が低下すると、高い精度で測定対象物の形状測定を行うことができない。検出手段の検出精度は、例えば当該検出手段を構成する各種部品の変形および複数の部品間の位置関係に発生するずれ等に起因して低下する。したがって、光学式座標測定装置においては、測定精度が高い状態で維持されるように、適切なタイミングで検出手段の校正が行われることが望ましい。
一般に、レーザ測長器およびロータリエンコーダ等の検出手段の使用者は、検出手段に応じて予め定められた校正具を用意し、その校正具を用いて校正作業を行う。したがって、上記の三次元座標測定装置について複数の検出手段をそれぞれ校正するためには、使用者は、検出手段ごとに校正具を用意して校正作業を行う必要がある。このような校正作業は、使用者にとって面倒である。
本発明の目的は、煩雑な校正作業を要することなく高い精度で信頼性の高い形状測定を行うことを可能にする三次元座標測定装置を提供することである。
(1)本発明に係る三次元座標測定装置は、測定対象物の形状測定時に、測定対象物上の測定点の位置に関する情報を測定点情報として取得する測定点情報取得部と、測定点情報取得部を取付可能または測定対象物を載置可能に構成され、第1の回転軸の周りで回転可能に構成された回転電動部材と、回転電動部材に設けられる複数の参照マーカと、基準ベースに固定されかつ複数の参照マーカを撮像する基準撮像部と、複数の参照マーカの配置に関する情報を参照マーカ情報として記憶するとともに、基準撮像部の撮像パラメータを記憶する記憶部と、測定対象物の形状測定時に、基準撮像部により撮像された複数の参照マーカの画像を示す基準画像データと記憶部に記憶された参照マーカ情報および撮像パラメータとに基づいて基準撮像部に対する回転電動部材の位置および姿勢を示す位置姿勢情報を算出し、算出された位置姿勢情報と測定点情報取得部により取得された測定点情報とに基づいて測定点の座標を算出する座標算出部と、基準撮像部の校正時に、回転電動部材を第1の回転軸の周りで回転させることにより回転電動部材の位置および姿勢を互いに異なる複数の状態に移行させつつ、複数の状態で基準撮像部が複数の参照マーカを撮像することにより得られる複数の基準画像データと記憶部に記憶された参照マーカ情報とに基づいて新たな撮像パラメータを算出し、校正前に記憶部に記憶された撮像パラメータを算出された新たな撮像パラメータで更新する校正更新部とを備える。
その三次元座標測定装置においては、測定点情報取得部が回転電動部材に取り付けられるかまたは測定対象物が回転電動部材に載置される。測定点情報取得部が回転電動部材に取り付けられた状態で回転電動部材が回転すると、その回転に伴って基準ベースに対する測定点情報取得部の位置および姿勢が変更される。または、測定対象物が回転電動部材に載置された状態で回転電動部材が回転すると、その回転に伴って基準ベースに対する測定対象物の位置および姿勢が変更される。
測定対象物の形状測定時には、測定点情報取得部により測定対象物上の測定点の位置に関する情報が測定点情報として取得される。また、回転電動部材に設けられる複数の参照マーカが基準撮像部により撮像され、基準画像データが生成される。その後、基準画像データ、参照マーカ情報および撮像パラメータに基づいて位置姿勢情報が算出され、算出された位置姿勢情報と測定点情報とに基づいて測定点の座標が算出される。
基準撮像部の校正時には、回転電動部材が位置および姿勢の互いに異なる複数の状態に移行する。複数の状態の各々で、基準撮像部により複数の参照マーカが撮像される。これにより得られる複数の基準画像データと参照マーカ情報とに基づいて新たな撮像パラメータが算出され、記憶部に記憶された撮像パラメータが新たな撮像パラメータで更新される。この場合、基準撮像部を構成する複数の部品に変形が生じたり、複数の部品間の位置関係にずれが生じる場合でも、使用者による煩雑な校正作業を要することなく記憶部に記憶される撮像パラメータが適切な撮像パラメータに更新される。
これらの結果、煩雑な校正作業を要することなく高い精度で信頼性の高い形状測定を行うことが可能となる。
(2)三次元座標測定装置は、記憶部に記憶された参照マーカ情報および撮像パラメータとに基づいて基準撮像部における受光面上の複数の参照マーカの投影像の位置を算出するとともに、基準撮像部が複数の参照マーカを撮像することにより得られる基準画像データに基づいて受光面上の複数の参照マーカの実際の投影像の位置を検出し、算出された投影像の位置と検出された実際の投影像の位置との関係が予め定められた許容条件を満たすか否かに基づいて基準撮像部の校正の要否を判定し、判定結果を出力する校正判定部をさらに備えてもよい。
この場合、使用者は、校正判定部から出力される判定結果に基づいて基準撮像部の校正の要否を把握することができる。
(3)三次元座標測定装置は、校正判定部により出力される判定結果を使用者に提示する提示部をさらに備えてもよい。
この場合、判定結果が提示部に提示される。それにより、使用者は、基準撮像部の校正の要否を容易に把握することができる。
(4)三次元座標測定装置は、複数の測定マーカを有するとともに測定対象物上の測定点を指示するためのプローブをさらに備え、測定点情報取得部は、回転電動部材に取り付けられかつプローブの複数の測定マーカを撮像可能に構成され、測定点情報は、測定点情報取得部により撮像された複数の測定マーカの画像を示す測定画像データを含んでもよい。
この場合、測定対象物の形状測定時には、測定点情報取得部によりプローブの複数の測定マーカが撮像され、測定画像データが生成される。それにより、測定画像データが示す複数の測定マーカの画像に基づいて、プローブにより指示される測定点の測定点情報取得部に対する座標を算出することが可能になる。
(5)第1の回転軸は、上下方向または水平方向に延びる回転軸であってもよい。
この場合、回転電動部材に載置された測定対象物または測定点情報取得部は、回転電動部材とともに上下方向または水平方向に延びる回転軸の周りで回転する。
(6)回転電動部材は、第2の回転軸の周りでさらに回転可能に構成され、第1の回転軸は、上下方向に延びる回転軸であり、第2の回転軸は、水平方向に延びる回転軸であってもよい。
この場合、回転電動部材に載置された測定対象物または測定点情報取得部は、回転電動部材とともに上下方向および水平方向に延びる回転軸の周りで回転する。
(7)回転電動部材は、予め定められた面内で移動可能に構成されてもよい。
この場合、回転電動部材に取り付けられた測定点情報取得部または回転電動部材に載置された測定対象物は、回転電動部材とともに予め定められた面内で移動する。
本発明によれば、煩雑な校正作業を要することなく高い精度で信頼性の高い形状測定を行うことが可能になる。
本発明の一実施の形態に係る三次元座標測定装置の使用例を示す模式図である。 撮像ヘッドおよび処理装置の基本構成を示すブロック図である。 撮像ヘッドの外観斜視図である。 ケーシングが取り除かれた状態を示す撮像ヘッドの外観斜視図である。 図3の仮想面における撮像ヘッドの模式的断面図である。 (a)は図5の参照部材の模式的縦断面図であり、(b)は参照部材の下面図である。 基準カメラが参照部材を撮像することにより得られる複数のマーカの画像例を示す図である。 プローブの構成を示すブロック図である。 プローブの外観斜視図である。 本体制御回路の機能的な構成を示すブロック図である。 図2の本体制御回路による測定処理の流れを示すフローチャートである。 測定点座標算出処理の流れを示すフローチャートである。 図2の本体制御回路による追跡処理の流れを示すフローチャートである。 図2の本体制御回路による校正処理の流れを示すフローチャートである。 図2の本体制御回路による校正判定処理の流れを示すフローチャートである。 校正判定機能による判定結果の表示例を示す図である。 他の実施の形態に係る三次元座標測定装置の構成の一例を示す図である。 他の実施の形態に係る三次元座標測定装置の構成の他の例を示す図である。
[1]三次元座標測定装置の基本構成および使用例
図1は、本発明の一実施の形態に係る三次元座標測定装置の使用例を示す模式図である。図1に示すように、本実施の形態に係る三次元座標測定装置1は、主として撮像ヘッド100、プローブ200および処理装置300から構成され、例えば大型の測定対象物Sの各部の寸法等の物理量を測定するために用いられる。図1の例では、測定対象物Sとして大型の配管が示される。測定対象物Sは、床面上に置かれている。
プローブ200は、使用者Uにより携行される。プローブ200には、接触部211aが設けられている。使用者Uは、測定対象物Sの所望の部分にプローブ200の接触部211aを接触させる。測定対象物Sにおける接触部211aとの接触部分が測定点となる。
撮像ヘッド100は、基準スタンド10により例えば設置面としての床面上に固定される。撮像ヘッド100の内部には、可動カメラ120が設けられている。可動カメラ120によりプローブ200に設けられた後述する複数のマーカeq(図9)が撮像される。基準スタンド10は、三脚であり、固定部11および脚部12からなる。固定部11は、平坦な上面を有する。基準スタンド10は、固定部11の上面が水平な状態で固定されるように、固定部11と脚部12との間で姿勢調整が可能に構成されている。以下の説明において、固定部11の上面は水平に固定されているものとする。
また、撮像ヘッド100は、ケーブルCAを介して処理装置300に接続されている。処理装置300は、例えばパーソナルコンピュータであり、本体表示部310および本体操作部320が接続されている。処理装置300においては、可動カメラ120がプローブ200を撮像することにより得られる画像データ(以下、測定画像データと呼ぶ。)と後述する位置姿勢情報とに基づいて測定対象物S上の測定点の位置が算出される。測定対象物Sにおける1または複数の測定点の座標が算出されることにより、それらの算出結果に基づいて測定対象物Sの物理量が測定される。
使用者Uがプローブ200を携行して移動する場合には、図1に白抜きの点線矢印で示すように、可動カメラ120の撮像視野の向きはプローブ200の移動に追従する。すなわち、可動カメラ120の向きは、プローブ200が移動するときに、プローブ200が可動カメラ120の撮像視野内に位置するように変化する。それにより、三次元座標測定装置1は、広い測定可能領域を有する。以下、三次元座標測定装置1の各部の構成について詳細を説明する。
[2]撮像ヘッド100および処理装置300の構成
図2は、撮像ヘッド100および処理装置300の基本構成を示すブロック図である。図3は撮像ヘッド100の外観斜視図であり、図4はケーシング90が取り除かれた状態を示す撮像ヘッド100の外観斜視図であり、図5は図3の仮想面VPにおける撮像ヘッド100の模式的断面図である。
まず、撮像ヘッド100の構成について説明する。図2に示すように、撮像ヘッド100は、電気的な構成として基準カメラ110、可動カメラ120、マーカ駆動回路130、回転駆動回路140、ヘッド制御回路150、無線通信回路160、通信回路170、俯瞰カメラ180および参照部材190を含む。これらの構成は、図2に二点鎖線で示される固定連結部20、支持部材30および可動部材40のいずれかにより支持された状態で、図3に示すケーシング90内に収容される。
図3に示すように、ケーシング90は、下部ケーシング91および上部ケーシング92から構成される。図3および図5に示すように、下部ケーシング91は略円筒形状を有し、撮像ヘッド100の下端部から一定距離上方に延びる。下部ケーシング91の上方の位置に上部ケーシング92が設けられている。上部ケーシング92は、略釣鐘形状を有し、後述する支持部材30(図4)とともに水平面内で回転可能に設けられている。
図3に示すように、上部ケーシング92の一部には、上下方向に延びるスリット93が形成されている。スリット93は、可動カメラ120の撮像視野をケーシング90の外部へ導く。また、上部ケーシング92には、俯瞰カメラ用窓94が形成されている。俯瞰カメラ用窓94は、俯瞰カメラ180の撮像視野をケーシング90の外部へ導く。
図4および図5に示すように、固定連結部20は、下固定板21、上固定板22、複数(例えば4本)の支柱23および中空支持軸24を含む。下固定板21は、円板形状を有し、基準スタンド10の固定部11の上面上に、ねじを用いて固定されている。下固定板21の上方には、複数の支柱23を介して上固定板22が設けられている。上固定板22は、下固定板21と同様に円板形状を有する。上固定板22の中央部には、円形の開口が形成されている。上固定板22の上面上には、上固定板22の中央部の開口を取り囲むように中空支持軸24がねじを用いて固定されている。図3の下部ケーシング91は、固定連結部20を構成するいずれかの部材に取り付けられている。
固定連結部20においては、下固定板21と上固定板22との間の空間に、図2の回転駆動回路140、ヘッド制御回路150、無線通信回路160および通信回路170が実装された各種基板が設けられる。また、下固定板21上には、図5に示すように、下固定板21から上固定板22の開口を通して中空支持軸24の内部まで延びるように基準カメラ110が設けられている。この状態で、基準カメラ110の撮像視野は上方を向いている。本実施の形態では、基準カメラ110の光学系の光軸110cは、中空支持軸24の中心軸に一致している。
下固定板21上および上固定板22上には、上記の各種基板および基準カメラ110に加えて、後述する支持部材30を中空支持軸24の中心軸の周りで回転させるため(基準スタンド10の上面に平行な面内で回転させるため)の水平回転機構141が設けられている。水平回転機構141は、例えばモータおよび各種動力伝達部材を含む。
図4に示すように、固定連結部20の中空支持軸24上には、支持部材30が設けられている。支持部材30は、回転台座31および一対の支持フレーム32,33を含む。回転台座31は、中央部に開口を有し、支持部材30が中空支持軸24の中心軸の周りで回転可能となるように、クロスローラベアリングCB(図5)を介して中空支持軸24の上端部に取り付けられている。図3の上部ケーシング92は、支持部材30を構成するいずれかの部材に取り付けられている。中空支持軸24に対する支持部材30の回転時には、上部ケーシング92は支持部材30とともに下部ケーシング91に対して相対的に回転する。
一対の支持フレーム32,33は、回転台座31の一側部および他側部から互いに対向しつつ上方に延びるように形成されている。一対の支持フレーム32,33の間には、回転台座31から所定距離離間した位置に可動部材40が設けられている。
可動部材40は、一対の支持フレーム32,33の互いに対向する部分を通る回転軸30cの周りで回転可能(水平面に対してチルト可能)となるように、支持フレーム32,33により支持されている。本実施の形態では、回転軸30cは、基準カメラ110(図5)の光軸110cおよび中空支持軸24の中心軸に直交する。
一方の支持フレーム32の上端部近傍には、可動部材40とは反対側で回転軸30c上に位置する部分に俯瞰カメラ180が取り付けられている。他方の支持フレーム33の上端部近傍には、可動部材40とは反対側で回転軸30c上に位置する部分にチルト回転機構143が取り付けられている。チルト回転機構143は、例えばモータおよび各種動力伝達部材を含む。チルト回転機構143は、可動部材40を回転軸30cの周りで回転させる。なお、チルト回転機構143により可動部材40を回転可能な範囲は、例えば60°程度に制限されている。
可動部材40は、略正方形の扁平な筒状に形成され、上面41および下面42を有する。可動部材40上には、可動カメラ120およびその可動カメラ120に付随する各種基板が固定される。この状態で、可動カメラ120の光学系の光軸120c(図5)は可動部材40の上面41に平行となっている。
可動部材40の上端部には、その中央部の開口を塞ぐように図2のマーカ駆動回路130が実装された基板43が設けられている。
図5に示すように、可動部材40の内部には、複数のマーカep(図2)を有する参照部材190が設けられている。図6(a)は図5の参照部材190の模式的縦断面図であり、図6(b)は参照部材190の下面図である。
図6(a),(b)に示すように、参照部材190は、発光基板191、拡散板192、ガラス板193および拡散反射シート195を含む。発光基板191、拡散板192およびガラス板193は、この順で上方から下方に向かって並ぶように積層されている。その積層体の外周部を取り囲むように拡散反射シート195が設けられている。
発光基板191の下面には、全体に渡って複数の発光素子Lが実装されている。各発光素子Lは、例えば赤外LED(発光ダイオード)である。発光素子Lとしては、赤外LEDの代わりに他の波長の光を発するLEDが用いられてもよいし、フィラメント等の他の発光素子が用いられてもよい。マーカ駆動回路130が発光基板191上の複数の発光素子Lを駆動する。それにより、複数の発光素子Lが発光する。
拡散板192は、例えば樹脂からなる板部材であり、複数の発光素子Lから発生される光を拡散させつつ下方へ透過する。拡散反射シート195は、例えば樹脂からなる帯状のシート部材であり、複数の発光素子Lから参照部材190の側方(外方)に向かう光を拡散させつつその内方に反射する。
ガラス板193は、例えば石英ガラスまたはソーダガラスにより形成された板部材である。ガラス板193の下面には、複数の円形開口を有するマスク194が設けられている。マスク194は、例えばスパッタ法または蒸着法によりガラス板193の下面に形成されるクロムマスクである。
上記の構成により、複数の発光素子Lから発生されて拡散板192および拡散反射シート195により拡散された光が、ガラス板193およびマスク194の複数の円形開口を通して参照部材190の下方に放出される。このようにして、複数の円形開口にそれぞれ対応する自発光型の複数のマーカepが形成される。
本実施の形態においては、図6(b)に示すように、複数のマーカepは、参照部材190の下面(平面)上でマトリクス状に等間隔で並んでいる。複数のマーカepのうち、中央部に位置するマーカepおよびその中央部のマーカepから所定距離離間した位置にある一のマーカepには、他のマーカepから識別するための識別マーク(本例では点)が付されている。これらの識別マークは、マスク194の一部により形成される。以下の説明では、識別マークが付された2つのマーカepを他の複数のマーカepから区別する場合に、識別マークを含む中央部のマーカepを第1のマーカep1と呼ぶ。また、識別マークを含む他方のマーカepを第2のマーカep2と呼ぶ。
上記の構成においては、参照部材190は、下方に向く複数のマーカepが基準カメラ110の撮像視野の範囲内に位置するように可動部材40に取り付けられている。さらに、参照部材190は、可動部材40の上面41および下面42が基準カメラ110の光軸110cの方向に対して垂直となるときに、第1のマーカep1が光軸110c上に位置するように可動部材40に取り付けられている。なお、参照部材190は、複数のマーカepの大部分が基準カメラ110の撮像視野の全体に渡って分散するように配置されることが望ましい。
支持部材30が固定連結部20上で回転する際、および可動部材40が回転軸30cの周りで回転する際には、基準カメラ110が参照部材190を撮像することにより得られる複数のマーカepの画像が変化する。
図7は、基準カメラ110が参照部材190を撮像することにより得られる複数のマーカepの画像例を示す図である。図6(b)の複数のマーカepから光が放出されることにより、撮像ヘッド100により撮像される参照部材190の画像においては、複数のマーカepに対応する画像が現れる。
例えば支持部材30および可動部材40の各々が予め定められた基準姿勢で保持されている場合に、図7(a)に示す画像110iが得られるものとする。基準姿勢においては、参照部材190の下面は、基準カメラ110の光軸110cに直交し、水平に保持される。図7(a)の画像110iにおいては、複数のマーカepにそれぞれ対応するマーカ画像iepが、図6(b)の実際の複数のマーカepと同様に、マトリクス状に並んでいる。また、基準カメラ110の視野中心に対応する画像中央部には、図6(b)の第1のマーカep1に対応するマーカ画像iep1が示される。さらに、マーカ画像iep1から所定距離離間した位置に図6(b)の第2のマーカep2に対応するマーカ画像iep2が示される。
支持部材30が基準姿勢から光軸110cを中心として回転する場合には、複数のマーカepと基準カメラ110との間の距離は大きく変動しない。この回転によれば、図7(b)に示すように、複数のマーカ画像iepが画像中央部を中心として回転する。この場合、2つのマーカ画像iep1,iep2の位置関係に基づいて、支持部材30が基準姿勢からどれだけ回転しているのかを求めることができる。
可動部材40が基準姿勢から回転軸30cを中心として回転する場合には、複数のマーカepと基準カメラ110との間の距離がそれぞれ変化する。例えば、複数のマーカepの一部と基準カメラ110との間の距離が短くなり、複数のマーカepの他の部分と基準カメラ110との間の距離が長くなる。それにより、例えば支持部材30が図7(b)の画像110iに対応する回転位置に保持された状態で、可動部材40が基準姿勢から回転すると、図7(c)に示すように、複数のマーカ画像iepの配列状態に変化が生じる。この場合、2つのマーカ画像iep1,iep2を含む全体のマーカ画像iepの位置関係に基づいて、可動部材40が基準姿勢からどれだけ回転しているのかを求めることができる。
上記のように、可動部材40には、可動カメラ120および参照部材190が一体的に固定されている。それにより、基準カメラ110が参照部材190の複数のマーカepを撮像することにより得られる撮像データ(以下、基準画像データと呼ぶ。)に基づいて、基準カメラ110に対する可動カメラ120の位置および姿勢を算出することが可能である。可動カメラ120の位置および姿勢を算出することについての詳細は後述する。
可動部材40と回転台座31との間には、基準カメラ110から参照部材190までの基準カメラ110の撮像視野を含む撮像空間rs(図5)を当該撮像空間rsの外部から光学的かつ空間的に遮断する蛇腹50が設けられている。
本例の蛇腹50の上端部は可動部材40の下面42に接合され、蛇腹50の下端部は回転台座31の上面に接合されている。それにより、支持部材30が水平面内で回転する際には、支持部材30とともに蛇腹50も回転する。
また、本例の蛇腹50は、略正方形の筒形状を有し、チルト回転機構143による可動部材40の回転時にその回転に追従して変形することにより撮像空間rsの光学的かつ空間的な遮断状態を維持可能に構成される。さらに、蛇腹50は、可動部材40の回転に追従して変形する際に、その蛇腹50が基準カメラ110の撮像視野に干渉しないように設けられる。
このような構成により、撮像空間rs内に、撮像空間rsの外部から光が進入することが防止される。また、撮像空間rsの周囲でモータ等が発熱する場合でも、発生された熱が撮像空間rs内に進入することが防止される。それにより、撮像空間rsの雰囲気に揺らぎが生じることが防止される。したがって、高い精度で複数のマーカepが撮像されるので、基準カメラ110に対する可動カメラ120の位置および姿勢を高い精度で算出することができる。
また、上記の構成によれば、蛇腹50の内部空間が外部空間から空間的に遮断されることにより蛇腹50の内部空間の雰囲気が安定する。したがって、蛇腹50の外部に設けられる熱源に対してファン等を用いて強制空冷することも可能になる。
なお、撮像空間rsに向く蛇腹50の内面は、光の反射率が低く光を吸収するような色または素材で構成されることが好ましい。例えば、蛇腹50の内面の色は黒色であってもよい。または、蛇腹50の内面は、光を反射しない無反射素材で構成されてもよい。あるいは、蛇腹50の内面に、光を反射しない無反射素材のコーティングが施されていてもよい。それにより、複数のマーカepから放出される光が、蛇腹50の内面で乱反射することが防止される。したがって、高い精度で複数のマーカepが撮像される。
撮像ヘッド100においては、図4に示すように、可動カメラ120の重心が基準カメラ110の光軸110cと回転軸30cとの交点GCに近づくように可動カメラ120を設けることが望ましい。この場合、可動カメラ120の重心が交点GCに近いほど、光軸110cを中心とする支持部材30の回転が安定化し、回転軸30cを中心とする可動部材40の回転が安定化する。また、支持部材30および可動部材40を回転させるために必要となる駆動力を低減することができる。それにより、モータ等の駆動部に加わる負担が低減される。
俯瞰カメラ180は、図4に示すように、その撮像視野が可動カメラ120の撮像視野と同じかまたはほぼ同じ方向を向くように支持フレーム32に設けられる。俯瞰カメラ180の画角は、基準カメラ110および可動カメラ120の画角に比べて大きい。そのため、俯瞰カメラ180の撮像視野は、基準カメラ110および可動カメラ120の撮像視野に比べて大きい。なお、可動カメラ120の画角は、例えば可動カメラ120から1.5m離間した位置で直径15cm程度の円形領域をカバーできるように設定される。
後述する追跡処理において、俯瞰カメラ180は、広い範囲に渡ってプローブ200を撮像するために用いられる。この場合、例えばプローブ200が移動することにより可動カメラ120の撮像視野からプローブ200が外れる場合でも、当該プローブ200が俯瞰カメラ180で撮像されることにより、撮像により得られる画像データ(以下、俯瞰画像データと呼ぶ。)に基づいてプローブ200の大まかな位置を特定することができる。特定された位置に基づいて、可動カメラ120の撮像視野内にプローブ200が位置するように、可動カメラ120の位置および姿勢が調整される。
図2に示すように、基準カメラ110、可動カメラ120、マーカ駆動回路130、回転駆動回路140、無線通信回路160および通信回路170は、ヘッド制御回路150に接続されている。ヘッド制御回路150は、CPU(中央演算処理装置)およびメモリ、またはマイクロコンピュータを含み、基準カメラ110、可動カメラ120、マーカ駆動回路130および回転駆動回路140を制御する。
基準カメラ110、可動カメラ120および俯瞰カメラ180の各々は、撮像素子として、赤外線を検出可能なCMOS(相補性金属酸化膜半導体)イメージセンサを含む。また、基準カメラ110、可動カメラ120および俯瞰カメラ180の各々は、図示しない複数のレンズ(光学系)を含む。
上記のように、基準カメラ110、可動カメラ120および俯瞰カメラ180の各画素からは、検出量に対応するアナログの電気信号(以下、受光信号と呼ぶ)がヘッド制御回路150に出力される。
ヘッド制御回路150には、図示しないA/D変換器(アナログ/デジタル変換器)およびFIFO(First In First Out)メモリが実装されている。基準カメラ110、可動カメラ120および俯瞰カメラ180からそれぞれ出力される受光信号は、ヘッド制御回路150のA/D変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は、画素データとして順次処理装置300に転送される。
マーカ駆動回路130は、ヘッド制御回路150の制御に基づいて、図6(a)の発光基板191を駆動する。それにより、発光基板191上の複数の発光素子Lが発光し、参照部材190の複数のマーカepから光が放出される。なお、この発光タイミングと基準カメラ110の撮像タイミングとは同期される。
回転駆動回路140は、ヘッド制御回路150の制御に基づいて図4の水平回転機構141を駆動する。それにより、図4の支持部材30が固定連結部20上で回転し、可動部材40および上部ケーシング92(図3)が回転する。このとき、可動部材40が回転することにより、スリット93(図3)を通って上部ケーシング92の内部から外部に導かれる可動カメラ120の撮像視野が図1の基準スタンド10上で水平方向に回転する。
また、回転駆動回路140は、ヘッド制御回路150の制御に基づいて図4のチルト回転機構143を駆動する。それにより、図4の可動部材40が一対の支持フレーム32,33間で回転軸30cを中心として回転する。このとき、スリット93(図3)を通る可動カメラ120の撮像視野が図1の基準スタンド10上でスリット93に沿って上下方向に回転する。これらの回転駆動回路140による可動カメラ120の撮像視野の回転は、処理装置300における後述する追跡処理に基づいて行われる。
ヘッド制御回路150は、無線通信回路160を介してプローブ200との間で無線通信を行う。また、ヘッド制御回路150は、通信回路170およびケーブルCA(図1)を介して処理装置300との間で有線通信を行う。
図2に示すように、処理装置300は、通信回路301、本体制御回路302および本体メモリ303を含む。通信回路301および本体メモリ303は、本体制御回路302に接続されている。また、本体制御回路302には、本体操作部320および本体表示部310が接続されている。
本体メモリ303は、ROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)およびハードディスクを含む。本体メモリ303には、システムプログラムとともに、後述する測定処理プログラム、追跡処理プログラム、校正プログラムおよび校正判定プログラムが記憶される。また、本体メモリ303には、基準カメラ110のカメラパラメータが記憶される。基準カメラ110のカメラパラメータは、レンズに起因して基準画像データに含まれる歪成分に関する値、およびレンズと撮像素子との間の相対的な位置関係に関する値を含む。また、本体メモリ303には、参照部材190における複数のマーカepの設計上の相対的な位置関係を示す情報が参照マーカ情報として記憶される。カメラパラメータおよび参照マーカ情報の具体例については後述する。さらに、本体メモリ303は、種々のデータの処理および撮像ヘッド100から与えられる画素データ等の種々のデータを保存するために用いられる。
本体制御回路302は、CPUを含む。本実施の形態においては、本体制御回路302および本体メモリ303は、パーソナルコンピュータにより実現される。本体制御回路302は、撮像ヘッド100からケーブルCA(図1)および通信回路301を介して与えられる画素データに基づいて画像データを生成する。画像データは複数の画素データの集合である。
本実施の形態では、撮像ヘッド100に設けられる基準カメラ110、可動カメラ120および俯瞰カメラ180にそれぞれ対応する基準画像データ、測定画像データおよび俯瞰画像データが生成される。また、プローブ200に設けられる後述するプローブカメラ208に対応する画像データが生成される。本体制御回路302は、測定対象物Sの形状測定時に、基準カメラ110のカメラパラメータ、基準画像データおよび測定画像データに基づいて、プローブ200の接触部211a(図1)の位置を算出する。また、本体制御回路302は、基準カメラ110について適切なカメラパラメータを新たなカメラパラメータとして算出する。さらに、本体制御回路302は、本体メモリ303に記憶された基準カメラ110のカメラパラメータを新たなカメラパラメータで更新する。これにより基準カメラ110の校正が行われる。本体制御回路302が有する各種機能の詳細については後述する。
本体表示部310は、例えば液晶ディスプレイパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。本体表示部310には、本体制御回路302による制御に基づいて、測定対象物S上の測定点の位置および測定対象物Sの各部の測定結果等が表示される。また、本体表示部310には、測定に関する種々の設定を行うための設定画面が表示される。
本体操作部320は、キーボードおよびポインティングデバイスを含む。ポインティングデバイスは、マウスまたはジョイスティック等を含む。本体操作部320は、使用者Uにより操作される。
[3]プローブ200の構成
図8は、プローブ200の構成を示すブロック図である。図9はプローブ200の外観斜視図である。図8に示すように、プローブ200は、電気的な構成としてプローブ制御部201、表示灯202、バッテリ203、マーカ駆動回路204、プローブメモリ205、無線通信回路206、モーションセンサ207、プローブカメラ208、プローブ操作部221、タッチパネルディスプレイ230および複数(本例では3つ)の目標部材290を含む。
バッテリ203は、プローブ200に設けられた他の構成要素に電力を供給する。プローブ制御部201は、CPUおよびメモリ、またはマイクロコンピュータを含み、表示灯202、マーカ駆動回路204、プローブカメラ208およびタッチパネルディスプレイ230を制御する。また、プローブ制御部201は、使用者Uによるプローブ操作部221およびタッチパネルディスプレイ230の操作に応答して、各種処理を行う。
図8に二点鎖線で示すように、プローブ200は、上記の各構成要素を収容または支持するプローブケーシング210および把持部220を有する。プローブ制御部201、表示灯202、バッテリ203、マーカ駆動回路204、プローブメモリ205、無線通信回路206、モーションセンサ207およびプローブカメラ208は、プローブケーシング210内に収容される。複数の目標部材290は、プローブケーシング210の後述する上面部210c(図9)に設けられる。プローブ操作部221は、押下操作が可能に構成されたボタンであり、把持部220に設けられる。
タッチパネルディスプレイ230は、プローブ表示部231およびタッチパネル232を含む。プローブ表示部231は、例えば液晶ディスプレイパネルまたは有機ELパネルにより構成される。
表示灯202は、例えば1または複数のLEDを含み、その発光部がプローブケーシング210の外部に露出するように設けられている。表示灯202は、プローブ制御部201の制御に基づいてプローブ200の状態に応じた発光動作を行う。
3つの目標部材290の各々は、基本的に図6(a),(b)の参照部材190と同じ構成を有する。マーカ駆動回路204は、複数の目標部材290に接続され、プローブ制御部201の制御に基づいて各目標部材290が含む複数の発光素子を駆動する。
プローブメモリ205は、不揮発性メモリまたはハードディスク等の記録媒体を含む。プローブメモリ205は、種々のデータの処理および撮像ヘッド100から与えられる画像データ等の種々のデータを保存するために用いられる。
モーションセンサ207は、例えば使用者Uがプローブ200を携行して移動する際に、そのプローブ200の動きを検出する。例えば、モーションセンサ207は、プローブ200の移動時に、その移動方向、加速度および姿勢等を検出する。プローブカメラ208は、例えばCCD(電荷結合素子)カメラである。
プローブ制御部201には、上記のCPUおよびメモリ、またはマイクロコンピュータに加えて、図示しないA/D変換器およびFIFOメモリが実装されている。それにより、プローブ制御部201においては、モーションセンサ207により検出されたプローブ200の動きを示す信号がデジタル信号形式のデータ(以下、動きデータと呼ぶ。)に変換される。また、プローブ制御部201においては、プローブカメラ208の各画素から出力される受光信号がデジタル信号形式の複数の画素データに変換される。プローブ制御部201は、デジタル形式の動きデータおよび複数の画素データを、無線通信回路206を通して図2の撮像ヘッド100に無線通信により送信する。この場合、動きデータおよび複数の画素データは、さらに撮像ヘッド100から処理装置300に転送される。
図9に示すように、プローブケーシング210は、一方向に延びるように形成され、前端部210a、後端部210b、上面部210cおよび底面部210dを有する。底面部210dには、把持部220が設けられている。把持部220は、プローブケーシング210に平行に延びるように形成されている。プローブ操作部221は、把持部220のうちプローブケーシング210の後端部210bに近い部分に設けられている。
プローブケーシング210の後端部210bには、タッチパネルディスプレイ230が設けられている。前端部210aには、スタイラス211が設けられている。スタイラス211は、先端部に接触部211aを有する棒状の部材である。前端部210aには、さらにプローブカメラ208が設けられている。
プローブケーシング210の上面部210cには、前端部210aから後端部210bにかけて並ぶように3つの目標部材290が設けられている。本例の3つの目標部材290のうち前端部210aに最も近い目標部材290は、3つのマーカeqを有する。残りの2つの目標部材290の各々は、2つのマーカeqを有する。各マーカeqは、赤外光を放出する自発光型のマーカである。なお、これらの複数のマーカeqの発光タイミングと撮像ヘッド100の可動カメラ120の撮像タイミングとは同期される。
使用者Uは、プローブケーシング210の上面部210cが撮像ヘッド100に向くように把持部220を把持する。その上で、使用者Uは、測定対象物Sの所望の部分に接触部211aを接触させる。また、使用者Uは、タッチパネルディスプレイ230に表示される画像を視認しつつ、プローブ操作部221およびタッチパネルディスプレイ230を操作する。
[4]測定点の座標の算出方法
本実施の形態に係る三次元座標測定装置1においては、例えば基準スタンド10に対して予め定められた関係を有する三次元座標系(以下、世界座標系と呼ぶ。)が定義されている。また、基準カメラ110に対して予め定められた関係を有する三次元座標系(以下、基準カメラ座標系と呼ぶ。)が定義されている。さらに、可動カメラ120に対して予め定められた関係を有する三次元座標系(以下、可動カメラ座標系と呼ぶ。)が定義されている。
測定対象物Sの形状測定時には、可動カメラ120によりプローブ200が撮像され、測定画像データが生成される。測定画像データによれば、複数のマーカeqの位置を示す可動カメラ座標系の座標を算出することができる。プローブ200においては、複数のマーカeqおよび接触部211aが一定の位置関係を有する。それにより、算出された複数のマーカeqの座標に基づいて、測定対象物S上の測定点の位置を示す可動カメラ座標系の座標を算出することができる。
ここで、可動カメラ120の位置および姿勢は、支持部材30および可動部材40の少なくとも一方が回転することにより変化する。それにより、可動カメラ座標系と世界座標系との関係は、可動カメラ120の位置および姿勢の変化とともに変化する。測定対象物Sの形状を測定するためには、測定点の位置を世界座標系で表した座標が必要となる。そのため、可動カメラ座標系で表される測定点の座標は、可動カメラ120の位置および姿勢に応じて世界座標系で表されるように座標変換される必要がある。
この座標変換は、基準スタンド10に固定された基準カメラ110に対する可動部材40の位置および姿勢を示す情報(以下、位置姿勢情報と呼ぶ。)を用いることにより実現される。
位置姿勢情報の算出方法について説明する。位置姿勢情報は、回転行列および並進行列を含み、回転行列の成分をr11,r12,r13,r21,r22,r23,r31,r32,r33とし、並進行列の成分をtx,ty,tzとして、下記式(1)で表すことができる。
Figure 2020187097
一のマーカepの位置を世界座標系で表した座標を(X,Y,Z)とし、一のマーカepの位置を基準カメラ座標系で表した座標を(Xc,Yc,Zc)とする。この場合、上記式(1)に記載された行列の各成分を用いて、下記式(2),(3),(4)が成立する。
Xc=r11X+r12Y+r13Z+tx…(2)
Yc=r21X+r22Y+r23Z+ty…(3)
Zc=r31X+r32Y+r33Z+tz…(4)
ここで、基準カメラ110をピンホールカメラと仮定し、撮像素子の受光面上の一のマーカepの投影像の基準カメラ座標系に従う座標を(u,v)とする。この場合、基準カメラ110内の受光面から光学中心(レンズの主点位置)までの距離(焦点距離)をfとすると、相似の関係により下記式(5),(6)が成立する。
u/f=Xc/Zc…(5)
v/f=Yc/Zc…(6)
式(5),(6)は、式(2),(3),(4)を用いて下記式(7),(8)にそれぞれ変形することができる。
u/f−(r11X+r12Y+r13Z+tx)/(r31X+r32Y+r33Z+tz)=0…(7)
v/f−(r21X+r22Y+r23Z+ty)/(r31X+r32Y+r33Z+tz)=0…(8)
上記の2つの式(7),(8)は、一のマーカepに対応して生成される。したがって、参照部材190の複数のマーカepの全ての数をNとすると、(N×2)個の式を生成することができる。
u,vは基準カメラ110内の受光面上の各マーカepの投影像に基づいて取得することができる。複数のマーカepの位置関係は、参照マーカ情報として本体メモリ303に記憶されている。それにより、上記のX,Y,Zの値は、参照マーカ情報を用いることにより、第1および第2のマーカep1,ep2に対する位置関係に基づいて導くことができる既知の値である。
したがって、基準カメラ110の焦点距離fが既知でありかつNが所定数以上である場合には、(N×2)個の式(連立方程式)に基づいて回転行列および並進行列の全ての成分(位置姿勢情報)を最小二乗法的に求めることが可能になる。
この場合、マーカepの数Nが大きいほど、算出される回転行列および並進行列の信頼性が高くなる。この点を考慮して、本実施の形態に係る参照部材190は、例えば400個程度のマーカepを有する。
[5]基準カメラ110のカメラパラメータおよび校正
基準カメラ110内の撮像素子の受光面上に実際に投影される複数のマーカepの像には、レンズに起因する歪成分およびレンズと撮像素子との位置関係に起因するずれ成分が含まれる。これに対して、上記の式(5)〜(8)で用いられる投影像の座標(u,v)は、基準カメラ110内の受光面上の投影像に歪成分およびずれ成分が存在しないピンホールカメラモデルを前提とした座標である。そのため、位置姿勢情報を算出するための投影像の座標(u,v)を正確に取得するためには、一のマーカepから受光面に実際に投影される投影像の座標を補正する必要がある。
ここで、一のマーカepの位置を基準カメラ座標系で表した座標を(x,y,z)とし、正規化された平面上に投影される一のマーカepの投影像の座標(x/z,y/z)を(x’,y’)とする。
この場合、正規化された平面上に投影される一のマーカepの投影像のレンズに起因するずれ量x’’,y’’は、下記式(9),(10)で表すことができる。
x’’=x’(1+k1r+k2r+k3r)+2p1x’y’+p2(r+2x’)…(9)
y’’=y’(1+k1r+k2r+k3r)+p1(r+2y’)+2p2x’y’…(10)
これらの式(9),(10)において、r=x’+y’である。また、式(9),(10)のうち、k1,k2,k3はレンズの放射方向の歪成分を補正するための補正係数であり、p1,p2はレンズの接線方向の歪成分を補正するための補正係数である。
上記のずれ量x’’,y’’を求めることができれば、位置姿勢情報を算出するための投影像の座標(u,v)は、焦点距離fを用いて下記式(11),(12)により算出することができる。
u=f×x’’+u0…(11)
v=f×y’’+v0…(12)
これらの式(11),(12)において、u0,v0は、レンズの光軸が交差する撮像素子の受光面上の位置(以下、光軸交差点と呼ぶ。)の座標を表す。したがって、光軸交差点が受光面上の原点(例えば受光面の中心)に位置する場合、u0,v0はともに0となる。
上記のように、式(5)〜(8)で用いられる投影像の座標(u,v)を算出するためには、焦点距離f、光軸交差点の座標(u0,v0)、レンズに起因して発生する歪成分に対応する補正係数k1,k2,k3,p1,p2が既知である必要がある。したがって、本実施の形態に係る三次元座標測定装置1においては、上記の符号f,u0,v0,k1,k2,k3,p1,p2で示される予め定められた値がカメラパラメータとして本体メモリ303に記憶される。
ところで、基準カメラ110においては、その設置空間の温度変化および経年的な使用等に起因してレンズが変形したり、レンズと撮像素子との位置関係にずれが生じる場合がある。この場合、基準カメラ110における適切なカメラパラメータの値は、レンズの変形およびレンズと撮像素子との位置関係の変化に伴って変化する。
上記のように、参照部材190は、複数のマーカepの大部分が基準カメラ110の撮像視野の全体に渡って分散するように配置されることが望ましい。より多数のマーカepが基準カメラ110の撮像視野のより広い範囲に渡って分散するように配置された画像を示す基準画像データを用いることにより、より高い精度で位置姿勢情報を算出することができる。しかしながら、基準画像データのうち撮像視野の中心部以外の領域に対応する部分のデータは、上記のカメラパラメータの影響を受けやすい。
そこで、本実施の形態に係る三次元座標測定装置1は、本体メモリ303に過去に記憶されたカメラパラメータを、現時点で適切とされる新たなカメラパラメータで更新する基準カメラ110の校正機能を有する。
カメラの校正手法として、いわゆるZhangの手法(非特許文献1参照)が知られている。本例の校正機能においては、Zhangの手法を用いて基準カメラ110の校正が行われる。この校正機能の詳細を説明する。
実際の受光面上の一のマーカepの投影像の座標を(u’,v’)とすると、その座標と上記の座標(u,v)との誤差ex,eyは、下記式(13),(14)で表すことができる。
ex=u−u’…(13)
ey=v−v’…(14)
基準カメラ110の校正時には、支持部材30および可動部材40がそれぞれ所定ピッチで順次回転することにより、参照部材190が互いに異なる複数の位置姿勢状態に移行される。具体的には、支持部材30は例えば30°ピッチで光軸110cを中心として順次回転し、可動部材40は例えば10°ピッチで回転軸30cを中心として順次回転する。
また、複数の位置姿勢状態の各々で基準カメラ110により複数のマーカepが撮像される。これにより得られる画像データから、複数のマーカepの複数の投影像の座標が上記の(u’,v’)として取得される。
複数のマーカepの位置関係は、参照マーカ情報として本体メモリ303に記憶されている。それにより、上記のx,y,zの値は、参照マーカ情報を用いることにより、第1および第2のマーカep1,ep2に対する位置関係に基づいて導くことができる既知の値である。
そこで、参照部材190の複数の位置姿勢状態で複数のマーカepに対応して得られる全ての誤差ex,eyの積算値が最小となるように、全ての画像データに対して一意的に定まる新たなカメラパラメータの値(符号f,u0,v0,k1,k2,k3,p1,p2で示される値)が決定される。このとき、決定されたカメラパラメータに対応する誤差ex,eyの積算値は、本体メモリ303に記憶される。
その後、校正前に本体メモリ303に記憶されたカメラパラメータが、上記のようにして決定された新たなカメラパラメータで更新される。それにより、三次元座標測定装置1の周囲の温度環境が変化したり、三次元座標測定装置1が長期に渡って使用される場合でも、位置姿勢情報の算出精度の低下が防止される。
なお、三次元座標測定装置1において、初期のカメラパラメータは、工場出荷前または工場出荷後の三次元座標測定装置1の最初の使用時に、上記の校正機能により決定される。このとき決定されたカメラパラメータは、本体メモリ303に記憶される。
[6]校正判定機能
本実施の形態に係る三次元座標測定装置1は、基準カメラ110の校正の要否を判定しかつ判定結果を使用者Uに提示する校正判定機能をさらに有する。
校正判定は、本体メモリ303に記憶されている参照マーカ情報およびカメラパラメータに基づいて算出される複数のマーカepの受光面上の投影像の位置と、基準画像データに基づいて検出される複数のマーカepの受光面上の実際の投影像の位置との関係が予め定められた許容条件を満たすか否かに基づいて行われる。
具体的な校正判定の一例を説明する。例えば、校正時と同様に、まず支持部材30および可動部材40がそれぞれ所定ピッチで順次回転することにより、参照部材190が位置および姿勢の互いに異なる複数の状態に移行され、各状態に対応する基準画像データが取得される。そこで、参照マーカ情報およびカメラパラメータと複数の基準画像データとを用いて参照部材190の複数の状態で複数のマーカepに対応して得られる全ての誤差ex,eyの積算値(以下、判定時積算誤差と呼ぶ。)が算出される。
その後、直前に行われた校正時に算出された誤差ex,eyの積算値(以下、校正時積算誤差と呼ぶ。)に対する判定時積算誤差の比率が、許容条件として予め定められた許容比率(例えば、1.5)以上となったか否かが判定される。この許容条件は、例えば本体メモリ303に予め記憶されているものとする。
これにより、比率が許容比率以上である場合には、その判定結果として、基準カメラ110の校正を行うべきメッセージが本体表示部310に表示される。一方、比率が許容比率よりも小さい場合には、その判定結果として、基準カメラ110の校正を行わなくてよいメッセージが本体表示部310に表示される。
なお、校正判定は、上記の例に限らず、例えば判定時積算誤差が許容条件として予め定められたしきい値以上であるか否かを判定することにより行われてもよい。この場合、判定時積算誤差が予め定められたしきい値以上である場合に、基準カメラ110の校正を行うべきことが判定される。一方、判定時積算誤差が予め定められたしきい値よりも小さい場合に、基準カメラ110の校正を行なわなくてよいことが判定される。
[7]測定例
図9のプローブ操作部221は、測定点の座標を算出するために使用者Uにより押下操作される。例えば、使用者Uは、測定対象物Sの所望の部分に接触部211aが接触された状態で、プローブ操作部221を押下操作する。この場合、この場合、測定対象物Sにおける接触部211aとの接触部分の座標が、測定点の座標として算出される。算出された測定点の座標は、測定結果として本体メモリ303に記憶されるとともに、プローブ表示部231および本体表示部310に表示される。
三次元座標測定装置1においては、使用者Uは、図2の本体操作部320または図8のタッチパネルディスプレイ230を操作することにより、測定対象物Sに対して所望の測定条件を設定することができる。
具体的には、使用者Uは、測定対象物Sについて、幾何要素および測定項目の選択を行う。幾何要素は、測定対象物Sにおいて測定すべき部分の形状を示す幾何学形状の種類である。幾何学形状の種類には、点、直線、平面、円、円筒および球等が含まれる。また、測定項目は、測定対象物Sに対して何を測定すべきかを示すものであり、距離、角度および平面度等の種々の物理量が含まれる。
幾何要素および測定項目の選択後、使用者Uは、選択された幾何要素についてプローブ200を用いた1または複数の測定点の指示を行う。それにより、選択された幾何要素であって、測定対象物S上で1または複数の測定点により特定される幾何要素を世界座標系で示す情報(以下、要素特定情報と呼ぶ。)が生成される。その後、生成された要素特定情報に関して選択された測定項目の値が算出される。
例えば、使用者Uは、互いに平行かつ反対側の第1および第2の面を有する測定対象物Sの第1の面と第2の面との間の距離を測定したい場合には、幾何要素「平面1」および「平面2」を選択する。また、使用者Uは、測定項目「距離」を選択する。
この場合、使用者Uは、幾何要素「平面1」に対応する測定対象物S上の平面(第1の面)を特定するために、プローブ200を用いて測定対象物Sの第1の面の複数(本例では3点以上)の部分を測定点として指示する。これにより、幾何要素「平面1」に対応する要素特定情報が生成される。
さらに、使用者Uは、幾何要素「平面2」に対応する測定対象物S上の平面(第2の面)を特定するために、プローブ200を用いて測定対象物Sの第2の面の複数(本例では3点以上)の部分を測定点として指示する。これにより、幾何要素「平面2」に対応する要素特定情報が生成される。
その後、幾何要素「平面1」および「平面2」にそれぞれ対応する2つの要素特定情報に基づいて、測定項目「距離」に対応する測定対象物Sの第1の面と第2の面との間の距離が算出される。
算出された測定結果は、本体メモリ303に記憶されるとともに、プローブ表示部231および本体表示部310に表示される。
[8]本体制御回路302の機能的な構成
図10は、本体制御回路302の機能的な構成を示すブロック図である。図10に示すように、本体制御回路302は、座標算出部391、受付部392、測定部393、校正更新部394、校正判定部395および表示制御部396を含む。これらの機能部は、本体制御回路302のCPUが本体メモリ303に記憶された測定処理プログラム、校正プログラムおよび校正判定プログラム等を実行することにより実現される。なお、上記の複数の機能部のうち一部または全てが電子回路等のハードウェアにより実現されてもよい。
座標算出部391は、測定対象物Sの形状測定時に、基準画像データと本体メモリ303に記憶された参照マーカ情報およびカメラパラメータとに基づいて基準カメラ110に対する可動カメラ120の位置および姿勢を示す位置姿勢情報を生成する。また、座標算出部391は、生成された位置姿勢情報と測定画像データとに基づいて測定対象物S上の測定点の座標を算出する。
受付部392は、予め定められた複数の幾何要素および予め定められた複数の測定項目から使用者Uにより選択された幾何要素および測定項目を受け付ける。測定部393は、受付部392により受け付けられた幾何要素および測定項目と座標算出部391により算出された測定点の座標とに基づいて、測定対象物Sにおいて測定点により特定される選択された幾何要素に関する選択された測定項目の値を算出する。また、測定部393は、算出された値を測定結果として本体メモリ303に記憶させる。
校正更新部394は、基準カメラ110の校正時に、可動部材40を光軸110cおよび回転軸30cのうち少なくとも一方の軸の周りで回転させる。これにより、可動カメラ120および参照部材190が可動部材40とともに回転する。それにより、校正更新部394は、可動カメラ120を位置および姿勢の互いに異なる複数の状態に移行させつつ、複数の状態の各々で基準カメラ110により参照部材190の複数のマーカepを撮像させる。また、校正更新部394は、この撮像により得られる複数の基準画像データと参照マーカ情報とに基づいて新たなカメラパラメータを算出する。さらに、校正更新部394は、校正前に本体メモリ303に記憶されたカメラパラメータを算出された新たなカメラパラメータで更新する。
校正判定部395は、本体メモリ303に記憶された参照マーカ情報およびカメラパラメータに基づいて基準カメラ110の受光面上の複数のマーカepの投影像の位置を算出する。また、校正判定部395は、基準カメラ110が複数のマーカepを撮像することにより得られる基準画像データに基づいて受光面上の複数のマーカepの実際の投影像の位置を検出する。その上で、校正判定部395は、算出された投影像の位置と検出された実際の投影像の位置との関係が予め定められた許容条件を満たすか否かに基づいて校正の要否を判定し、判定結果を出力する。表示制御部396は、校正判定部395により出力される判定結果を本体表示部310に表示させる。
[9]測定処理
図11は、図2の本体制御回路302による測定処理の流れを示すフローチャートである。図11の測定処理は、図2の本体制御回路302のCPUが本体メモリ303に記憶された測定処理プログラムを実行することにより所定周期で繰り返して行われる。また、測定処理の開始時には、本体制御回路302に内蔵されたタイマがリセットされるとともにスタートされる。
まず、本体制御回路302の受付部392は、使用者Uによる図2の本体操作部320または図8のタッチパネルディスプレイ230の操作の有無に基づいて、幾何要素および測定項目の選択が行われたか否かを判定する(ステップS11)。
幾何要素および測定項目の選択が行われた場合、本体制御回路302の受付部392は、選択された幾何要素および測定項目を図2の本体メモリ303に記憶させることにより測定条件として幾何要素および測定項目の設定を行う(ステップS12)。その後、本体制御回路302の受付部392は、ステップS11の処理に戻る。
ステップS11において、幾何要素および測定項目の選択が行われない場合、本体制御回路302の測定部393は、幾何要素および測定項目が設定されているか否かを判定する(ステップS13)。幾何要素および測定項目が設定されている場合、本体制御回路302の測定部393は、測定対象物Sの測定を開始すべき指令を受けたか否かを判定する(ステップS14)。この判定は、例えば使用者Uによる本体操作部320またはタッチパネルディスプレイ230の操作の有無に基づいて行われる。
測定対象物Sの測定を開始すべき指令を受けた場合、本体制御回路302の座標算出部391は、測定点座標算出処理を行う(ステップS15)。測定点座標算出処理の詳細は後述する。この処理により、本体制御回路302の座標算出部391は、使用者Uによるプローブ200の操作に基づいて、選択された幾何要素を特定するための測定点の座標を算出する。
また、本体制御回路302の座標算出部391は、ステップS15の測定点座標算出処理により算出される1または複数の測定点の座標を本体メモリ303に記憶させる(ステップS16)。
次に、本体制御回路302の測定部393は、測定対象物Sの測定を終了すべき指令を受けたか否かを判定する(ステップS17)。この判定は、例えば使用者Uによる本体操作部320またはタッチパネルディスプレイ230の操作の有無に基づいて行われる。
測定の終了指令を受けない場合、本体制御回路302の座標算出部391は、上記のステップS15の処理に戻る。一方、測定の終了指令を受けると、本体制御回路302の測定部393は、直前のステップS16の処理で本体メモリ303に記憶された1または複数の測定点の座標から設定された幾何要素について要素特定情報を生成する(ステップS18)。
その後、本体制御回路302の測定部393は、ステップS18の処理で生成された要素特定情報に基づいて設定された測定項目の値を算出し(ステップS19)、測定処理を終了する。なお、ステップS13の判定時において、複数の幾何要素(例えば、2つの平面等)が設定されている場合には、設定された幾何要素ごとに上記のステップS14〜S18の処理が行われる。
ステップS13において幾何要素および測定項目が設定されていない場合およびステップS14において測定対象物Sの測定を開始すべき指令を受けない場合、本体制御回路302の測定部393は、内蔵のタイマによる計測時間に基づいて、当該測定処理が開始された後予め定められた時間が経過したか否かを判定する(ステップS20)。
予め定められた時間が経過していない場合、本体制御回路302の受付部392は、ステップS11の処理に戻る。一方、予め定められた時間が経過した場合、本体制御回路302の座標算出部391は、ステップS15の処理と同様に、後述する測定点座標算出処理を行う(ステップS21)。その後、本体制御回路302の座標算出部391は、測定処理を終了する。
なお、ステップS21の処理は、例えば後述する追跡処理においてプローブ200が可動カメラ120または俯瞰カメラ180の撮像視野内にあるか否かを判定するために行われる。
図12は、測定点座標算出処理の流れを示すフローチャートである。まず、座標算出部391は、プローブ200のプローブ制御部201に対して複数のマーカeq(図9)の発光を指令するとともに、撮像ヘッド100のヘッド制御回路150に対して参照部材190の複数のマーカep(図6(b))の発光を指令する(ステップS101)。
次に、座標算出部391は、ヘッド制御回路150により基準カメラ110を用いて参照部材190の複数のマーカepを撮像させることにより基準画像データを生成する(ステップS102)。また、座標算出部391は、生成された基準画像データと本体メモリ303に記憶された参照マーカ情報およびカメラパラメータとに基づいて、可動カメラ120の位置および姿勢を示す位置姿勢情報を算出する(ステップS103)。
次に、座標算出部391は、可動カメラ120を用いてプローブ200の複数のマーカeqを撮像することにより測定画像データを生成する(ステップS104)。また、座標算出部391は、生成された測定画像データに基づいて、測定対象物S上の測定点の可動カメラ座標系の座標を算出する(ステップS105)。
その後、座標算出部391は、算出された位置姿勢情報に基づいて、ステップS105で算出された座標について可動カメラ座標系から世界座標系への座標変換を行う(ステップS106)。これにより、測定点座標算出処理が終了する。
なお、上記のステップS102,S103の処理とステップS104,S105の処理とは、逆の順に行われてもよい。
上記の測定処理によれば、使用者Uは、予め定められた複数の幾何要素および予め定められた複数の測定項目から所望の幾何要素および測定項目を選択することにより、測定対象物Sにおける所望の物理量を容易に測定することができる。
[10]追跡処理
図13は、図2の本体制御回路302による追跡処理の流れを示すフローチャートである。図13の追跡処理は、図2の本体制御回路302のCPUが本体メモリ303に記憶された追跡処理プログラムを実行することにより所定周期で繰り返して行われる。
まず、本体制御回路302は、プローブ200が可動カメラ120の撮像視野内にあるか否かを判定する(ステップS31)。この判定は、測定処理におけるステップS15,S21の処理中に生成される測定画像データに、複数のマーカeqに対応する画像データが含まれているか否かを判定することにより行われる。
プローブ200が可動カメラ120の撮像視野内にある場合、本体制御回路302は、後述するステップS38の処理に進む。一方、プローブ200が可動カメラ120の撮像視野内にない場合、本体制御回路302は、プローブ200が俯瞰カメラ180の撮像視野内にあるか否かを判定する(ステップS32)。この判定は、上記の測定処理におけるステップS15,S21の処理中に生成される俯瞰画像データに、複数のマーカeqに対応する画像データが含まれているか否かを判定することにより行われる。
プローブ200が俯瞰カメラ180の撮像視野内にある場合、本体制御回路302は、後述するステップS37の処理に進む。一方、プローブ200が可動カメラ120の撮像視野内にない場合、本体制御回路302は、プローブ200から転送される動きデータに基づいてプローブ200の座標推定を行うことが可能か否かを判定する(ステップS33)。この判定は、例えば動きデータが異常な値を示しているか否かまたは動きデータの示す値が0であるか否か等に基づいて行われる。動きデータが異常な値を示す場合、または動きデータが0である場合、プローブ200の座標推定は不可能である。
プローブ200の座標推定が可能である場合、本体制御回路302は、動きデータに基づいてプローブ200の位置を推定する。また、本体制御回路302は、プローブ200が可動カメラ120の撮像視野内に位置するように、可動カメラ120の位置および姿勢の調整を指令する(ステップS34)。その後、本体制御回路302は、ステップS31の処理に戻る。
ここで、使用者Uは、図2の本体操作部320または図8のタッチパネルディスプレイ230を操作することにより、本体制御回路302にプローブ200の探索を指令することができる。
そこで、ステップS33において、プローブ200の座標推定が不可能である場合、本体制御回路302は、プローブ200の探索指令を受けたか否かを判定する(ステップS35)。プローブ200の探索指令を受けない場合、本体制御回路302は、ステップS31の処理に戻る。一方、プローブ200の探索指令を受けた場合、本体制御回路302は、撮像ヘッド100の支持部材30を回転するように、ヘッド制御回路150に指令する。このようにして、本体制御回路302は、俯瞰カメラ180によるプローブ200の探索を行う(ステップS36)。
その後、本体制御回路302は、プローブ200が俯瞰カメラ180の撮像視野内に位置することになると、俯瞰画像データに基づいてプローブ200の位置を算出する。また、本体制御回路302は、プローブ200が可動カメラ120の撮像視野内に位置するように可動カメラ120の位置および姿勢の調整をヘッド制御回路150に指令する(ステップS37)。
次に、本体制御回路302は、プローブ200が可動カメラ120の撮像視野内に位置することになると、プローブ200の複数のマーカeqの重心が可動カメラ120の撮像視野の中心に位置するように可動カメラ120の位置および姿勢の調整をヘッド制御回路150に指令する(ステップS38)。その後、本体制御回路302は、追跡処理を終了する。
上記の追跡処理によれば、プローブ200が移動する場合でも、可動カメラ120の撮像視野がプローブ200の複数のマーカeqに追従する。それにより、使用者Uは、可動カメラ120の撮像視野を手動で調整する必要がない。したがって、煩雑な調整作業を要することなく広い範囲で測定対象物Sの所望の測定点の座標を測定することが可能になる。
[11]校正処理
図14は、図2の本体制御回路302による校正処理の流れを示すフローチャートである。図14の校正処理は、図2の本体制御回路302のCPUが本体メモリ303に記憶された校正プログラムを実行することにより実現され、使用者Uが図2の本体操作部320を操作することにより与えられる校正処理の指令に応答して開始される。
校正処理が開始されると、本体制御回路302の校正更新部394は、本体メモリ303に予め記憶されている参照マーカ情報を読み込む(ステップS41)。
次に、校正更新部394は、予め定められた複数の状態のうち一の状態となるように可動カメラ120の位置および姿勢の調整を撮像ヘッド100に指令する(ステップS42)。これにより、撮像ヘッド100において、回転駆動回路140が図4の水平回転機構141およびチルト回転機構143のうち少なくとも一方を駆動することにより、可動カメラ120の位置および姿勢が一の状態に調整される。
次に、校正更新部394は、基準カメラ110を用いて参照部材190の複数のマーカepを撮像させることにより基準画像データを生成し、その基準画像データを本体メモリ303に記憶させる(ステップS43)。
次に、校正更新部394は、現時点で実行されている校正処理が開始された後、可動カメラ120が予め定められた複数の状態の全てに移行したか否かを判定する(ステップS44)。
ステップS44において、可動カメラ120が予め定められた複数の状態の全てに移行していない場合、校正更新部394は、予め定められた複数の状態のうち移行されていない他の状態となるように可動カメラ120の位置および姿勢の調整を撮像ヘッド100に指令する(ステップS45)。これにより、撮像ヘッド100において、回転駆動回路140が図4の水平回転機構141およびチルト回転機構143のうち少なくとも一方を駆動することにより、可動カメラ120の位置および姿勢が他の状態に調整される。その後、校正更新部394は、ステップS41の処理に戻る。
ステップS44において、可動カメラ120が予め定められた複数の状態の全てに移行している場合、校正更新部394は、ステップS43の処理で本体メモリ303に記憶された複数の基準画像データおよび参照マーカ情報に基づいて、新たなカメラパラメータを算出する(ステップS46)。
その後、校正更新部394は、算出された新たなカメラパラメータで本体メモリ303に記憶されたカメラパラメータを更新する(ステップS47)。これにより、校正処理が終了する。
上記の例では、校正処理は、使用者Uが本体操作部320を操作することによる校正処理の開始指令に応答して開始されている。この例に限らず、校正処理は、例えば三次元座標測定装置1の電源がオンされたことに応答して自動的に開始されてもよい。あるいは、校正処理は、例えば温度検出器を用いて三次元座標測定装置1の周辺の温度を監視しつつ、検出される温度が所定の温度範囲から外れた場合に、自動的に開始されてもよい。また、校正処理は、三次元座標測定装置1の使用時間が所定時間を経過するごとに自動的に行われてもよい。
[12]校正判定処理
図15は、図2の本体制御回路302による校正判定処理の流れを示すフローチャートである。図15の校正判定処理は、図2の本体制御回路302のCPUが本体メモリ303に記憶された校正判定プログラムを実行することにより実現され、使用者Uが図2の本体操作部320を操作することにより与えられる校正判定処理の指示に応答して開始される。ここで、初期状態において、本体メモリ303には、予め校正時積算誤差および許容条件が記憶されているものとする。
校正判定処理が開始されると、本体制御回路302の校正判定部395は、本体メモリ303に予め記憶されている参照マーカ情報、カメラパラメータ、校正時積算誤差および許容条件を読み込む(ステップS51)。
次に、校正判定部395は、予め定められた複数の状態のうち一の状態となるように可動カメラ120の位置および姿勢の調整を撮像ヘッド100に指令する(ステップS52)。また、校正判定部395は、ヘッド制御回路150により基準カメラ110を用いて参照部材190の複数のマーカepを撮像させることにより基準画像データを生成し、その基準画像データを本体メモリ303に記憶させる(ステップS53)。
次に、校正判定部395は、現時点で実行されている校正判定処理が開始された後、可動カメラ120が予め定められた複数の状態の全てに移行したか否かを判定する(ステップS54)。
ステップS54において、可動カメラ120が予め定められた複数の状態の全てに移行していない場合、校正判定部395は、予め定められた複数の状態のうち移行されていない他の状態となるように可動カメラ120の位置および姿勢の調整を撮像ヘッド100に指令する(ステップS55)。その後、校正判定部395は、ステップS51の処理に戻る。
ステップS54において、可動カメラ120が予め定められた複数の状態の全てに移行している場合、校正判定部395は、ステップS53の処理で本体メモリ303に記憶された複数の基準画像データと参照マーカ情報およびカメラパラメータとに基づいて、判定時積算誤差を算出する(ステップS56)。
その後、校正判定部395は、算出された判定時積算誤差と読み込まれた校正時積算誤差および許容条件とに基づいて、校正の要否を判定し、判定結果を出力する(ステップS57)。これにより、校正判定処理が終了する。
上記の例では、校正判定処理は、使用者Uが本体操作部320を操作することによる校正判定処理の開始指令に応答して開始されている。この例に限らず、校正判定処理は、例えば三次元座標測定装置1の電源がオンされたことに応答して自動的に開始されてもよい。あるいは、校正判定処理は、例えば温度検出器を用いて三次元座標測定装置1の周辺の温度を監視しつつ、検出される温度が所定の温度範囲から外れた場合に、自動的に開始されてもよい。また、校正判定処理は、三次元座標測定装置1の使用時間が所定時間を経過するごとに自動的に行われてもよい。
ここで、校正判定部395から出力される判定結果は、本体制御回路302の表示制御部396により、図2の本体表示部310に表示される。図16は、校正判定機能による判定結果の表示例を示す図である。
校正判定により基準カメラ110の校正を行うべきことが判定された場合には、図16(a)に太い点線で示すように、本体表示部310の画面上に、使用者Uに対して校正の操作を促すメッセージが提示される。一方、校正判定により基準カメラ110の校正を行う必要がないと判定された場合には、図16(b)に太い点線で示すように、本体表示部310の画面上に、使用者Uに対して校正を行う必要がない旨のメッセージが提示される。これにより、使用者Uは、基準カメラ110の校正の要否を容易に把握することができる。
[13]プローブカメラ208の使用例
図8のプローブカメラ208によって測定対象物Sを撮像することにより、測定対象物Sの画像を図2の本体表示部310に表示させることができる。以下、プローブカメラ208により得られる画像を撮像画像と呼ぶ。
プローブ200の複数のマーカeqとプローブカメラ208との位置関係、およびプローブカメラ208の特性(画角およびディストーション等)は、例えば図2の本体メモリ303に撮像情報として予め記憶される。そのため、複数のマーカeqが可動カメラ120の撮像視野内にある場合、プローブカメラ208により撮像される領域が図2の本体制御回路302により認識される。すなわち、撮像画像に対応する3次元空間が本体制御回路302により認識される。この場合、本体表示部310に撮像画像を表示させつつ、測定対象物Sの測定時に設定された幾何要素および測定項目を重畳表示させることができる。
なお、撮像画像は、プローブ200のタッチパネルディスプレイ230に表示されてもよい。例えば、ある測定対象物Sについて、測定すべき部分をプローブカメラ208で予め撮像することにより得られた撮像画像をタッチパネルディスプレイ230に表示させる。この場合、使用者Uは、当該撮像画像を視認しつつプローブ200を操作することにより、他の測定対象物Sについてもその測定すべき部分を容易に識別することが可能になる。
[14]効果
上記の三次元座標測定装置1においては、測定対象物Sの形状測定時に、可動カメラ120により測定対象物Sが撮像され、測定画像データが生成される。また、可動カメラ120と一体的に設けられる参照部材190の複数のマーカepが基準カメラ110により撮像され、基準画像データが生成される。その後、基準画像データ、参照マーカ情報およびカメラパラメータに基づいて位置姿勢情報が算出され、算出された位置姿勢情報と測定画像データとに基づいて測定点の世界座標系の座標が算出される。
基準カメラ110の校正時には、可動カメラ120が位置および姿勢の互いに異なる複数の状態に移行する。複数の状態の各々で、基準カメラ110により参照部材190の複数のマーカepが撮像される。これにより得られる複数の基準画像データと参照マーカ情報とに基づいて新たなカメラパラメータが算出され、本体メモリ303に記憶されたカメラパラメータが新たなカメラパラメータで更新される。したがって、校正具の用意等の使用者Uによる煩雑な校正作業を要することなく本体メモリ303に記憶されるカメラパラメータが適切なカメラパラメータに更新される。
これらの結果、煩雑な校正作業を要することなく高い精度で信頼性の高い形状測定を行うことが可能となる。
[15]他の実施の形態
(1)上記実施の形態では、参照部材190の複数のマーカepの各々は、平面円形状を有するが、本発明はこれに限定されない。参照部材190においては、基準カメラ110の撮像により得られる画像データに基づいて可動カメラ120の位置および姿勢を算出することができればよい。
各マーカepの形状は平面円形状に限らず、平面多角形状を有してもよいし、平面楕円形状を有してもよいし、平面星形状を有してもよいし、球形状を有してもよい。あるいは、参照部材190には、例えば格子状に形成された複数の直線状のマーカが設けられてもよいし、円環状のマーカが設けられてもよいし、コード化されたマーカが設けられてもよい。
また、上記実施の形態では、参照部材190に設けられる複数のマーカepがマトリクス状に並ぶが、複数のマーカepは分散配置されていればよい。
(2)上記実施の形態では、参照部材190の複数のマーカepの各々は、複数の発光素子Lが発光することにより光を放出する自発光型の構成を有するが、本発明はこれに限定されない。各マーカepは、再起反射型の構成を有してもよい。この場合、基準カメラ110による複数のマーカepの撮像時には、それらのマーカepに光が照射される必要がある。
(3)上記実施の形態では、プローブ200を撮像するための可動撮像部として単眼の可動カメラ120が用いられるが、本発明はこれに限定されない。可動撮像部として、複眼のカメラが用いられてもよい。
(4)上記実施の形態では、参照部材190の複数のマーカepを撮像するための基準撮像部として単眼の基準カメラ110が用いられるが、本発明はこれに限定されない。基準撮像部として、複眼のカメラが用いられてもよい。
(5)上記実施の形態では、基準カメラ110は、基準スタンド10の固定部11の上面に光軸110cが直交するように設けられるが、本発明はこれに限定されない。基準カメラ110は、その光軸110cが基準スタンド10の固定部11の上面に対して傾斜するように設けられてもよい。
(6)上記実施の形態に係る三次元座標測定装置1においては、可動カメラ120は、チルト回転機構143によりその撮像視野が上下方向に移動可能に構成されるが、本発明はこれに限定されない。チルト回転機構143は設けられなくてもよい。この場合、可動カメラ120の撮像視野は、基準カメラ110の光軸110cの周りで水平方向にのみ回転する。
(7)上記実施の形態に係る三次元座標測定装置1においては、可動カメラ120は、水平回転機構141によりその撮像視野が基準カメラ110の光軸110cの周りで水平方向に回転可能に構成されるが、本発明はこれに限定されない。水平回転機構141は設けられなくてもよい。この場合、可動カメラ120の撮像視野は、上下方向にのみ移動する。
(8)可動カメラ120は、基準カメラ110の上方の水平面内で移動可能に設けられてもよい。
(9)上記実施の形態に係る三次元座標測定装置1においては、可動カメラ120は、その姿勢が基準スタンド10および基準カメラ110に対して変更可能に可動部材40に取り付けられているが、本発明はこれに限定されない。可動カメラ120は、基準カメラ110に対して固定された位置および姿勢で設けられてもよい。以下、可動カメラ120が基準カメラ110に対して固定された位置および姿勢で設けられる構成の一例を説明する。
図17は、他の実施の形態に係る三次元座標測定装置の構成の一例を示す図である。図17では、三次元座標測定装置のうち図1の処理装置300、本体表示部310および本体操作部320を除く構成が示される。
図17の三次元座標測定装置においては、平板状のベース部材610上に基準カメラ110、スタンド部材620およびステージ支持装置630が設けられている。スタンド部材620は、ベース部材610の上面の一部から上方に延びるように固定されている。スタンド部材620の上端部には、撮像視野が斜め下方に向くように可動カメラ120が固定されている。
ステージ支持装置630は、ベース部材610に固定され、測定対象物Sが載置される回転移動ステージ640を、水平方向に移動可能かつ水平面内で回転可能かつ水平面に対して傾斜可能かつ上下方向に移動可能に支持する。また、ステージ支持装置630は、処理装置300からの指令に応答して回転移動ステージ640の位置および姿勢を変更させることが可能に構成されている。
回転移動ステージ640は、基本的に回転移動ステージ640の上方の空間が可動カメラ120の撮像視野内に位置する状態で支持される。それにより、回転移動ステージ640上に測定対象物Sが載置された状態で、可動カメラ120により測定対象物Sを撮像することが可能になる。
回転移動ステージ640の下面には、上記実施の形態に係る参照部材190が設けられている。基準カメラ110は、撮像視野が上方を向くようにかつ参照部材190の複数のマーカepが基準カメラ110の撮像視野内に位置するようにベース部材610に固定されている。
上記の構成を有する三次元座標測定装置1においては、回転移動ステージ640上に測定対象物Sが載置された状態でプローブ200を用いて測定対象物S上の測定点が指示される。この場合、可動カメラ120がプローブ200の複数のマーカeqを撮像することにより、指示された測定点の可動カメラ座標系の座標を算出することができる。
ここで、可動カメラ120および基準カメラ110に対する回転移動ステージ640の位置および姿勢を示す情報(位置姿勢情報)は、基準カメラ110が参照部材190を撮像することにより得られる基準画像データに基づいて算出することができる。それにより、回転移動ステージ640の位置および姿勢が変更される際には、その変更後に算出される測定点の可動カメラ座標系の座標および位置姿勢情報に基づいて、回転移動ステージ640を基準とする座標系の測定点の座標を算出することができる。それにより、可動カメラ120に対する測定対象物Sの位置および姿勢を変更しつつ、測定対象物S全体の形状を把握することが可能になる。
(10)上記実施の形態に係る三次元座標測定装置1においては、可動カメラ120がプローブ200を撮像することにより取得される測定画像データに基づいて測定対象物Sの測定点の座標が算出されるが、本発明はこれに限定されない。
測定対象物Sの測定点の座標は、上記の可動カメラ120およびプローブ200に代えて、他の位置検出手段を用いて算出されてもよい。
図18は、他の実施の形態に係る三次元座標測定装置の構成の他の例を示す図である。図18では、図17の例と同様に、三次元座標測定装置のうち図1の処理装置300、本体表示部310および本体操作部320を除く構成が示される。
図18に示すように、本例の三次元座標測定装置は、図17の三次元座標測定装置に対して、可動カメラ120およびプローブ200に代えて測定点座標取得装置650が設けられる点が異なる。
本例では、測定点座標取得装置650に対して予め定められた関係を有する三次元座標系(以下、副座標系と呼ぶ。)が定義されているものとする。
測定点座標取得装置650は、スタンド部材620により回転移動ステージ640の上方に設けられ、測定対象物S上の測定点の副座標系の座標を算出可能に構成される。この場合、測定点座標取得装置650は、例えば走査型プローブ顕微鏡に用いられる探針およびそれを走査するための三次元走査素子を含んでもよいし、形状測定に用いられる光プローブおよびそれを走査するための三次元走査素子を含んでもよい。
上記の構成を有する三次元座標測定装置においては、回転移動ステージ640上に測定対象物Sが載置された状態で測定点座標取得装置650を用いて測定対象物S上の測定点の副座標系の座標が算出される。また、基準カメラ110が参照部材190を撮像することにより回転移動ステージ640の位置姿勢情報が算出される。それにより、回転移動ステージ640の位置および姿勢が変更される際には、その変更後に算出される測定点の副座標系の座標および位置姿勢情報に基づいて、回転移動ステージ640を基準とする座標系の測定点の座標を算出することができる。それにより、測定点座標取得装置650に対する測定対象物Sの位置および姿勢を変更しつつ、測定対象物S全体の形状を把握することが可能になる。
[16]請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態においては、可動カメラ120および測定点座標取得装置650が測定点情報取得部の例であり、可動部材40および参照部材190が回転電動部材の例であり、参照部材190の複数のマーカepが複数の参照マーカの例であり、基準カメラ110が基準撮像部の例であり、撮像パラメータがカメラパラメータの例である。
また、本体メモリ303が記憶部の例であり、座標算出部391が座標算出部の例であり、校正更新部394が校正更新部の例であり、校正判定部395が校正判定部の例であり、本体表示部310および本体表示部310が提示部の例である。
また、プローブ200がプローブの例であり、プローブ200の複数のマーカeqが複数の測定マーカの例であり、基準カメラ110の光軸110cまたは可動部材40の回転軸30cが第1の回転軸の例であり、可動部材40の回転軸30cが第2の回転軸の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
1…三次元座標測定装置,10…基準スタンド,11…固定部,12…脚部,20…固定連結部,21…下固定板,22…上固定板,23…支柱,24…中空支持軸,30…支持部材,30c…回転軸,31…回転台座,32,33…支持フレーム,40…可動部材,41…上面,42…下面,43基板,50…蛇腹,90…ケーシング,91…下部ケーシング,92…上部ケーシング,93…スリット,94…俯瞰カメラ用窓,100…撮像ヘッド,110i…画像,110…基準カメラ,110c,120c…光軸,120…可動カメラ,130,204…マーカ駆動回路,140…回転駆動回路,141…水平回転機構,143…チルト回転機構,150…ヘッド制御回路,160,206…無線通信回路,170,301…通信回路,180…俯瞰カメラ,190…参照部材,191…発光基板,192…拡散板,193…ガラス板,194…マスク,195…拡散反射シート,200…プローブ,201…プローブ制御部,202…表示灯,203…バッテリ,205…プローブメモリ,207…モーションセンサ,208…プローブカメラ,210…プローブケーシング,210a…前端部,210b…後端部,210d…底面部,210c…上面部,211…スタイラス,211a…接触部,220…把持部,221…プローブ操作部,230…タッチパネルディスプレイ,231…プローブ表示部,232…タッチパネル,290…目標部材,300…処理装置,302…本体制御回路,303…本体メモリ,310…本体表示部,320…本体操作部,391…座標算出部,392…受付部,393…測定部,394…校正更新部,395…校正判定部,396…表示制御部,610…ベース部材,620…スタンド部材,630…ステージ支持装置、640…回転移動ステージ,650…測定点座標取得装置,ep,eq…マーカ,ep1…第1のマーカ,ep2…第2のマーカ,GC…交点,iep,iep1,iep2…マーカ画像,rs…撮像空間,S…測定対象物,U…使用者

Claims (7)

  1. 測定対象物の形状測定時に、測定対象物上の測定点の位置に関する情報を測定点情報として取得する測定点情報取得部と、
    前記測定点情報取得部を取付可能または測定対象物を載置可能に構成され、第1の回転軸の周りで回転可能に構成された回転電動部材と、
    前記回転電動部材に設けられる複数の参照マーカと、
    基準ベースに固定されかつ前記複数の参照マーカを撮像する基準撮像部と、
    前記複数の参照マーカの配置に関する情報を参照マーカ情報として記憶するとともに、前記基準撮像部の撮像パラメータを記憶する記憶部と、
    測定対象物の形状測定時に、前記基準撮像部により撮像された前記複数の参照マーカの画像を示す基準画像データと前記記憶部に記憶された参照マーカ情報および撮像パラメータとに基づいて前記基準撮像部に対する前記回転電動部材の位置および姿勢を示す位置姿勢情報を算出し、算出された位置姿勢情報と前記測定点情報取得部により取得された測定点情報とに基づいて前記測定点の座標を算出する座標算出部と、
    前記基準撮像部の校正時に、前記回転電動部材を前記第1の回転軸の周りで回転させることにより前記回転電動部材の位置および姿勢を互いに異なる複数の状態に移行させつつ、前記複数の状態で前記基準撮像部が前記複数の参照マーカを撮像することにより得られる複数の基準画像データと前記記憶部に記憶された参照マーカ情報とに基づいて新たな撮像パラメータを算出し、前記校正前に記憶部に記憶された前記撮像パラメータを前記算出された新たな撮像パラメータで更新する校正更新部とを備える、三次元座標測定装置。
  2. 前記記憶部に記憶された参照マーカ情報および撮像パラメータとに基づいて前記基準撮像部における受光面上の複数の参照マーカの投影像の位置を算出するとともに、前記基準撮像部が前記複数の参照マーカを撮像することにより得られる基準画像データに基づいて前記受光面上の複数の参照マーカの実際の投影像の位置を検出し、算出された投影像の位置と検出された実際の投影像の位置との関係が予め定められた許容条件を満たすか否かに基づいて前記基準撮像部の校正の要否を判定し、判定結果を出力する校正判定部をさらに備える、請求項1記載の三次元座標測定装置。
  3. 前記校正判定部により出力される判定結果を使用者に提示する提示部をさらに備える、請求項2記載の三次元座標測定装置。
  4. 複数の測定マーカを有するとともに測定対象物上の測定点を指示するためのプローブをさらに備え、
    前記測定点情報取得部は、前記回転電動部材に取り付けられかつ前記プローブの前記複数の測定マーカを撮像可能に構成され、
    前記測定点情報は、前記測定点情報取得部により撮像された前記複数の測定マーカの画像を示す測定画像データを含む、請求項1〜3のいずれか一項に記載の三次元座標測定装置。
  5. 前記第1の回転軸は、上下方向または水平方向に延びる回転軸である、請求項1〜4のいずれか一項に記載の三次元座標測定装置。
  6. 前記回転電動部材は、第2の回転軸の周りでさらに回転可能に構成され、
    前記第1の回転軸は、上下方向に延びる回転軸であり、
    前記第2の回転軸は、水平方向に延びる回転軸である、請求項1〜4のいずれか一項に記載の三次元座標測定装置。
  7. 前記回転電動部材は、予め定められた面内で移動可能に構成された、請求項1〜6のいずれか一項に記載の三次元座標測定装置。
JP2019093824A 2019-05-17 2019-05-17 三次元座標測定装置 Active JP7211891B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019093824A JP7211891B2 (ja) 2019-05-17 2019-05-17 三次元座標測定装置
US16/795,613 US10837757B1 (en) 2019-05-17 2020-02-20 Three-dimensional coordinate measuring device
DE102020205516.5A DE102020205516A1 (de) 2019-05-17 2020-04-30 Dreidimensionale koordinatenmessvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019093824A JP7211891B2 (ja) 2019-05-17 2019-05-17 三次元座標測定装置

Publications (3)

Publication Number Publication Date
JP2020187097A true JP2020187097A (ja) 2020-11-19
JP2020187097A5 JP2020187097A5 (ja) 2022-03-17
JP7211891B2 JP7211891B2 (ja) 2023-01-24

Family

ID=73019312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019093824A Active JP7211891B2 (ja) 2019-05-17 2019-05-17 三次元座標測定装置

Country Status (3)

Country Link
US (1) US10837757B1 (ja)
JP (1) JP7211891B2 (ja)
DE (1) DE102020205516A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577708A (zh) * 2020-12-29 2021-03-30 中国航天空气动力技术研究院 一种基于背光成像的高焓激波风洞发动机推阻测量系统方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11815454B2 (en) * 2020-03-27 2023-11-14 Samsung Electronics Co., Ltd. Method and system for optimizing Monte Carlo simulations for diffuse reflectance spectroscopy
CN112923860B (zh) * 2021-01-28 2022-04-08 北京科技大学 模拟高浓度尾砂料浆地表堆存行为的实验装置及方法
CN112923853B (zh) * 2021-01-29 2022-07-29 北京理工大学 齿轮回转轴线位姿及齿轮轴系装配误差测量的方法和系统
CN113409406A (zh) * 2021-08-19 2021-09-17 武汉中观自动化科技有限公司 一种大范围单目跟踪扫描设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163271A (ja) * 2002-11-13 2004-06-10 Tokyo Denki Univ 非接触画像計測装置
JP2004354256A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2010071677A (ja) * 2008-09-16 2010-04-02 Fuji Xerox Co Ltd 位置計測システム
JP2011227081A (ja) * 2010-04-22 2011-11-10 Metronol As 光学式測定システム
JP2017219356A (ja) * 2016-06-03 2017-12-14 Kyb株式会社 ステレオカメラの設置パラメータ校正方法
JP2020020699A (ja) * 2018-08-01 2020-02-06 株式会社キーエンス 三次元座標測定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3604944B2 (ja) 1999-03-17 2004-12-22 キヤノン株式会社 3次元形状測定機およびその測定方法
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
JP4418841B2 (ja) * 2008-01-24 2010-02-24 キヤノン株式会社 作業装置及びその校正方法
JP2010025759A (ja) * 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
JP6325871B2 (ja) * 2014-03-28 2018-05-16 株式会社キーエンス 光学式座標測定装置
JP6325896B2 (ja) 2014-03-28 2018-05-16 株式会社キーエンス 光学式座標測定装置
JP6325877B2 (ja) 2014-04-18 2018-05-16 株式会社キーエンス 光学式座標測定装置
JP6316663B2 (ja) * 2014-05-30 2018-04-25 株式会社キーエンス 座標測定装置
JP6670161B2 (ja) 2016-04-27 2020-03-18 株式会社キーエンス 光学式三次元座標測定器及びその計測方法
JP6722502B2 (ja) 2016-04-27 2020-07-15 株式会社キーエンス 三次元座標測定器
JP7306803B2 (ja) * 2018-08-01 2023-07-11 株式会社キーエンス 三次元座標測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163271A (ja) * 2002-11-13 2004-06-10 Tokyo Denki Univ 非接触画像計測装置
JP2004354256A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2010071677A (ja) * 2008-09-16 2010-04-02 Fuji Xerox Co Ltd 位置計測システム
JP2011227081A (ja) * 2010-04-22 2011-11-10 Metronol As 光学式測定システム
JP2017219356A (ja) * 2016-06-03 2017-12-14 Kyb株式会社 ステレオカメラの設置パラメータ校正方法
JP2020020699A (ja) * 2018-08-01 2020-02-06 株式会社キーエンス 三次元座標測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112577708A (zh) * 2020-12-29 2021-03-30 中国航天空气动力技术研究院 一种基于背光成像的高焓激波风洞发动机推阻测量系统方法

Also Published As

Publication number Publication date
US10837757B1 (en) 2020-11-17
DE102020205516A1 (de) 2020-11-19
US20200363188A1 (en) 2020-11-19
JP7211891B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
JP7211891B2 (ja) 三次元座標測定装置
US10578423B2 (en) Diagnosing multipath interference and eliminating multipath interference in 3D scanners using projection patterns
US6310644B1 (en) Camera theodolite system
US10088301B2 (en) Image measurement device
JP6355710B2 (ja) 非接触型光学三次元測定装置
EP1941235B1 (en) Surveying method and surveying instrument
JP6577295B2 (ja) 測定装置
US10088302B2 (en) Image measurement device
JP6584226B2 (ja) 測定装置
US10739126B2 (en) Three-dimensional coordinate measuring device
US11499817B2 (en) Coordinate measuring machine with vision probe for performing points-from-focus type measurement operations
JP2018066967A (ja) 拡大観察装置および拡大観察装置の制御方法
JP4284765B2 (ja) ロボットハンド位置計測装置
US10817160B2 (en) Three-dimensional coordinate measuring device
JP2012093258A (ja) 形状測定装置
JP2020020698A (ja) 三次元座標測定装置
JP6227395B2 (ja) 三次元測定システム、三次元測定方法、被測定体、および、位置検出装置
JP4818837B2 (ja) 部品実装装置における部品厚さ計測方法及び部品実装装置
JP2020148515A (ja) 三次元座標測定装置
JP7215940B2 (ja) 三次元座標測定装置
JP6093625B2 (ja) 三次元測定システム
JP2024011492A (ja) 三次元座標測定装置
JP2023004477A (ja) 三次元座標測定装置用のプローブおよびそれを備える三次元座標測定装置
JP2023004476A (ja) 三次元座標測定装置
JP2023004822A (ja) 三次元座標測定装置用のプローブ、三次元座標測定装置、三次元座標測定システム、三次元座標測定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230112

R150 Certificate of patent or registration of utility model

Ref document number: 7211891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150