JP2021051031A - 測定支援システム - Google Patents

Abstract

【課題】マニュアル操作によりプローブで被測定物の測定箇所を測定するにおいて、現実空間の物に仮想的な物を重ねて表示する複合現実表示を用いて測定箇所の案内などの測定支援情報を被測定物に重畳表示する測定支援システムを提供する。【解決手段】本発明の一態様に係る測定支援システムは、マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の測定を支援する測定支援システムであって、表示装置と、処理装置と、物体の表面の三次元座標値を検出するための３Ｄセンサと、を備え、処理装置は、被測定物の設計形状と３Ｄセンサで検出した物体の表面の三次元座標値とに基づき、被測定物の配置を特定し、表示装置に、被測定物の設計形状に対し予め指定された測定箇所を含む測定支援情報を被測定物に重畳して表示させることを特徴とする。【選択図】図５

Description

本発明はマニュアル操作によりプローブで被測定物の特定された測定箇所を測定する寸法測定機や形状測定機、三次元測定機等の各種測定機による測定作業を支援する測定支援システムに関する。

従来、例えば、三次元測定機、特にアーム型三次元測定機の測定作業において、被測定物の所定の測定箇所に正確に測定子を接触させて測定するために、測定子が目標測定箇所に一定距離内に近づくとアラーム音を出したり、被測定物の３Ｄモデルとこの被測定物に対する三次元測定機の３Ｄモデルの相対的な位置や姿勢を三次元測定機の動作に合わせてリアルタイムにＣＡＴ（Computer Aided Testing）画面上に表示したりすることで、目標測定箇所を作業者に案内することが行われている。

また、特許文献１には、プロジェクタを備えワークに目標測定箇所を投影表示する三次元測定装置が提案されている。また、特許文献２には、測定結果等の情報をヘッドマウントディスプレイに投影表示することが開示されている。

特開２０１５−１１４１７０号公報 特開２０１１−１１２５７９号公報

以上で説明したように、測定箇所を案内する様々な解決策が提案されているが、アラーム音による案内では、目標測定箇所を正確に案内することは難しい。また、ＣＡＴ画面上に表示して案内する場合には、視線を頻繁に被測定物からＣＡＴ画面に移さざるを得ないため作業性が悪かった。また、プロジェクタやヘッドマウントディスプレイを用いて情報を表示する手法は作業性の問題を解消し得るが、作業者の身体（主に手）や測定機器の一部（例えばプローブ）が目標測定箇所に近づいたときに、案内のための情報が、ワークの手前にある作業者の身体やプローブに投影されてしまい、目標測定箇所を測定の直前まで正確に案内することは困難であった。以上のような目標測定箇所を案内するときに生じる問題は、三次元測定機に限らず、マニュアル操作によりプローブで被測定物の測定箇所を測定するタイプの様々な測定機器、例えば、アーム型三次元測定機、あるいは、ノギスやマイクロメータやダイヤルゲージといった寸法測定器、または、表面粗さ測定機、輪郭形状測定機、真円度測定機といった形状測定機において共通する課題である。

本発明は、上記の課題に鑑みなされたものであり、マニュアル操作によりプローブで被測定物の測定箇所を測定する際の測定支援において、現実空間の物に仮想的な物を重ねて表示する複合現実表示を用いて測定箇所の案内などの測定支援情報を被測定物に重畳表示する測定支援システムを提供することを目的とする。

上記の課題を解決すべく本発明の一態様に係る測定支援システムは、マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の測定を支援する測定支援システムであって、表示装置と、処理装置と、物体の表面の三次元座標値を検出するための３Ｄセンサと、を備える。そして、処理装置は、被測定物の設計形状と３Ｄセンサで検出した物体の表面の三次元座標値とに基づき、被測定物の配置を特定し、表示装置に、被測定物の設計形状に対し予め指定された測定箇所を含む測定支援情報を被測定物に重畳して表示させることを特徴とする。

本発明では、処理装置は、３Ｄセンサが検出した物体の表面の三次元座標値からなる点群データに基づき、被測定物が障害物により隠れる部分について測定支援情報を表示しないよう表示制御するとよい。

本発明では、処理装置は、測定支援情報を示す三次元モデルを生成し、３Ｄセンサが検出した物体の表面の三次元座標値の集合である点群データに基づいて生成される点または面に対し、三次元モデルをフィッティングし、点または面ついて、フィッティングした三次元モデルの最近接の位置の色及び三次元モデルの図形を転写または投影することにより、色及び三次元モデルの図形が付された前記点または面により構成される測定支援画像を生成するとよい。

また本発明の他の態様に係る測定支援システムは、マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の測定を支援する測定支援システムであって、表示装置と、処理装置と、被測定物における基準位置を指定する基準位置指定手段と、を備える。そして、処理装置は、被測定物の設計形状に対し規定された基準位置と基準位置指定手段により指定された被測定物における基準位置とに基づき、被測定物の測定支援情報の配置を決定し、決定した配置に従って、表示装置に、被測定物の設計形状に対し予め指定された測定箇所を含む測定支援情報を被測定物に重畳して表示させることを特徴とする。

本発明では、処理装置は、被測定物の決定された測定支援情報の配置に基づき、被測定物が障害物により隠れる部分について測定支援情報を表示しないよう表示制御するとよい。

本発明において、表示装置はヘッドマウントディスプレイを用いるとよい。また、本発明において、被測定物に「重畳して表示する」とは、透過型のディスプレイを用いたいわゆる光学シースルー方式の場合には、被測定物に重なる位置に当該ディスプレイにおける表示を行うことを指し、ヘッドマウントディスプレイが備えるカメラの画像を非透過型のディスプレイに表示するいわゆるビデオシースルー方式の場合には、被測定物の画像に重ねて他の表示を行うことを指す。

上記の本発明の各態様において、測定支援情報は、被測定物の設計形状を含むとよい。また、測定支援情報は、測定済みの測定箇所を示す図形を含むとよい。この測定済みであることを示す図形は、設計形状に対する偏差の大きさに応じて異なる態様で表示されるとよい。また、測定支援情報は、各測定箇所について、設計形状に対する偏差の大きさと方向を表す矢印を含むとよい。

上記の本発明の各態様において、測定支援情報は、未測定の測定箇所を示す図形を含むとよい。

上記の本発明の各態様において、測定機は、マニュアル操作で測定する三次元測定機であるとよい。

上記の本発明の一態様において、処理装置は、測定支援情報を示す三次元モデルを生成し、３Ｄセンサが検出した物体の表面の三次元座標値の集合である点群データのうち、被測定物に対応する点群に対し、三次元モデルをフィッティングし、被測定物に対応する点群を構成するそれぞれの点ついて、フィッティングした三次元モデルの最近接の位置の色を転写することにより、色が付された点群により構成される測定支援点群画像を生成するとよい。また、処理装置は、３Ｄセンサが検出した点群データに基づき、測定支援情報を、被測定物が障害物により隠れる部分について表示しないよう表示制御するとよい。

第１実施形態に係る測定支援システムと当該測定支援システムによる測定支援の対象となる多関節型三次元測定装置の構成を例示する模式図である。 多関節型三次元測定装置の構成を例示する模式図である。 第１実施形態に係る測定支援システムの機能ブロック図である。 第１実施形態において測定支援情報を複合現実表示する手順を示すフローチャートである。 第１実施形態においてワークに対応した測定支援情報を含む画像を生成する過程を示す模式図である。 第２実施形態に係る測定支援システムの機能ブロック図である。 第２実施形態において測定支援情報を複合現実表示する手順を示すフローチャートである。 第２実施形態においてワークに対応した測定支援情報を含む画像を生成する過程を示す模式図である。 第２実施形態における測定支援情報の表示例を示す模式図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

〔第１実施形態〕
本実施形態では、マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の一例である多関節型三次元測定装置２００を用いた測定を支援する測定支援システム１００について説明する。測定支援システム１００は、図１に示すように、多関節型三次元測定装置２００と有線又は無線により通信可能に構成されている。

測定支援の対象となる多関節型三次元測定装置２００は、図２に示すように、プローブ２０４と多関節アーム機構２０５とを有する。プローブ２０４は、被測定物（ワーク）Ｗを測定するためのものであり、その先端（プローブ先端）がボール形状とされている。関節アーム機構２０５は、図２で示すように、基部２０６で第１関節２０８を介して第１アーム２１０を支持し、第１アーム２１０は第２関節２１２を介して第２アーム２１４を支持し、第２アーム２１４は第３関節２１６を介してアームヘッド２１８を支持している。アームヘッド２１８は、多関節アーム機構２０５の先端とされ、プローブ２０４を備えている。第１関節２０８（第２関節２１２、第３関節２１６）は、互いに直交する軸方向で回転可能とされており、回転角度を検出可能なロータリーエンコーダを２つ内蔵している。つまり、本実施形態の多関節アーム機構２０５の軸は、６軸とされている（これに限定されず、多関節アーム機構２０５の軸は７軸等であってもよい）。これらすべてのエンコーダの出力に基づくことで、プローブ２０４の位置（座標）を特定することが可能とされている。基部２０６は、被測定物であるワークＷの置かれる作業台等に直接的に載置されてもよいし、また、三脚台を介して作業台等に配置されていてもよい。

多関節型三次元測定装置２００でワークＷの三次元形状を測定する際には、測定者は、図２に示すアームヘッド２１８に設けられたグリップ２１９を掴んで操作しプローブ２０４を手動移動させる。即ち、多関節型三次元測定装置２００は、多関節アーム機構２０５の軸に駆動源を有さないパッシブな構成とされている。そして、測定者は、ワークＷに対してプローブ２０４を自由な方向から近づけることができ、自由な角度で接触させることが可能である。そして、測定者は、スイッチの操作により、ワークＷの測定のオン・オフを切り替えることができる。

多関節型三次元測定装置２００は、各関節に配されたエンコーダの出力に基づいて、プローブ２０４の先端位置（座標）を求める。多関節型三次元測定装置２００は、測定操作（例えばプローブ２０４の先端をワークＷに接触させる、グリップ２１９に設けられたトリガボタンを押す等）が行われたタイミングで求めた位置座標を、当該測定箇所の測定結果として出力する。測定が行われた測定箇所は、当該位置座標に基づいて（例えば当該位置座標に最も近い）特定されてもよいし、予め定められた測定手順に従って順番に特定されてもよい。

図１に示すように、測定支援システム１００は、ヘッドマウントディスプレイ（ＨＭＤ）ユニット１１０と、処理装置１２０とを有する。図３は、測定支援システム１００の機能ブロック図を示している。

ＨＭＤユニット１１０は、多関節型三次元測定装置２００による測定を支援するための測定支援情報を表示する表示装置として機能する。ＨＭＤユニット１１０は、図１に示されるように、多関節型三次元測定装置２００、処理装置１２０と、有線または無線で接続され通信可能とされている。ＨＭＤユニット１１０は、フレーム１１１、表示スクリーン１１２、カメラ１１３、および３Ｄセンサ１１４、入力部１１５を備える。フレーム１１１は、多関節型三次元測定装置２００を使用するユーザの頭部に装着されるものであって、表示スクリーン１１２、カメラ１１３、および３Ｄセンサ１１４を支持する。フレーム１１１は、例えば、両耳と鼻とで支持するメガネ型、弾性のベルトを頭部に巻くことで装着するゴーグル型、頭部に被る形で装着するヘルメット型等があるが、表示スクリーン１１２、カメラ１１３、および３Ｄセンサ１１４を安定的に支持できればいずれの形式のものを用いてもよい。

表示スクリーン１１２は仮想的な三次元空間を表示可能に構成された透過型の表示デバイスであり、ＨＭＤユニット１１０を装着した状態でユーザの視野を覆う位置に設けられる。

ＨＭＤユニット１１０を装着したユーザは、実空間に存在する物（例えば被測定物）を、表示スクリーン１１２越しに視認することができる。また、ユーザは、仮想空間に存在するものとして表示スクリーン１１２に表示されるオブジェクト（例えば、測定支援情報）を視認することができる。したがって、ＨＭＤユニット１１０は、実空間に存在する物と、仮想空間に存在するオブジェクトとが重畳された複合現実（Mixed Reality：ＭＲ）空間をユーザに提供することができる。

カメラ１１３は、ＣＣＤカメラ等の動画を撮像するカメラである。カメラ１１３は、例えば、フレーム１１１の中央付近に、ＨＭＤユニット１１０を装着したユーザの正面を撮像できる向きに配置され、ユーザの正面の画像を撮影する。

３Ｄセンサ１１４は、所定の検出範囲にある物体（例えば被測定物）の表面の位置（三次元座標値）を表す点群データＰＣを取得するセンサである。３Ｄセンサ１１４としては、ＴＯＦ（Time Of Flight）方式、三角測量方式等の様々な方式うち任意のものを用いるとよい。３Ｄセンサ１１４は、例えば、フレーム１１１の中央付近に、検出範囲の中央部がＨＭＤユニット１１０を装着したユーザの正面を向くように設けられ、ユーザの前方の物体の位置を表す点群データＰＣを取得する。

入力部１１５は、ユーザによる操作入力を受け付ける手段である。入力部１１５は、例えばフレーム１１１に設けられた物理的スイッチでもよいし、カメラ１１３で取得した画像や３Ｄセンサ１１４で取得した点群データＰＣに基づきユーザのジェスチャ入力を認識するジェスチャ入力手段としてもよい。

処理装置１２０は、図１に示すように、多関節型三次元測定装置２００、ＨＭＤユニット１１０に有線又は無線で接続されている。処理装置１２０は、設計情報記憶部１２１と、測定状態記憶部１２２と、３Ｄデータ処理部１２３と、画像生成部１２４と、表示制御部１２５と、を備える。処理装置１２０は、多関節型三次元測定装置２００に内蔵されていてもよいし、ＨＭＤユニット１１０に内蔵されていてもよい。あるいは、処理装置１２０は、多関節型三次元測定装置２００やＨＭＤユニット１１０とは別体のコンピュータとして実装されていてもよい。

設計情報記憶部１２１は、被測定物であるワークＷのＣＡＤデータ、当該ＣＡＤデータ等から得られるワークＷの設計形状や設計値、ワークＷにおける測定箇所の情報等を記憶している。測定箇所はワークＷの設計形状に対し予め指定されるとよい。設計情報記憶部１２１は、測定箇所に関して、ワークＷにおける測定箇所の位置だけでなく、測定の順序を示す情報を記憶するとよい。

測定状態記憶部１２２は、測定対象とするワークＷの識別情報に紐づけて、当該ワークＷにおける各測定箇所について、測定状況（すなわち、未測定／測定済の別）、測定値等を記憶している。その他、測定箇所に紐づけて、目標測定位置、プローブアプローチ方向、測定の未／済、寸法誤差や公差内／外（ＯＫ／ＮＧ）等設計値との照合結果、等を記憶するようにしてもよい。これらの情報は必要に応じて、後述する測定支援情報に含まれル形でＨＭＤユニット１１０の表示スクリーン１１２に表示される。

３Ｄデータ処理部１２３は、３Ｄセンサ１１４が取得する点群データＰＣとカメラ１１３が撮像した画像とに基づいて、ワークＷと、ユーザの視点からワークＷを遮る位置にある障害物Ｏとを区別して認識する。具体的には、３Ｄデータ処理部１２３は、ユーザが選択したワークについて、設計情報記憶部１２１からワークＷの設計形状を取得し、点群データＰＣの中から、ワークＷの設計形状と一致度が最も高い部分をワークＷとして認識してワークＷの配置を特定する。また、３Ｄデータ処理部１２３は、３Ｄセンサ１１４が取得した点群データＰＣのうちワークＷとして認識した部分を、ワーク点群ＰＣ_Ｗとして出力する。

画像生成部１２４は、ＨＭＤユニット１１０の表示スクリーン１１２に複合現実表示として表示させる測定支援情報を含んだ画像を生成する。表示制御部１２５は、画像生成部１２４が生成する画像を、表示スクリーン１１２に表示させる。

以上のように構成される測定支援システム１００を多関節型三次元測定装置２００での測定に適用して、測定を支援するための複合現実表示を行う手順を説明する。図４は、本実施形態における測定を支援するための複合現実表示を行う手順を示すフローチャートである。

この説明では、図５（ａ）に示したワークＷを測定するものとする。図５（ａ）に示すように、ワークＷの他、障害物Ｏとなる多関節型三次元測定装置２００のプローブ２０４や当該プローブ２０４を持つユーザ自身の手も、ユーザの視界に入っている。

測定を開始する際、はじめに、ユーザがＨＭＤユニット１１０の入力部１１５を操作して、ワークＷを選択する（ステップＳ１００）。ユーザの選択が受け付けられると、画像生成部１２４は、ワークの設計形状の表面に沿って測定箇所を示す図形（例えば円）や番線（盤線）、測定結果（測定値）、３ＤのＣＡＤモデル（ワイヤフレーム、サーフェス等）などの測定支援情報を表すオブジェクトを含む測定支援三次元モデルＭを生成または取得する（図５（ｂ）、ステップＳ１１０）。

なお、測定支援三次元モデルＭは、予め設計情報記憶部１２１等に格納されていてもよいし、設計情報記憶部１２１や測定状態記憶部１２２に記憶された情報に基づき画像生成部１２４が生成するようにしてもよい。例えば、設計情報記憶部１２１に記憶されたワークＷの設計形状および測定箇所と、測定状態記憶部１２２に記憶された測定中のワークに関する各測定箇所の測定状況とを組み合わせて、測定状況（未測定／測定済）に応じて異なって視認できる図形を測定箇所に配するとよい。例えば、測定状況に応じて、測定箇所を示す図形の色、形状、大きさ等を異ならせてもよい。あるいは、測定箇所を示す図形を表示する際の演出（例えば点滅等）を異ならせてもよい。

続いて、画像生成部１２４は、３Ｄセンサ１１４が取得した点群データＰＣ（図５（ｃ））のうち、３Ｄデータ処理部１２３がワークＷであると認識した部分に対応するワーク点群ＰＣ_Ｗ（図５（ｄ））を取得する（ステップＳ１２０）。続いて、画像生成部１２４は、ワーク点群ＰＣ_Ｗに測定支援三次元モデルＭをフィッティングする（ステップＳ１３０）。そして、ワーク点群ＰＣ_Ｗを構成する各点に、フィッティングされた測定支援三次元モデルＭにおいて当該点に最も近接するオブジェクトの色を割り当てることにより、測定支援点群画像Ｉを生成する（図５（ｅ）、ステップＳ１４０）。なお、ワーク点群ＰＣ_Ｗにおける点群の密度が不十分な場合、点群の隙間を補完して精細度を高めた測定支援点群画像Ｉを生成してもよい。

ここで、点群データを構成するそれぞれの点は、物体の表面上の１点の位置座標を示す情報であり、一般的には色の情報を持たないが、本実施形態では、ワーク点群ＰＣ_Ｗを構成するそれぞれの点に色（透明も含む）の情報を持たせることでワークＷの表面に色を付した測定支援点群画像Ｉを生成することを可能とする。つまり、ステップＳ１４０では、測定支援三次元モデルＭに含まれる各オブジェクトの色が、ワーク点群ＰＣ_Ｗに転写される。このようにすることで、測定支援点群画像Ｉは、理想的な設計形状ではなく実物のワークＷの形状と一致した形状となるため、自然な重畳表示が可能となる。ワークＷに対しＣＡＤモデルなどから得られる設計形状をフィッティングしてそのまま表示する従来の手法では、ワークＷと設計形状とがずれて不自然な重畳表示状態となる場合があったが、上記の手法によればこのようなずれを防ぐことができる。

また、ワーク点群ＰＣ_Ｗには、障害物Ｏにより隠れた部分の点群が含まれない。このため、この隠れた部分については測定支援三次元モデルＭに含まれる各オブジェクトの色が転写されず、表示スクリーン１１２での表示においてはこの隠れた部分は透明となり障害物Ｏがそのまま視認できる状態となる。つまり、処理装置１２０の３Ｄデータ処理部１２３は、３Ｄセンサ１１４が検出した点群データに基づき、ワークＷが障害物Ｏにより隠れる部分について測定支援情報を表示しないよう表示制御する。上記の手法により、ユーザの視点から見えない部分の表示を行わない、いわゆる陰面処理を実現することができる。これにより、自然な重畳関係で複合現実表示を実現することができ、測定箇所の付近に障害物（例えばユーザ自身の手やプローブ）があっても、測定箇所を示す図形により自然かつ認識しやすい態様で測定箇所を案内することができる。

続いて、測定支援点群画像Ｉと、必要に応じてその他の表示（例えば、メニュー等）を合成して表示制御部１２５に提供する（ステップＳ１５０）。表示制御部１２５は、この合成した画像を表示スクリーン１１２に複合現実表示させる（図５（ｆ）、ステップＳ１６０）。

以後、測定を続ける間、上記のステップＳ１１０〜Ｓ１６０を繰り返すことで、ユーザとワークＷとの相対位置の変化、障害物（例えばプローブ２０４やユーザの手）の移動、測定の進行（測定状況の変化）等を反映するよう、測定を支援するための複合現実表示が更新し続けられることになる。

以上で説明した測定支援システム１００により、ユーザはワークＷに重畳して案内表示される測定箇所を視認しながら、効率的に測定を行うことができる。また、ユーザは、測定のために確認しなければならない情報や、測定の状況（例えば、未測定の測定箇所、測定結果等）をワークＷから視線を離さずに確認することができ、高効率かつ正確な測定が可能となる。

また、測定支援システム１００では、ワークＷに重畳する表示を、ワークＷの表面形状（表面の凹凸）正確に沿ったものとすることができる。また、ワークＷの手前に障害物Ｏがあるときに、重畳に陰面処理を施すことで、重畳した表示があたかもワークＷの表面に実際に描かれているかのようにユーザに認識させることができる。これらにより、ユーザは複合現実空間を違和感なく受け入れることができる。

〔第２実施形態〕
以下、本発明の第２実施形態を図面に基づいて説明する。なお、以下の説明では、第１実施形態で既に説明した部分については、同一符号を付してその説明を省略する。

本実施形態では、測定機の一例である多関節型三次元測定装置２００を用いた被測定物の変形量の測定を支援する測定支援システム１００’について説明する。このような被測定物の変形量の測定の例としては、自動車の衝突試験において衝突によるキャビンの変形の測定が挙げられる。測定支援システム１００’は被測定物の変形の程度をユーザが視覚的に認識できるようにＨＭＤユニットの表示スクリーンに表示して、測定を支援する。第１実施形態における測定支援システム１００は、ＨＭＤユニット１１０が備える３Ｄセンサ１１４で取得した点群データＰＣに基づいてワークＷを認識し、その認識したワークＷに測定支援情報を重畳表示する構成であり、重畳表示を行うＨＭＤユニット１１０は、ワークＷが配置された実空間における座標を必ずしも認識する必要が無かった。これに対し、第２実施形態の測定支援システム１００’は、多関節型三次元測定装置２００の測定座標系と、ＨＭＤユニット１１０’が複合現実表示を行う仮想空間の座標系とを一致させる（或いは、少なくとも相互に変換可能となるように整合させる）。そして、実空間における所定位置にワークＷを配置した場合の設計形状（ＣＡＤモデル）に基づく測定箇所を示す図形と、実際の測定により得られた測定箇所を示す図形とを、複合現実表示することで、変形量（すなわち、測定箇所が設計上の位置からどの程度移動したか）を容易に認識できるように表示する。このように変形量を表示する機能を実現するための構成以外は第１実施形態の測定支援システム１００と略同様の構成を備える。以下では第１実施形態と共通の構成については同一符号を付してその説明を省略し、第１実施形態の２００と異なる構成について詳述する。

図６は、第２実施形態における測定支援システム１００’の構成を示す機能ブロック図である。測定支援システム１００’は、ＨＭＤユニット１１０’と、処理装置１２０’とを備える。ＨＭＤユニット１１０’は、第１実施形態におけるＨＭＤユニット１１０が備える構成に加え、位置・姿勢取得部１１６を備える一方、カメラ１１３および３Ｄセンサ１１４は必ずしも必要としない。処理装置１２０’は、３Ｄデータ処理部１２３を備えない点で第１実施形態と異なっている。

位置・姿勢取得部１１６は、ＨＭＤユニット１１０’の実空間における位置及び姿勢を取得する。位置・姿勢取得部１１６が、位置及び姿勢を取得する方法は任意である。例えば、位置・姿勢取得部１１６は、全地球航法衛星システム（Global Navigation Satellite System；ＧＮＳＳ)における人工衛星から発射される信号を受信するＧＮＳＳ受信機によりＨＭＤユニット１１０’の位置を取得し、加速度センサやジャイロセンサによりＨＭＤユニット１１０’の姿勢を検出してもよい。あるいは、位置・姿勢取得部１１６は、３Ｄセンサ１１４を備える構成を採用し、当該３Ｄセンサ１１４が取得する点群データに基づき、ワークＷが配置された空間における周囲に固定的に配置された物体（例えば、壁、床、天井、什器家具等）のＨＭＤユニット１１０’に対する相対位置を常時把握し、これらの相対位置に基づき、物体の位置・姿勢は変化せずＨＭＤユニット１１０’の位置・姿勢が変化するものとしてＨＭＤユニット１１０’の位置及び姿勢を演算により求めてもよい。なお、位置・姿勢取得部１１６が取得する位置及び姿勢を表す座標系は、ワークＷが配置される空間に対して固定された座標系として予め設定されるものとする。

本実施形態において、処理装置１２０’の設計情報記憶部１２１は、第１実施形態と同様に、ワークＷのＣＡＤデータ、当該ＣＡＤデータ等から得られるワークＷの設計形状や設計値、ワークＷにおける測定箇所の情報等を記憶するが、これに加え、ワークＷの測定支援情報をＨＭＤユニット１１０’に表示させる際の基準とする位置（ワークＷの設計形状における複数の基準位置）を記憶する。

図７は、以上のように構成される測定支援システム１００’によって実現される、測定を支援するための複合現実表示を行う手順を示すフローチャートである。この説明では、図８（ａ）に示すように、設計形状から変形した状態のワークＷを測定するものとする。

測定を開始する際、はじめに、ユーザがＨＭＤユニット１１０’の入力部１１５を操作して、ワークＷを選択する（ステップＳ２００）。ユーザの選択が受け付けられると、画像生成部１２４は選択されたワークＷについての測定支援情報を表すオブジェクトを含む測定支援三次元モデルＭ（図８（ｂ））を生成または取得する（ステップＳ２１０）。本実施形態では、測定支援情報は、例えば図９に示すように、ワークの設計形状（例えば３ＤのＣＡＤモデル）を示す図形Ｌ１、設計形状における測定箇所を示す図形Ｓ１（例えば球）、番線（盤線）Ｌ２、測定により得られた座標（実測箇所）に配置される図形Ｓ２（設計形状における測定箇所を示す図形とは外観（色、形状、表示上の演出等）を異ならせるとよい）、設計形状における測定箇所と当該測定箇所に対応する実測箇所との偏差を表す図形Ｓ３（例えば偏差の大きさと方向を表す、設計形状における測定箇所を始点とし実測箇所を終点とする矢印）、実測箇所を結んだ外形を示す図形Ｌ３、設計形状（理想的な形状）に対し許容される公差を示す図形Ｌ４等を含むとよい。設計形状における基準位置を含むとよい。

また、画像生成部１２４は、表示スクリーン１１２での表示を介して、測定支援情報を表示させる際の実空間における基準位置を指定するようユーザに促す（ステップＳ２２０）。ユーザは基準位置を指定する所定の操作（例えば、実空間内の基準位置を順番に指差すジェスチャ）を行う（ステップＳ２３０）。ここで、所定の操作を検出する入力部１１５は、本発明における基準位置指定手段に相当する。指定された実空間内の基準位置とワークＷの測定支援情報に含まれる基準位置との誤差が最小となるように、測定支援三次元モデルＭの配置を決定する（ステップＳ２４０）。そして、表示制御部１２５は、決定された位置に測定支援三次元モデルＭが配置された複合現実表示を表示スクリーン１１２に表示させる（図８（ｃ）、ステップＳ２５０）。

以上で説明した測定支援システム１００’により、ユーザはワークＷに重畳して表示される測定支援情報を視認しながら、効率的に変形量の測定を行うことができる。また、ユーザは、測定の状況（例えば、未測定の測定箇所、測定結果、測定結果の良否、変形の程度等）をワークＷから視線を離さずに確認することができ、高効率かつ正確な測定が可能となる。

〔実施形態の変形〕
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。例えば、上記の第１実施形態において、ワーク点群に測定支援三次元モデルの色の情報を「転写」したが、この転写を行わずに、ワーク点群にフィッティングした測定支援三次元モデルを表示するようにしてもよい。

また、上記の実施形態において、画像生成部１２４は、ワーク点群ＰＣ_Ｗに測定支援三次元モデルＭをフィッティングし、ワーク点群ＰＣ_Ｗを構成する各点に、フィッティングされた測定支援三次元モデルＭにおいて当該点に最も近接するオブジェクトの色を割り当てることにより、測定支援点群画像Ｉを生成した。これに代えて画像生成部１２４は、３Ｄセンサ１１４が検出した点群データに基づいて生成される点または面に対し、三次元モデルをフィッティングしてもよい。そして、この点または面ついて、フィッティングした三次元モデルの最近接の位置の色及び三次元モデルの図形を転写または投影することにより、色及び三次元モデルの図形が付された点または面により構成される測定支援画像を生成してもよい。

また、上記の第１実施形態において、ワークにおける障害物で隠れた部分を陰面処理し、当該部分は透過して見えるようにしたが、その実現方法は上記第１実施形態にて説明した方法に限定されず、任意である。たとえば、ワークＷと障害物Ｏとをそれぞれ認識し、ワークＷの表面のうちユーザの視点（つまりＨＭＤユニットのある位置）から障害物Ｏに隠れて見えない部分を陰面として特定し、当該陰面に対応する領域については画像を非表示としてもよい。

また、上記の各実施形態において、測定箇所の測定順序を記憶しておき、測定状況と照らしつつ次の測定箇所（目標測定箇所）を他とは異なる態様で表示してもよい。

また、上記の各実施形態では、透過型のディスプレイを用いたいわゆる光学シースルー方式により複合現実表示を実現したが、ヘッドマウントディスプレイが備えるカメラの画像を非透過型のディスプレイに表示するいわゆるビデオシースルー方式を採用して複合現実表示を実現してもよい。

また、上記の各実施形態では、プローブとして先端にボール形状の接触子を有する接触型のプローブを用いる場合を例に説明したが、プローブの方式は任意である。プローブとして、例えば、非接触レーザプローブのような非接触型のプローブを用いてもよい。非接触レーザプローブによれば、ワークＷの表面をレーザ光でスキャンして大量の点群データを取得することができる。

また、上記の各実施形態では、ＨＭＤユニットが備える３Ｄセンサで前方の物体の位置を検出したが、３Ｄセンサに代えてステレオカメラ等の他の手段にて前方の物体の位置を検出するようにしてもよい。

また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。

１００、１００’ 測定支援システム
１１０、１１０’ ＨＭＤユニット
１１１ フレーム
１１２ 表示スクリーン
１１３ カメラ
１１４ ３Ｄセンサ
１１５ 入力部
１１６ 位置・姿勢取得部
１２０、１２０’ 処理装置
１２１ 設計情報記憶部
１２２ 測定状態記憶部
１２３ ３Ｄデータ処理部
１２４ 画像生成部
１２５ 表示制御部
２００ 多関節型三次元測定装置
２０４ プローブ
２０５ 多関節アーム機構
２０６ 基部
２０８ 第１関節
２１０ 第１アーム
２１２ 第２関節
２１４ 第２アーム
２１６ 第３関節
２１８ アームヘッド
２１９ グリップ
Ｗ 被測定物（ワーク）

Claims (11)

1. マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の測定を支援する測定支援システムであって、
   表示装置と、
   処理装置と、
   物体の表面の三次元座標値を検出するための３Ｄセンサと、を備え、
   前記処理装置は、
   前記被測定物の設計形状と前記３Ｄセンサで検出した前記物体の表面の三次元座標値とに基づき、前記被測定物の配置を特定し、
   前記表示装置に、前記被測定物の設計形状に対し予め指定された測定箇所を含む測定支援情報を前記被測定物に重畳して表示させる
   ことを特徴とする測定支援システム。
2. 前記処理装置は、
   前記３Ｄセンサが検出した物体の表面の三次元座標値からなる点群データに基づき、前記被測定物が障害物により隠れる部分について前記測定支援情報を表示しないよう表示制御することを特徴とする請求項１に記載の測定支援システム。
3. 前記処理装置は、
   前記測定支援情報を示す三次元モデルを生成し、
   前記３Ｄセンサが検出した前記物体の表面の三次元座標値の集合である点群データに基づいて生成される点または面に対し、前記三次元モデルをフィッティングし、
   前記点または面ついて、フィッティングした前記三次元モデルの最近接の位置の色及び三次元モデルの図形を転写または投影することにより、色及び三次元モデルの図形が付された前記点または面により構成される測定支援画像を生成する
   ことを特徴とする請求項１または２に記載の測定支援システム。
4. マニュアル操作によりプローブで被測定物の測定箇所を測定する測定機の測定を支援する測定支援システムであって、
   表示装置と、
   処理装置と、
   前記被測定物における基準位置を指定する基準位置指定手段と、を備え、
   前記処理装置は、
   前記被測定物の設計形状に対し規定された基準位置と前記基準位置指定手段により指定された前記被測定物における基準位置とに基づき、前記被測定物の測定支援情報の配置を決定し、
   決定した配置に従って、前記表示装置に、前記被測定物の設計形状に対し予め指定された測定箇所を含む前記測定支援情報を前記被測定物に重畳して表示させる
   ことを特徴とする測定支援システム。
5. 前記処理装置は、
   前記被測定物の決定された測定支援情報の配置に基づき、前記被測定物が障害物により隠れる部分について前記測定支援情報を表示しないよう表示制御することを特徴とする請求項４に記載の測定支援システム。
6. 前記測定支援情報は、前記被測定物の設計形状を含むことを特徴とする請求項１から５のいずれか１項に記載の測定支援システム。
7. 前記測定支援情報は、測定済みの測定箇所を示す図形を含む特徴とする請求項１から６のいずれか１項に記載の測定支援システム。
8. 前記測定済みであることを示す図形は、設計形状に対する偏差の大きさに応じて異なる態様で表示されることを特徴とする請求項７に記載の測定支援システム。
9. 前記測定支援情報は、各測定箇所について、設計形状に対する偏差の大きさと方向を表す矢印を含むことを特徴とする請求項７に記載の測定支援システム。
10. 前記測定支援情報は、未測定の測定箇所を示す図形を含むことを特徴とする請求項１から９のいずれか１項に記載の測定支援システム。
11. 前記測定機は、マニュアル操作で測定する三次元測定機であることを特徴とする請求項１から１０のいずれか１項に記載の測定支援システム。
    
    

Images