JP2023100502A - 検査システム、及び検査方法 - Google Patents

Abstract

【課題】作業者の検査におけるヒューマンエラーを抑制可能な検査システム、及び検査方法を提供する。【解決手段】本実施形態に係る検査システムは、データ記憶装置と頭部装着映像装置と、を備える。頭部装着映像装置は、表示部と、撮像部と、認識処理部と、制御部と、を有する。撮像部は、使用者の視点から見た現実画像を撮像する。認識処理部は、現実画像内の検査対象機器を認識する。制御部は、認識処理部の認識結果に基づき、検査対象機器の検査に関する情報をデータ記憶装置から取得し、表示部に表示させる。【選択図】図１

Description

本発明の実施形態は、検査システム、及び検査方法に関する。

製品の納入前には、工場の試験場において製作機器の各種寸法を顧客納入用データとして、測定及び記録することが求められる。ところが、従来の寸法測定方法は、メジャーまたはマイクロメータで測定した測定値を成績書に記録したり、それをコンピュータに入力する作業を手作業で行なったりする。ところが、目盛の読み違い等による測定誤差やヒューマンエラーによる誤記が生じたり、コンピュータへの数値の入力間違い等が生じてしまったりする恐れがある。

特開２０２０－１７０２４９号公報

本発明が解決しようとする課題は、作業者の検査におけるヒューマンエラーを抑制可能な検査システム、及び検査方法を提供することである。

本実施形態に係る検査システムは、データ記憶装置と頭部装着映像装置と、を備える。頭部装着映像装置は、表示部と、撮像部と、認識処理部と、制御部と、を有する。撮像部は、使用者の視点から見た現実画像を撮像する。認識処理部は、現実画像内の検査対象機器を認識する。制御部は、認識処理部の認識結果に基づき、検査対象機器の検査に関する情報をデータ記憶装置から取得し、表示部に表示させる。

本実施形態によれば、作業者の検査におけるヒューマンエラーを抑制可能となる。

本実施形態に係る検査システムの構成を示すブロック図。 記憶部が記憶する情報例を示す図。 検査対象機器の３次元モデルを模式的に示す図。 検査対象機器のフォーマットデータの一例を示す図。 検査対象機器の成績書の一例を示す図。 現実拡張モデルを３次元モデル上に配置する例を模式的に示す図。 検査対象機器の測定を指示するアノテーションモデルを３次元モデル上に配置する例を模式的に示す図。 頭部装着映像装置を模式的に示す図。 座標系の位置合わせ状態を示す概念図。 測定処理部の構成例を示すブロック図。 検査対象機器に識別ＩＤのプレートが配置されている例を示す図。 測定値演算部の演算例を模式的に示す図。 赤外線レーザを用いた場合の演算例を模式的に示す図。 立ち入り禁止の処理例を示す図。 測定点の処理例を示す図。 板厚測定の処理例を示す図。 実装図の処理例を示す図。 実装図と内部の測定点の処理例を示す図。 外装を外した際の実装図の構造番号と内部測定点の処理例を示す図。 配線図の処理例を示す図。 バック線図の処理例を示す図。 本実施形態に係る処理例のフローチャート。 成績書に自動測定データが反映された例を示す図。 音声指示に基づき、アノテーションモデルを表示させた例を示す図。 板厚計の測定結果画面を示す図。 成績書に測定データが反映された別の例を示す図。

以下、本発明の実施形態に係る検査システム、及び検査方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。

（一実施形態）
図１は、本実施形態に係る検査システム１の構成を示すブロック図である。図１に示すように、この検査システム１は、データ記憶装置１０と、第１操作部２０と、表示部３０と、頭部装着映像装置４０とを、備えて構成されている。本実施形態に係る検査システム１は、検査対象機器を認識すると、事前にデータ記憶装置１０に保存したデータの中から、対象機器の所定のフォーマットを、頭部装着映像装置４０に表示することが可能なシステムである。図１では、更に測定装置として、３次元計測計５０ａ、膜厚計５０ｂ、板厚計５０ｃを図示していている。なお、本実施形態では、測定装置として、３次元計測計５０ａ、膜厚計５０ｂ、板厚計５０ｃを用いるが、これに限定されない。例えば、赤外線サーモグラフィ等を用いてもよい。

データ記憶装置１０は、例えば、中央管理室に配置される。このデータ記憶装置１０は、例えばサーバーであり、検査対象機器に関する情報を記憶する。また、データ記憶装置１０は、検査対象機器に対応する３次元モデルを生成する。本実施形態に係る３次元モデルは、３次元モデル空間内に生成される。この３次元モデル空間の座標系は、例えば世界座標系に対応している。データ記憶装置１０の詳細な構成は後述する。

第１操作部２０は、データ記憶装置１０の操作に必要となる情報を入力する。この第１操作部２０は、例えばキーボード、マウス、ポインティングデバイスなどにより構成される。

表示部３０は、例えば、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等によって構成される。表示部３０は、データ記憶装置１０により生成された各種の情報、及び頭部装着映像装置４０が撮像又は表示している画像データを表示する。これにより、現実空間の検査対象に関する情報を中央管理室側でもリアルタイムに把握可能となる。また、後述するように、音声の無線通信などにより、現場の観察状況に応じて、直接的に頭部装着映像装置４０の装着者に指示などを出すことも可能である。このように、頭部装着映像装置４０が撮像又は表示している画像データを共有することにより、リモート立会検査への活用が可能となる。これにより、検査責任者や立会者が検査場に直接的に訪問しない場合にも、測定者との情報共有が可能となる。これにより、検査責任者や立会者の検査場での実作業や立会が不要となり、検査責任者や立会者の負担や時間を軽減できる。

頭部装着映像装置４０は、例えばウェアラブルコンピュータであり、操作者の頭部に装着するゴーグル型の装置である。この頭部装着映像装置４０は、現実空間に配置される現実物体の現実空間画像を撮像し、計測することが可能である。頭部装着映像装置４０の詳細な構成は後述する。

３次元計測計５０ａは、例えば３Ｄレーザ計測装置であり、非接触計測により、検査対象機器の表面の位置などを計測する装置である。３Ｄレーザ計測装置の場合、現実空間内の基準位置（例えば基準マーク）に３Ｄレーザ計測装置を配置する。そして３Ｄレーザ計測装置は、対象構造物に向かってレーザを走査する。次に３Ｄレーザ計測装置は対象構造物で反射したレーザを受光して基準位置からの距離を計測し、レーザの出力方向と距離から対象構造物の表面点の３次元座標を算出する。これらのデータは、後述する通信部２０２との無線通信により、データを頭部装着映像装置４０に通信する。

一方で、膜厚計５０ｂは、使用者の接触操作により、設検査対象機器の構成部材の膜厚を測定することが可能である。これらのデータは、後述する通信部２０２との無線通信により、データを頭部装着映像装置４０に通信する。

一方で、板厚計５０ｃは、無線通信機能を有していない装置例である。板厚計５０ｃは、使用者の接触操作により、設検査対象機器の構成部材の板厚を測定することが可能である。後述するように、頭部装着映像装置４０は、板厚計５０ｃの計測画面の画像を文字認識することにより、測定値を自動的に記録する。

ここで、データ記憶装置１０の詳細な構成を説明する。データ記憶装置１０は、処理部１００と、通信部１０２と、スピーカ１０４と、マイク１０６と、を有する。処理部１００は、ＣＰＵを含んで構成され、記憶部１０８に記憶されるプログラムを実行することにより、各部を構成する。この処理部１００は、制御部１０７と、記憶部１０８と、配置モデル生成部１１０とを有する。なお、本実施形態では、データ記憶装置１０と頭部装着映像装置４０とを分離して構成しているが、これに限定されない。例えば、データ記憶装置１０の処理部１００を頭部装着映像装置４０内に一体的に構成してもよい。

通信部１０２は、例えば無線通信装置であり、頭部装着映像装置４０と無線通信を行う。スピーカ１０４は、通信部１０２が頭部装着映像装置４０から受信した音声信号を制御部１０７の制御にしたがい音声に変換する。マイク１０６は、例えば中央管理室内の管理者の音声を制御部１０７の制御にしたがい音声信号に変換し、通信部１０２を介して頭部装着映像装置４０に送信する。

制御部１０７は、データ記憶装置１０の各処理部を制御する。記憶部１０８は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部１０８は、制御部１０７が実行するプログラムと、各種の制御用のデータを記憶する。

図２は記憶部１０８が記憶する情報例を示す図である。図２に示すように、記憶部１０８は、計測対象情報３００と、機器情報３０２と、空間モデル３０４と、を有する。

計測対象情報３００は、作業支援処理で使用される情報である。計測対象情報３００には、例えば、複数の検査対象機器の世界座標系における位置と向きを示す情報と、を含んでいる。これらの複数の検査対象機器の世界座標系での位置と向きなどの情報を含む計測対象情報３００は、例えば試験場内の配置情報を有する設計データから生成される。また、計測対象情報３００には、例えば立ち入り禁止領域の世界座標系での情報が含まれてもよい。なお、本実施形態に係る計測対象情報３００は、設計データから生成されるが、これに限定されない。例えば、プラント内の機器を撮像した３次元撮影画像データなどを用いて生成してもよい。

機器情報３０２は、例えば計測対象となる検査対象機器の機器仕様書や成績書の情報を含む。また、機器情報３０２は、計測対象となる検査対象機器の測定箇所、測定方法を記述するフォーマットデータを有する。このフォーマットデータには、後述する配置モデル生成部１１０が生成した世界座標系における複数の現実拡張モデルが関連付けられている。

また、機器情報３０２は、計測対象となる機器の設計情報として、例えば外形の形状情報、及び外形を構成する各辺の寸法情報を有する。また、計測対象が電気機器である場合には、更に実装図情報、配線図情報、及びバック線図情報を有している。実装図情報は、計測対象となる機器の回路を含む構成要素の配置情報である。この実装図情報は、例えば、各回路要素の座標情報と、回路要素の外形を構成する各辺の寸法を有する。配線図情報は、実装図情報に含まれる回路要素を接続する配線の情報を図表化した情報である。例えば、単線、複線の情報が図表化されている。バック線図情報は、例えば制御端子の番号とケーブル心線端子の対応情報である。また、これらの図形情報の座標は、世界座標系の座標と予め対応づけられている。このような情報が、検査対象機器別に予め記憶部１０８に登録されている。

空間モデル３２０は、例えば計測対象となる機器の３次元モデルの情報である。この３次元モデルの情報は、例えば、予め検査対象機器の外形情報等から三次元のボクセルデータとして配置モデル生成部１１０により構成されている。

図３は、配置モデル生成部１１０が生成した世界座標系３００Ｚにおける検査対象機器の３次元モデル３２０を模式的に示す図である。配置モデル生成部１１０は、例えば、予め検査対象機器の外形情報等を用いて三次元のボクセルデータとして３次元モデル３２０生成する。より具体的には、配置モデル生成部１１０は、計測対象情報３００に含まれる測対象機器の世界座標系での位置と向きを示す情報と、設計情報に含まれる測対象機器の外形情報を用いて、世界座標系３００Ｚにおける測対象機器の３次元モデル３２０を生成する。そして、配置モデル生成部１１０は、記憶部１０８に生成したモデルを記憶する。

図４は、検査対象機器のフォーマットデータ５００の一例を示す図である。フォーマットデータ５００には、例えば検査対象機器の測定面と測定点が定義されている。検査対象機器のフォーマットデータ５００は、機器情報３０２の一部として、予め記憶部１０８に登録されている。本測定では、例えば、フォーマットデータ５００を基準データとして測定が進行される。

図５は、検査対象機器の成績書５０２の一例を示す図である。成績書５０２はフォーマットデータ５００に関連付けられて、機器情報３０２の一部として、予め記憶部１０８に登録されている。成績書５０２は、例えば製作機器の各種寸法を記録した顧客納入用データであり、測定項目と、測定された測定値と、により構成される。

図６は、配置モデル生成部１１０が生成した世界座標系における検査対象機器の測定点ｐ１０～ｐ２６の現実拡張モデルｍｐ１０～ｍｐ２６を３次元モデル３２０上に配置する例を模式的に示す図である。図６に示すように、配置モデル生成部１１０は、機器情報３０２に含まれる。成績書５０２が記述する測定点ｐ１０～ｐ２６、測定方法に従い、現実拡張モデルｍｐ１０～ｍｐ２６を３次元モデル３２０の世界座標系３００Ｚの座標に関連付けて生成する。そして、配置モデル生成部１１０は、現実拡張モデルである現実拡張モデルｍｐ１０～ｍｐ２６をフォーマットデータ５００の測定点ｐ１０～ｐ２６に関連付けて記憶部１０８に記憶する。

図７は、配置モデル生成部１１０が生成した世界座標系における検査対象機器の測定を指示するアノテーションモデルｍ３２２～ｍ３２４を３次元モデル３２０上に配置する例を模式的に示す図である。図７に示すように、配置モデル生成部１１０は成績書５０２が記述する測定箇所、測定方法に従い、アノテーションの現実拡張モデルであるアノテーションモデルｍ３２２～ｍ３２４を３次元モデル３２０の世界座標系３００Ｚの座標に関連付けて生成する。アノテーションモデルｍ３２２～ｍ３２４には、例えば矢印、補助線、文字列「Ｘ板厚」、「Ｙ板厚」、「Ｚ板厚」などが含まれる。そして、配置モデル生成部１１０は、現実拡張モデルであるアノテーションモデルｍ３２２～ｍ３２４をフォーマットデータ５００に関連付けて記憶部１０８に記憶する。

図８は、頭部装着映像装置４０を模式的に示す図である。図８では、透過型の液晶画面２１２を透過した現実空間画像の検査対象機器４００と、拡張現実モデルのアノテーションモデルｍ３２２～ｍ３２４が重畳表示されている。また、図８では、検査対象機器４００の成績書５０２が左目側の透過型の液晶画面２１２に表示されている。

ここで、図８を参照しつつ、図１に基づいて、頭部装着映像装置４０の構成例を説明する。図１に示すように、頭部装着映像装置４０は、処理部２００と、通信部２０２と、位置センサ２０４と、ステレオカメラ２０６と、赤外線レーザ２０７と、赤外線距離センサ２０８と、スピーカ２０９と、マイク２１０と、液晶画面２１２と、赤外線センサ２１３と、サイドボタン２１４とを有する。処理部２００は、ＣＰＵを含んで構成され、記憶部２１８に記憶されるプログラムを実行することにより、各部を構成する。処理部２００は、制御部２１６と、記憶部２１８と、位置合わせ部２２２と、画像生成部２２２と、表示制御部２２４と、測定処理部２２６と、認識処理部２２７と、音声認識部２２８と、警報部２２９とを、有する。なお、処理部２００の詳細は後述する。また、本実施形態に係る液晶画面２１２が表示部に対応し、ステレオカメラ２０６が撮像部に対応する。

通信部２０２は、例えば無線通信が可能な無線装置である。この通信部２０２は、頭部装着映像装置４０が有する情報をデータ記憶装置１０に無線通信により送信する。

位置センサ２０４は、頭部装着映像装置４０の向き及び姿勢を検知する。例えば、位置センサ２０４は、６軸センサにより構成される。

ステレオカメラ２０６は、複数のカメラを有する。ステレオカメラ２０６は、例えば赤外光の撮影も可能なデジタル撮像素子であり、赤外画像、及び可視画像を撮影する。これにより、頭部装着映像装置４０の使用者の視点から見た現実空間の画像には、赤外線レーザ２０７の照射点を含めることが可能である。ステレオカメラ２０６が撮像した画像は、記憶部２１８に記憶される。

また、ステレオカメラ２０６は、後述する画像生成部２２２と共に、３次元計測計５０ｄを構成することも可能である。この場合には、後述の位置合わせ部２２０の生成する位置姿勢情報を用いて基点座標及び座標軸を時系列に決めることが可能である。そして、３次元計測計５０ｄは、計測した検査対象機器の形状データ（例えば、点群データ）を基点座標及び座標軸に対して時系列に生成し、後述する記憶部２１８に記憶させることが可能である。例えば、高精度な測定精度が必要となる場合には、接地型の３次元計測計５０ａで計測し、一般的な計測には、３次元計測計５０ｄで計測することが可能である。

赤外線レーザ２０７は、例えばパルス状の微弱な赤外レーザパルスを出射する。また、赤外線距離センサ２０８は、例えば光子レベルの反射光を測定可能なセンサである。赤外線レーザ２０７と、赤外線距離センサ２０８と、後述する距離演算部２２６ｂは、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）と称される距離測定計を構成する。

スピーカ２０９は、通信部２０２がデータ記憶装置１０から受信した音声信号を音声に変換する。マイク２０９は、例えば頭部装着映像装置４０の装着者の音声を音声信号に変換し、通信部２０２を介してデータ記憶装置１０に送信する。このように、中央監視室側と常時通信を行うことが可能であり、ステレオカメラ２０６の撮像した画像を共有することで、検査対象の情報を供給した相互コミュニケーションが可能となる。また、音声信号は、後述する音声認識部２２８に音声信号を供給する。

液晶画面２１２は、使用者の視点位置から観察された検査対象機器４００の現実空間画像と、使用者の視点位置から観察される現実拡張モデルとを重畳表示することが可能である。このように、液晶画面２１２は、現実空間画像と、現実拡張モデルとを重畳表示させることにより、拡張現実（ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ））の映像を生成して表示することが可能である。

液晶画面２１２は、例えば頭部装着型ディスプレイである。この液晶画面２１２は、例えば光学シースルー方式によって実現される。なお非透過型の液晶画面２１２を用いてもよい。この場合には、液晶画面２１２には、ステレオカメラ２０６の一方が撮像した現実空間の画像に現実拡張モデルが重畳される。また、液晶画面２１２は、データ記憶装置１０から供給される情報、例えばフォーマットデータ５００などを、現実空間画像とは独立に表示させることも可能である。

赤外線センサ２１３は、現実空間内の赤外線を検知する。例えば、立ちいり禁止区域（後述の図１３参照）には、例えば赤外線による立ちいり禁止領域が設定されている。赤外線センサ２１３は、このような赤外線を検知すると、警報部２２９に警報信号を送信する。

サイドボタン２１４は、例えばタッチパネルである。このサイドボタン２１４は、例えば使用者の指先のタッチに応じた信号を出力する。

制御部２１６は、頭部装着映像装置４０全体を制御する。記憶部２１８は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部２１８は、上述のように頭部装着映像装置４０が実行するプログラムと、各種の制御用のデータを記憶する。例えば、検査対象機器４００が認識された場合には、制御部２１６の制御により、検査対象機器４００に関するデータをデータ記憶装置１０側の記憶部１０８から取得し、記憶する。

位置合わせ部２２０は、ステレオカメラ２０６の一方が撮像したマーカの情報を用いて、頭部装着映像装置４０の位置姿勢を演算する。マーカは、一般的な座標演算用の２次元マーカ画像であり、検査対象機器４００の周辺に予め配置されている。このように、位置合わせ部２２０における頭部装着映像装置４０の位置、及び姿勢の演算処理には一般的な技術を用いることが可能である。

また、位置合わせ部２２０は、頭部装着映像装置４０の現在の位置・姿勢情報を位置センサ２０４から６軸センサの情報を取得して、ステレオカメラ２０６の画像を用いて、自己位置推定と環境地図作成を同時に行うＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理を実行し、頭部装着映像装置４０の姿勢を推定してもよい。なお、位置合わせ部２２０は、マーカを用いずに、環境地図内の検査対象機器４００の特徴点と、検査対象機器４００の登録されている３次元特徴点の世界座標を照合させて、頭部装着映像装置４０の位置及び姿勢を推定してもよい。この場合にも、頭部装着映像装置４０の位置、及び姿勢の演算処理には、一般的な座標処理技術を用いることが可能である。

図９は、３次元モデル３２０を配置する３次元モデル空間の座標系１１０ａと、ステレオカメラ２０６の座標系１１０ｃとの位置合わせ状態を示す概念図である。図９に示すように、位置合わせ部２２０は、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、ステレオカメラ２０６の座標系１１０ｃとの位置合わせを行う。この３次元モデル空間には、ステレオカメラ２０６から観察される検査対象機器４００に対応する３次元モデル３２０が配置される。

より具体的には、位置合わせ部２２０は、位置センサ２０４の情報を用いて、ステレオカメラ２０６の位置姿勢、及び世界座標系での位置座標を認識し、３次元モデル空間の座標系１１０ａと、座標系１１０ｃとの位置合わせを行う。本実施形態に係る位置合わせとは、座標系１１０ａの座標と、座標系１１０ｃの座標との対応関係を求めることを意味する。例えば、座標系１１０ａにおける座標原点が対応する座標系１１０ａ内の座標と、Ｘ軸とＸＷ軸とのずれ角と、Ｙ軸とＹＷ軸とのずれ角と、Ｚ軸とＺＷ軸とのずれ角とを求めることを意味する。なお、３次元モデル空間の座標系１１０ａ、すなわち世界座標系と、ステレオカメラ２０６の座標系１１０ｃとの位置合わせ演算には、一般的な演算方法を用いることが可能である。

画像生成部２２２は、位置合わせ部２２０の位置合わせに基づき、ステレオカメラ２０６の撮像する現実空間画像に重畳表示する画像を生成する。この画像には、現実拡張モデル、及び図面情報が含まれる。図面情報の画像には、回路、構成部材、及び配線のうちの少なくともいずれかに関する情報が含まれる。例えば、図面情報の画像には、実装図、配線図、及びバック線図の情報のいずれかが含まれる。すなわち、実装図、配線図などが現実空間画像に重畳表示される場合には、座標系１１０ａの座標からステレオカメラ２０６の座標系１１０ｃに変換されて、検査対象物の画像に重畳表示される。

また、画像生成部２２２は、ステレオカメラ２０６の撮像する現実空間画像を、位置合わせ部２２０の生成する位置姿勢情報を用いて、検査対象機器の形状データを生成する。この形状データは、基点座標及び座標軸に対して時系列に生成される。

表示制御部２２４は、画像生成部２２２が生成した画像を液晶画面２１２に表示させる。なお、表示制御部２２４は、画像表示部と称する場合がある。

図１０は、測定処理部２２６の構成例を示すブロック図である。図１０に示すように、測定処理部２２６は、例えば、フォーマットデータ５００に基づき、測定処理を実行する。この測定処理部２２６は、測定指示部２２６ａ、距離演算部２２６ｂ、及び測定値演算部２２６ｃを有する。測定処理部２２６の詳細は後述する。

認識処理部２２７は、検査対象物を認識する。この認識処理部２２７は、文字認識機能を有する。

図１１は、検査対象機器４００に識別ＩＤのプレート４０２が配置されている例を示す図である。図１１に示すように、識別ＩＤのプレート４０２が配置されている場合には、認識処理部２２７は、ステレオカメラ２０６の撮像した画像中から識別ＩＤのプレート４０２の領域を抽出し、文字認識を実行する。このような認識処理には一般的な認識技術を用いることが可能である。認識結果は、通信部２０２、１０２を介して、データ記憶装置１０に送信される。データ記憶装置１０側の制御部１０７は、記憶部１０８に記憶される認識結果、すなわち検査対象機器に対応するデータを記憶部１０８から頭部装着映像装置４０に送信し、記憶部２１８に記憶させる。

また、認識処理部２２７は、３次元計測計５０ａ又は３次元計測計５０ｄで計測した点群データから幾何学的な特徴量を生成し、予め記憶部２１８に登録されている特徴量と照合して、検査対象機器４００を認識することも可能である。この場合、検査対象機器４００の位置や方向は銘板の設置位置等で判別することが可能となる。また、正背面あるいは両側面など、外観が類似していて区別が難しい場合には、検査時のみ片面シールを貼る等の処置でマーキングすることにより、検査対象機器４００の位置や方向を判別させるように構成してもよい。

音声認識部２２８は、マイク２１０から入力される音声信号を認識し、文字コードを生成する。使用者が、「機器仕様」、「成績書」、「フォーマットデータ」、「実装図」、「配線図」、「バック線図」などと発声すると、音声認識部２２８は、文字列信号に変換し、制御部２１６に送信する。制御部２１６は、表示制御部２２４を制御して、認識処理部２２７が認識した検査対象機器４００に関する「機器仕様」「成績書」、「フォーマットデータ」、「実装図」、「配線図」、「バック線図」などを液晶画面２１２に表示させる。液晶画面２１２の一部に「機器仕様」「成績書」、「フォーマットデータ」、「実装図」、「配線図」、「バック線図」などを表示し、視界の残りの部分に於いては、作業者が透過性的に外界の検査対象機器４００を視認可能なものとする。

このように、「機器仕様」「成績書」、「フォーマットデータ」、「実装図」、「配線図」、「バック線図」などの情報を頭部装着映像装置４０の液晶画面２１２に表示させるため、手持ちの紙媒体での検索や情報端末の操作が不要となり、検査時間を短縮させたり、作業者の負担を軽減させたりすることが可能となる。例えば、「開始」、「自動測定」、「手動測定」、「機器仕様」、「成績書」、「フォーマットデータ」、「実装図」、「配線図」、「バック線図」、「測定点の重畳」、「板厚測定箇所の重畳」、「実装図と測定点の重畳」、「寸法測定」、「Ｈ寸法」などの文字列信号は、記憶部２１８に記憶される制御処理プログラムと関連付けられている。これにより、制御部２１６、或いは制御部２１６の制御下で動作する測定指示部２２６ａ、距離演算部２２６ｂ、及び測定値演算部２２６ｃなどは、文字列信号に対応する制御処理を行う。つまり、測定指示部２２６ａ、距離演算部２２６ｂ、及び測定値演算部２２６ｃの処理は、制御部２１６の制御下による制御となる。

再び、図１０を参照し、測定指示部２２６ａは、フォーマットデータ５００に基づき、自動測定処理を実行する。距離演算部２２６ｂは、赤外線レーザ２０７の照射タイミングと、赤外線距離センサ２０８の受光タイミングに基づいて、測定対象物までの距離を測定する。すなわち、距離演算部２２６ｂは、赤外線レーザ２０７の照射タイミングと、赤外線距離センサ２０８の受光タイミングとの差に、光速を乗算することにより、測定点までの距離を演算する。

図１２Ａは、測定値演算部２２６ｃの演算例を模式的に示す図である。図１２Ａに示すように、３次元計測計５０ａ又は３次元計測計５０ｄで計測した点群データから測定点ｐ１０～ｐ２６までの距離と、３次元計測計５０ａ又は３次元計測計５０ｄの位置座標Ｚ１０から、例えば測定点ｐ１０とＰ１６間の距離を用いて測定値Ｗ１０１６を演算することが可能である。

図１２Ｂは、赤外線レーザ２０７を用いた場合の演算例を模式的に示す図である。図１２Ｂに示すように、測定値演算部２２６ｃは、距離演算部２２６ｂが演算した測定点ｐ１０～ｐ２６までの距離と、例えば測定時の頭部装着映像装置４０の位置座標Ｚ１２、Ｚ１４を用いて測定値Ｗ１０１６を演算することも可能である。図１２Ｂでは、説明を簡単にするため、点ｐ１０と点ｐ１６としか図示していないが、他の測定点間の測定値も同様に演算される。このように、作業者が頭部装着映像装置４０（ウェアラブルデバイス）を着用することで、３次元計測計５０ｄ、及び距離測定計は、作業者と共に移動するため、測定系の可搬性を向上させることが可能となる。

図１３は、測定指示部２２６ａの立ち入り禁止の処理例を示す図である。図１３に示すように、測定指示部２２６ａは、記憶部２１８に記憶される情報を用いて、液晶画面２１２に立ち入り禁止領域４０１を表示させることも可能である。これにより、測定者は、立ち入り禁止領域４０１に入ることが抑制され、安全性が維持される。また、作業者だけでなく立会者（客先検査員等）も頭部装着映像装置４０を着用することで、規制線としての禁止領域４０１を立会者における液晶画面２１２への表示が可能となる。また、ステレオカメラ２０６は赤外画像の撮像も可能である。このため、測定指示部２２６ａは、規制線に接近すると赤外画像に撮像される規制線を検知し、警報部２２９に警報信号を送信することも可能である。

警報部２２９は、赤外線センサ２１３又は測定指示部２２６ａからの警報信号を受信すると、アラート機能として作動して、スピーカ２０９より警報発報を行う。

図１４は、測定指示部２２６ａの測定点の処理例を示す図である。図１４に示すように、測定指示部２２６ａは、例えば使用者が「測定点の重畳」と発言すると、音声認識部２２８の処理結果に基づき、測定点の現実拡張モデルｍｐ１０～ｍｐ２６を検査対象機器４００に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成した現実拡張モデルｍｐ１０～ｍｐ２６を液晶画面２１２に表示させる。これにより、測定者は画像情報と図面情報基づき、測定点ｐ１０～ｐ２６を明確にした上で測定を行うことが可能となる。なお、検査対象機器４００の形状を、長方形で説明しているが、これに限定されない。例えば、デスク型やスタンド型等幅広い形状の機器への適用が可能である。これらの形状の機器の場合にも、測定者は画像情報と図面情報基づき、測定箇所を明確にした上で測定を行うことが可能となる。これにより、測定ミスが抑制される。

図１５は、測定指示部２２６ａ板厚測定の処理例を示す図である。図１５に示すように、測定指示部２２６ａは、例えば使用者が「板厚測定箇所の重畳」と発言すると、音声認識部２２８の処理結果に基づき、板厚測定箇所の現実拡張モデルｍ３２２～ｍ３２６を検査対象機器４００に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成した現実拡張モデルｍ３２２～ｍ３２６を液晶画面２１２に表示させる。これにより、測定者は画像情報と図面情報に基づき、板厚測定箇所を明確にした上で測定を行うことが可能となる。

図１６Ａは、測定指示部２２６ａの実装図の処理例を示す図である。図１６Ａに示すように、測定指示部２２６ａは、例えば使用者が「実装図と測定点の重畳」と発言すると、音声認識部２２８の処理結果に基づき、実装図の現実拡張モデルを検査対象機器４００に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成した実装図の現実拡張モデル４０２、測定点の現実拡張モデルｍｐを液晶画面２１２に表示させる。これにより、測定者は、内部構造と測定点ｐとの関係も把握可能となる。

図１６Ｂは、測定指示部２２６ａの実装図と内部の測定点の処理例を示す図である。図１６Ｂに示すように、測定指示部２２６ａは、例えば使用者が「実装図と内部測定点の重畳」と発言すると、音声認識部２２８の処理結果に基づき、実装図と内部測定点の現実拡張モデルを検査対象機器４００に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成した実装図の現実拡張モデル４０２、内部測定点の現実拡張モデルｍｐ３０～３６を液晶画面２１２に表示させる。これにより、測定者は、内部構造と内部測定点ｐとの関係も把握可能となる。

図１７は、外装を外した際の実装図の構造番号と内部測定点の処理例を示す図である。図１７に示すように、測定指示部２２６ａは、例えば使用者が「実装図の構造番号と内部測定点」と発言すると、音声認識部２２８の処理結果に基づき、実装図に関連付けられている製造番号、「Ｃ１２」、「Ｃ１３」、「Ｄ１４」、測定点ｍｐ３０～３４などを現実拡張モデルとして重畳する。これにより、測定者は、ステレオカメラで撮影した画像と機器設計情報を照合し、実装機器や器具番号、配線状況の整合性を確認することが可能となる。このように、検査対象機器４００内の実装品の整合性など、数値情報以外の情報が必要な検査への適用が可能となる。また、内部測定点ｍｐ１０～ｍｐ２６と同様に、測定点ｍｐ３０～３４の測定が行われる。

認識処理部２２７は、ステレオカメラ２0６で撮像した画像を用いて、実画像の「Ｃ１２」、「Ｃ１３」、「Ｄ１４」の番号と、実装図などに登録されている「Ｃ１２」、「Ｃ１３」、「Ｄ１４」の番号と、の整合性を判定する。そして、認識処理部２２７は、整合性確認結果を成績書５０２へ良否判定データとして入力する。この際に、成績書５０２を液晶画面２１２に表示させることで、使用者は、実装図の整合性をより簡易に確認可能となる。

図１８は、測定指示部２２６ａの配線図の処理例を示す図である。図１８に示すように、測定指示部２２６ａは、例えば使用者が「配線図の重畳」と発言すると、音声認識部２２８の処理結果に基づき、配線図の現実拡張モデルを検査対象機器４００の内部構造４１０の画像に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成した配線図の現実拡張モデルを液晶画面２１２に表示させる。これにより、測定者は、配線図と内部構造４１０との関係も把握可能となる。

図１９は、測定指示部２２６ａのバック線図の処理例を示す図である。図１９に示すように、測定指示部２２６ａは、例えば使用者が「バック線図の重畳」と発言すると、音声認識部２２８の処理結果に基づき、バック線図の現実拡張モデルを検査対象機器４００の内部構造４１０の画像に重畳表示させる。より具体的には、測定指示部２２６ａは、表示制御部２２４を介して、画像生成部２２２が生成したバック線図の現実拡張モデルを液晶画面２１２に表示させる。これにより、測定者は、バック線図も把握可能となる。

図２０は、本実施形態に係る処理例のフローチャートである。図２０に示すように、先ず使用者は、データ記憶装置１０の記憶部１０８に、検査対象機器４００の計測対象情報３００、計測対象となる機器の機器仕様書や成績書の情報を含む機器情報３０２を登録する（ステップＳ１００）。続けて、制御部１０７は、フォーマットデータ５００に機器仕様書や成績書の情報を登録し、記憶部１０８に格納させる。更に、制御部１０７は、機器仕様書や成績書の情報を用いて、配置モデル生成部１１０にフォーマットデータ５００に関連づける現実拡張モデルを生成させ、記憶部１０８に格納させる。

次に、頭部装着映像装置４０の測定指示部２２６ａは、例えば、サイドボタン２１４が使用者にダブルクリックされると、ステレオカメラ２０６の撮像を開始する（ステップＳ１０２）。続けて、測定指示部２２６ａは、サイドボタン２１４がダブルクリックされたタイミングで、認識処理部２２７にステレオカメラ２０６の撮像した画像中から識別ＩＤのプレート４０２の領域を抽出させ、文字認識を実行させる。そして、測定指示部２２６ａは、認識処理部２２７の認識結果に基づき、検査対象機器４００のデータを、データ記憶装置１０の記憶部１０８から記憶部２１８に転送させる。続けて、測定指示部２２６ａは、例えば検査対象機器４００の成績書を、液晶画面２１２に表示させる（ステップＳ１０４）。

次に、例えば測定者が「測定箇所の表示」などと発声し（ステップＳ１０６）、測定指示部２２６ａは、音声認識部２２８の認識結果に基づき、測定箇所の表示を指示されると、例えば図４、図５、図１４、図１５などに示されるフォーマットデータ５００と、アノテーションモデルｍ３２２～ｍ３２４などを液晶画面２１２に表示させる（ステップＳ１０８）。

測定指示部２２６ａは、例えば測定者がサイドボタン２１４をダブルクリックすると、自動測定が選択されたと判定する（ステップＳ１１０のＹＥＳ）。測定指示部２２６ａは、自動測定が選択されたと判定すると、測定値演算部２２６ｃに、３次元計測計５０ａ又は３次元計測計５０ｄで計測した点群データを用いて、検査対象機器４００の測定点間の測定値を演算させ（ステップＳ１１２）、検査対象機器の成績書５０２に反映する（ステップＳ１１４）。図２１は、成績書５０２に自動測定データが反映された例を示す図である。図２１に示すように、測定値が自動測定される。そして、成績書５０２は記憶部２１８と、データ記憶装置１０の記憶部１０８に記憶される（ステップＳ１１６）。このように手入力が不要となり、成績書５０２への誤記、誤入力防止が可能となる。例えばステレオカメラで２０６撮影した画像を用いて自動で寸法測定を行うため、測定対象箇所をメジャー等の測定器で測定する場合に必要であった脚立を使用した作業が不要となり、測定者の転落や脚立移動時の機器の損傷のリスクを抑制できる。また、頭部装着映像装置４０は、データ記憶装置１０の記憶部１０８に記憶させる入力装置としても機能する。

一方で、測定者は、図１５などを参照し、例えば測定者がサイドボタン２１４をシングルクリックする。測定指示部２２６ａは、例えサイドボタン２１４がシングルクリックされると、手動測定が選択されたと判定する（ステップＳ１１０のＮＯ）。そして、測定指示部２２６ａは、測定対象データに応じて、画像情報があるいか否かを判定する（ステップＳ１１８）。例えば、板厚測定であれば、板厚計５０ｃは、通信装置を有さないので、画像情報有りを選択する（ステップＳ１１８のＹＥＳ）。

図２２は、「板厚測定箇所の表示」との音声指示に基づき、アノテーションモデルｍ５１０、ｍ３２２～ｍ３２４を液晶画面２１２に表示させた例を示す図である。測定者は、アノテーションモデルｍ３２２～ｍ３２４を参照し、板厚計５０ｃを用いて手動でアノテーションモデルｍ５１０の指示順に従い、測定を行う。例えば、図２３は、板厚計５０ｃの測定結果画面を示す図である。測定指示部２２６ａは、サイドボタン２１４がダブルクリックされたタイミングで、認識処理部２２７にステレオカメラ２０６の撮像した板厚計５０ｃの測定結果画面の画像中から測定値の表示領域５０２ｃを抽出し、文字認識を実行させる（ステップＳ１２０）。このように、測定結果画像をデータ化して記録するため、測定器（板厚計５０ｃ）による測定値の直読による自動記録が可能となる。

図２４は、成績書５０２に測定データが反映された例を示す図である。図２４に示すように、測定値が自動的に反映される（ステップＳ１２２）。そして、成績書５０２は記憶部２１８に記憶される（ステップＳ１１６）。このように手入力が不要となり、ヒューマンエラーが抑制可能となる。

一方で、測定指示部２２６ａは、次の測定対象が膜厚測定であれば、膜厚計５０ｂは、無線送信を有するので、画像情報なしを選択する（ステップＳ１１８のＮＯ）。測定指示部２２６ａは、サイドボタン２１４がダブルクリックされたタイミングで、膜厚計５０ｂの測定値を成績書５０２に反映させる（ステップＳ１２４）。そして、成績書５０２は記憶部２１８に記憶され（ステップＳ１１６）、全体処理を終了する。

以上のように、本実施形態によれば、認識処理部２２７が、ステレオカメラ２０６が撮像した現実画像内の検査対象機器を認識し、制御部２１６が、認識結果に基づき、検査対象機器４００の検査に関する成績書５０２などのデータをデータ記憶装置１０から取得し、液晶画面２１２に表示させることとした。これにより、手持ちの紙媒体での検索や情報端末の操作が不要となり、検査時間を短縮させたり、作業者の負担を軽減させたりすることが可能となる。

本実施形態による検査システム１におけるデータ処理方法の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、データ処理方法の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。また、データ処理方法の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な装置、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した装置、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

１：検査システム、１０：データ記憶装置、３０：表示部、４０：頭部装着映像装置、５０ｄ：３次元計測計、１０８：記憶部、２０６：ステレオカメラ、２１２：液晶画面、２１６：制御部、２２０：位置合わせ部、２２２：画像生成部、２２４：表示制御部、２２６：測定処理部、２２７：認識処理部、２２８：音声認識部、４０２、ｍｐ１０～ｍｐ２６、ｍｐ３０～ｍｐ３２、ｍ３２２～ｍ３２４、ｍ５１０：現実拡張モデル、５０２：成績書。

Claims (10)

1. データ記憶装置と
   頭部装着映像装置と、を備える検査システムであって、
   頭部装着映像装置は、
   表示部と、
   使用者の視点から見た現実画像を撮像する撮像部と、
   前記現実画像内の検査対象機器を認識する認識処理部と、
   前記認識処理部の認識結果に基づき、前記検査対象機器の検査に関する情報を前記データ記憶装置から取得し、前記表示部に表示させる制御部と、
   を有する、検査システム。
2. 前記頭部装着映像装置は、
   ３次元計測計、及び距離測定計の少なくとも一方を有し、
   前記検査に関する情報に応じた測定値の生成を、３次元計測計、及び距離測定計の少なくとも一方の測定に基づき行う、請求項１に記載の検査システム。
3. 前記検査に関する情報は、前記検査対象機器の測定項目と、測定された測定値とを対応づける成績書であり、
   前記頭部装着映像装置は、
   前記測定項目に応じた前記測定値を前記成績書に入力させる測定処理部を、更に有する、請求項２に記載の検査システム。
4. 前記データ記憶装置は、
   記憶部を有し、
   前記制御部は、前記測定項目に応じた前記測定値を前記データ記憶装置の前記記憶部に記憶させる、請求項３に記載の検査システム。
5. 前記撮像部はステレオカメラを有し、
   前記頭部装着映像装置は、
   前記頭部装着映像装置の位置及び姿勢を生成する位置合わせ部と、
   前記ステレオカメラの撮像する現実空間画像を、前記位置合わせ部の生成する位置姿勢情報を用いて、所定の座標系に対応する前記検査対象機器の形状データを生成する画像生成部と、
   を更に有し、
   前記３次元計測計は、前記所定の座標系に対応する前記検査対象機器の形状データに基づき、計測を行う、請求項４に記載の検査システム。
6. 前記認識処理部は、前記撮像部が撮像した測定器の測定画面を処理して測定値を生成し、
   前記測定処理部は、前記認識処理部が生成した前記測定値を、前記測定項目に応じた前記測定値として前記成績書に入力させる、請求項５に記載の検査システム。
7. 前記制御部は、前記位置合わせ部の生成する位置姿勢情報を用いて、前記検査対象機器の実装機器、器具番号、及び配線状況の少なくともいずれかに関する現実拡張モデルを、前記表示部内の前記検査対象機器の現実画像に重畳して表示させる、請求項６に記載の検査システム。
8. 前記頭部装着映像装置は、
   使用者の音声を認識する音声認識部を更に有し、
   前記制御部は、前記音声認識部の音声認識結果に応じた、前記検査対象機器の検査に関する情報、及び現実拡張モデルの少なくともいずれかを前記表示部に表示させる、請求項１乃至７のいずれかに記載の検査システム。
9. 前記現実拡張モデルは、前記検査対象機器の測定箇所を示す、請求項８に記載の検査システム。
10. 使用者の視点から見た現実画像を撮像する撮像工程と、
    前記現実画像内の検査対象機器を認識する認識処理工程と、
    前記認識処理工程の認識結果に基づき、前記検査対象機器の検査に関する情報をデータ記憶装置から取得し、表示部に表示させる制御工程と、
    を有する、検査方法。