JP2017223506A - 打音検査支援装置及び打音検査支援方法 - Google Patents

Abstract

【課題】打音検査において、実際に叩かれた箇所が予め決められた箇所であるかを確認することができる。
【解決手段】ＨＭＤ１００（打音検査支援装置）は、画像表示部１０４Ｂ（表示部）と、打音検査領域（検査対象）のどの箇所を叩くかを示す目印を含む、打音検査領域の画像を基準画像２２ａとし、打音検査前に基準画像２２ａを画像表示部１０４Ｂに表示させる表示制御部１０４ＤＲと、カメラ１０６（撮像部）と、打音検査において、打音検査領域、及び、この打音検査領域を叩いているハンマー２００（打撃部材）を被写体とする画像を比較画像２３ａとし、カメラに比較画像２３ａを撮像させる撮像制御部１２１１と、を備える。
【選択図】図７

Description

本発明は、打音検査を支援する技術に関する。

打音検査に関する従来技術として、例えば、非特許文献１は、ビデオカメラを利用して打音検査をする技術を開示している。この技術は、打音検査でハンマーによって叩かれている箇所を、音声付きのビデオ撮影をする。この技術によれば、ハンマーで叩く箇所が複数ある場合、叩いた箇所とそのときに発生した音とを対応づけることができる。

特許文献１は、ヘッドマウントディスプレイを利用して打音検査をする技術を開示している。この技術は、車両の車輪部分に、目印画像を重ねて表示する。目印画像とは、車輪部分の複数のボルトの位置を示した複数のボルト位置画像を含む画像である。ヘッドマウントディスプレイを装着した検査員は、目印画像を見ながら、ハンマーを用いて、複数のボルトを順番に叩き、複数のボルトがゆるんでいないかを検査する。この技術によれば、車輪部分に目印画像を重ねて表示するので、誤った箇所をハンマーで叩くことを防止できる。

特開２０１０−１９７３６１号公報

「日本機械学会論文集（Ｃ編）」、「画像処理と音響処理の融合による打音検査」、２００６年３月、７２巻、７１５号、ｐ．９０−９７

特許文献１の技術は、検査対象のどの箇所を叩くかを予め決めて、その箇所を予め決められた箇所として、検査員がハンマー等の打撃部材で検査対象を叩く。しかし、検査員が、ヘッドマウントディスプレイに表示された目印画像（すなわち、予め決められた箇所を示す画像）を見ながら、ハンマーで叩いても、実際に叩かれた箇所が予め決められた箇所でないことは起こり得る。従って、実際に叩かれた箇所が予め決められた箇所であるかの確認が望まれる。

打音検査の結果、直ちに対処しなくてもよいが、経過を見なければならない異常が発見されることがある。このような異常については、検査対象の経時変化を検査する必要がある。例えば、検査対象がトンネルの壁の場合、前回の打音検査で叩いた箇所と今回の打音検査で叩いた箇所とが１０ｃｍ以上ずれると、経時変化の検査精度が低下することが知られている。打音検査で検査対象の経時変化を検査する場合、毎回の検査において、実際に叩かれた箇所が予め決められた箇所であるかの確認が望まれる。

本発明の目的は、打音検査において、実際に叩かれた箇所が予め決められた箇所であるかを確認することができる打音検査支援装置及打音検査支援方法を提供することである。

本発明の第１態様に係る打音検査支援装置は、頭部に装着可能な打音検査支援装置であって、表示部と、検査対象のどの箇所を叩くかを示す目印を含む、前記検査対象の画像を基準画像とし、打音検査前に前記基準画像を前記表示部に表示させる表示制御部と、撮像部と、前記打音検査において、前記検査対象、及び、前記検査対象を叩いている打撃部材を被写体とする画像を比較画像とし、前記撮像部に前記比較画像を撮像させる撮像制御部と、を備える。

本発明の第１態様に係る打音検査支援装置を利用する打音検査は、検査員が検査対象のどの箇所を叩くかを予め決めて、その箇所を予め決められた箇所として、ハンマー等の打撃部材で検査対象を叩く。検査員は、本発明の第１態様に係る打音検査支援装置を頭部に装着した状態で、表示部に表示された基準画像に含まれる目印を見て、検査対象の予め決められた箇所を確認し、ハンマー等の打撃部材を用いて、検査対象を叩いて打音検査をする。撮像部は、打音検査において、比較画像を撮像する。比較画像には、検査対象の像、及び、この検査対象を叩いている打撃部材の像が写っている。従って、基準画像と比較画像との比較により、打音検査において、実際に叩かれた箇所が、予め決められた箇所か否かの確認が可能となる。

上記構成において、前記打撃部材によって前記検査対象が叩かれたことを検出したとき、所定の信号を出力する検出部が、前記打音検査支援装置の外部、又は、前記打音検査支援装置に備えられ、前記所定の信号をトリガーとして、前記撮像制御部は、前記撮像部に前記比較画像を撮像させる。

この構成によれば、打撃部材によって検査対象が叩かれた瞬間、又は、叩かれた瞬間から僅かに遅れて、比較画像を撮像できる。前者の場合、比較画像には、打撃部材が検査対象に接触した状態が写っている。後者の場合、比較画像には、打撃部材が検査対象から僅かに離れた状態が写っている。従って、実際に叩かれた箇所が、予め決められた箇所か否かの確認の精度が向上する。

検出部は、例えば、打撃部材によって検査対象が叩かれたときに発生する打撃部材の加速度の変化を検出する加速度センサ（モーションセンサ）、打撃部材によって検査対象が叩かれたときに発生する振動を検出する振動センサ、打撃部材によって検査対象が叩かれたときに発生する音を検出するマイクがある。加速度センサ（モーションセンサ）や振動センサは、打撃部材に取り付けられる。マイクは、打音検査支援装置に取り付けられていてもよいし、打音検査支援装置に設けられた端子に接続されたマイク（外部マイク）でもよい。

上記構成において、前記表示制御部は、前記基準画像と前記比較画像とを前記表示部に表示させる。好ましくは、前記表示制御部は、前記基準画像と前記比較画像とを一緒に前記表示部に表示させる。

この構成によれば、検査員は、基準画像と比較画像とを比べることにより、打音検査において、実際に叩かれた箇所が、予め決められた箇所か否かの確認をすることができる。

上記構成において、前記比較画像に対して画像処理をすることにより、前記打撃部材によって叩かれた箇所を特定し、特定した箇所を示す打撃箇所目印を、前記基準画像に合成した合成画像を生成する画像処理部が、前記打音検査支援装置の外部の外部装置、又は、前記打音検査支援装置に備えられ、前記表示制御部は、前記合成画像を前記表示部に表示させる。

合成画像は、打撃箇所目印を基準画像に合成した画像なので、検査対象のどの箇所を叩くかを示す目印（予め決められた箇所の目印）と打撃箇所目印とを含む。検査員は、これらの目印を比べることにより、打音検査において、実際に叩かれた箇所が、予め決められた箇所か否かの確認をすることができる。一枚の画像にこれらの目印が含まれる。従って、検査員は、基準画像と比較画像とが表示部に一緒に表示される形態と比べて、実際に叩かれた箇所が、予め決められた箇所か否かの確認が容易である。

画像処理部は、打撃部材によって叩かれた箇所を、例えば、以下の処理で特定する。打撃部材がハンマーの場合、画像処理部は、ハンマーのヘッドの像をテンプレートマッチングによって抽出し、その像の位置をハンマーによって叩かれた箇所とする。これは、次に説明する構成でも言える。

画像処理部は、外部装置（例えば、打音検査支援装置と通信可能なサーバ）に備えられていてもよいし、打音検査支援装置に備えられていてもよい。これは、次に説明する構成でも言える。

上記構成において、前記比較画像に対して画像処理をすることにより、前記打撃部材によって叩かれた箇所を特定する画像処理部と、前記画像処理部が特定した箇所を示す目印を打撃箇所目印とし、前記打撃箇所目印の位置と、前記検査対象のどの箇所を叩くかを示す前記目印の位置との距離が、予め定められた値以下か否かを判定する判定部とが、前記打音検査支援装置の外部の外部装置、又は、前記打音検査支援装置に備えられており、前記表示制御部は、前記判定の結果を前記表示部に表示させる。

この構成は、打撃箇所目印の位置と、検査対象のどの箇所を叩くかを示す目印（予め決められた箇所の目印）の位置との距離が、予め定められた値以下のとき、実際に叩かれた箇所が予め決められた箇所とみなし、打撃箇所目印の位置と、検査対象のどの箇所を叩くかを示す目印（予め決められた箇所の目印）の位置との距離が、予め定められた値より大きいとき、実際に叩かれた箇所が予め決められた箇所と見なさない。この構成によれば、実際に叩かれた箇所が予め決められた箇所であるか否かについて、検査員でなく、情報処理装置（例えば、画像処理部及び判定部を備えるサーバ）が判定する。従って、検査員の負担を軽減することができる。

本発明の第２態様に係る打音検査支援方法は、表示部及び撮像部を備え、頭部に装着可能な打音検査支援装置を用いて、打音検査を支援する方法であって、検査対象のどの箇所を叩くかを示す目印を含む、前記検査対象の画像を基準画像とし、前記打音検査前に前記基準画像を前記表示部に表示させる表示ステップと、前記打音検査において、前記検査対象、及び、前記検査対象を叩いている打撃部材を被写体とする画像を比較画像とし、前記表示ステップ後、前記撮像部に前記比較画像を撮像させる撮像ステップと、を備える。

本発明の第２態様に係る打音検査支援方法は、本発明の第１態様に係る打音検査支援装置を方法の観点から規定しており、本発明の第１態様に係る打音検査支援装置と同様の作用効果を有する。

本発明によれば、打音検査において、実際に叩かれた箇所が予め決められた箇所であるかを確認することができる。

原画像の一例を示す画像図である。 基準画像の一例を示す画像図である。 比較画像の一例を示す画像図である。 本発明の実施形態に係る打音検査支援システムに備えられるＨＭＤの構造的な構成を示す斜視図である。 本発明の実施形態に係る打音検査支援システムに備えられるＨＭＤの構造的な構成を示す正面図である。 本発明の実施形態に係る打音検査支援システムに備えられるＨＭＤに含まれるディスプレイユニットの構成を示す概略断面図である。 第１実施形態及び第２実施形態に係る打音検査支援システムの構成を示すブロック図である。 複数の打音検査領域のそれぞれに割り当てられるフォルダを説明する説明図である。 第１実施形態に係る打音検査支援システムにおいて、打音検査で実行される動作を説明するフローチャートの前半である。 同フローチャートの後半である。 第１実施形態において、画像表示部に表示された基準画像及び比較画像の一例を説明する説明図である。 第２実施形態に係る打音検査支援システムにおいて、初回の打音検査で実行される動作を説明するフローチャートである。 画像表示部に表示された基準画像候補の一例を説明する説明図である。 第２実施形態において、画像表示部に表示された基準画像及び比較画像の一例を説明する説明図である。 第３実施形態に係る打音検査支援システムの構成を示すブロック図である。 第３実施形態に係る打音検査支援システムにおいて 打音検査で実行される動作を説明するフローチャートである。 合成画像の一例を示す画像図である。 打撃箇所目印が合成された比較画像を示す画像図である。 第４実施形態に係る打音検査支援システムの構成を示すブロック図である。 第４実施形態に係る打音検査支援システムにおいて 打音検査で実行される動作を説明するフローチャートである。

以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

本発明の実施形態は、ヘッドマントディスプレイ（以下、ＨＭＤ）を利用して打音検査をする打音検査支援システムである。ＨＭＤは、頭部に装着可能な打音検査支援装置である。打音検査の検査対象として、トンネルの壁面において、打音検査される領域（以下、打音検査領域）を例にして説明する。図１は、原画像２１の一例を示す画像図である。原画像２１は、打音検査領域の画像である。原画像２１は、検査員が打音検査領域のどの箇所を叩くかを判断できるように、拡大画像にされている。

図２は、基準画像２２ａの一例を示す画像図である。基準画像２２ａは、打音検査領域のどの箇所を叩くかを示す目印２４ａ（予め決められた箇所の目印２４ａ）を含む、打音検査領域の画像である。基準画像２２ａは、図１に示す原画像２１に目印２４ａを合成した画像である。基準画像２２ａは、原画像２１と同じ倍率の拡大画像である。黒丸が目印２４ａとする例で説明するが、これに限定されず、目印としての機能を有すればよい。また、目印２４ａが原画像２１に合成される例で説明するが、これに限定されない。例えば、打音検査領域に、目印２４ａが直接描かれていても良い。

図３は、比較画像２３ａの一例を示す画像図である。比較画像２３ａは、打音検査において、打音検査領域、及び、この打音検査領域を叩いている打撃部材を被写体として撮像された画像である。すなわち、比較画像２３ａは、打音検査領域を、ハンマー等の打撃部材で叩いたときに撮像された画像である。比較画像２３ａは、図１に示す原画像２１にハンマーの像２５が加わった画像である。比較画像２３ａは、ハンマーを握る手等の像を含むが、簡略化のためこれらの像は省略する。比較画像２３ａは、基準画像２２ａ及び原画像２１と同じ倍率の拡大画像である。

本発明の実施形態に係る打音検査支援システムは、基準画像と比較画像とを用いて、打音検査で実際に叩かれた箇所が、予め決められた箇所（叩くべき箇所）であるかを確認できることを一つの特徴とする。

本発明の実施形態に係る打音検査支援システムに備えられるＨＭＤ１００について説明する。図４は、ＨＭＤ１００の構造的な構成を示す斜視図である。図５は、ＨＭＤ１００の構造的な構成を示す正面図である。図６は、ＨＭＤ１００に含まれるディスプレイユニット１０４の構成を示す概略断面図である。

ＨＭＤ１００の構造的な構成について説明する。図４及び図５を参照して、ＨＭＤ１００は、頭部に装着するための頭部装着部材の一例であるフレーム１０１を備える。フレーム１０１は、２つの眼鏡レンズ１０２を取り付ける前方部１０１ａと、前方部１０１ａの両端から後方へと延在する側部１０１ｂ、１０１ｃとを備える。フレーム１０１に取り付けられた２つの眼鏡レンズ１０２は、屈折力（光学的パワー、焦点距離の逆数）を有して良く、また、有しなくて良い。

右側（ユーザーの利き目等に応じて左側でもよい）の眼鏡レンズ１０２の上部において、円筒状の主本体部１０３がフレーム１０１の前方部１０１ａに固定されている。主本体部１０３にはディスプレイユニット１０４が設けられている。主本体部１０３内には、後述する制御処理部１２１からの指示に基づいてディスプレイユニット１０４の表示制御を司る表示制御部１０４ＤＲ（図７）が配置されている。なお、必要に応じて両眼の前にそれぞれディスプレイユニットが配置されてもよい。

図６を参照して、ディスプレイユニット１０４は、画像形成部１０４Ａと画像表示部１０４Ｂとを備えて構成される。画像形成部１０４Ａは、主本体部１０３内に組み込まれており、光源１０４ａと、一方向拡散板１０４ｂと、集光レンズ１０４ｃと、表示素子１０４ｄとを備える。一方、いわゆるシースルー型の表示部材である画像表示部１０４Ｂは、主本体部１０３から下方に向かい、片方の眼鏡レンズ１０２（図４）に平行に延在するように配置された全体的に板状であって、接眼プリズム１０４ｆと、偏向プリズム１０４ｇと、ホログラム光学素子１０４ｈとを有している。

光源１０４ａは、表示素子１０４ｄを照明する機能を有し、例えば光強度のピーク波長および光強度半値の波長幅で４６２±１２ｎｍ（青色光（Ｂ光））、５２５±１７ｎｍ（緑色光（Ｇ光））、６３５±１１ｎｍ（赤色光（Ｒ光））となる３つの波長帯域の光を発するＲＧＢ一体型の発光ダイオード（ＬＥＤ）で構成されている。

表示素子１０４ｄは、光源１０４ａからの出射光を画像データに応じて変調して画像を表示するものであり、光が透過する領域となる各画素をマトリクス状に有する透過型の液晶表示素子で構成される。なお、表示素子１０４ｄは、反射型であってもよい。

接眼プリズム１０４ｆは、基端面ＰＬ１を介して入射する表示素子１０４ｄからの画像光を、相対する平行な内側面ＰＬ２と外側面ＰＬ３とで全反射させ、ホログラム光学素子１０４ｈを介してユーザの瞳に導く一方、外光を透過させてユーザの瞳に導くものであり、偏向プリズム１０４ｇとともに、例えばアクリル系樹脂で形成されている。この接眼プリズム１０４ｆと偏向プリズム１０４ｇとは、内側面ＰＬ２および外側面ＰＬ３に対して傾斜した傾斜面ＰＬ４、ＰＬ５でホログラム光学素子１０４ｈを挟み、接着剤で接合される。

偏向プリズム１０４ｇは、接眼プリズム１０４ｆに接合されて、接眼プリズム１０４ｆと一体となって略平行平板となるものである。なお、ディスプレイユニット１０４とユーザの瞳の間に眼鏡レンズ１０２（図４）を装着すると、通常眼鏡を使用しているユーザでも画像を観察することが可能である。

ホログラム光学素子１０４ｈは、表示素子１０４ｄから出射される画像光（３原色に対応した波長の光）を回折反射して瞳孔Ｂに導き、表示素子１０４ｄに表示される画像を拡大してユーザの瞳に虚像として導く体積位相型の反射型ホログラムである。このホログラム光学素子１０４ｈは、例えば、回折効率のピーク波長および回折効率半値の波長幅で４６５±５ｎｍ（Ｂ光）、５２１±５ｎｍ（Ｇ光）、６３４±５ｎｍ（Ｒ光）の３つの波長域の光を回折（反射）させるように作製されている。ここで、回折効率のピーク波長は、回折効率がピークとなるときの波長のことであり、回折効率半値の波長幅とは、回折効率が回折効率ピークの半値となるときの波長幅のことである。

このような構成のディスプレイユニット１０４では、光源１０４ａから出射された光は、一方向拡散板１０４ｂにて拡散され、集光レンズ１０４ｃにて集光されて表示素子１０４ｄに入射する。表示素子１０４ｄに入射した光は、表示制御部１０４ＤＲから入力された画像データに基づいて画素ごとに変調され、画像光として出射される。これにより、表示素子１０４ｄには、カラー画像が表示される。表示素子１０４ｄからの画像光は、接眼プリズム１０４ｆの内部にその基端面ＰＬ１から入射し、内側面ＰＬ２と外側面ＰＬ３で複数回全反射されて、ホログラム光学素子１０４ｈに入射する。ホログラム光学素子１０４ｈに入射した光は、そこで反射され、内側面ＰＬ２を透過して瞳孔Ｂに達する。瞳孔Ｂの位置では、ユーザは、表示素子１０４ｄに表示された画像の拡大虚像を観察することができ、画像表示部１０４Ｂに形成される画面として視認することができる。

一方、接眼プリズム１０４ｆ、偏向プリズム１０４ｇおよびホログラム光学素子１０４ｈは、外光をほとんど全て透過させるので、ユーザはこれらを介して外界像（実像）を観察できる。したがって、表示素子１０４ｄに表示された画像の虚像は、外界像の一部に重なって観察されることになる。このようにして、ＨＭＤ１００のユーザは、ホログラム光学素子１０４ｈを介して、表示素子１０４ｄから提供される画像と外界像とを同時に観察できる。なお、ディスプレイユニット１０４が非表示状態の場合、画像表示部１０４Ｂは、素通しとなり、外界像のみを観察できる。なお、本実施形態では、光源と液晶表示素子と光学系とを組み合わせてディスプレイユニットが構成されているが、光源と液晶表示素子の組合せに代え、自発光型の表示素子（例えば、有機ＥＬ表示素子）が用いられても良い。また、光源と液晶表示素子と光学系の組合せに代えて、非発光状態で透過性を有する透過型有機ＥＬ表示パネルが用いられてもよい。

図４及び図５を参照して、主本体部１０３の正面には、フレーム１０１の側部寄りに配置されたカメラ１０６のレンズ１０６ａが、前方を向くようにして設けられている。

フレーム１０１の右側の側部１０１ｂには、右副本体部１０８−Ｒが取り付けられ、フレーム１０１の左側の側部１０１ｃには、左副本体部１０８−Ｌが取り付けられている。右副本体部１０８−Ｒおよび左副本体部１０８−Ｌは、細長い板形状を有する。

主本体部１０３と右副本体部１０８−Ｒとは、配線ＨＳで信号伝達可能に接続されており、右副本体部１０８−Ｒは、その後端から延在するコードＣＤを介して制御ユニットＣＴＵに接続されている。

以上がＨＭＤ１００の説明である。本発明の実施形態として、第１実施形態〜第４実施形態がある。第１実施形態から説明する。図７は、第１実施形態に係る打音検査支援システム１−１の構成を示すブロック図である。このブロック図は、第１実施形態に係る打音検査支援システム１−１及び第２実施形態に係る打音検査支援システム１−２で共通である。打音検査支援システム１−１は、ＨＭＤ１００、ハンマー２００及びサーバ３００を備える。

ＨＭＤ１００は、打音検査支援装置の一例であり、制御ユニットＣＴＵと、ディスプレイユニット１０４と、表示制御部１０４ＤＲと、カメラ１０６と、を備える。制御ユニットＣＴＵは、制御処理部１２１と、操作部１２２と、通信部１２４と、記憶部１２５と、バッテリ１２６と、電源回路１２７とを備える。

表示制御部１０４ＤＲは、制御処理部１２１に接続され、制御処理部１２１の制御に従ってディスプレイユニット１０４の画像形成部１０４Ａを制御することで、画像形成部１０４Ａに画像を形成させる回路である。画像形成部１０４Ａは、上述した通りである。

カメラ１０６は、撮像部の一例であり、制御処理部１２１に接続され、制御処理部１２１の制御に従って、被写体の画像を生成する装置である。カメラ１０６は、例えば、被写体の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記被写体の光学像を電気的な信号に変換するイメージセンサ、前記イメージセンサの出力に対し公知の画像処理を施して画像（画像データ）を生成するデジタルシグナルプロセッサ（ＤＳＰ）等を備えて構成される。前記結像光学系は、１または複数のレンズを備えて構成され、その１つとして前記レンズ１０６ａを含む。カメラ１０６は、前記生成した画像データを制御処理部１２１へ出力する。

操作部１２２は、制御処理部１２１に接続され、例えば電源のオンオフ等の、予め設定された所定の指示をＨＭＤ１００に入力する機器であり、例えば、所定の機能を割り付けられた１または複数のスイッチ等である。

通信部１２４は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、外部装置（例えば、サーバ３００）との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。

また、通信部１２４は、有線または無線によって通信する通信カード等であり、例えばイーサネット環境等の通信ネットワークを介して外部装置（例えば、サーバ３００）との間で通信しても良い（イーサネットは登録商標）。このような通信部１２４は、制御処理部１２１から入力された転送すべきデータを収容した通信信号を、前記通信ネットワークで用いられる通信プロトコルに従って生成し、この生成した通信信号を、前記通信ネットワークを介して外部装置へ送信する。通信部１２４は、前記通信ネットワークを介して外部装置から通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部１２１が処理可能な形式のデータに変換して制御処理部１２１へ出力する。通信部１２４は、例えば、無線ＬＡＮの規格の一つであるＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）規格で通信信号を送受信する、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎに対応したＷｉ−Ｆｉ Ｍｏｄｕｌｅ（通信カード）等を備えて構成される。

記憶部１２５は、制御処理部１２１に接続され、制御処理部１２１の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、当該ＨＭＤ１００の各部を当該各部の機能に応じて制御する制御プログラム等が含まれる。記憶部１２５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。そして、記憶部１２５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部１２１のワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

バッテリ１２６は、電力を蓄積し、前記電力を供給する電池である。バッテリ１２６は、一次電池であってよく、また、二次電池であってよい。電源回路１２７は、バッテリ１２６から供給された電力を、電力を必要とする、当該ＨＭＤ１００の各部へ各部に応じた電圧で供給する回路である。

制御処理部１２１は、ＨＭＤ１００の各部を当該各部の機能に応じてそれぞれ制御する。制御処理部１２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路等を備えて構成される。制御処理部１２１には、制御処理プログラムが実行されることによって、撮影制御部１２１１が機能的に構成される。なお、撮像制御部１２１１の一部または全部は、ハードウェアで構成されても良い。撮像制御部１２１１については、後で詳しく説明する。

ハンマー２００は、打撃部材の一例であり、打音検査に用いられる。ユーザ（以下、検査員）は、ハンマー２００を用いて、打音検査領域（検査対象の一例）を叩く。ハンマー２００のヘッド２０１の中央には、加速度センサ２０２（モーションセンサ）が取り付けられている。加速度センサ２０２の取り付け位置は、これに限定されず、検査員が、ハンマー２００によって、打音検査領域を叩く動作をしたときに、加速度センサ２０２が加速度を検出できる位置であればよい。加速度センサ２０２とＣＴＵとは、不図示の電気コードによって、電気的に接続されている。検査員が、打音検査領域をハンマー２００で叩く動作をしたとき、ハンマー２００には加速度が生じ、加速度センサ２０２は、加速度を示す信号Ｓを出力する。信号Ｓは、上記電気コードを通り、制御処理部１２１に送られる。加速度センサ２０２とＣＴＵとは、無線で接続されていてもよい。

加速度センサ２０２が、検出部として機能する。検出部は、ハンマー２００によって打音検査領域が叩かれたことを検出したとき、所定の信号を出力する。所定の信号をトリガーとして（所定の信号が制御処理部１２１に送られたとき）、撮像制御部１２１１は、カメラ１０６（撮像部）に比較画像を撮像させる。これについて、詳しく説明する。

検査員がハンマー２００によって打音検査領域を叩く動作をしたとき、打音検査領域がハンマー２００で叩かれる瞬間まで、ハンマー２００には大きな正の加速度が生じる。打音検査領域がハンマー２００で叩かれた瞬間、ハンマー２００には大きな負の加速度が生じる。撮像制御部１２１１は、これを利用して、ハンマー２００で叩かれた瞬間の打音検査領域をカメラ１０６に撮像させる。

ハンマー２００に大きな負の加速度が生じたとき、加速度センサ２０２から出力される信号Ｓを所定の信号とする。所定の信号で示される加速度は、大きな負の値となる。撮像制御部１２１１には、その値を判別できる所定のしきい値が予め設定されている。

検査員が頭部にＨＭＤ１００を装着した状態で、打音検査領域を見たとき、カメラ１０６の被写体は、打音検査領域となる。頭部にＨＭＤ１００を装着した検査員が、ハンマー２００によって打音検査領域を叩いたとき、加速度センサ２０２から出力された信号Ｓで示される加速度は、所定のしきい値より小さくなる。撮像制御部１２１１は、打音検査領域、ハンマー２００、及び、ハンマー２００を持つ手等を被写体として、カメラ１０６に被写体を撮像させる。この撮影で得られた画像が比較画像となる。検査員がハンマー２００によって、一つの打音検査領域を叩く回数は、複数である。撮像制御部１２１１は、１回目の打撃時に、カメラ１０６に打音検査領域を撮像させ、これより後の打撃について、カメラ１０６に打音検査領域を撮像させない。

比較画像の一例が図３に示す比較画像２３ａである。図３及び図７を参照して、上述した撮像制御部１２１１によれば、ハンマー２００によって打音検査領域が叩かれた瞬間、又は、叩かれた瞬間から僅かに遅れて、比較画像２３ａを撮像できる。前者の場合、比較画像２３ａには、ハンマーのヘッド２０１が打音検査領域に接触した状態が写っている。後者の場合、比較画像２３ａには、ハンマーのヘッド２０１が打音検査領域から僅かに離れた状態が写っている。このように、比較画像には、ハンマーのヘッド２０１が、打音検査領域に接触した状態、又は、極めて近い位置にある状態で写っている。従って、比較画像からハンマー２００によって実際に叩かれた箇所が分かる。

検出部は、加速度センサ２０２（モーションセンサ）に限らず、振動センサやマイクでもよい。ハンマー２００によって打音検査領域が叩かれたとき、ハンマー２００には、振動が発生する。撮像制御部１２１１は、ハンマー２００に取り付けられた振動センサから出力された信号のレベルが、振動の検出を示すレベルのとき、カメラ１０６に被写体を撮像させる。

マイクを検出部として用いる場合、撮像制御部１２１１には、ハンマー２００が打音検査領域を叩いた音のレベルを判別できる所定のしきい値が予め設定されている。ハンマー２００によって打音検査領域が叩かれたとき、マイクから出力された信号のレベルが所定のしきい値を超える。このとき、撮像制御部１２１１は、カメラ１０６に被写体を撮像させる。マイクは、ＨＭＤ１００に取り付けられていてもよいし、ＨＭＤ１００に設けられた端子（不図示）に接続されたマイク（外部マイク）でもよい。

サーバ３００について説明する。サーバ３００は、ＨＭＤ１００と通信する機能、所定のフォルダを作成する機能、フォルダに基準画像及び比較画像を格納する機能等を有する。フォルダについては、後で説明する。サーバ３００は、機能ブロックとして、制御処理部３０１、操作部３０２、表示部３０３、記憶部３０４及び通信部３０５を備える。

制御処理部３０１は、操作部３０２、表示部３０３、記憶部３０４及び通信部３０５に対して、所定の制御や所定の処理をすることにより、上記機能を実行する。制御処理部３０１は、ハードウェア（ＣＰＵ、ＲＡＭ、ＲＯＭ等）、及び、ハードウェアで実行されるソフトウェア等によって実現される。

操作部３０２は、検査員がサーバ３００を操作するための入力装置であり、キーボード、タッチパネル、マウス等により実現される。表示部３０３は、検査員がサーバ３００を操作しているときに、その操作に関連する画面を表示する装置であり、液晶ディスプレイ等により実現される。記憶部３０４は、上記フォルダ、原画像、基準画像及び比較画像等を記憶する装置であり、ハードディスクドライブ、フラッシュメモリ等により実現される。通信部３０５は、通信部１２４と同様であり、説明を省略する。

サーバ３００が、ＨＭＤ１００の外部装置である態様を説明したが、ＨＭＤ１００がサーバ３００を備える態様でもよい。これは、第２実施形態から第４実施形態でも同様である。

第１実施形態に係る打音検査支援システム１−１の動作について説明する。検査員が、トンネルを複数の場所に分け、場所Ａで打音検査をする場合を例とする。場所Ａの壁面には、複数の打音検査領域（複数の検査対象）がある。検査員は、時期を異ならせて、複数の打音検査領域について、打音検査を複数回実行することにより、複数の打音検査領域のそれぞれについて、経時変化を調べる。第１実施形態に係る打音検査支援システム１−１の動作は、初回の打音検査をする前の動作（すなわち、初期設定の動作）と、打音検査するときの動作とに分かれる。

図７を参照して、前者の動作について説明する。検査員は、初回の打音検査をする前に、基準画像及び所定のフォルダを予め作成する。場所Ａの壁面には、例えば、１００個の打音検査領域、すなわち、第１の打音検査領域から第１００の打音検査領域がある。

検査員は、トンネルの場所Ａに行く。検査員は、場所Ａにおいて、頭部にＨＭＤ１００を装着した状態で、操作部１２２を操作して、カメラ１０６により、１００個の打音検査領域のそれぞれを撮像する。これにより得られた１００枚の画像（静止画像）が、それぞれ原画像である。原画像の一例が図１に示す原画像２１である。検査員は、操作部１２２を操作して、１００個の打音検査領域のそれぞれの原画像をサーバ３００へ送信する命令を入力する。これにより、通信部１２４は、１００個の打音検査領域のそれぞれの原画像をサーバ３００へ送信する。通信部３０５は、これらの原画像を受信する。制御処理部３０１は、通信部３０５で受信されたこれらの原画像を記憶部３０４に格納する。

検査員は、サーバ３００の設置場所に戻り、操作部３０２を操作して、制御処理部３０１に、図８に示す階層構造のフォルダを作成させ、これを記憶部３０４に記憶させる。この階層構造は、上位のフォルダ４１、及び、フォルダ４１の下位にある複数のフォルダ４２により構成される。フォルダ４１は、一つであり、トンネルの場所Ａに割り当てられている。打音検査される場所が複数ある場合、フォルダ４１の数が複数となる。

フォルダ４２は、複数あり、複数の打音検査領域のそれぞれに割り当てられている。ここでは、フォルダ４２−１に第１の打音検査領域が割り当てられ、フォルダ４２−２に第２の打音検査領域が割り当てられ、・・・、フォルダ４２−１００に第１００の打音検査領域が割り当てられている。

検査員は、操作部３０２を操作して、第１の打音検査領域〜第１００の打音検査領域のそれぞれの原画像を、対応するフォルダ４２に格納する。例えば、図１に示す原画像２１が、第１の打音検査領域の原画像のとき、図１に示す原画像２１は、フォルダ４２−１に格納される。

検査員は、操作部３０２を操作して、フォルダ４２−１に格納された原画像２１（図１）を表示部３０３に表示させ、原画像２１に対して、打音検査領域のどの箇所を叩くかを示す目印（予め決められた箇所の目印）の位置を決定する。この決定により、制御処理部３０１は、原画像２１に目印２４ａを合成する処理をする。これが、図２に示す基準画像２２ａとなる。

検査員は、残りのフォルダ４２、すなわち、フォルダ４２−２〜フォルダ４２−１０００についても、同様の処理をする。

以上が初回の打音検査をする前の動作である。次に、打音検査をするときの動作について説明する。この動作は、各回の打音検査で共通する。図９及び図１０は、この動作を説明するフローチャートである。ＨＭＤ１００の操作は、操作部１２２を用いて操作する例で説明するが、音声認識を利用してＨＭＤ１００を操作してもよい。

図７及び図９を参照して、検査員は、トンネルの場所Ａに行き、ＨＭＤ１００を頭部に装着する。検査員は、操作部１２２を操作して、場所Ａのフォルダ４１（図８）を表示させる命令を入力する（ステップＳ１）。通信部１２４は、この命令をサーバ３００に送信する（ステップＳ２）。通信部３０５は、この命令を受信する（ステップＴ１）。制御処理部３０１は、記憶部３０４に格納されている場所Ａのフォルダ４１を読み出し、通信部３０５に対して、場所Ａのフォルダ４１をＨＭＤ１００に送信する命令をする。通信部３０５は、場所Ａのフォルダ４１をＨＭＤ１００に送信する（ステップＴ２）。通信部１２４は、場所Ａのフォルダ４１を受信し（ステップＳ３）、表示制御部１０４ＤＲは、場所Ａのフォルダ４１を画像表示部１０４Ｂに表示させる（ステップＳ４）。

検査員は、操作部１２２を操作して、場所Ａのフォルダ４１を開ける命令を入力する。これにより、表示制御部１０４ＤＲは、フォルダ４１に格納されているフォルダ４２（図８）を画像表示部１０４Ｂに表示させる（ステップＳ５）。フォルダ４２は、打音検査領域のフォルダである。表示制御部１０４ＤＲは、全てのフォルダ４２（１００個のフォルダ４２）を一度に画像表示部１０４Ｂに表示できないとき、スクロール表示をする。

検査員は、操作部１２２を操作して、１００個のフォルダ４２の中から一つのフォルダ４２を選択する（ステップＳ６）。ここでは、フォルダ４２−１が選択されたとする。

表示制御部１０４ＤＲは、フォルダ４２−１に格納されている基準画像２２ａ（図２）を画像表示部１０４Ｂに表示させる（ステップＳ７）。基準画像２２ａに含まれる目印２４ａで示す箇所が、予め決められた箇所（ハンマー２００で叩くべき箇所）である。検査員は、画像表示部１０４Ｂに表示された基準画像２２ａの目印２４ａを見て、予め決められた箇所を確認し、ハンマー２００によって第１の打音検査領域を叩いて、打音検査をする（ステップＳ８）。

ステップＳ８において、撮像制御部１２１１は、加速度センサ２０２から出力される信号Ｓをモニターし、信号Ｓで示される加速度が、上述したように、所定のしきい値より小さくなったとき、カメラ１０６に第１の打音検査領域を撮像させる。すなわち、カメラ１０６は、ハンマー２００で叩かれている第１の打音検査領域を撮像する。このときに撮像された画像が、図３に示す比較画像２３ａとなる。

表示制御部１０４ＤＲは、基準画像及び比較画像を画像表示部１０４Ｂに表示させる（ステップＳ９）。図１１は、画像表示部１０４Ｂに表示されたこれらの画像の一例を説明する説明図である。基準画像２２ａは、フォルダ４２−１に格納されている、第１の打音検査領域の基準画像である。比較画像２３ａは、ステップＳ８で撮像された、第１の打音検査領域の比較画像である。画像表示部１０４Ｂには、基準画像及び比較画像に加えて、文字画像２６及び文字画像２７が表示されている。文字画像２６は、「ＯＫ」の文字を示す画像である。文字画像２７は、「ＮＧ」の文字を示す画像である。

図７、図１０及び図１１を参照して、検査員は、基準画像２２ａと比較画像２３ａとを見て、実際に叩かれた箇所が、予め決められた箇所か否かを判断する（ステップＳ１０）。検査員は、実際に叩かれた箇所が、予め決められた箇所と一致する場合、又は、ほぼ一致する場合（誤差の範囲内の場合）、実際に叩かれた箇所が、予め決められた箇所と判断する。例えば、トンネルの壁面の打音検査では、１０ｃｍ以内であれば、誤差とする。１０ｃｍを示すスケールの像が基準画像に含まれていてもよい。このようにすれば、検査員は、ステップＳ１０の判断が容易となる。サーバ３００が基準画像を生成するときに、１０ｃｍを示すスケールの像を基準画像に含める処理をする。

検査員は、実際に叩かれた箇所が、予め決められた箇所でないと判断したとき（ステップＳ１０でＮｏ）、操作部１２２を操作して、「ＮＧ」を示す文字画像２７を選択する（ステップＳ１１）。

表示制御部１０４ＤＲは、「ＮＧ」を示す文字画像２７が選択されたとき、画像表示部１０４Ｂに表示する画像を、図１１に示す画像から図２に示す基準画像２２ａに切り替える（図９のステップＳ７）。検査員は、基準画像２２ａの目印２４ａを見て、再度、第１の打音検査領域を叩いて打音検査をする（図９のステップＳ８）。

検査員は、実際に叩かれた箇所が、予め決められた箇所と判断したとき（ステップＳ１０でＹｅｓ）、操作部１２２を操作して、「ＯＫ」を示す文字画像２６を選択する（ステップＳ１２）。通信部１２４は、「ＯＫ」を示す文字画像２６が選択されたとき、ステップＳ８で撮像された第１の打音検査領域の比較画像２３ａを、サーバ３００へ送信する（ステップＳ１３）。通信部３０５は、送信されてきた比較画像２３ａを受信し（ステップＴ３）、制御処理部３０１は、比較画像２３ａを第１の打音検査領域のフォルダ４２−１（図８）に格納する（ステップＴ４）。

表示制御部１０４ＤＲは、「全ての打音検査領域について打音検査が終了？」の文字画像、「ＹＥＳ」を示す文字画像、及び、「ＮＯ」を示す文字画像を、画像表示部１０４Ｂに表示させる（不図示）。検査員は、全ての打音検査領域について打音検査が終了していないとき（ステップＳ１４でＮｏ）、操作部１２２を操作して、「ＮＯ」を示す文字画像を選択する。「ＮＯ」を示す文字画像が選択されたとき、表示制御部１０４ＤＲは、ステップＳ５（図９）の処理をする。検査員は、操作部１２２を操作して、次の打音検査領域のフォルダ４２（例えば、第２の打音検査領域のフォルダ４２−２）を選択する（ステップＳ６）。次の打音検査領域に対して、ステップＳ６以降の処理がされる。

検査員は、全ての打音検査領域について打音検査が終了したとき（ステップＳ１４でＹｅｓ）、操作部１２２を操作して、「ＹＥＳ」を示す文字画像を選択する。これにより、場所Ａでの初回の打音検査が終了する。初回より後の打音検査（２回目、３回目、・・・）も、初回の打音検査と同様に、図９及び図１０に示すフローが実行される。

第１実施形態では、経時変化の検査のために、初回より後の打音検査がされる。経時変化の検査でなく、通常の打音検査の場合、初回より後の打音検査はされない。後で説明する第２実施形態から第４実施形態も同様である。

第１実施形態の主な効果について、図２に示す基準画像２２ａ、及び、図３に示す比較画像２３ａを例にして説明する。図２、図３及び図７を参照して、検査員は、ＨＭＤ１００を頭部に装着した状態で、画像表示部１０４Ｂに表示された基準画像２２ａを見て、打音検査領域（検査対象）の予め決められた箇所の目印２４ａを確認し、ハンマー２００（打撃部材）を用いて、打音検査領域を叩いて打音検査をする（図９のステップＳ７、ステップＳ８）。カメラ１０６（撮像部）は、この打音検査において、比較画像２３ａを撮像する。比較画像２３ａには、打音検査領域の像、及び、この打音検査領域を叩いているハンマーの像２５が写っている。図１１を参照して、表示制御部１０４ＤＲは、基準画像２２ａと比較画像２３ｂとを一緒に（並べて）、画像表示部１０４Ｂに表示させる（図９のステップＳ９）。従って、検査員は、基準画像２２ａと比較画像２３ｂとを比較することにより、打音検査において、実際に叩かれた箇所が、予め決められた箇所か否かの確認が可能となる。

第２実施形態を説明する。第１実施形態は、初回の打音検査前に基準画像を予め作成したが、第２実施形態は、初回の打音検査のときに基準画像を作成する。図７は、第２実施形態に係る打音検査支援システム１−２の構成を示すブロック図である。打音検査支援システム１−２の構成を示すブロック図は、第１実施形態に係る打音検査支援システム１−１の構成を示すブロック図と同じである。

第２実施形態に係る打音検査支援システム１−２の動作は、第１実施形態と同様に、初回の打音検査をする前の動作（すなわち、初期設定の動作）と、打音検査するときの動作とに分かれる。

図７を参照して、前者の動作について説明する。検査員は、初回の打音検査をする前に、所定のフォルダ４１，４２（図８）を予め作成する。第１実施形態との違いは、フォルダ４２の中に基準画像が格納されていない。検査員は、場所Ａに行き、例えば、１００個の打音検査領域を決定したとする。検査員は、操作部３０２を操作して、制御処理部３０１に、図８に示す階層構造のフォルダを作成させ、これを記憶部３０４に記憶させる。

後者の動作について説明する。図１２は、第２実施形態に係る打音検査支援システム１−２において、初回の打音検査で実行される動作を説明するフローチャートである。ステップＳ１〜ステップＳ６、ステップＴ１及びステップＴ２は、図９のそれらのステップと同じである。

図７及び図１２を参照して、初回の打音検査では、フォルダ４２−１に基準画像が格納されていない。検査員は、ハンマー２００によって第１の打音検査領域を叩いて、打音検査をする（ステップＳ２１）。ステップＳ２１において、第１実施形態のステップＳ８と同様に、撮像制御部１２１１は、加速度センサ２０２から出力される信号Ｓをモニターし、信号Ｓで示される加速度が、所定のしきい値より小さくなったとき、カメラ１０６に第１の打音検査領域を撮像させる。すなわち、カメラ１０６は、ハンマー２００で叩かれている第１の打音検査領域を撮像する。このときに撮像された画像が、基準画像候補となる。

表示制御部１０４ＤＲは、ステップＳ２１で撮像された基準画像候補を、画像表示部１０４Ｂに表示させる（ステップＳ２２）。図１３は、画像表示部１０４Ｂに表示された基準画像候補２８の一例を説明する説明図である。目印２４ｂは、ハンマーの像２５のうち、ヘッドの像を示している。ハンマーのヘッド２０１が打音検査領域と接触するので、ヘッドの像は目印にすることができる。目印２４ｂは、基準画像候補２８が基準画像として決定されたとき、目印２４ａ（図２）と同様に、打音検査領域のどの箇所を叩くかを示す（予め決められた箇所を示す）。

画像表示部１０４Ｂには、基準画像候補２８に加えて、文字画像２９及び文字画像３０が表示されている。文字画像２９は、基準画像候補２８を基準画像として登録する場合に選択される。文字画像３０は、基準画像候補２８を基準画像として登録しない場合に選択される。

図７及び図１２を参照して、検査員は、打音検査の結果、経時変化を観察する必要があるか否かを判断する（ステップＳ２３）。検査員は、経時変化を観察する必要があると判断したとき（ステップＳ２３でＹｅｓ）、基準画像候補を基準画像として登録する必要がある。検査員は、操作部１２２を操作して、文字画像２９を選択する（ステップＳ２４）。

通信部１２４は、文字画像２９が選択されたとき、ステップＳ２２で表示されている基準画像候補２８を、サーバ３００に送信する（ステップＳ２５）。通信部３０５は、送信されてきた基準画像候補２８を受信する（ステップＴ１１）。制御処理部３０１は、基準画像候補２８を基準画像として、第１の打音検査領域のフォルダ４２−１に格納する（ステップＴ１２）。

検査員は、経時変化を観察する必要がないと判断したとき（ステップＳ２３でＮｏ）、基準画像候補を基準画像として登録する必要がない。検査員は、操作部１２２を操作して、文字画像３０を選択する（ステップＳ２６）。表示制御部１０４ＤＲは、この基準画像候補を消去する。

ステップＳ２５以降及びステップＳ２６以降は、第１実施形態と同様である。すなわち、表示制御部１０４ＤＲは、「全ての打音検査領域について打音検査が終了？」の文字画像、「ＹＥＳ」を示す文字画像、及び、「ＮＯ」を示す文字画像を、画像表示部１０４Ｂに表示させる（不図示）。検査員は、全ての打音検査領域について打音検査が終了していないとき（ステップＳ１４でＮｏ）、操作部１２２を操作して、「ＮＯ」を示す文字画像を選択する。「ＮＯ」を示す文字画像が選択されたとき、表示制御部１０４ＤＲは、ステップＳ５（図９）の処理をする。検査員は、操作部１２２を操作して、次の打音検査領域のフォルダ４２（例えば、第２の打音検査領域のフォルダ４２−２）を選択する（ステップＳ６）。次の打音検査領域に対して、ステップＳ６以降の処理がされる。

検査員は、全ての打音検査領域について打音検査が終了したとき（ステップＳ１４でＹｅｓ）、操作部１２２を操作して、「ＹＥＳ」を示す文字画像を選択する。これにより、場所Ａでの初回の打音検査が終了する。フォルダ４２−１〜フォルダ４２−１００のそれぞれには、基準画像が格納されている。このため、初回より後の打音検査（２回目、３回目、・・・）は、第１実施形態と同様であり、図９及び図１０に示すフローが実行される。第２実施形態の場合、図９のステップＳ９において、画像表示部１０４Ｂには、図１４に示すような画像が表示される。図１４は、画像表示部１０４Ｂに表示された基準画像２２ｂ及び比較画像２３ａの一例を説明する説明図である。図１４が図１１と異なる点は、基準画像２２ａが基準画像２２ｂであり、目印２４ａが目印２４ｂである。基準画像２２ｂは、初回の打音検査で撮像された画像である（すなわち、図１３に示す基準画像候補２８）。目印２４ｂは、上述したように、ハンマーの像２５のうち、ヘッドの像を示している。

第３実施形態を説明する。検査員が、ハンマー２００によって実際に叩かれた箇所が、予め決められた箇所か否かを確認できるようにするために、第１実施形態では、図１１に示すように、基準画像２２ａと比較画像２３ａとを一緒に画像表示部１０４Ｂに表示させている。これに対して、第３実施形態は、合成画像（例えば、図１７に示す合成画像３３）を生成し、合成画像を画像表示部１０４Ｂに表示させる。

図１５は、第３実施形態に係る打音検査支援システム１−３の構成を示すブロック図である。図１５は、図７に示すブロック図に、画像処理部３０６が追加されている。画像処理部３０６は、サーバ３００に含まれる。画像処理部３０６は、比較画像に対して画像処理をすることにより、ハンマー２００によって叩かれた箇所を特定し、特定した箇所を示す打撃箇所目印を、基準画像に合成した合成画像を生成する。

第３実施形態に係る打音検査支援システム１−３の動作を説明する。この動作は、第１実施形態と同様に、初回の打音検査をする前の動作（すなわち、初期設定の動作）と、打音検査するときの動作とに分かれる。前者の動作は、第１実施形態と同様である。

後者の動作について説明する。基準画像は、図２に示す基準画像２２ａとし、比較画像は、図３に示す比較画像２３ａとし、合成画像は、図１７に示す合成画像３３とする。図１６は、第３実施形態に係る打音検査支援システム１−３において 打音検査で実行される動作を説明するフローチャートである。ステップＳ１〜ステップＳ８、ステップＴ１及びステップＴ２は、図９のそれらのステップと同じである。

図１５及び図１６を参照して、通信部１２４は、ステップＳ８（図８）で撮像された比較画像２３ａをサーバ３００に送信する（ステップＳ３１）。通信部３０５は、比較画像２３ａを受信する（ステップＴ２１）。画像処理部３０６は、ステップＴ２１で受信された比較画像２３ａに対して、以下の画像処理をする（ステップＴ２２）。

画像処理部３０６は、例えば、テンプレートマッチングを用いて、ハンマーの像２５に含まれるヘッドの像を、比較画像２３ａから抽出する。画像処理部３０６は、抽出したヘッドの像の位置を、ハンマー２００によって叩かれた箇所（打撃箇所）とし、この箇所を示す打撃箇所目印を比較画像２３ａに合成する。図１８は、打撃箇所目印３２が合成された比較画像２３ａを示す。

画像処理部３０６は、基準画像２２ａについて、予め決められた箇所の目印２４ａを無視し、特徴点を抽出する。画像処理部３０６は、比較画像２３ａ（図１８）について、ハンマーの像２５及び打撃箇所目印３２を無視して、特徴点を抽出する。

画像処理部３０６は、基準画像２２ａの特徴点と比較画像２３ａの特徴点とが一致するように、基準画像２２ａと比較画像２３ａとを位置合わせをし、基準画像２２ａと比較画像２３ａとを重ね合わせる。この状態で、画像処理部３０６は、比較画像２３ａに含まれる打撃箇所目印３２を基準画像２２ａに合成した合成画像３３を生成する（ステップＴ２３）。

画像処理部３０６が実行するこれら一連の画像処理は、公知の技術を応用している。

制御処理部３０１は、通信部３０５に対して、ステップＴ２３で生成された合成画像３３をＨＭＤ１００に送信する命令をする。通信部３０５は、合成画像３３をＨＭＤ１００に送信する（ステップＴ２４）。通信部１２４は、送信されてきた合成画像３３を受信する（ステップＳ３２）。

表示制御部１０４ＤＲは、合成画像３３を画像表示部１０４Ｂに表示させる（ステップＳ３３）。第３実施形態では、図１１に示す基準画像２２ａ及び比較画像２３ａの替わりに、合成画像３３が表示されている。

検査員は、予め決められた箇所の目印２４ａと打撃箇所目印３２とを見て、実際に叩かれた箇所が、予め決められた箇所か否かを判断する（ステップＳ１０）。検査員は、実際に叩かれた箇所が、予め決められた箇所と一致する場合、又は、ほぼ一致する場合（誤差の範囲内の場合）、実際に叩かれた箇所が、予め決められた箇所と判断する。これは、第１実施形態と同様である。

検査員は、実際に叩かれた箇所が、予め決められた箇所でないと判断したとき（ステップＳ１０でＮｏ）、操作部１２２を操作して、「ＮＧ」を示す文字画像２７（図１１）を選択する（ステップＳ１１）。これ以降は、第１実施形態と同様である。

検査員は、実際に叩かれた箇所が、予め決められた箇所と判断したとき（ステップＳ１０でＹｅｓ）、操作部１２２を操作して、「ＯＫ」を示す文字画像２６（図１１）を選択する（ステップＳ１２）。通信部１２４は、「ＯＫ」を示す文字画像２６が選択されたとき、ステップＳ３１で送信した比較画像２３ａの保存命令を、サーバ３００に送信する（ステップＳ３４）。通信部３０５は、送信されてきた保存命令を受信する（ステップＴ２５）。これにより、制御処理部３０１は、ステップＴ２１で受信した比較画像２３ａを第１の打音検査領域のフォルダ４２−１（図８）に格納する（ステップＴ２６）。

ＨＭＤ１００は、ステップＳ３４の後、第１実施形態と同様にステップＳ１４の処理をする。

第３実施形態の主な効果を説明する。図１７を参照して、合成画像３３は、打撃箇所目印３２を基準画像２２ａ（図２）に合成した画像なので、打音検査領域（検査対象）のどの箇所を叩くかを示す目印（予め決められた箇所の目印２４ａ）と打撃箇所目印３２とを含む。検査員は、これらの目印を比べることにより、打音検査において、実際に叩かれた箇所が、予め決められた箇所か否かの確認をすることができる。一枚の画像にこれらの目印が含まれる。従って、検査員は、図１１に示す基準画像２２ａと比較画像２３ａとが画像表示部１０４Ｂに一緒に表示される形態と比べて、実際に叩かれた箇所が、予め決められた箇所か否かの確認が容易である。

第４実施形態を説明する。第１〜第３実施形態では、実際に叩かれた箇所が、予め決められた箇所か否かについて、検査員が判断する。これに対して、第４実施形態では、サーバ３００がその判断をする。

図１９は、第４実施形態に係る打音検査支援システム１−４の構成を示すブロック図である。図１９は、図７に示すブロック図に、画像処理部３０６及び判定部３０７が追加されている。画像処理部３０６及び判定部３０７は、サーバ３００に含まれる。画像処理部３０６は、比較画像に対して画像処理をすることにより、ハンマー２００によって叩かれた箇所を特定する。判定部３０７は、画像処理部３０６が特定した箇所を示す目印を打撃箇所目印とし、打撃箇所目印の位置と、予め決められた箇所の目印の位置との距離が、予め定められた値以下か否かを判定する。

第４実施形態に係る打音検査支援システム１−４の動作を説明する。この動作は、第１実施形態と同様に、初回の打音検査をする前の動作（すなわち、初期設定の動作）と、打音検査するときの動作とに分かれる。前者の動作は、第１実施形態と同様である。

後者の動作について説明する。基準画像は、図２に示す基準画像２２ａとし、比較画像は、図３に示す比較画像２３ａとする。図２０は、第４実施形態に係る打音検査支援システム１−４において 打音検査で実行される動作を説明するフローチャートである。ステップＳ１〜ステップＳ８、ステップＴ１及びステップＴ２は、図９のそれらのステップと同じである。

図１９及び図２０を参照して、通信部１２４は、ステップＳ８（図９）で撮像された比較画像２３ａをサーバ３００に送信する（ステップＳ４１）。通信部３０５は、比較画像２３ａを受信する（ステップＴ３１）。画像処理部３０６は、ステップＴ３１で受信された比較画像２３ａに対して、以下の画像処理をする（ステップＴ３２）。

画像処理部３０６は、例えば、テンプレートマッチングを用いて、ハンマーの像２５に含まれるヘッドの像を、比較画像２３ａから抽出する。画像処理部３０６は、抽出したヘッドの像の位置を、ハンマー２００によって叩かれた箇所（打撃箇所）とし、この箇所を示す打撃箇所目印３２を比較画像２３ａに合成する（図１８）。

画像処理部３０６は、基準画像２２ａについて、予め決められた箇所の目印２４ａを無視し、特徴点を抽出する。画像処理部３０６は、比較画像２３ａ（図１８）について、ハンマーの像２５及び打撃箇所目印３２を無視して、特徴点を抽出する。

画像処理部３０６は、基準画像２２ａの特徴点と比較画像２３ａの特徴点とが一致するように、基準画像２２ａと比較画像２３ａとを位置合わせをし、基準画像２２ａと比較画像２３ａとを重ね合わせる。

この状態で、判定部３０７は 打撃箇所目印３２の位置と予め決められた箇所の目印２４ａの位置との距離が、予め定められた値以下か否かを判定する。予め定められた値は、例えば、実際に叩かれた箇所と予め決められた箇所との距離が１０ｃｍに相当する値である。判定部３０７は、打撃箇所目印３２の位置と予め決められた箇所の目印２４ａの位置との距離が、予め定められた値以下のとき、実際に叩かれた箇所が予め決められた箇所とみなし、打撃箇所目印３２の位置と予め決められた箇所の目印２４ａの位置との距離が、予め定められた値より大きいとき、実際に叩かれた箇所が予め決められた箇所と見なさない（ステップＴ３３）。

制御処理部３０１は、通信部３０５に対して、ステップＴ３３の判定結果をＨＭＤ１００に送信する命令をする。通信部３０５は、判定結果をＨＭＤ１００に送信する（ステップＴ３４）。通信部１２４は、送信されてきた判定結果を受信する（ステップＳ４２）。表示制御部１０４ＤＲは、判定結果を画像表示部１０４Ｂに表示させる（ステップＳ４３）。判定結果は、実際に叩かれた箇所が予め決められた箇所の場合、例えば、「ＯＫ」を示す文字画像であり、実際に叩かれた箇所が予め決められた箇所でない場合、例えば、「ＮＧ」を示す文字画像である。

制御処理部１２１は、ステップＳ４２で受信された判定結果が、「ＯＫ」を示す文字画像か、「ＮＧ」を示す文字画像かを判断する（ステップＳ４４）。「ＯＫ」を示す文字画像と判断した場合、ＨＭＤ１００は、ステップＳ１４の処理をする。「ＮＧ」を示す文字画像と判断した場合、ＨＭＤ１００は、ステップＳ７の処理をする。

制御処理部３０１は、ステップＴ３３の判定において、実際に叩かれた箇所が予め決められた箇所と判定されたとき（ステップＴ３５でＯＫ）、ステップＴ３１で受信した比較画像を第１の打音検査領域のフォルダ４２（図８）に格納する（ステップＴ３７）。制御処理部３０１は、ステップＴ３３の判定において、実際に叩かれた箇所が予め決められた箇所でないと判定されたとき（ステップＴ３５でＮＧ）、ステップＴ３１で受信した比較画像を消去する（ステップＴ３６）。

第４実施形態によれば、ハンマー２００によって実際に叩かれた箇所が、予め決められた箇所か否かについて、サーバ３００が判断する。従って、検査員の負担を軽減することができる。

第１〜第４実施形態では、カメラ１０６によって撮像された静止画を、比較画像としている。これに限定されず、カメラ１０６によって撮像された動画から選択された一つのフレームを、比較画像としてもよい。フレームは、例えば、検査員が、動画を見て選択することができる。

１−１〜１−４ 打音検査支援システム
２２ａ，２２ｂ 基準画像
２３ａ 比較画像
２４ａ，２４ｂ 予め決められた箇所の目印
２５ ハンマーの像
３２ 打撃箇所目印
３３ 合成画像
１００ ヘッドマウントディスプレイ（ＨＭＤ、打音検査支援装置の一例）
１０４Ｂ 画像表示部（表示部の一例）
１０４ＤＲ 表示制御部
１０６ カメラ（撮像部の一例）
２００ ハンマー
２０１ ハンマーのヘッド
２０２ 加速度センサ（検出部の一例）
３００ サーバ
３０６ 画像処理部
３０７ 判定部
１２１１ 撮像制御部

Claims (7)

1. 頭部に装着可能な打音検査支援装置であって、
   表示部と、
   検査対象のどの箇所を叩くかを示す目印を含む、前記検査対象の画像を基準画像とし、打音検査前に前記基準画像を前記表示部に表示させる表示制御部と、
   撮像部と、
   前記打音検査において、前記検査対象、及び、前記検査対象を叩いている打撃部材を被写体とする画像を比較画像とし、前記撮像部に前記比較画像を撮像させる撮像制御部と、を備える打音検査支援装置。
2. 前記打撃部材によって前記検査対象が叩かれたことを検出したとき、所定の信号を出力する検出部が、前記打音検査支援装置の外部、又は、前記打音検査支援装置に備えられ、
   前記所定の信号をトリガーとして、前記撮像制御部は、前記撮像部に前記比較画像を撮像させる請求項１に記載の打音検査支援装置。
3. 前記表示制御部は、前記基準画像と前記比較画像とを前記表示部に表示させる請求項１又は２に記載の打音検査支援装置。
4. 前記表示制御部は、前記基準画像と前記比較画像とを一緒に前記表示部に表示させる請求項３に記載の打音検査支援装置。
5. 前記比較画像に対して画像処理をすることにより、前記打撃部材によって叩かれた箇所を特定し、特定した箇所を示す打撃箇所目印を、前記基準画像に合成した合成画像を生成する画像処理部が、前記打音検査支援装置の外部の外部装置、又は、前記打音検査支援装置に備えられ、
   前記表示制御部は、前記合成画像を前記表示部に表示させる請求項１又は２に記載の打音検査支援装置。
6. 前記比較画像に対して画像処理をすることにより、前記打撃部材によって叩かれた箇所を特定する画像処理部と、前記画像処理部が特定した箇所を示す目印を打撃箇所目印とし、前記打撃箇所目印の位置と、前記検査対象のどの箇所を叩くかを示す前記目印の位置との距離が、予め定められた値以下か否かを判定する判定部とが、前記打音検査支援装置の外部の外部装置、又は、前記打音検査支援装置に備えられており、
   前記表示制御部は、前記判定の結果を前記表示部に表示させる請求項１又は２に記載の打音検査支援装置。
7. 表示部及び撮像部を備え、頭部に装着可能な打音検査支援装置を用いて、打音検査を支援する方法であって、
   検査対象のどの箇所を叩くかを示す目印を含む、前記検査対象の画像を基準画像とし、前記打音検査前に前記基準画像を前記表示部に表示させる表示ステップと、
   前記打音検査において、前記検査対象、及び、前記検査対象を叩いている打撃部材を被写体とする画像を比較画像とし、前記表示ステップ後、前記撮像部に前記比較画像を撮像させる撮像ステップと、を備える打音検査支援方法。