JP2011048674A - 検査支援システム、助言者端末、検査支援方法および検査支援プログラム - Google Patents

Abstract

【課題】検査現場に居合わせない監督者やエキスパートに、検査で発見された不具合を容易に理解させ、不具合への適切な対処を示したエキスパートからの助言を検査現場の作業者に送信する。
【解決手段】Ｓ５では、エキスパート端末２は、作業者端末１から送信された不具合箇所画像と不具合位置情報の組を受信する。Ｓ６では、エキスパート端末２は、不具合位置情報に基づいて、記憶装置２３の図面における不具合箇所の位置を示すアイコンやマークなどを、当該図面の映像信号に重畳して出力装置２４に出力して表示させる。Ｓ７では、エキスパート端末２は、助言情報の入力を受け付ける。Ｓ８では、エキスパート端末２は、入力された助言情報を作業者端末１に送信する。Ｓ１０では、作業者端末１は、エキスパート端末２から助言情報を受信し、受信した助言情報を出力装置１２に出力する。
【選択図】 図６

Description

本発明は、建設などの工事における施行検査業務を支援するシステムに関する。

ビル建設などの工事における施行検査業務、例えば配筋検査と呼ばれる鉄筋の配置状況をチェックする検査に関して、これを効率的に行うためのシステムが従来開発されている。

特許文献１の発明は、現場作業者が作業中随時携行する現場情報端末装置に現場機器の状態を撮影する映像情報入力手段および監督者に指示依頼を発信する機能を有する手続依頼入力手段を備え、現場から離れた事務所等に設置した遠隔情報端末装置に現場の映像情報を映すモニタおよび監督者が現場作業結果の承認を行うための手続確認手段を備え、作業者と監督者の間で交換する情報を情報配信装置で一旦受けて情報記録装置に記録するように構成した。

特許文献２の発明は、高線量・高汚染管理区域内の作業者が携帯して作業対象機器を撮影する携帯テレビカメラと、管理区域内に設置され、携帯テレビカメラの映像を送信する映像送信装置と、管理区域内にあって、管理区域外の支援者と通話可能な作業者用通話装置と、管理区域外にあって作業者と通話可能な支援者用通話装置と、管理区域外に設置され、映像送信装置からの映像信号を受信する受信装置と、管理区域外に設置され、受信装置から送信された映像を表示するディスプレイおよび作業関連データを格納した記憶装置を有する管理コンピュータとを備えている。

特開２００５−１０００８７号公報 特開２００３−３０７５８５号公報

機器や設備の保守点検業務において、作業員を管理する監督者が複数の現場を同時に監督するなどして現場から遠く離れたところにいる、もしくは装備品や現場などの制約により監督者が現場から離れざるを得ない場合がある。たいていの保守点検業務は監督者の承認をもって完了とするが、監督者が現場にいないことが原因で効率的に業務を遂行できないことがある。あるいは、保守点検業務を実施中に突発的な事態が発生した際、現場の作業員が事態に対応できる知見やノウハウがないと、そこで業務が停滞してしまう。

これらの問題に対し、携帯通信端末などを利用して画像・音声・検査データ・映像を現場から遠隔地の監督者やエキスパートに情報を送信し、指示や助言を求めるシステムが特許文献１および２で提案されている。

特許文献１および２では、不具合発生箇所の報告は作業員が音声で監督者に伝えるなどの方法が考えられるが、図面と音声データを別々に扱っているため、現場作業員と監督者やエキスパートがそれぞれ図面上のどこで不具合が発生したのかを別途確認する必要がある。

本発明は、検査現場に居合わせない監督者やエキスパートに、検査で発見された不具合を容易に理解させ、不具合への適切な対処を示したエキスパートからの助言を検査現場の作業者に送信することを目的とする。

本発明は、検査対象に関連する図面を入力する検査図面入力部と、図面を表示する作業者端末表示部と、表示部に表示された図面で示される検査対象を被写体とした画像である検査画像を撮影可能な撮影部と、検査対象の図面上の位置と検査対象の不具合に関する情報とを関連づけた不具合関連情報を記憶する記憶部と、不具合関連情報を所定の助言者端末に送信する作業者端末送信部と、を有する作業者端末と、不具合関連情報を受信する助言者端末受信部と、不具合関連情報に基づいて、図面および検査対象の図面上の位置と、検査画像および検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示する助言者端末表示部と、検査対象の不具合の対処に関する助言情報の入力を受け付ける助言情報入力部と、助言情報を作業者端末に送信する助言者端末送信部と、を有する助言者端末と、を備え、作業者端末は、助言情報を受信する作業者端末受信部と、助言情報を出力する出力部と、を有する検査支援システムを提供する。

助言者端末は、縮尺の異なる図面の切り換えを指示する図面切換指示部を有し、助言者端末表示部は、図面切換指示部の指示に応じて、縮尺の異なる図面のうち所望の図面を表示する。

助言者端末は、撮影アングルまたは撮影位置の遠近の異なる検査画像の切り換えを指示する画像切換指示部を有し、助言者端末表示部は、画像切換指示部の指示に応じて、撮影アングルまたは撮影位置の遠近の異なる検査画像のうち所望の検査画像を表示する。

助言者端末は助言情報の送信先の端末を指定する送信先指定部を備え、助言者端末送信部は、助言情報を指定された送信先の端末に一斉送信する。

本発明は、図面で示された検査対象を被写体とした検査画像と検査対象の図面上の位置と検査対象の不具合に関する情報とを関連づけた不具合関連情報を受信する助言者端末受信部と、不具合関連情報に基づいて、図面および検査対象の図面上の位置と、検査画像および検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示する助言者端末表示部と、検査対象の不具合の対処に関する助言情報の入力を受け付ける助言情報入力部と、助言情報を所望の端末に送信する助言者端末送信部と、を有する助言者端末を提供する。

本発明は、情報端末が、図面で示された検査対象を被写体とした検査画像と検査対象の図面上の位置と検査対象の不具合に関する情報とを関連づけた不具合関連情報を受信するステップと、不具合関連情報に基づいて、図面および検査対象の図面上の位置と、検査画像および検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示するステップと、検査対象の不具合の対処に関する助言情報の入力を受け付けるステップと、助言情報を所望の端末に送信するステップと、を実行する検査支援方法を提供する。

本発明は、この検査支援方法を情報端末に実行させるための検査支援プログラムを提供する。

本発明によると、助言者端末で表示した図面、不具合の位置、不具合の画像または不具合に関する情報を参照した不具合対応の専門家や監督者により、不具合に対する助言情報の入力が行われ、その助言情報が作業者端末で表示されるため、不具合の内容と位置に則した適切な助言が作業者に提供される。

建設検査システムの概略構成図 作業者端末の外観図 作業者端末の内部構成図 助言者端末の外観図 助言者端末の内部構成図 作業助言処理のフローチャート 見取り図面例を示す図 部材図面例を示す図

図１は本発明の好ましい実施形態に係る建設検査システムの概略構成を示す。このシステムは、１または複数の作業者端末１ａ・１ｂ、エキスパート端末２、および監督者端末３を含む。作業者端末１ａおよび１ｂ（まとめて作業者端末１で示す）はカメラ付き携帯端末で構成される。エキスパート端末２および監督者端末３は携帯端末あるいはパソコンで構成される。

作業者端末１ａ・１ｂ、エキスパート端末２、および監督者端末３は、ネットワークを介して相互に接続可能である。ネットワークの経路は任意であり、移動体通信網、インターネット、ＬＡＮ、赤外線通信やBluetoothなどの無線ネットワーク、ＵＳＢケーブルなどの有線ネットワークなどの公知の通信手段、あるいはそれらのうちの一部または全部の組み合わせで構築されることができる。また、ネットワークとは、オンデマンド接続のデータ通信経路であれば足り、常時通信可能でなければならないものではない。

図２は作業者端末１の外観、図３は作業者端末１の内部構成を示す。図３に例示するように、作業者端末１は、撮像装置１１、出力装置１２、入力装置１３、送受信装置１４、制御部１５、記憶装置１６、画像処理装置１７を含む。

作業者端末１全体の動作は制御部１５（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路を備えたもの）によって統括制御される。制御部１５は、所定のプログラムに従って動作を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

記憶装置１６は、データを一時的に記憶する揮発性記憶媒体（ＲＡＭ、ＶＲＡＭ、ＳＤＲＡＭなど）およびデータを継続的に記憶する不揮発性記憶媒体（ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、メモリカードなど）を含む。

バスを介して制御部１５と接続された記憶装置１６には、制御部１５が実行するプログラム及び制御に必要な各種データ等が格納され、記憶装置１６には、撮像装置１１のＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、記憶装置１６は、プログラムの展開領域及び制御部１５の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。また、記憶装置１６は、画像データ専用の一時記憶メモリであるＶＲＡＭを含み、Ａ領域とＢ領域が含まれている。ＶＲＡＭとＳＤＲＡＭは共用することが可能である。

作業者端末１にはモード選択スイッチ、撮影ボタン、メニュー／ＯＫキー、十字キー、キャンセルキー、ジョグダイヤル、タッチパネルなどの入力装置１３が設けられている。入力装置１３からの信号は制御部１５に入力され、制御部１５は入力信号に基づいて作業者端末１の各回路を制御し、例えば、撮像装置１１に対するレンズ駆動制御ならびに撮影動作制御、記憶装置１６に対する画像データの記録／再生制御、出力装置１２に対する表示制御、画像処理装置１７に対する画像処理制御などを行う。

入力装置１３を構成するタッチパネルは出力装置１２に積層されており、出力装置１２の画面座標に対応する押圧位置を示す電気信号を制御部１５に送る。制御部１５は、出力装置１２の表示領域上でのタッチパネルに対するアクション、例えばシングルタップ、ダブルタップ、タップ＆ドラッグ（フリックアクション）を判別する。シングルタップとは単独の押圧位置の入力、ダブルタップとは２度の異なる押圧位置の入力、タップ＆ドラッグ（フリックアクション）とは最初に検知された押圧位置を起点に押圧位置がある別の位置まで連続的にスライドしたことを意味する。

出力装置１２は、カラー表示可能な液晶ディスプレイとそのドライバその他の表示手段および音声を再生する回路と音声を出力するスピーカで構成されている。出力装置１２は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像および音声を再生表示する手段として利用される。また、出力装置１２は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。

入力装置１３によって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）を含む撮像装置１１に電源が供給され、撮影可能な状態になる。

撮像装置１１はフォーカスレンズを含む撮影レンズと絞り兼用メカシャッターとを含む光学ユニットを含む。撮像装置１１は、制御部１５によってズーム制御、フォーカス制御及びアイリス制御が行われる。

撮像装置１１のレンズユニットを通過した被写体像は、ＣＣＤの受光面に結像され、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、制御部１５の指令に従って与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤから出力された信号は増幅された後、撮像装置１１に内蔵のＡＤ変換器でデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号となり、記憶装置１６に記憶される。

画像処理装置１７は、記憶装置１６に記憶されたＲ，Ｇ，Ｂ信号を制御部１５の指令に従って処理する。即ち、画像処理装置１７は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、制御部１５からのコマンドに従って記憶装置１６を活用しながら所定の信号処理を行う。

画像処理装置１７に入力されたＲＧＢの画像データは、画像処理装置１７において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像処理装置１７で処理された画像データは記憶装置１６に格納される。

撮影画像を出力装置１２に出力する場合、記憶装置１６から画像データが読み出され、制御部１５に送られる。制御部１５は、入力された画像データを表示用の所定方式の映像信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して出力装置１２に出力する。出力装置１２は、供給された映像信号に従って映像を表示する。

ＣＣＤから出力される画像信号によって、１コマ分の画像を表す画像データが記憶装置１６のＶＲＡＭのＡ領域とＢ領域とで交互に書き換えられる。記憶装置１６のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにして記憶装置１６内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が出力装置１２に供給されることにより、撮像中の映像がリアルタイムに出力装置１２に表示される。撮影者は、出力装置１２に表示される映像（スルームービー画）によって撮影画角を確認できる。

入力装置１３に設けられた撮影ボタンのオンによって記録用の撮影動作がスタートする。撮影ボタンのオンに応じて取得された画像データは画像処理装置１７において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、記憶装置１６に格納される。

記憶装置１６に格納されたＹ／Ｃ信号は、制御部１５によって所定のフォーマットに従って圧縮された後、記憶装置１６のメモリカードに記録することができる。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

入力装置１３により再生モードが選択されると、メモリカードに記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、制御部１５を介して非圧縮のＹＣ信号に伸張され、画像処理装置１７を介して表示用の信号に変換された後、出力装置１２に出力される。これにより、当該ファイルの画像内容が出力装置１２の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、入力装置１３の十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルがメモリカードから読み出され、上記と同様にして静止画像や動画が出力装置１２に再生表示される。

作業者端末１は、ネットワークを介して音声、画像その他のデータを通信する送受信装置１４を備える。また、作業者端末１は、送話音声を入力するマイクロフォンと、受話音声を出力するスピーカと、マイクロフォンから入力された音声の符号化及び受信した音声の復号化を行う音声処理部を備えてもよい。作業者端末１は、公知のカメラ付き携帯電話やカメラ付きＰＤＡなどで構成できる。

図４はエキスパート端末２の外観、図５はエキスパート端末２の内部構成を示す。エキスパート端末２は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理を行う制御部２１、入力操作を受け付ける入力装置２２、ＨＤＤなどのデータ記憶媒体で構成された記憶装置２３、映像／音声出力回路と表示装置（ディスプレイ）および音声再生装置（スピーカ）で構成された出力装置２４、ネットワークに接続可能な通信回路で構成された送受信装置２５などを備えたもの）で構成することができる。

監督者端末３は、作業者端末１と同様の携帯端末か、エキスパート端末２と同様のコンピュータで構成することができるので、詳細は省略する。作業者端末１あるいエキスパート端末２が監督者端末３を兼ねていてもよい。

図６は建設検査システムで実行される作業助言処理のフローチャートを示す。この処理を作業者端末１およびエキスパート端末２に実行させるためのプログラムは作業者端末１の記憶装置１６およびエキスパート端末２の記憶装置２３に記憶されている。なお、エキスパート端末２の実行する以下の処理を監督者端末３が行ってもよい。

Ｓ１では、作業者端末１は、保守・点検業務に必要な図面を監督者端末３からネットワーク経由で取得して表示する。図面は、見取り図面（図７）と部材図面（図８）の画像データを含む。見取り図面と部材図面は縮尺が異なるだけである。また図面は、ＨＴＭＬやＸＭＬのようなマークアップ言語を用いて、検査情報に含まれる工事物件名、検査種類、検査箇所の図面、見取り図面を相互に参照可能にする第１のリンク情報、検査情報に含まれる各検査対象部材に対応する部材図面と見取り図面上での各検査対象部材の位置情報とを相互に参照可能にする第２のリンク情報、各検査対象部材の位置情報と検査項目（部材の種類、数、ピッチなど）とを相互に参照可能にする第３のリンク情報を含んでいる。第１のリンク情報に基づいて相互参照可能な図面は２つでなく３つ以上でもよい。例えば、施設の全体マップ、施設の全体マップの所望の一部領域を拡大した詳細マップ、詳細マップ内の所望の装置の回路図や配線図などを相互参照可能としてもよい。

大容量記憶媒体を備えたコンピュータで構成された監督者端末３には上記図面が予め記憶されており、作業者端末１からの要求に応じて上記図面を送信する。また、エキスパート端末２の記憶装置２３にも、監督者端末３の記憶しているものと同一の図面が予め記憶されているとする。

作業者端末１による図面の取得タイミングは任意である。例えば、入力装置１３から図面表示の指示が入力されるごとに送受信装置１４がネットワーク経由で監督者端末３にアクセスして表示に必要な図面を監督者端末３からダウンロードする。あるいは、検査業務を行う前に予め必要な図面全てを監督者端末３から作業者端末１へ予めダウンロードしておく。

Ｓ２では、作業者端末１は、検査で発見された不具合箇所に対応する図面の位置情報である不具合位置情報の指定を入力装置１３を介して受け付ける。不具合位置情報の指定の仕方は任意である。例えば入力装置１３の数字キーにより不具合箇所に対応する図面上の部材の識別番号を入力する。あるいは、入力装置１３のタッチパネルにより不具合箇所に対応する図面上の部材位置に加えられた押圧を検知する。あるいは、入力装置１３の音声認識装置により、不具合箇所に対応する図面上の部材を示す音声を識別する。あるいは、撮像装置１１で撮影した検査対象部材の静止画または動画から、各種画像解析により不具合箇所の位置情報を特定する。あるいは、作業者端末１に内蔵されたＧＰＳセンサ、方位センサ、加速度センサから取得された位置情報や方位情報を利用し、不具合箇所を指定する。この場合、不具合位置情報は、作業者端末１の現在位置情報や方位情報となる。不具合箇所は単数でも複数でもよいが、複数の場合は、それらに対応する不具合位置情報が一つずつ個別に指定される必要がある。

不具合箇所の指定の際、不具合箇所に関するコメント情報をあわせて入力装置１３から入力し、不具合位置情報とコメント情報を対応づけて記憶装置１６に記憶してもよい。コメント情報の入力の方式も任意であり、キー操作によるテキスト入力やマイクからの音声入力などが考えられる。コメント情報の内容も任意であり、不具合の状況の説明や、不具合のある製品の型番などを含んでもよい。

Ｓ３では、作業者端末１は、エキスパート端末２に対して助言要求を送信する。どのような方式で助言要求を送信するかは任意である。例えば、移動体通信網を経由して作業者端末１からエキスパート端末２に対して音声通話あるいはＴＶ電話を発呼する。あるいは、件名あるいは本文が「作業者から助言要求」などと自動的に記載された電子メールを作業者端末１からエキスパート端末２に対して送信する。あるいは、作業者端末１から所定のＷｅｂサーバにアクセスし、そのＷｅｂサーバから送信される助言要求フォームに各種情報（作業者端末１のＩＤや不具合のコメント情報など）を入力して、ＣＧＩにて入力された情報をＷｅｂサーバに送信する。Ｗｅｂサーバは、受信した情報をエキスパート端末２に転送する。

Ｓ４では、作業者端末１は、Ｓ２で指定された不具合箇所を被写体とした画像を撮像装置１１により撮影する。この画像は作業者からエキスパートあるいは監督者への不具合の報告や証拠の提示となる。画像は静止画でも動画でもよい。作業者端末１は、不具合箇所の撮影で得られた画像データである不具合箇所画像を当該不具合箇所の不具合位置情報に対応づけてエキスパート端末２に対して送信する。

画像データは単数でも複数でもよいが、不具合位置情報と画像データは一対一に対応づけられて送信される。不具合箇所を様々なアングルや遠近から撮影した場合、画像は複数となるが、これらの画像は同一の不具合位置情報に対応づけられる。ただし、撮影のズーム位置情報や撮影方位を示す方位情報が作業者端末１あれば、図面上の指定位置情報に加えて各画像の撮影アングルや遠近位置に合った遠近位置情報や方位情報が不具合位置情報となり、その遠近位置情報や方位情報の各々に対して、各撮影アングルごとの画像、ズームイン画像またはズームアウト画像が対応づけられる。対応づけの仕方は任意であり、不具合箇所画像のヘッダやタグ情報の中に、対応する不具合位置情報を格納する。なおＳ３とＳ４の処理順序は入れ換わってもよい。

作業者端末１は、不具合位置情報および不具合箇所画像の他、コメント情報が入力されていればこれも一緒に送信する。不具合箇所画像の送信の方式は任意であるが、助言要求の送信方式にあわせることが好ましい。例えば、移動体通信網を経由して作業者端末１からエキスパート端末２に対してＴＶ電話を発呼し、エキスパート端末２がこの発呼に応答して呼を確立する。その後、作業者端末１からエキスパート端末２に対してＴＶ映像として不具合箇所画像を送信し、エキスパート端末２にて当該不具合箇所画像を受信して表示する。あるいは、作業者端末１からエキスパート端末２に「作業者から助言要求」などと自動的に記載された電子メールを送信する際、不具合箇所画像を添付して送信する。あるいは、作業者端末１から所定のＷｅｂサーバにアクセスし、そのＷｅｂサーバから送信される助言要求フォームに各種情報（作業者端末１のＩＤや不具合のコメント情報など）を入力して、入力された情報、不具合位置情報および不具合箇所画像をＣＧＩにてＷｅｂサーバに送信する。Ｗｅｂサーバは、受信した情報をエキスパート端末２に転送する。つまり、Ｓ３とＳ４の処理は連動させてもよい。

Ｓ５では、エキスパート端末２は、作業者端末１から送信された不具合箇所画像と不具合位置情報の組を受信する。コメント情報があればそれも受信する。

Ｓ６では、エキスパート端末２は、受信した不具合箇所画像と当該不具合箇所画像に対応する不具合位置情報を記憶装置２３に保存する。そして、エキスパート端末２は、記憶装置２３の不具合位置情報に基づいて、記憶装置２３の図面における不具合箇所の位置を示すアイコンやマークなどで構成された映像である不具合位置映像を、当該図面の映像信号に重畳して出力装置２４に出力して表示させる。この不具合位置映像はエキスパート端末２に内蔵のＯＳＤ回路などで生成することができる。不具合位置映像とともに不具合箇所画像（あるいはその縮小画像）を図面に重畳してもよい。この場合、不具合位置映像を吹き出し形状グラフィックとし、吹き出しの中に不具合箇所画像のサムネイルを配置して、不具合箇所と不具合箇所画像とを視覚的に関連づけるとよい。そして、サムネイルの表示位置をタッチして指定すると、図面の表示から不具合箇所画像の表示に切り換わってもよい。

図面の表示は、入力装置２２に対する切り換え指示に応じて見取り図面または部材図面のいずれか一方に自在に切り換えることができる。また、入力装置２２から「コメント出力」の指示があれば、不具合位置映像および／または図面とともに、またはそれらに代えて、不具合箇所画像および／またはコメント情報を表示したり音声再生する。「コメント出力」の指示は、出力装置２４に表示されたアイコンボタンに対する押圧操作で入力できてもよい。

さらに、不具合箇所を様々なアングルや遠近位置から撮影した複数の不具合箇所画像がある場合、エキスパート端末２は、それらの画像の表示を、入力装置２２からの指示に応じて切り換える。

例えば、エキスパート端末２は、タッチパネルが表示中の全体図面の中のある特定の不具合位置映像の表示位置で押圧を検知したことに応じ、その不具合位置映像の不具合位置情報に対応するズームアウト画像（不具合箇所を撮影した画像のうち遠側のズーム情報が対応づけられたもの）を表示するとともに、ズームインアイコン、ズームアウトアイコン、撮影アングルを示すアイコン（例えば、左側、右側、上側、および下側からの撮影アングルを示す４つの矢印形アイコン）を所定の位置に表示する。ただし、遠近情報やアイコンの示す方向に適合する方位情報がなければ、そのような情報に対応するアイコンは表示しないようにする。ズームインアイコンは、上述した吹き出しの中の不具合箇所画像のサムネイルであってもよい。

エキスパート端末２は、タッチパネルがズームインアイコンの表示位置で押圧を検知した場合、不具合箇所に対応するズームイン画像（不具合箇所を撮影した画像のうち近側のズーム情報が対応づけられたもの）を表示する。なおズームアウトアイコンの表示位置で押圧を検知した場合、ズームアウト画像の表示に復帰する。エキスパート端末２は、タッチパネルがアングル指示アイコンの中の特定のアングルのアイコンの表示位置で押圧を検知した場合、検知した位置に存在するアイコンの示すアングルに適合する方位情報に対応する画像を表示する。

Ｓ７では、エキスパート端末２は、入力装置２２を介して助言情報の入力を受け付ける。助言情報の入力操作は、エキスパート端末２の表示した図面、不具合位置映像、不具合箇所画像またはコメントを参照したエキスパート（不具合対応の専門家であるが、監督者でもよい）により行われるため、不具合の内容と位置に則した適切な助言が入力されることが期待される。助言情報の入力の方式は任意であり、保守や不具合解消の方法を説明したテキスト入力や音声入力、あるいは過去の対応あるいは手本の対応を工程順に撮った静止画や動画などを入力することが考えられる。また、助言情報の入力のタイミングは任意である。例えば、助言要求の受信の都度入力されてもよい。あるいは、予め助言要求の中に含まれうる部材種類ないし不具合種類ごとの助言情報を登録した助言データベースをエキスパート端末２またはエキスパート端末２からアクセス可能なコンピュータに蓄積しておき、実際に受信した助言要求に含まれる部材種類ないし不具合種類に対応する助言情報を助言データベースから入力してもよい。助言データベースの内容は、不具合事例が発生するごとに更新されることが好ましい。

助言情報には、どの不具合箇所に対応する助言であるかを示すため、不具合位置情報が含まれているものとする。この不具合位置情報は、助言情報の一部としてエキスパート端末２のタッチパネル操作やキー操作により入力される。

Ｓ８では、エキスパート端末２は、入力された助言情報を作業者端末１に送信する。助言情報の送信の方式は任意であり、電子メールによるテキスト送信とそれに伴う画像や音声ファイルの添付、ＴＶ電話の発呼と呼確立に応じた映像・音声送信などが考えられる。あるいは指示内容を記録した音声ファイルを再生した音声を通常の電話音声として伝送してもよい。

また、助言情報の送信先は、助言要求を送ってきた作業者端末１に限られない。例えば、作業者端末１ａからエキスパート端末２に助言要求が送信された場合、エキスパート端末２から作業者端末１ａだけに助言情報を送信してもよいし、作業者端末１ａ・１ｂ双方に助言情報を送信してもよい。エキスパート端末２は、どの作業者端末１に助言情報を送信するかの指定を入力装置２２を介して受け付け、指定された作業者端末１に助言情報を送信してもよい。あるいは、監督者端末３に直接あるいはＣＣで助言情報を送信してもよい。あるいは、エキスパート端末２は、作業者端末１ａおよび１ｂ、監督者端末３の中から入力装置２２を介して指定された所望の端末に助言情報を一斉送信してもよい（マルチキャスト）。助言情報の送信先となる端末の指定のタイミングは任意であり、検査業務の開始前でもよいし助言情報を送信する都度でもよい。

Ｓ９では、作業者端末１は、不具合箇所画像の送信に先立ち、図面上の各不具合位置情報と不具合箇所画像との対応関係を示す情報を出力装置１２に表示する。これはＳ６と同様にすることができる。

Ｓ１０では、作業者端末１は、エキスパート端末２から助言情報を受信し、受信した助言情報を出力装置１２に出力する。具体的には、作業者端末１は、Ｓ９で表示された図面上の所望の不具合位置情報の指定を入力装置１３を介して受け付け、指定された不具合位置情報と同一の不具合位置情報に対応する助言情報に含まれる画像および／または音声を出力装置１２に出力して再生する。これにより、作業者は不具合箇所ごとの助言情報を参照して不具合に対処できる。なお、ＴＶ電話あるいは通常の電話で助言情報が送信される場合は、不具合位置情報の指定なく、受信した助言情報をそのまま再生してもよい。

１：作業者端末、２：エキスパート端末、３：監督者端末

Claims (7)

1. 検査対象に関連する図面を入力する検査図面入力部と、
   前記図面を表示する作業者端末表示部と、
   前記表示部に表示された図面で示される検査対象を被写体とした画像である検査画像を撮影可能な撮影部と、
   前記検査対象の図面上の位置と前記検査対象の不具合に関する情報とを関連づけた不具合関連情報を記憶する記憶部と、
   前記不具合関連情報を所定の助言者端末に送信する作業者端末送信部と、
   を有する作業者端末と、
   前記不具合関連情報を受信する助言者端末受信部と、
   前記不具合関連情報に基づいて、前記図面および前記検査対象の前記図面上の位置と、前記検査画像および前記検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示する助言者端末表示部と、
   前記検査対象の不具合の対処に関する助言情報の入力を受け付ける助言情報入力部と、
   前記助言情報を前記作業者端末に送信する助言者端末送信部と、
   を有する助言者端末と、
   を備え、
   前記作業者端末は、
   前記助言情報を受信する作業者端末受信部と、
   前記助言情報を出力する出力部と、
   を有する検査支援システム。
2. 前記助言者端末は、
   縮尺の異なる図面の切り換えを指示する図面切換指示部を有し、
   前記助言者端末表示部は、前記図面切換指示部の指示に応じて、縮尺の異なる図面のうち所望の図面を表示する請求項１に記載の検査支援システム。
3. 前記助言者端末は、
   撮影アングルまたは撮影位置の遠近の異なる検査画像の切り換えを指示する画像切換指示部を有し、
   前記助言者端末表示部は、前記画像切換指示部の指示に応じて、撮影アングルまたは撮影位置の遠近の異なる検査画像のうち所望の検査画像を表示する請求項１または２に記載の検査支援システム。
4. 前記助言者端末は前記助言情報の送信先の端末を指定する送信先指定部を備え、
   前記助言者端末送信部は、前記助言情報を前記指定された送信先の端末に一斉送信する請求項１〜３のいずれかに記載の検査支援システム。
5. 図面で示された検査対象を被写体とした検査画像と前記検査対象の図面上の位置と前記検査対象の不具合に関する情報とを関連づけた不具合関連情報を受信する助言者端末受信部と、
   前記不具合関連情報に基づいて、前記図面および前記検査対象の前記図面上の位置と、前記検査画像および前記検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示する助言者端末表示部と、
   前記検査対象の不具合の対処に関する助言情報の入力を受け付ける助言情報入力部と、
   前記助言情報を所望の端末に送信する助言者端末送信部と、
   を有する助言者端末。
6. 情報端末が、
   図面で示された検査対象を被写体とした検査画像と前記検査対象の図面上の位置と前記検査対象の不具合に関する情報とを関連づけた不具合関連情報を受信するステップと、
   前記不具合関連情報に基づいて、前記図面および前記検査対象の前記図面上の位置と、前記検査画像および前記検査対象の不具合に関する情報のうち少なくとも１つと、を関連づけて表示するステップと、
   前記検査対象の不具合の対処に関する助言情報の入力を受け付けるステップと、
   前記助言情報を所望の端末に送信するステップと、
   を実行する検査支援方法。
7. 請求項６に記載の検査支援方法を情報端末に実行させるための検査支援プログラム。