JP2004104576A - 作業用ウェアラブル装置、遠隔作業指示装置、遠隔作業指示方法および遠隔作業指示プログラム - Google Patents

Abstract

【課題】作業員にウェアラブルコンピュータを内蔵した作業着を着用させ、通信網を介して画像や、音声、ＣＡＤデータ等を双方向で交換することで複数の作業者の作業状況が把握可能な作業用ウェアラブル装置、遠隔作業指示装置、遠隔作業指示方法および遠隔作業指示プログラムを提供することである。
【解決手段】重ね合わせ演算部２２が、画像生成部２１により生成される三次元画像と、あらかじめＣＡＤデータ部２４に用意される構造物のリファレンス画像との重ね合わせを行い、その差分情報を演算し、作業指示情報送信部２３を介して作業用ウェアラブル装置へその差分情報、もしくは作業指示情報を送信する。画像生成部２１は、画像処理により前記構造物の２以上の特徴点を抽出し、特徴点間の距離を計測して予め用意される構造物の特徴点間の距離とを比較することにより、構造物の撮影位置を決定する。
【選択図】　　　図３

Description

【０００１】
【発明の属する技術分野】
本発明は、特に、工事現場での作業管理に用いて好適な、作業用ウェアラブル装置、遠隔作業指示装置およびその方法、遠隔作業指示プログラムに関する。
【０００２】
【従来の技術】
大型構造物の製造、あるいは現場での据付工事では、大量の作業員が散開して作業をこなすために集中的な管理が困難である。このため、現場監督となる作業監督者を中心に作業員間で事前の詳細な検討と手順等についての打ち合わせが必要である。また、作業員に専門的な熟練技能を必要としていた。
具体的に、クレーンによる玉掛け作業、港湾の荷役作業等、実際の工事においては、作業者毎にトランシーバや携帯電話等の無線機を用い、情報を交換しながら作業を進めている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−１５０４４号公報
【０００４】
【発明が解決しようとする課題】
しかしながら上記した従来技術によれば、構造物の形状からして相手が見えないことが多いため、的確に状況を把握することが困難であった。
ところで、最近、人と情報ネットワークの間を常につなぐための機器に関心が集まっている。一つは、身に着けて使うコンピュータ、いわゆる、ウェアラブルコンピュータである。ウェアラブルコンピュータは、コンピュータを構成するデバイス（ＣＰＵ、バッテリ、入出力、ネットワーク接続装置）を分離して身に付け、バーチャルリアリティを実現するツールとして利用されているが、上記した作業現場への適用も模索されている。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ウェアラブルコンピュータを上記した作業現場に適用させるため、作業員にウェアラブルコンピュータを内蔵した作業着を着用させ、通信網を介して画像や、音声、ＣＡＤデータ等を双方向で交換することにより、複数の作業者の作業状況を把握する、例えば作業監督者による遠隔作業指示が可能な、作業用ウェアラブル装置、遠隔作業指示装置およびその方法、遠隔作業指示プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記した課題を解決するために本発明は、遠隔作業指示装置と通信網を介して接続され、作業員に着用される作業用ウェアラブル装置であって、遠隔作業指示の対象となる構造物の二次元画像を撮影する撮像手段と、前記作業員の現在位置情報を計測する位置情報計測手段と、前記撮像手段によって撮影された二次元画像と前記位置計測手段によって計測された位置情報とを取り込み、関連付けて前記通信網を介して前記遠隔作業装置に送信する情報送信手段と、を備えることを特徴とする。
【０００７】
本発明によれば、情報送信手段が、撮像手段によって撮影された二次元画像と位置計測手段によって計測された位置情報とを取り込み、関連付け、通信網を介して遠隔作業指示装置に送信するため、遠隔作業指示装置で三次元画像処理を行なうことにより、現場監督が各作業員による作業状況をリアルタイムに閲覧でき、作業員に対してタイムリーで適切な指示を送信することができる。
なお、ここで「ウェアラブル装置」とは、少なくとも撮像手段としてのＣＣＤカメラ、位置情報計測手段としてのＧＰＳセンサ等を入出力デバイスとして備えた作業者が着用するウェアラブルコンピュータのことをいう。
【０００８】
上記した課題を解決するために本発明は、作業員に着用される作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置であって、前記ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成する画像生成手段と、前記画像生成手段により生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行い、その差分を演算する演算手段と、前記演算手段により演算される差分情報、もしくはその差分により生成される作業指示を前記作業用ウェアラブル装置へ送信する作業指示情報送信手段と、を備えることを特徴とする。
【０００９】
本発明によれば、重ね合わせ演算手段が、画像生成手段により生成される三次元画像と、あらかじめ用意される構造物のリファレンス画像との重ね合わせを行い、その差分を演算し、作業指示情報送信手段を介してウェアラブル装置へその差分情報、もしくは作業指示情報を送信することで、現場監督は、作業者の作業状況を的確に判断でき、適切な指示と迅速な対応ができるため、各作業員は、効率的に、かつ、安全に作業を実行することができる。
【００１０】
また、本発明において、前記画像生成手段は、画像処理により前記構造物の２以上の特徴点を抽出し、前記特徴点間の距離を計測して予め用意される前記構造物の特徴点間の距離とを比較することにより、前記構造物の撮影位置を決定することを特徴とする。
本発明によれば、画像生成手段が三次元画像を生成する際、撮影位置も考慮して生成するため、信頼性の高い画像情報が得られ、現場監督は、表示される画像を見ながらウェアラブル装置を着用した作業者に適切な作業指示情報を送信することができる。
【００１１】
また、本発明において、前記作業用ウェアラブル装置から送信される二次元画像を複数、画面分割して表示し、前記作業用ウェアラブル装置と交信することにより、それぞれに表示される二次元画像の撮影位置を非同期に制御することを特徴とする。
本発明によれば、画面に表示される複数の画像の撮影位置を非同期に制御することができるため、作業監督者は、複数の作業員の視点を確認しながら適切な指示を行なうことができる。
【００１２】
上記した課題を解決するために本発明は、作業員に着用される作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置のための遠隔作業指示方法であって、前記ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成し、前記生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行い、その差分を演算し、前記演算される差分情報、もしくはその差分により生成される作業指示を前記ウェアラブル装置へ送信すること、を特徴とする。
【００１３】
上記した課題を解決するために本発明は、作業員に着用される作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置に用いられる遠隔作業指示プログラムであって、前記ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成する画像生成ステップと、前記生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行い、その差分を演算する演算ステップと、前記演算される差分情報、もしくはその差分により生成される作業指示を前記ウェアラブル装置へ送信する作業指示情報送信ステップと、をコンピュータに実行させることを特徴とする。
【００１４】
【発明の実施の形態】
図１は、本発明の作業用ウェアラブル装置、ならびに遠隔作業指示装置が適用されるシステムの概略構成を説明するために引用した図である。
図１において、１は、作業者が着用するウェアラブルコンピュータ（作業用ウェアラブル装置）であって、本発明の遠隔作業指示装置が実装される集中管理コントロール室システム２とは、無線ＬＡＮ、構内ＰＨＳ、ネットワーク等の通信網３を介して接続される。
ここで、ウェアラブルコンピュータとは、コンピュータを構成するデバイス（ＣＰＵ、バッテリ、入出力デバイス、ネットワーク接続装置）を分離して身に付けるものであるが、ここでは、入出力デバイスとして、マイク＆ヘッドフォン、ＣＣＤ（Ｃｈａｒｇｅ・Ｃｏｕｐｌｅｄ・Ｄｅｖｉｃｅ）、ＧＰＳ（Ｇｌｏｂａｌ・Ｐｏｓｉｔｉｏｎｉｎｇ・Ｓｙｓｔｅｍ）センサおよびハーフミラー等を携帯することとする。
【００１５】
図２は、本発明の作業用ウェアラブル装置の内部構成を機能展開して示したブロック図である。
本発明の作業用ウェアラブル装置は、撮像部１１と、位置情報計測部１２と、情報送信部１３で構成される。
撮像部１１は、遠隔作業指示の対象となる構造物の二次元画像を撮影する機能を持ち、位置情報計測部１２は、例えば、ＧＰＳセンサを用いて作業員の現在位置情報を計測する機能を持つ。
情報送信部１３は、撮像部１１によって撮影された二次元画像と位置情報計測部１２によって計測された位置情報とを取り込み、関連付けて通信網３を介して本発明の遠隔作業指示装置が実装される集中管理コントロール室システム２に送信する機能を持つ。
【００１６】
図３は、本発明の遠隔作業指示装置の内部構成を機能展開して示したブロック図である。
本発明の遠隔作業指示装置２０は、画像生成部２１と、重ね合わせ演算部２２と、作業指示情報送信部２３と、ＣＡＤデータ部２４で構成される。
画像生成部２１は、作業用ウェアラブル装置１から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成する機能を持つ。画像生成部２１は、画像処理により構造物の２以上の特徴点を抽出し、この特徴点間の距離を計測して予め用意される構造物の特徴点間の距離とを比較することにより、構造物の撮影位置を決定することができる。
【００１７】
重ね合わせ演算部２２は、画像生成部２１により生成される三次元画像と、ＣＡＤデータ部２４に格納されてある構造物のリファレンス画像との重ね合わせ処理を行い、その差分を演算する機能を持つ。
作業指示情報送信部２３は、重ね合わせ演算部２２により演算される差分情報、もしくはその差分情報により生成される作業指示情報を作業用ウェアラブル装置１へ送信する機能を持つ。
なお、図示していないが、作業用ウェアラブル装置１から送信される二次元画像は、遠隔作業指示装置が持つ画面に、複数、画面分割して表示され、作業用ウェアラブル装置１と交信することにより、作業監督者の指示の下でそれぞれに表示される二次元画像の撮影位置を非同期に制御することができる。
【００１８】
図４は、本発明における遠隔作業指示装置の動作を説明するために引用したフローチャートであり、具体的には本発明の遠隔作業指示プログラムの処理手順を示す。
以下、図４に示すフローチャートを参照しながら、図２、図３に示す作業用ウェアラブル装置ならびに遠隔作業指示装置の動作について詳細に説明する。
【００１９】
まず、遠隔作業指示装置２０は、作業者の移動に伴い、作業者が着用する作業用ウェアラブル装置１によって撮影される二次元画像と、計測される現在位置情報とを取り込む（ステップＳ４１）。ここで取り込まれる情報は、作業用ウェアラブル装置１の撮像部１１と、位置情報計測部１２のそれぞれで撮影され、あるいは計測された二次元画像情報と作業者の現在位置情報とが関連付けられ、情報送信部１３を介して送信されたものである。
遠隔作業指示装置２０は、作業用ウェアラブル装置１から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて画像生成部２１で三次元画像を生成する（ステップＳ４５）。
【００２０】
画像生成部２１は、三次元画像を生成するにあたり、画像処理により構造物の２以上の特徴点を抽出し（ステップＳ４２）、特徴点間の距離を計測して予め用意される構造物の特徴点間の距離とを比較する（ステップＳ４３）ことにより、構造物の撮影位置（アングル）を決定する（ステップＳ４４）。
撮影位置の決定は、遠隔作業指示装置が持つ画面に、作業用ウェアラブル装置１から送信される二次元画像が複数、画面分割して表示され、作業用ウェアラブル装置１と交信することによってそれぞれに表示される二次元画像を見た作業監督者が的確な指示を発することにより、撮影位置を非同期に制御することで実現される。
【００２１】
一方、重ね合わせ演算部２２では、画像生成部２１で生成される三次元画像と、あらかじめＣＡＤデータ部２４に格納された構造物のリファレンス画像との重ね合わせを行い、その差分を演算する（ステップＳ４６）。そして、演算の結果得られる差分情報、もしくはその差分情報により生成される作業指示情報を、作業指示情報送信部２３を介して作業用ウェアラブル装置１へ送信する（ステップＳ４７）。
ここで、作業指示情報としては、具体的な取り付け位置の指示、あるいはずれ情報でもよい。ここで、重ね合わせ表示した際に、ＣＡＤデータに基づく表示とある程度重なっていた場合には補修の少ないことがわかる。
【００２２】
このことにより、遠隔作業指示装置は、最適な撮影位置を指示することができ、また、作業監督者は、この指示に基づき撮影され送信される画像に基づいて最適な作業指示を発することができる。
更に、作業監督者が不在の場合は、作業者の作業用ウェアラブル装置１間で交信することにより、リーダとなる作業者の作業用ウェアラブル装置１の画像モニタに複数の作業者によって撮影された画像を表示し、このときリーダとなる作業者は、自身で対象となる構造物を撮影する他に、他の作業者により撮影された画像をモニタして適切な撮影位置の決定、指示を行い、また、作業指示を発することも可能である。
【００２３】
以上説明のように本発明は、ウェアラブルコンピュータを作業現場に適用させるため、作業員に作業用ウェアラブル装置を内蔵した作業着を着用させ、通信網を介して画像や、音声、ＣＡＤデータ等を双方向で交換することにより、複数の作業者による作業状況を把握し、かつ、適切な作業指示と迅速な対応を可能とするものである。
なお、図２に示す撮像部１１、位置情報計測部１２、情報送信部１３、図３に示す画像像生成部２１、重ね合わせ演算部２２、作業指示情報送信部２３のそれぞれで実行される手順をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の作業用ウェアラブル装置ならびに遠隔作業指示装置が実現されるものとする。ここでいうコンピュータシステムとは、ＯＳや周辺機器等のハードウェアを含むものである。
【００２４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のシステムやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００２６】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００２７】
【発明の効果】
以上説明のように本発明によれば、作業監督者は、各作業者の作業状況を的確に把握することができ、適切な指示と迅速な対応が可能となるため、安全、かつ効率的にスムーズな作業を実現できる。
また、従来のように無線機を使った音声通信にのみ頼った作業連携とは異なり、音声はもとより、画像による連携がはかれるため、誤解や間違いが無くなり、安全、かつスムーズな作業を実現でき、事前の詳細検討や手順等の打ち合わせを簡略化することができる。
なお、本発明は、クレーン操縦者と玉掛け作業者間で同様な構成を用いることで安全かつ効率的な作業を実現でき、また、港湾の荷役作業管理、軍事用の歩兵管理に用いて特に顕著な効果が得られる。
【図面の簡単な説明】
【図１】本発明の作業用ウェアラブル装置、ならびに遠隔作業指示装置が適用されるシステムの概略構成を説明するために引用した図である。
【図２】本発明の作業用ウェアラブル装置の内部構成を機能展開して示したブロック図である。
【図３】本発明の遠隔作業指示装置の内部構成を機能展開して示したブロック図である。
【図４】本発明における遠隔作業指示装置の動作を説明するために引用したフローチャートである。
【符号の説明】
１…ウェアラブルコンピュータ、２…集中管理コントロール室システム、２０…遠隔作業指示装置、３…通信網、１１…撮像部、１２…位置情報計測部、１３…情報送信部、２１…画像生成部、２２…重ね合わせ演算部、２３…作業指示情報送信部、２４…ＣＡＤデータ部

Claims (6)

1. 所定の遠隔作業指示装置と通信網を介して接続され、作業員に着用される作業用ウェアラブル装置であって、
   遠隔作業指示の対象となる構造物の二次元画像を撮影する撮像手段と、
   前記作業員の現在位置情報を計測する位置情報計測手段と、
   前記撮像手段によって撮影された二次元画像と前記位置計測手段によって計測された位置情報とを取り込み、関連付けて前記通信網を介して前記遠隔作業指示装置に送信する情報送信手段と、
   を備えることを特徴とする作業用ウェアラブル装置。
2. 作業員に着用される作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置であって、
   前記作業用ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報に基づいて三次元画像を生成する画像生成手段と、
   前記画像生成手段により生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行い、その差分を演算する重ね合わせ演算手段と、
   前記重ね合わせ演算手段により演算される差分情報、もしくはその差分情報に基づいて生成される作業指示を前記作業用ウェアラブル装置へ送信する作業指示情報送信手段と、
   を備えることを特徴とする遠隔作業指示装置。
3. 前記画像生成手段は、
   画像処理により前記構造物の２以上の特徴点を抽出し、前記特徴点間の距離を計測して予め用意される前記構造物の特徴点間の距離とを比較することにより、前記構造物の撮影位置を決定することを特徴とする請求項２に記載の遠隔作業指示装置。
4. 前記作業用ウェアラブル装置から送信される二次元画像を複数、画面分割して表示し、前記作業用ウェアラブル装置と交信することにより、それぞれに表示される二次元画像の撮影位置を非同期に制御することを特徴とする請求項２に記載の遠隔作業指示装置。
5. 作業員に着用された作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置のための遠隔作業指示方法であって、
   前記作業用ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成し、
   前記生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行ってその差分情報を演算し、
   前記演算される差分情報、もしくはその差分情報により生成される作業指示情報を前記作業用ウェアラブル装置へ送信すること、
   を特徴とする遠隔作業指示方法。
6. 作業員に着用される作業用ウェアラブル装置と通信網を介して接続される遠隔作業指示装置に用いられる遠隔作業指示プログラムであって、
   前記作業用ウェアラブル装置から送信される、遠隔作業指示の対象となる構造物の二次元画像とその位置情報とに基づいて三次元画像を生成する画像生成ステップと、
   前記生成される三次元画像と、あらかじめ用意される前記構造物のリファレンス画像との重ね合わせを行い、その差分情報を演算する演算ステップと、
   前記演算される差分情報、もしくはその差分情報により生成される作業指示情報を前記作業用ウェアラブル装置へ送信する作業指示情報送信ステップと、
   をコンピュータに実行させる遠隔作業指示プログラム。

Images