JP2005018385A

JP2005018385A - 作業情報提供装置

Info

Publication number: JP2005018385A
Application number: JP2003181929A
Authority: JP
Inventors: Satoru Bo; 覚坊; Akira Miyata; 宮田　　亮; Keiichi Shiotani; 景一塩谷; Shintaro Watanabe; 信太郎渡邉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-06-26
Filing date: 2003-06-26
Publication date: 2005-01-20

Abstract

【課題】指示箇所の同定と、その箇所の状況確認を並行して行うことができる作業情報提供装置を得る。
【解決手段】作業設備内を複数のカメラにより撮影する撮影手段１１と、各作業対象設備の３次元位置情報を保持する３次元モデルＤＢ１１７と、投影情報を作業設備内に投影する情報投影手段１４と、各作業対象設備に関する設備情報を保持する設備情報ＤＢ１８と、撮影手段にて撮影された映像から作業設備内に存在する第１の識別マーク１の指示方向を検出する指示方向検出手段１５と、指示方向と３次元モデルＤＢとから作業対象設備を同定する対象同定手段１６と、同定された作業対象設備に対して予め設定されている設備情報を抽出して投影箇所を指定した投影情報を作成する投影情報作成手段１３とを備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置に関するものである。
【０００２】
【従来の技術】
従来、プラントなどの設備の保守や点検といった作業を現場において支援する方法として、作業対象や作業行為に関連する情報を、作業対象物自身、または、その周囲とともに重ね合わせて表示する技術が知られている。
【０００３】
例えば、従来の映像表示装置および映像表示システムは、映像情報を対象物またはその周囲を投影する例が示されている。カメラから得られた映像、または（磁気センサ、ジャイロ、超音波センサなどで実現された）位置姿勢計測装置から得られた情報に基づき対象物との間の装置位置との姿勢を計測ならびに計算し、その結果に基づいて投影情報検索部にて投影情報データベースを検索し、映像情報生成部にて投影すべき映像を生成する（例えば、特許文献１参照）。
【０００４】
他の従来の場合は、作業者がディスプレイの前で、手または指によりディスプレイの情報を指示すると、撮像手段により撮像された映像を基に、ディスプレイに対して手または指が指し示す方向が算出され、算出された方向に対応するディスプレイ上の位置に、カーソルが移動され、この後、カーソルの位置を入力者が確認してクリック動作を行うと、クリック動作を行ったときにカーソルが位置する部分の情報が、作業者が指示した情報として入力される（例えば、特許文献２参照）。
【０００５】
他の従来の場合の作業情報提示装置には、作業行為を同定する手段を設けて、予め想定した作業行為内容と比較してそれに応じた情報を作業者に提示する例が示されている（例えば、特許文献３参照）。
【０００６】
【特許文献１】
特許第３２７４２９０号（段落００４０〜００４３、図１）
【特許文献２】
特開平５−３２４１８１号（段落０００９〜００１４、図１）
【特許文献３】
特開２００１−２８２３４９号（段落００１９〜００２１、図１）
【０００７】
【発明が解決しようとする課題】
従来の作業情報提供装置では、プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する情報（作業対象関連図面、作業必要資料、作業対象物撮影映像）を作業対象物自身、またはその周囲に重ね合わせて表示することができないという問題点があった。
【０００８】
この発明は上記のような問題点を解決するためになされたもので、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の３次元位置情報を保持する３次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第１の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と３次元位置情報とから第１の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたものである。
【００１０】
【発明の実施の形態】
実施の形態１．
プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する設備情報（作業対象関連図面、作業必要資料、作業対象物撮影映像）を作業対象設備自身、またはその周囲に重ね合わせて表示するが必要とされている。そしてこの方法において、作業者が、必要な情報を順次切り替えて表示するためのユーザインターフェースの入力項目は、大きく次の２点がある。（１）作業者が求める関連情報の対象、（２）作業者が求める関連情報の種類（配置図面、回路図、保守作業要領書、保守作業ビデオなど）である。そしてこれらを入力するユーザインターフェースは以下の条件を満たす必要がある。
【００１１】
（１）では、自由に対象の部分を指示できること（現在指示しようとしている箇所が分かり易いこと）、また、一旦表示した関連情報の一部を指示して、その部分に関連する情報が得られること、さらに、投影している関連情報の部分と、実物の関係がわかりやすいことである。（２）では、１つの対象について、複数の関連情報がある場合も、スムーズに切り替えて関連情報が閲覧可能であること。
【００１２】
本願発明は以上に示したことを可能とするために構成されたものである。図１はこの発明の実施の形態１の作業情報提供装置の構成を示すブロック図、図２は図１に示した第１の識別マークの貼付例を示す図、図３および図５ないし図９はこの発明の実施の形態１の作業情報提供装置の作業設備内の構成を示す図、図４は第１の識別マークにより検出される指示方向を説明するための図ある。各図において以下のものを備える。
【００１３】
作業設備内には、作業対象設備４４と、作業対象設備ではない作業設備４２とを備える。ここではそれぞれ単数にて示しているが実際には複数存在する。さらに、作業設備内を撮影する複数のカメラ１１１、１１２にて成る撮影手段１１と、設備情報を作業設備内に投影する情報投影手段１４とを備える。そして、この情報投影手段１４は、例えば、携帯表示装置・固定表示装置・プロジェクタ（スクリーン投影、実物の対象に投影）などにて構成することができる。尚、この実施の形態１においては撮影手段１１のカメラ１１１、１１２および情報投影手段１４の絶対位置は既知であるものとして説明する。
【００１４】
そして、設備情報データベース（以下、データベースをＤＢと略して示す）１８は、作業対象設備に必要と成る設備情報、例えば作業対象設備に関係する図面、資料、動画などを蓄積しており、それら図面、資料、動画は、ファイルレベル、および、さらにファイルの中の図形要素、文字要素などに、作業対象設備の詳細部分のＩＤを属性として持たせ、作業対象設備の詳細部分のＩＤからファイルや、図形要素、文字要素を検索することのできるものとする。作業対象設備の３次元位置情報、また、作業対象設備が複数の構成物にて成る場合はその複数の構成物に対する３次元位置情報をＩＤ情報とともに蓄積する３次元モデルＤＢ１７とを備える。
【００１５】
さらに、作業対象内にて作業する作業者の手１０１に貼り付けた第１の識別子としての第１の識別マーク、１０２、１０５と、撮影手段１１にて撮影した第１の識別マーク１の映像から手１０１の指示する指示方向を検出する指示方向検出手段１５と、この検出された手１０１の指示する指示方向と３次元位置情報とから手１０１により指示された対象を同定する対象同定手段１６とを備える。
【００１６】
さらに、投影情報作成手段１３は、対象同定手段１６にて同定された対象に対する設備情報を設備情報データベース１８から抽出し、抽出された例えば図面、資料、動画などの設備情報を、投影する場所、大きさが適切になるように加工して、投影箇所を指示して投影情報として作成し、情報投影手段１４にこの投影情報を与える。さらに、情報投影手段１４は、対象同定手段１６により同定された時点において、同定された交点上にマウスカーソルに相当するシンボル、矢印カーソルを表示する。さらに、撮影手段１１にて撮影された映像から、作業設備内に貼り付けられ第２の識別マーク２の位置、およびこの第２の識別マーク２のＩＤを読み取り、第２の識別マーク２の作業設備内における相対位置関係を算出する相対位置算出手段１２を備える。
【００１７】
上記のように構成された実施の形態１の作業情報提供装置の第１の識別マークの貼付方法について説明する。図２は作業者の手に貼付する第１の識別マークの貼付例について説明する。まず、図２（ａ）は、指先の位置と指先が指し示す方向を識別するため、第１の識別マークを手に貼り付けた例である。第１の識別マーク１０２、１０３は、指先の部分に貼り付けた第１の識別マーク１０２と指の付け根の部分に貼り付けられた第１の識別マーク１０３であり、指先につけた第１の識別マーク１０２の識別ＩＤと指の付け根につけた第１の識別マーク１０３の識別ＩＤとを異なるものに設定することで、これをカメラで撮影したときにも指先の位置と指先の付け根の位置とを判別することができる。よってこれらをカメラで撮影することで、その位置と識別ＩＤとを認識し、方向を判断することができる。
【００１８】
図２（ｂ）は、ここでは、先に示した指の付け根に第１の識別マークを貼り付ける代わりに、手首に近い側に第１の識別マーク１０５を貼り付けた例である。このように第１の識別マーク１０２、１０５を貼り付けることで、方向を求めるための２点間の距離が長くなり、指示方向の検出精度を向上することができる。
【００１９】
次に上記のように構成された実施の形態１の作業情報提供装置の設備情報の表示の動作について図１０ないし図１２を交えて説明する。まず、作業提供システムを起動する（図１０のステップ１３０１）。そして、図２に示すように、第１の識別マーク１０２、１０５が貼付された手袋などを作業者が手１０１に装着する。次に、図３に示すように作業者の手１０１が作業設備内にて情報必要箇所を指す。
【００２０】
次に、指示方向検出手段１５は、第１の識別マーク１０２、１０５をカメラ１１１、１１２により撮影し、その映像に基づいて手の指示方向を検出する（図１０のステップ１４０１）。この手の指示方向の検出方法の詳細について図４を用いて説明する。撮影手段１１は作業設備内を撮影し図４に示すような映像を得たとする。本来映像は３次元であるが、便宜上２次元にして示し説明する。まず、各第１の識別マーク１０２、１０５の３次元位置をカメラ１１１、１１２の撮影画像のステレオ視により求める。
【００２１】
カメラ１１１からの視線ベクトル５０９とカメラ１１２からの視線ベクトル５１０の交点が、第１の識別マーク１０５の３次元位置となる。同様に第１の識別マーク１０２は、視線ベクトル５１１と視線ベクトル５１２との交点として求められる。以上により、手１０１に貼り付けられた第１の識別マーク１０２、１０５の相対位置関係とカメラ１１１、１１２との絶対位置から、手に貼り付けられた第１の識別マーク１０２、１０５の絶対位置（３次元）を求めることができる。
【００２２】
次に、交点の第２の識別マーク１０２から交点の第２の識別マーク１０５を結ぶベクトル５１５が、作業者が対象を指し示すベクトル（方向）すなわち指示方向５１６が検出される。次に、対象同定手段１６は指示方向５１６と３次元モデル（３次元位置情報）との交点を求める（図１０のステップ１４０２）。具体的には図４に示すように、ベクトル５１５上に延長した指示方向５１６と、３次元位置モデル（３次元位置情報）との交点５１８をデータ上にて求める。
【００２３】
次に、情報投影手段１４は交点５１８に現在の指示位置を示す矢印カーソルを表示する（図１０のステップ１４０３）。具体的には図５に示すように、交点５１８を指し示すように矢印カーソル６９が表示される。このことにより、作業者は現在の指示位置の確認を容易に行うことができる。次に、手１０１の位置（動き）が、指示方向５１６に移動して戻る動作（クリック動作）を行ったか否かを撮影手段１１にてモニタする（図１０のステップ１４０５）。そして、クリック動作を行っていない場合には、図１０のステップ１４０１に戻り上記に示した動作を行う。
【００２４】
また、クリック動作を行った場合には、対象同定手段１６は交点５１８の属する面すなわち作業対象設備４４を求める（図１０のステップ１４０６）。次に、３次元モデルＤＢ１７から選択面に付与された属性から詳細部分識別ＩＤを得る（図１０のステップ１４０７）。次に、選択面が対象として選択され、当該詳細部分ＩＤが選択されたと同定する（図１０のステップ１４０８）。
【００２５】
次に、撮影情報作成手段１３は対象の詳細部分識別ＩＤを有する情報を設備情報ＤＢ１８にて検索する（図１１のステップ１５０１）。次に、得られた情報をメニューとして表示するための領域を算出する（図１１のステップ１５０２）。次に、３次元位置モデルＤＢ１０７を用いて、対象の面の近傍で、対象の面の法線ベクトルに近い法線ベクトルを持ち、かつ上記算出した領域以上の領域を持つ面を検索し、投影箇所を決定する（図１１のステップ１５０３）。次に、検索された面（投影箇所）にメニューを表示する投影情報を作成し、投影手段１４に送信し、投影手段１４は指定された面（投影箇所）上に情報を投影する。この際、決定された作業設備内の投影箇所の位置情報と、先に検出されている情報投影手段１４の位置情報とから、情報投影手段１４の投影方向が指定されている。（図１１のステップ１５０５）。
【００２６】
図６に情報が投影された場合の例を示す。ここでは設備情報としての選択メニュー７０３として、上から単線結線図、配置図、取り扱い説明書、保守動作説明書などあらかじめ登録されていたものが投影されている。またこの時、元の交点５１８との関係が分かるように、交点５１８から選択メニュー７０３の間をつなぐ、つなぎ表示７０４を同時に投影情報作成手段１３が作成し、情報投影手段１４で投影することができるように構成している。
【００２７】
次に、再び指示方向検出手段１５は、第１の識別マーク１０２、１０５をカメラ１１１、１１２により撮影し、その映像に基づいて手の指示方向を検出する（図１１のステップ１５０６）。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段１６は指示方向と３次元モデルとの交点を求める（図１１のステップ１５０７）。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【００２８】
次に、情報投影手段１４は交点に現在の指示位置を示す矢印カーソル７０６（図６参照）を表示する（図１１のステップ１５０８）。次に、手１０１の位置（動き）が、指示方向に移動して戻る動作（クリック動作）を行ったか否かを撮影手段１１にてモニタする（図１１のステップ１５０９）。そして、クリック動作を行っていない場合には、図１１のステップ１５０６に戻り上記に示した動作を行う。
【００２９】
また、クリック動作を行った場合には、対象同定手段１６は交点が選択メニュー７０３のどの位置に属するかを求める（図１１のステップ１５１０）。次に、その位置から選択された選択メニューに対応する設備情報を、設備情報ＤＢ１８から抽出して投影情報として情報投影手段１４が投影する（図１１のステップ１５１１）。ここでは、図６における選択メニュー７０３中の単線結線図のメニューが選択され、その単線結線図８０１が表示された場合の投影状態を図７に示す。
【００３０】
次に、再び指示方向検出手段１５は、第１の識別マーク１０２、１０５をカメラ１１１、１１２により撮影し、その映像に基づいて手の指示方向を検出する（図１２のステップ１６０１）。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段１６は指示方向と３次元モデルとの交点を求める（図１２のステップ１６０２）。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【００３１】
次に、情報投影手段１４は交点に現在の指示位置を示す矢印カーソル８０４（図８参照）を表示する（図１２のステップ１６０３）。次に、この交点が情報、すなわち単線結線図８０１が投影されている面（すなわち設備情報が投影されている投影箇所）か否かを判断する（図１２にステップ１６０４）。次に、単線結線図８０１中にあると判断された場合、対象同定手段１６は交点が単線結線図８０１中のどの位置かを求める（図１２のステップ１６０５）。
【００３２】
次に、その位置から作業対象設備４４の内のいずれの構成要素かを検出する（図１２のステップ１６０６）。次に、構成要素の属性に付与されている詳細部分ＩＤを抽出する（図１２のステップ１６０７）。次に、詳細部分ＩＤを属性として持つ３次元モデルの面を３次元モデルＤＢ１７から検索する（図１２のステップ１６０８）。次に詳細部分ＩＤを属性として持つ３次元モデルの面をハイライト表示（たとえば、強調表示、点滅表示などである）する。そして再び、図１２のステップ１６０１に戻る。
【００３３】
ここでは、図８に示すように、指示方向が単線結線図８０１中にあると判断された場合で、構成要素と判断された部分を投影箇所８０８とし、その部分にハイライト情報８０７を表示したものを示す。
【００３４】
次に、この交点が情報、すなわち単線結線図８０１外（すなわち設備情報が投影されている投影箇所以外）と判断された場合、その位置から作業対象設備４４の内のいずれに属する面か３次元モデルＤＢ１７から詳細部分ＩＤを検索する（図１２のステップ１６１０）。次に、投影情報中すなわち単線結線図８０１中の情報中の詳細部分ＩＤから同一の構成要素を検出する（図１２のステップ１６１１）。次に、その構成要素に対応する投影情報中部分をハイライト表示（たとえば、強調表示、点滅表示などである）する。そして再び、図１２のステップ１６０１に戻る。
【００３５】
ここでは、図９に示すように、指示方向が作業対象設備４４の矢印カーソル８１１の指す交点８１０であり、その箇所に対応するＩＤを有する単線結線図８０１中の部分をハイライト情報８１２として表示したものを示す。
【００３６】
上記のように構成された実施の形態１の作業情報提供装置は、作業対象設備の部分を作業者が手で指し示すと、当該部分に関連する設備情報を選択メニューとして実物の作業設備内に投影し、さらに投影された選択メニューを指し示すことで、必要な情報を選択的に表示できる。そして、このことを繰り返すことで、順次情報切り替えて表示していくことができる。また、ハイライト表示を組み込むことで対象となる箇所の設備情報をより一層明確に確認することができる。
【００３７】
また、上記実施の形態１においては、カメラ、情報投影手段の絶対位置が既知の場合を示したが、これに限られることはなく、カメラ、情報投影手段が作業設備内を移動可能に形成されているような場合には、カメラ、情報投影手段の絶対位置をカメラの映像と、３次元モデルＤＢのデータから確認できる作業対象設備の絶対位置との相対関係から容易に算出することができることは言うまでもない。
【００３８】
また、投影箇所の位置を対象の面の近傍で法線ベクトルを用いて決定する例を示したがこれに限られることはなく、他の情報を用いて決定してもよい。例えば、指示方向の指示ベクトルの逆ベクトルと同様の法線ベクトルを有する面を３次元モデルＤＢから検出して決定する方法。このように決定すれば、指示方向（すなわち、作業者）から投影箇所に投影された情報を容易に確認することができるものとなる。また、他の方法としては、指示方向から投影位置がすべて確認することができる箇所（尚、ここで言うすべてとは、情報を確認するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の９０％を有することを条件とするなど、様々な設定が考えられる。）を選択するために、まず、指示方向から投影した場合に投影される箇所の第１の面積を求め、その第１の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第２の面積（すなわち、実際に投影可能となる面積）を求める。次に第１および第２の面積の差（すなわち、実際に投影不可能となる面積）を求め、その差を第１の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、指示方向から投影される面積の割合が大きく成るため、容易に情報を確認することができる。
【００３９】
また、情報投影手段の投影方向（ここでいう投影方向とは、情報投影手段の位置から情報を投影するために使用する箇所の中心位置に向かうベクトルを指す）から検討する場合も考えられる。例えば、投影方向の方向ベクトルの逆ベクトルと同様の法線ベクトルを有する面を３次元モデルＤＢから検出して決定する方法。このように決定すれば、投影方向から投影箇所に確実に投影情報を投影することができるものとなる。また、他の方法としては、投影方向から投影位置にすべて情報を投影することができる箇所（尚、ここで言うすべてとは、情報を投影するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の９０％を有することを条件とするなど、様々な設定が考えられる。）を選択するために、まず、投影方向から投影した場合に投影される箇所の第１の面積を求め、その第１の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第２の面積を求める（すなわち、実際に投影可能となる面積）。次に第１および第２の面積の差（すなわち、実際に投影不可能となる面積）を求め、その差を第１の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、投影方向から投影される面積の割合が大きく成るため、確実に情報を投影することができる
【００４０】
このような、さまざまな方法を用いて投影箇所を決定することができる。また、上記に示した方法を組み合わせることにより決定することができることは言うまでもない。
【００４１】
実施の形態２．
上記実施の形態１の作業情報提供装置では設備情報を３次元モデルＤＢ内のデータに基づいて、元の注目点（交点）の近傍で、元の注目点が属する面の法線ベクトルに近い法線ベクトルを有する面を検索し、そこに投影する例を示したが、これに限られることはなく、この実施の形態２では、３次元モデルＤＢに存在しない位置、作業者の他方の手の甲に選択メニューを投影する例について説明する。
【００４２】
図１３は、情報を投影のための作業者の手に貼り付ける第２の識別マークの貼付例を示したものである。このように手９０１に複数（３個以上）の第２の識別マーク９０２、９０３、９０４を貼り付けることで、対象を指示する手の位置、方向検出手段が、位置、方向だけでなく、手９０１の面の情報を得ることができる。
【００４３】
これは各第２の識別マーク９０２、９０３、９０４の３次元位置を検出し、識別マーク９０２、９０３を結ぶ３次元ベクトル９０５と識別マーク９０２、９０４を結ぶ３次元ベクトル９０６から、図１４に示すように、手９０１の仮想面の法線ベクトル９０７を求めることができる（尚、図１４において手の甲を便宜上矩形にて示している）。また、第２の識別マーク９０２、９０３を結ぶ３次元ベクトル９０５と、第２の識別マーク９０２、９０４を結ぶ３次元ベクトル９０６とが直交するように配置すると、より精度よく面の法線ベクトル、および面内の座標系を求めることができることはいうまでもない。
【００４４】
図１５は上記のように求めた手の甲の面の法線ベクトル、面内の座標系に基づき、選択メニューを手の甲に情報を投影する例を示す図である。図において上記実施の形態１と同様の部分は同一符号を付して説明を省略する。手９０１に選択メニュー９１０が情報投影手段１４により投影されている。この時、作業者の他方の手１０１は上記実施の形態１と同様に第１の識別マーク１０２、１０５が貼付されている。
【００４５】
作業者の手は常時動くことが想定されるため、撮影手段１１で常時撮影し、対象を指示する手の指示方向検出手段１５で常に手の甲の面の法線ベクトル、座標系を検出し、これに対応して投影情報作成手段１３で常に手の甲に投影位置、方向を変更する。また、手の甲に選択メニューを投影する場合においては、選択メニューが投影されている部分に直接手で触っても、対象設備の操作と誤認識することがないため、指先の位置が選択メニューを投影している部分のどこに触れたかで、どのメニューを選択したかを識別しても良い。
【００４６】
図１５では選択メニュー９１０の選択方法を示しており、投影された選択メニュー９１０の一部を他方の作業者の手１０１の指先が接触、あるいは仮想面との距離が閾値以下となったことをもって、選択したと判定するようにしてもよい。選択した後の設備情報の投影などは上記実施の形態１と同様に行うことができることは言うまでもない。
【００４７】
上記のように構成された実施の形態２の作業情報提供装置は、作業者の手に設備情報を投影し、他方の手でその設備情報を触れることで設備情報の選択ができるので、確実に設備情報の選択ができる。
【００４８】
上記実施の形態２においては、３次元モデルＤＢに存在しない位置として、作業者の他方の手の甲に選択メニューを投影する例を示したがこれに限られることはなく、例えば、図１６に示すように作業設備内の作業対象設備以外の作業設備４２に第２の識別マーク２０１、２０２、２０３、２０４を貼付して行うようにしてもよい。
【００４９】
この場合、図１７に示すように、上記実施の形態１にて示した場合と同様に、カメラ１１１からの視線ベクトル５０３、５０５とカメラ１１２からの視線ベクトル５０４、５０６の交点２０２、２０１が、第２の識別マーク２０２、２０１の３次元位置となる。このようにして各第２の識別マークの位置を検出して、他の絶対位置との関係より相対位置検出手段１２にて第２の識別マークの絶対位置を判定し、上記に示した場合と同様に選択メニューなどの設備情報を表示して同様に行うことができる。
【００５０】
また、他の作業設備内における壁面、天井面、また新たに設置された投射面などであっても、第２の識別マークを貼付し、その位置が検出可能であればいずれのものに対しても設備情報を投影することができること言うまでもない。また、その面は平面に限られることはなく、曲面であっても投影情報をその曲面情報に基づいて適宜設定すれば投影可能となることは言うまでもない。
【００５１】
【発明の効果】
以上のようにこの発明によれば、作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の３次元位置情報を保持する３次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第１の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と３次元位置情報とから第１の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたので、第１の識別子の指示箇所の同定と、その箇所の状況確認を並行して行うことができる作業情報提供装置を提供することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に作業情報提供装置の構成を示す図である。
【図２】図１に示した作業情報提供装置の第１の識別マークの貼付例を示した図である。
【図３】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図４】図１に示した作業情報提供装置を用いた指示方向の同定方法の例を示した図である。
【図５】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図６】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図７】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図８】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図９】図１に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図１０】図１に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図１１】図１に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図１２】図１に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図１３】この発明の実施の形態２における作業情報提供装置の第２の識別子の貼付例を示した図である。
【図１４】図１３に示した第２の識別マークの法線ベクトルの検出方法を示した図である。
【図１５】この発明の実施の形態２における作業情報提供装置を用いた作業設備の例を示した図である。
【図１６】この発明の実施の形態２における作業情報提供装置を用いた作業設備の第２の識別マークの貼付例を示した図である。
【図１７】図１６に示した第２の識別マークの位置の検出方法を示した図である。
【符号の説明】
１，１０２，１０３，１０５第１の識別マーク、
２，２０１，２０２，２０３，２０４，９０２，９０３，９０４第２の識別マーク、
１１撮影手段、１２相対位置検出手段、１３投影情報作成手段、
１４情報投影手段、１５指示方向検出手段１６対象同定手段、
１７３次元モデルＤＢ、１８設備情報ＤＢ、１１１，１１２カメラ、
４２作業設備、４４作業対象設備、１０１，９０１手、
５１６指示方向、５１８交点、７０２，８０８投影箇所、
７０３，９１０選択メニュー。

Claims

複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、上記各作業対象設備の３次元位置情報を保持する３次元モデルデータベースと、投影情報を上記作業設備内に投影する情報投影手段と、上記各作業対象設備に関する設備情報を保持する設備情報データベースと、上記撮影手段にて撮影された映像から上記作業設備内に存在する第１の識別子が指示する指示方向を検出する指示方向検出手段と、上記指示方向と上記３次元位置情報とから上記第１の識別子が指示する上記作業対象設備を同定する対象同定手段と、上記対象同定手段にて同定された上記作業対象設備に対して予め設定されている上記設備情報を上記設備情報データベースから抽出して投影箇所を指定して上記投影情報を作成し上記情報投影手段に送信する投影情報作成手段とを備えたことを特徴とする作業情報提供装置。
上記指示方向検出手段は、上記撮影手段にて撮影された映像から上記作業設備内に存在する上記第１の識別子が指示する指示方向を再度検出し、上記対象同定手段は、上記指示方向と上記投影情報が投影された投影箇所とから上記第１の識別子が指示する上記投影情報中の選択設備情報を同定し、上記投影情報作成手段は上記対象同定手段にて同定された上記選択設備情報に対して予め設定されている関連情報を上記設備情報データベースから抽出し投影箇所を指定して投影情報を作成し上記情報投影手段に送信することを特徴とする請求項１に記載の作業情報提供装置。
上記作業対象設備が複数の構成物にて成る場合、上記指示方向検出手段は、上記撮影手段にて撮影された映像から上記作業設備内に存在する上記第１の識別子が指示する指示方向を再度検出し、上記対象同定手段は、上記指示方向と上記３次元位置情報とから上記第１の識別子が指示する上記作業対象設備の詳細構成物を同定し、上記投影情報作成手段は上記同定された詳細構成物に対応する上記投影情報中の選択設備情報を検出し、上記選択設備情報に対して予め設定されている関連情報を上記設備情報データベースから抽出し投影箇所を指定して投影情報を作成し上記情報投影手段に送信することを特徴とする請求項１に記載の作業情報提供装置。
上記投影情報作成手段は、上記投影情報として、上記情報投影手段の位置情報と上記作業設備内の投影箇所の位置情報とから、上記情報投影手段の投影方向を指定することを特徴とする請求項１ないし請求項３のいずれかに記載の作業情報提供装置。
上記投影情報作成手段は、上記作業設備内の投影箇所の位置情報を、上記投影手段の投影方向の情報および／または上記第１の識別子の指示方向の情報および上記３次元位置情報に基づいて設定することを特徴とする請求項１ないし請求項３のいずれかに記載の作業情報提供装置。
上記作業設備内に存在する第２の識別子の位置を判断する相対位置検出手段を備え、上記投影情報作成手段は、上記投影情報を投影する上記作業設備内の投影箇所を、上記相対位置検出手段にて検出された上記第２の識別子が存在する箇所に設定することを特徴とする請求項１ないし請求項４のいずれかに記載の作業情報提供装置。