JP2005018385A - 作業情報提供装置 - Google Patents
作業情報提供装置 Download PDFInfo
- Publication number
- JP2005018385A JP2005018385A JP2003181929A JP2003181929A JP2005018385A JP 2005018385 A JP2005018385 A JP 2005018385A JP 2003181929 A JP2003181929 A JP 2003181929A JP 2003181929 A JP2003181929 A JP 2003181929A JP 2005018385 A JP2005018385 A JP 2005018385A
- Authority
- JP
- Japan
- Prior art keywords
- information
- projection
- work
- equipment
- facility
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】指示箇所の同定と、その箇所の状況確認を並行して行うことができる作業情報提供装置を得る。
【解決手段】作業設備内を複数のカメラにより撮影する撮影手段11と、各作業対象設備の3次元位置情報を保持する3次元モデルDB117と、投影情報を作業設備内に投影する情報投影手段14と、各作業対象設備に関する設備情報を保持する設備情報DB18と、撮影手段にて撮影された映像から作業設備内に存在する第1の識別マーク1の指示方向を検出する指示方向検出手段15と、指示方向と3次元モデルDBとから作業対象設備を同定する対象同定手段16と、同定された作業対象設備に対して予め設定されている設備情報を抽出して投影箇所を指定した投影情報を作成する投影情報作成手段13とを備える。
【選択図】 図1
【解決手段】作業設備内を複数のカメラにより撮影する撮影手段11と、各作業対象設備の3次元位置情報を保持する3次元モデルDB117と、投影情報を作業設備内に投影する情報投影手段14と、各作業対象設備に関する設備情報を保持する設備情報DB18と、撮影手段にて撮影された映像から作業設備内に存在する第1の識別マーク1の指示方向を検出する指示方向検出手段15と、指示方向と3次元モデルDBとから作業対象設備を同定する対象同定手段16と、同定された作業対象設備に対して予め設定されている設備情報を抽出して投影箇所を指定した投影情報を作成する投影情報作成手段13とを備える。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
この発明は、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置に関するものである。
【0002】
【従来の技術】
従来、プラントなどの設備の保守や点検といった作業を現場において支援する方法として、作業対象や作業行為に関連する情報を、作業対象物自身、または、その周囲とともに重ね合わせて表示する技術が知られている。
【0003】
例えば、従来の映像表示装置および映像表示システムは、映像情報を対象物またはその周囲を投影する例が示されている。カメラから得られた映像、または(磁気センサ、ジャイロ、超音波センサなどで実現された)位置姿勢計測装置から得られた情報に基づき対象物との間の装置位置との姿勢を計測ならびに計算し、その結果に基づいて投影情報検索部にて投影情報データベースを検索し、映像情報生成部にて投影すべき映像を生成する(例えば、特許文献1参照)。
【0004】
他の従来の場合は、作業者がディスプレイの前で、手または指によりディスプレイの情報を指示すると、撮像手段により撮像された映像を基に、ディスプレイに対して手または指が指し示す方向が算出され、算出された方向に対応するディスプレイ上の位置に、カーソルが移動され、この後、カーソルの位置を入力者が確認してクリック動作を行うと、クリック動作を行ったときにカーソルが位置する部分の情報が、作業者が指示した情報として入力される(例えば、特許文献2参照)。
【0005】
他の従来の場合の作業情報提示装置には、作業行為を同定する手段を設けて、予め想定した作業行為内容と比較してそれに応じた情報を作業者に提示する例が示されている(例えば、特許文献3参照)。
【0006】
【特許文献1】
特許第3274290号(段落0040〜0043、図1)
【特許文献2】
特開平5−324181号(段落0009〜0014、図1)
【特許文献3】
特開2001−282349号(段落0019〜0021、図1)
【0007】
【発明が解決しようとする課題】
従来の作業情報提供装置では、プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する情報(作業対象関連図面、作業必要資料、作業対象物撮影映像)を作業対象物自身、またはその周囲に重ね合わせて表示することができないという問題点があった。
【0008】
この発明は上記のような問題点を解決するためになされたもので、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置を得ることを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の3次元位置情報を保持する3次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第1の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と3次元位置情報とから第1の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたものである。
【0010】
【発明の実施の形態】
実施の形態1.
プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する設備情報(作業対象関連図面、作業必要資料、作業対象物撮影映像)を作業対象設備自身、またはその周囲に重ね合わせて表示するが必要とされている。そしてこの方法において、作業者が、必要な情報を順次切り替えて表示するためのユーザインターフェースの入力項目は、大きく次の2点がある。(1)作業者が求める関連情報の対象、(2)作業者が求める関連情報の種類(配置図面、回路図、保守作業要領書、保守作業ビデオなど)である。そしてこれらを入力するユーザインターフェースは以下の条件を満たす必要がある。
【0011】
(1)では、自由に対象の部分を指示できること(現在指示しようとしている箇所が分かり易いこと)、また、一旦表示した関連情報の一部を指示して、その部分に関連する情報が得られること、さらに、投影している関連情報の部分と、実物の関係がわかりやすいことである。(2)では、1つの対象について、複数の関連情報がある場合も、スムーズに切り替えて関連情報が閲覧可能であること。
【0012】
本願発明は以上に示したことを可能とするために構成されたものである。図1はこの発明の実施の形態1の作業情報提供装置の構成を示すブロック図、図2は図1に示した第1の識別マークの貼付例を示す図、図3および図5ないし図9はこの発明の実施の形態1の作業情報提供装置の作業設備内の構成を示す図、図4は第1の識別マークにより検出される指示方向を説明するための図ある。各図において以下のものを備える。
【0013】
作業設備内には、作業対象設備44と、作業対象設備ではない作業設備42とを備える。ここではそれぞれ単数にて示しているが実際には複数存在する。さらに、作業設備内を撮影する複数のカメラ111、112にて成る撮影手段11と、設備情報を作業設備内に投影する情報投影手段14とを備える。そして、この情報投影手段14は、例えば、携帯表示装置・固定表示装置・プロジェクタ(スクリーン投影、実物の対象に投影)などにて構成することができる。尚、この実施の形態1においては撮影手段11のカメラ111、112および情報投影手段14の絶対位置は既知であるものとして説明する。
【0014】
そして、設備情報データベース(以下、データベースをDBと略して示す)18は、作業対象設備に必要と成る設備情報、例えば作業対象設備に関係する図面、資料、動画などを蓄積しており、それら図面、資料、動画は、ファイルレベル、および、さらにファイルの中の図形要素、文字要素などに、作業対象設備の詳細部分のIDを属性として持たせ、作業対象設備の詳細部分のIDからファイルや、図形要素、文字要素を検索することのできるものとする。作業対象設備の3次元位置情報、また、作業対象設備が複数の構成物にて成る場合はその複数の構成物に対する3次元位置情報をID情報とともに蓄積する3次元モデルDB17とを備える。
【0015】
さらに、作業対象内にて作業する作業者の手101に貼り付けた第1の識別子としての第1の識別マーク、102、105と、撮影手段11にて撮影した第1の識別マーク1の映像から手101の指示する指示方向を検出する指示方向検出手段15と、この検出された手101の指示する指示方向と3次元位置情報とから手101により指示された対象を同定する対象同定手段16とを備える。
【0016】
さらに、投影情報作成手段13は、対象同定手段16にて同定された対象に対する設備情報を設備情報データベース18から抽出し、抽出された例えば図面、資料、動画などの設備情報を、投影する場所、大きさが適切になるように加工して、投影箇所を指示して投影情報として作成し、情報投影手段14にこの投影情報を与える。さらに、情報投影手段14は、対象同定手段16により同定された時点において、同定された交点上にマウスカーソルに相当するシンボル、矢印カーソルを表示する。さらに、撮影手段11にて撮影された映像から、作業設備内に貼り付けられ第2の識別マーク2の位置、およびこの第2の識別マーク2のIDを読み取り、第2の識別マーク2の作業設備内における相対位置関係を算出する相対位置算出手段12を備える。
【0017】
上記のように構成された実施の形態1の作業情報提供装置の第1の識別マークの貼付方法について説明する。図2は作業者の手に貼付する第1の識別マークの貼付例について説明する。まず、図2(a)は、指先の位置と指先が指し示す方向を識別するため、第1の識別マークを手に貼り付けた例である。第1の識別マーク102、103は、指先の部分に貼り付けた第1の識別マーク102と指の付け根の部分に貼り付けられた第1の識別マーク103であり、指先につけた第1の識別マーク102の識別IDと指の付け根につけた第1の識別マーク103の識別IDとを異なるものに設定することで、これをカメラで撮影したときにも指先の位置と指先の付け根の位置とを判別することができる。よってこれらをカメラで撮影することで、その位置と識別IDとを認識し、方向を判断することができる。
【0018】
図2(b)は、ここでは、先に示した指の付け根に第1の識別マークを貼り付ける代わりに、手首に近い側に第1の識別マーク105を貼り付けた例である。このように第1の識別マーク102、105を貼り付けることで、方向を求めるための2点間の距離が長くなり、指示方向の検出精度を向上することができる。
【0019】
次に上記のように構成された実施の形態1の作業情報提供装置の設備情報の表示の動作について図10ないし図12を交えて説明する。まず、作業提供システムを起動する(図10のステップ1301)。そして、図2に示すように、第1の識別マーク102、105が貼付された手袋などを作業者が手101に装着する。次に、図3に示すように作業者の手101が作業設備内にて情報必要箇所を指す。
【0020】
次に、指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図10のステップ1401)。この手の指示方向の検出方法の詳細について図4を用いて説明する。撮影手段11は作業設備内を撮影し図4に示すような映像を得たとする。本来映像は3次元であるが、便宜上2次元にして示し説明する。まず、各第1の識別マーク102、105の3次元位置をカメラ111、112の撮影画像のステレオ視により求める。
【0021】
カメラ111からの視線ベクトル509とカメラ112からの視線ベクトル510の交点が、第1の識別マーク105の3次元位置となる。同様に第1の識別マーク102は、視線ベクトル511と視線ベクトル512との交点として求められる。以上により、手101に貼り付けられた第1の識別マーク102、105の相対位置関係とカメラ111、112との絶対位置から、手に貼り付けられた第1の識別マーク102、105の絶対位置(3次元)を求めることができる。
【0022】
次に、交点の第2の識別マーク102から交点の第2の識別マーク105を結ぶベクトル515が、作業者が対象を指し示すベクトル(方向)すなわち指示方向516が検出される。次に、対象同定手段16は指示方向516と3次元モデル(3次元位置情報)との交点を求める(図10のステップ1402)。具体的には図4に示すように、ベクトル515上に延長した指示方向516と、3次元位置モデル(3次元位置情報)との交点518をデータ上にて求める。
【0023】
次に、情報投影手段14は交点518に現在の指示位置を示す矢印カーソルを表示する(図10のステップ1403)。具体的には図5に示すように、交点518を指し示すように矢印カーソル69が表示される。このことにより、作業者は現在の指示位置の確認を容易に行うことができる。次に、手101の位置(動き)が、指示方向516に移動して戻る動作(クリック動作)を行ったか否かを撮影手段11にてモニタする(図10のステップ1405)。そして、クリック動作を行っていない場合には、図10のステップ1401に戻り上記に示した動作を行う。
【0024】
また、クリック動作を行った場合には、対象同定手段16は交点518の属する面すなわち作業対象設備44を求める(図10のステップ1406)。次に、3次元モデルDB17から選択面に付与された属性から詳細部分識別IDを得る(図10のステップ1407)。次に、選択面が対象として選択され、当該詳細部分IDが選択されたと同定する(図10のステップ1408)。
【0025】
次に、撮影情報作成手段13は対象の詳細部分識別IDを有する情報を設備情報DB18にて検索する(図11のステップ1501)。次に、得られた情報をメニューとして表示するための領域を算出する(図11のステップ1502)。次に、3次元位置モデルDB107を用いて、対象の面の近傍で、対象の面の法線ベクトルに近い法線ベクトルを持ち、かつ上記算出した領域以上の領域を持つ面を検索し、投影箇所を決定する(図11のステップ1503)。次に、検索された面(投影箇所)にメニューを表示する投影情報を作成し、投影手段14に送信し、投影手段14は指定された面(投影箇所)上に情報を投影する。この際、決定された作業設備内の投影箇所の位置情報と、先に検出されている情報投影手段14の位置情報とから、情報投影手段14の投影方向が指定されている。(図11のステップ1505)。
【0026】
図6に情報が投影された場合の例を示す。ここでは設備情報としての選択メニュー703として、上から単線結線図、配置図、取り扱い説明書、保守動作説明書などあらかじめ登録されていたものが投影されている。またこの時、元の交点518との関係が分かるように、交点518から選択メニュー703の間をつなぐ、つなぎ表示704を同時に投影情報作成手段13が作成し、情報投影手段14で投影することができるように構成している。
【0027】
次に、再び指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図11のステップ1506)。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段16は指示方向と3次元モデルとの交点を求める(図11のステップ1507)。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【0028】
次に、情報投影手段14は交点に現在の指示位置を示す矢印カーソル706(図6参照)を表示する(図11のステップ1508)。次に、手101の位置(動き)が、指示方向に移動して戻る動作(クリック動作)を行ったか否かを撮影手段11にてモニタする(図11のステップ1509)。そして、クリック動作を行っていない場合には、図11のステップ1506に戻り上記に示した動作を行う。
【0029】
また、クリック動作を行った場合には、対象同定手段16は交点が選択メニュー703のどの位置に属するかを求める(図11のステップ1510)。次に、その位置から選択された選択メニューに対応する設備情報を、設備情報DB18から抽出して投影情報として情報投影手段14が投影する(図11のステップ1511)。ここでは、図6における選択メニュー703中の単線結線図のメニューが選択され、その単線結線図801が表示された場合の投影状態を図7に示す。
【0030】
次に、再び指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図12のステップ1601)。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段16は指示方向と3次元モデルとの交点を求める(図12のステップ1602)。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【0031】
次に、情報投影手段14は交点に現在の指示位置を示す矢印カーソル804(図8参照)を表示する(図12のステップ1603)。次に、この交点が情報、すなわち単線結線図801が投影されている面(すなわち設備情報が投影されている投影箇所)か否かを判断する(図12にステップ1604)。次に、単線結線図801中にあると判断された場合、対象同定手段16は交点が単線結線図801中のどの位置かを求める(図12のステップ1605)。
【0032】
次に、その位置から作業対象設備44の内のいずれの構成要素かを検出する(図12のステップ1606)。次に、構成要素の属性に付与されている詳細部分IDを抽出する(図12のステップ1607)。次に、詳細部分IDを属性として持つ3次元モデルの面を3次元モデルDB17から検索する(図12のステップ1608)。次に詳細部分IDを属性として持つ3次元モデルの面をハイライト表示(たとえば、強調表示、点滅表示などである)する。そして再び、図12のステップ1601に戻る。
【0033】
ここでは、図8に示すように、指示方向が単線結線図801中にあると判断された場合で、構成要素と判断された部分を投影箇所808とし、その部分にハイライト情報807を表示したものを示す。
【0034】
次に、この交点が情報、すなわち単線結線図801外(すなわち設備情報が投影されている投影箇所以外)と判断された場合、その位置から作業対象設備44の内のいずれに属する面か3次元モデルDB17から詳細部分IDを検索する(図12のステップ1610)。次に、投影情報中すなわち単線結線図801中の情報中の詳細部分IDから同一の構成要素を検出する(図12のステップ1611)。次に、その構成要素に対応する投影情報中部分をハイライト表示(たとえば、強調表示、点滅表示などである)する。そして再び、図12のステップ1601に戻る。
【0035】
ここでは、図9に示すように、指示方向が作業対象設備44の矢印カーソル811の指す交点810であり、その箇所に対応するIDを有する単線結線図801中の部分をハイライト情報812として表示したものを示す。
【0036】
上記のように構成された実施の形態1の作業情報提供装置は、作業対象設備の部分を作業者が手で指し示すと、当該部分に関連する設備情報を選択メニューとして実物の作業設備内に投影し、さらに投影された選択メニューを指し示すことで、必要な情報を選択的に表示できる。そして、このことを繰り返すことで、順次情報切り替えて表示していくことができる。また、ハイライト表示を組み込むことで対象となる箇所の設備情報をより一層明確に確認することができる。
【0037】
また、上記実施の形態1においては、カメラ、情報投影手段の絶対位置が既知の場合を示したが、これに限られることはなく、カメラ、情報投影手段が作業設備内を移動可能に形成されているような場合には、カメラ、情報投影手段の絶対位置をカメラの映像と、3次元モデルDBのデータから確認できる作業対象設備の絶対位置との相対関係から容易に算出することができることは言うまでもない。
【0038】
また、投影箇所の位置を対象の面の近傍で法線ベクトルを用いて決定する例を示したがこれに限られることはなく、他の情報を用いて決定してもよい。例えば、指示方向の指示ベクトルの逆ベクトルと同様の法線ベクトルを有する面を3次元モデルDBから検出して決定する方法。このように決定すれば、指示方向(すなわち、作業者)から投影箇所に投影された情報を容易に確認することができるものとなる。また、他の方法としては、指示方向から投影位置がすべて確認することができる箇所(尚、ここで言うすべてとは、情報を確認するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の90%を有することを条件とするなど、様々な設定が考えられる。)を選択するために、まず、指示方向から投影した場合に投影される箇所の第1の面積を求め、その第1の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第2の面積(すなわち、実際に投影可能となる面積)を求める。次に第1および第2の面積の差(すなわち、実際に投影不可能となる面積)を求め、その差を第1の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、指示方向から投影される面積の割合が大きく成るため、容易に情報を確認することができる。
【0039】
また、情報投影手段の投影方向(ここでいう投影方向とは、情報投影手段の位置から情報を投影するために使用する箇所の中心位置に向かうベクトルを指す)から検討する場合も考えられる。例えば、投影方向の方向ベクトルの逆ベクトルと同様の法線ベクトルを有する面を3次元モデルDBから検出して決定する方法。このように決定すれば、投影方向から投影箇所に確実に投影情報を投影することができるものとなる。また、他の方法としては、投影方向から投影位置にすべて情報を投影することができる箇所(尚、ここで言うすべてとは、情報を投影するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の90%を有することを条件とするなど、様々な設定が考えられる。)を選択するために、まず、投影方向から投影した場合に投影される箇所の第1の面積を求め、その第1の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第2の面積を求める(すなわち、実際に投影可能となる面積)。次に第1および第2の面積の差(すなわち、実際に投影不可能となる面積)を求め、その差を第1の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、投影方向から投影される面積の割合が大きく成るため、確実に情報を投影することができる
【0040】
このような、さまざまな方法を用いて投影箇所を決定することができる。また、上記に示した方法を組み合わせることにより決定することができることは言うまでもない。
【0041】
実施の形態2.
上記実施の形態1の作業情報提供装置では設備情報を3次元モデルDB内のデータに基づいて、元の注目点(交点)の近傍で、元の注目点が属する面の法線ベクトルに近い法線ベクトルを有する面を検索し、そこに投影する例を示したが、これに限られることはなく、この実施の形態2では、3次元モデルDBに存在しない位置、作業者の他方の手の甲に選択メニューを投影する例について説明する。
【0042】
図13は、情報を投影のための作業者の手に貼り付ける第2の識別マークの貼付例を示したものである。このように手901に複数(3個以上)の第2の識別マーク902、903、904を貼り付けることで、対象を指示する手の位置、方向検出手段が、位置、方向だけでなく、手901の面の情報を得ることができる。
【0043】
これは各第2の識別マーク902、903、904の3次元位置を検出し、識別マーク902、903を結ぶ3次元ベクトル905と識別マーク902、904を結ぶ3次元ベクトル906から、図14に示すように、手901の仮想面の法線ベクトル907を求めることができる(尚、図14において手の甲を便宜上矩形にて示している)。また、第2の識別マーク902、903を結ぶ3次元ベクトル905と、第2の識別マーク902、904を結ぶ3次元ベクトル906とが直交するように配置すると、より精度よく面の法線ベクトル、および面内の座標系を求めることができることはいうまでもない。
【0044】
図15は上記のように求めた手の甲の面の法線ベクトル、面内の座標系に基づき、選択メニューを手の甲に情報を投影する例を示す図である。図において上記実施の形態1と同様の部分は同一符号を付して説明を省略する。手901に選択メニュー910が情報投影手段14により投影されている。この時、作業者の他方の手101は上記実施の形態1と同様に第1の識別マーク102、105が貼付されている。
【0045】
作業者の手は常時動くことが想定されるため、撮影手段11で常時撮影し、対象を指示する手の指示方向検出手段15で常に手の甲の面の法線ベクトル、座標系を検出し、これに対応して投影情報作成手段13で常に手の甲に投影位置、方向を変更する。また、手の甲に選択メニューを投影する場合においては、選択メニューが投影されている部分に直接手で触っても、対象設備の操作と誤認識することがないため、指先の位置が選択メニューを投影している部分のどこに触れたかで、どのメニューを選択したかを識別しても良い。
【0046】
図15では選択メニュー910の選択方法を示しており、投影された選択メニュー910の一部を他方の作業者の手101の指先が接触、あるいは仮想面との距離が閾値以下となったことをもって、選択したと判定するようにしてもよい。選択した後の設備情報の投影などは上記実施の形態1と同様に行うことができることは言うまでもない。
【0047】
上記のように構成された実施の形態2の作業情報提供装置は、作業者の手に設備情報を投影し、他方の手でその設備情報を触れることで設備情報の選択ができるので、確実に設備情報の選択ができる。
【0048】
上記実施の形態2においては、3次元モデルDBに存在しない位置として、作業者の他方の手の甲に選択メニューを投影する例を示したがこれに限られることはなく、例えば、図16に示すように作業設備内の作業対象設備以外の作業設備42に第2の識別マーク201、202、203、204を貼付して行うようにしてもよい。
【0049】
この場合、図17に示すように、上記実施の形態1にて示した場合と同様に、カメラ111からの視線ベクトル503、505とカメラ112からの視線ベクトル504、506の交点202、201が、第2の識別マーク202、201の3次元位置となる。このようにして各第2の識別マークの位置を検出して、他の絶対位置との関係より相対位置検出手段12にて第2の識別マークの絶対位置を判定し、上記に示した場合と同様に選択メニューなどの設備情報を表示して同様に行うことができる。
【0050】
また、他の作業設備内における壁面、天井面、また新たに設置された投射面などであっても、第2の識別マークを貼付し、その位置が検出可能であればいずれのものに対しても設備情報を投影することができること言うまでもない。また、その面は平面に限られることはなく、曲面であっても投影情報をその曲面情報に基づいて適宜設定すれば投影可能となることは言うまでもない。
【0051】
【発明の効果】
以上のようにこの発明によれば、作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の3次元位置情報を保持する3次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第1の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と3次元位置情報とから第1の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたので、第1の識別子の指示箇所の同定と、その箇所の状況確認を並行して行うことができる作業情報提供装置を提供することができる。
【図面の簡単な説明】
【図1】この発明の実施の形態1に作業情報提供装置の構成を示す図である。
【図2】図1に示した作業情報提供装置の第1の識別マークの貼付例を示した図である。
【図3】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図4】図1に示した作業情報提供装置を用いた指示方向の同定方法の例を示した図である。
【図5】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図6】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図7】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図8】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図9】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図10】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図11】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図12】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図13】この発明の実施の形態2における作業情報提供装置の第2の識別子の貼付例を示した図である。
【図14】図13に示した第2の識別マークの法線ベクトルの検出方法を示した図である。
【図15】この発明の実施の形態2における作業情報提供装置を用いた作業設備の例を示した図である。
【図16】この発明の実施の形態2における作業情報提供装置を用いた作業設備の第2の識別マークの貼付例を示した図である。
【図17】図16に示した第2の識別マークの位置の検出方法を示した図である。
【符号の説明】
1,102,103,105 第1の識別マーク、
2,201,202,203,204,902,903,904 第2の識別マーク、
11 撮影手段、12 相対位置検出手段、13 投影情報作成手段、
14 情報投影手段、15 指示方向検出手段16対象同定手段、
17 3次元モデルDB、18 設備情報DB、111,112 カメラ、
42 作業設備、44 作業対象設備、101,901 手、
516 指示方向、518 交点、702,808 投影箇所、
703,910 選択メニュー。
【発明の属する技術分野】
この発明は、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置に関するものである。
【0002】
【従来の技術】
従来、プラントなどの設備の保守や点検といった作業を現場において支援する方法として、作業対象や作業行為に関連する情報を、作業対象物自身、または、その周囲とともに重ね合わせて表示する技術が知られている。
【0003】
例えば、従来の映像表示装置および映像表示システムは、映像情報を対象物またはその周囲を投影する例が示されている。カメラから得られた映像、または(磁気センサ、ジャイロ、超音波センサなどで実現された)位置姿勢計測装置から得られた情報に基づき対象物との間の装置位置との姿勢を計測ならびに計算し、その結果に基づいて投影情報検索部にて投影情報データベースを検索し、映像情報生成部にて投影すべき映像を生成する(例えば、特許文献1参照)。
【0004】
他の従来の場合は、作業者がディスプレイの前で、手または指によりディスプレイの情報を指示すると、撮像手段により撮像された映像を基に、ディスプレイに対して手または指が指し示す方向が算出され、算出された方向に対応するディスプレイ上の位置に、カーソルが移動され、この後、カーソルの位置を入力者が確認してクリック動作を行うと、クリック動作を行ったときにカーソルが位置する部分の情報が、作業者が指示した情報として入力される(例えば、特許文献2参照)。
【0005】
他の従来の場合の作業情報提示装置には、作業行為を同定する手段を設けて、予め想定した作業行為内容と比較してそれに応じた情報を作業者に提示する例が示されている(例えば、特許文献3参照)。
【0006】
【特許文献1】
特許第3274290号(段落0040〜0043、図1)
【特許文献2】
特開平5−324181号(段落0009〜0014、図1)
【特許文献3】
特開2001−282349号(段落0019〜0021、図1)
【0007】
【発明が解決しようとする課題】
従来の作業情報提供装置では、プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する情報(作業対象関連図面、作業必要資料、作業対象物撮影映像)を作業対象物自身、またはその周囲に重ね合わせて表示することができないという問題点があった。
【0008】
この発明は上記のような問題点を解決するためになされたもので、現場作業の同定と、現場作業の状況確認を並行して行うことができる作業情報提供装置を得ることを目的とする。
【0009】
【課題を解決するための手段】
この発明に係る作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の3次元位置情報を保持する3次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第1の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と3次元位置情報とから第1の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたものである。
【0010】
【発明の実施の形態】
実施の形態1.
プラントなどの設備の保守や点検といった作業を現場にて、作業対象や作業行為に関連する設備情報(作業対象関連図面、作業必要資料、作業対象物撮影映像)を作業対象設備自身、またはその周囲に重ね合わせて表示するが必要とされている。そしてこの方法において、作業者が、必要な情報を順次切り替えて表示するためのユーザインターフェースの入力項目は、大きく次の2点がある。(1)作業者が求める関連情報の対象、(2)作業者が求める関連情報の種類(配置図面、回路図、保守作業要領書、保守作業ビデオなど)である。そしてこれらを入力するユーザインターフェースは以下の条件を満たす必要がある。
【0011】
(1)では、自由に対象の部分を指示できること(現在指示しようとしている箇所が分かり易いこと)、また、一旦表示した関連情報の一部を指示して、その部分に関連する情報が得られること、さらに、投影している関連情報の部分と、実物の関係がわかりやすいことである。(2)では、1つの対象について、複数の関連情報がある場合も、スムーズに切り替えて関連情報が閲覧可能であること。
【0012】
本願発明は以上に示したことを可能とするために構成されたものである。図1はこの発明の実施の形態1の作業情報提供装置の構成を示すブロック図、図2は図1に示した第1の識別マークの貼付例を示す図、図3および図5ないし図9はこの発明の実施の形態1の作業情報提供装置の作業設備内の構成を示す図、図4は第1の識別マークにより検出される指示方向を説明するための図ある。各図において以下のものを備える。
【0013】
作業設備内には、作業対象設備44と、作業対象設備ではない作業設備42とを備える。ここではそれぞれ単数にて示しているが実際には複数存在する。さらに、作業設備内を撮影する複数のカメラ111、112にて成る撮影手段11と、設備情報を作業設備内に投影する情報投影手段14とを備える。そして、この情報投影手段14は、例えば、携帯表示装置・固定表示装置・プロジェクタ(スクリーン投影、実物の対象に投影)などにて構成することができる。尚、この実施の形態1においては撮影手段11のカメラ111、112および情報投影手段14の絶対位置は既知であるものとして説明する。
【0014】
そして、設備情報データベース(以下、データベースをDBと略して示す)18は、作業対象設備に必要と成る設備情報、例えば作業対象設備に関係する図面、資料、動画などを蓄積しており、それら図面、資料、動画は、ファイルレベル、および、さらにファイルの中の図形要素、文字要素などに、作業対象設備の詳細部分のIDを属性として持たせ、作業対象設備の詳細部分のIDからファイルや、図形要素、文字要素を検索することのできるものとする。作業対象設備の3次元位置情報、また、作業対象設備が複数の構成物にて成る場合はその複数の構成物に対する3次元位置情報をID情報とともに蓄積する3次元モデルDB17とを備える。
【0015】
さらに、作業対象内にて作業する作業者の手101に貼り付けた第1の識別子としての第1の識別マーク、102、105と、撮影手段11にて撮影した第1の識別マーク1の映像から手101の指示する指示方向を検出する指示方向検出手段15と、この検出された手101の指示する指示方向と3次元位置情報とから手101により指示された対象を同定する対象同定手段16とを備える。
【0016】
さらに、投影情報作成手段13は、対象同定手段16にて同定された対象に対する設備情報を設備情報データベース18から抽出し、抽出された例えば図面、資料、動画などの設備情報を、投影する場所、大きさが適切になるように加工して、投影箇所を指示して投影情報として作成し、情報投影手段14にこの投影情報を与える。さらに、情報投影手段14は、対象同定手段16により同定された時点において、同定された交点上にマウスカーソルに相当するシンボル、矢印カーソルを表示する。さらに、撮影手段11にて撮影された映像から、作業設備内に貼り付けられ第2の識別マーク2の位置、およびこの第2の識別マーク2のIDを読み取り、第2の識別マーク2の作業設備内における相対位置関係を算出する相対位置算出手段12を備える。
【0017】
上記のように構成された実施の形態1の作業情報提供装置の第1の識別マークの貼付方法について説明する。図2は作業者の手に貼付する第1の識別マークの貼付例について説明する。まず、図2(a)は、指先の位置と指先が指し示す方向を識別するため、第1の識別マークを手に貼り付けた例である。第1の識別マーク102、103は、指先の部分に貼り付けた第1の識別マーク102と指の付け根の部分に貼り付けられた第1の識別マーク103であり、指先につけた第1の識別マーク102の識別IDと指の付け根につけた第1の識別マーク103の識別IDとを異なるものに設定することで、これをカメラで撮影したときにも指先の位置と指先の付け根の位置とを判別することができる。よってこれらをカメラで撮影することで、その位置と識別IDとを認識し、方向を判断することができる。
【0018】
図2(b)は、ここでは、先に示した指の付け根に第1の識別マークを貼り付ける代わりに、手首に近い側に第1の識別マーク105を貼り付けた例である。このように第1の識別マーク102、105を貼り付けることで、方向を求めるための2点間の距離が長くなり、指示方向の検出精度を向上することができる。
【0019】
次に上記のように構成された実施の形態1の作業情報提供装置の設備情報の表示の動作について図10ないし図12を交えて説明する。まず、作業提供システムを起動する(図10のステップ1301)。そして、図2に示すように、第1の識別マーク102、105が貼付された手袋などを作業者が手101に装着する。次に、図3に示すように作業者の手101が作業設備内にて情報必要箇所を指す。
【0020】
次に、指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図10のステップ1401)。この手の指示方向の検出方法の詳細について図4を用いて説明する。撮影手段11は作業設備内を撮影し図4に示すような映像を得たとする。本来映像は3次元であるが、便宜上2次元にして示し説明する。まず、各第1の識別マーク102、105の3次元位置をカメラ111、112の撮影画像のステレオ視により求める。
【0021】
カメラ111からの視線ベクトル509とカメラ112からの視線ベクトル510の交点が、第1の識別マーク105の3次元位置となる。同様に第1の識別マーク102は、視線ベクトル511と視線ベクトル512との交点として求められる。以上により、手101に貼り付けられた第1の識別マーク102、105の相対位置関係とカメラ111、112との絶対位置から、手に貼り付けられた第1の識別マーク102、105の絶対位置(3次元)を求めることができる。
【0022】
次に、交点の第2の識別マーク102から交点の第2の識別マーク105を結ぶベクトル515が、作業者が対象を指し示すベクトル(方向)すなわち指示方向516が検出される。次に、対象同定手段16は指示方向516と3次元モデル(3次元位置情報)との交点を求める(図10のステップ1402)。具体的には図4に示すように、ベクトル515上に延長した指示方向516と、3次元位置モデル(3次元位置情報)との交点518をデータ上にて求める。
【0023】
次に、情報投影手段14は交点518に現在の指示位置を示す矢印カーソルを表示する(図10のステップ1403)。具体的には図5に示すように、交点518を指し示すように矢印カーソル69が表示される。このことにより、作業者は現在の指示位置の確認を容易に行うことができる。次に、手101の位置(動き)が、指示方向516に移動して戻る動作(クリック動作)を行ったか否かを撮影手段11にてモニタする(図10のステップ1405)。そして、クリック動作を行っていない場合には、図10のステップ1401に戻り上記に示した動作を行う。
【0024】
また、クリック動作を行った場合には、対象同定手段16は交点518の属する面すなわち作業対象設備44を求める(図10のステップ1406)。次に、3次元モデルDB17から選択面に付与された属性から詳細部分識別IDを得る(図10のステップ1407)。次に、選択面が対象として選択され、当該詳細部分IDが選択されたと同定する(図10のステップ1408)。
【0025】
次に、撮影情報作成手段13は対象の詳細部分識別IDを有する情報を設備情報DB18にて検索する(図11のステップ1501)。次に、得られた情報をメニューとして表示するための領域を算出する(図11のステップ1502)。次に、3次元位置モデルDB107を用いて、対象の面の近傍で、対象の面の法線ベクトルに近い法線ベクトルを持ち、かつ上記算出した領域以上の領域を持つ面を検索し、投影箇所を決定する(図11のステップ1503)。次に、検索された面(投影箇所)にメニューを表示する投影情報を作成し、投影手段14に送信し、投影手段14は指定された面(投影箇所)上に情報を投影する。この際、決定された作業設備内の投影箇所の位置情報と、先に検出されている情報投影手段14の位置情報とから、情報投影手段14の投影方向が指定されている。(図11のステップ1505)。
【0026】
図6に情報が投影された場合の例を示す。ここでは設備情報としての選択メニュー703として、上から単線結線図、配置図、取り扱い説明書、保守動作説明書などあらかじめ登録されていたものが投影されている。またこの時、元の交点518との関係が分かるように、交点518から選択メニュー703の間をつなぐ、つなぎ表示704を同時に投影情報作成手段13が作成し、情報投影手段14で投影することができるように構成している。
【0027】
次に、再び指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図11のステップ1506)。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段16は指示方向と3次元モデルとの交点を求める(図11のステップ1507)。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【0028】
次に、情報投影手段14は交点に現在の指示位置を示す矢印カーソル706(図6参照)を表示する(図11のステップ1508)。次に、手101の位置(動き)が、指示方向に移動して戻る動作(クリック動作)を行ったか否かを撮影手段11にてモニタする(図11のステップ1509)。そして、クリック動作を行っていない場合には、図11のステップ1506に戻り上記に示した動作を行う。
【0029】
また、クリック動作を行った場合には、対象同定手段16は交点が選択メニュー703のどの位置に属するかを求める(図11のステップ1510)。次に、その位置から選択された選択メニューに対応する設備情報を、設備情報DB18から抽出して投影情報として情報投影手段14が投影する(図11のステップ1511)。ここでは、図6における選択メニュー703中の単線結線図のメニューが選択され、その単線結線図801が表示された場合の投影状態を図7に示す。
【0030】
次に、再び指示方向検出手段15は、第1の識別マーク102、105をカメラ111、112により撮影し、その映像に基づいて手の指示方向を検出する(図12のステップ1601)。指示方向の検出の詳細について上記に示した方法と同様の方法にて行うものとする。次に、対象同定手段16は指示方向と3次元モデルとの交点を求める(図12のステップ1602)。この交点の検出の詳細については上記に示した方法と同様の方法にて行うものとする。
【0031】
次に、情報投影手段14は交点に現在の指示位置を示す矢印カーソル804(図8参照)を表示する(図12のステップ1603)。次に、この交点が情報、すなわち単線結線図801が投影されている面(すなわち設備情報が投影されている投影箇所)か否かを判断する(図12にステップ1604)。次に、単線結線図801中にあると判断された場合、対象同定手段16は交点が単線結線図801中のどの位置かを求める(図12のステップ1605)。
【0032】
次に、その位置から作業対象設備44の内のいずれの構成要素かを検出する(図12のステップ1606)。次に、構成要素の属性に付与されている詳細部分IDを抽出する(図12のステップ1607)。次に、詳細部分IDを属性として持つ3次元モデルの面を3次元モデルDB17から検索する(図12のステップ1608)。次に詳細部分IDを属性として持つ3次元モデルの面をハイライト表示(たとえば、強調表示、点滅表示などである)する。そして再び、図12のステップ1601に戻る。
【0033】
ここでは、図8に示すように、指示方向が単線結線図801中にあると判断された場合で、構成要素と判断された部分を投影箇所808とし、その部分にハイライト情報807を表示したものを示す。
【0034】
次に、この交点が情報、すなわち単線結線図801外(すなわち設備情報が投影されている投影箇所以外)と判断された場合、その位置から作業対象設備44の内のいずれに属する面か3次元モデルDB17から詳細部分IDを検索する(図12のステップ1610)。次に、投影情報中すなわち単線結線図801中の情報中の詳細部分IDから同一の構成要素を検出する(図12のステップ1611)。次に、その構成要素に対応する投影情報中部分をハイライト表示(たとえば、強調表示、点滅表示などである)する。そして再び、図12のステップ1601に戻る。
【0035】
ここでは、図9に示すように、指示方向が作業対象設備44の矢印カーソル811の指す交点810であり、その箇所に対応するIDを有する単線結線図801中の部分をハイライト情報812として表示したものを示す。
【0036】
上記のように構成された実施の形態1の作業情報提供装置は、作業対象設備の部分を作業者が手で指し示すと、当該部分に関連する設備情報を選択メニューとして実物の作業設備内に投影し、さらに投影された選択メニューを指し示すことで、必要な情報を選択的に表示できる。そして、このことを繰り返すことで、順次情報切り替えて表示していくことができる。また、ハイライト表示を組み込むことで対象となる箇所の設備情報をより一層明確に確認することができる。
【0037】
また、上記実施の形態1においては、カメラ、情報投影手段の絶対位置が既知の場合を示したが、これに限られることはなく、カメラ、情報投影手段が作業設備内を移動可能に形成されているような場合には、カメラ、情報投影手段の絶対位置をカメラの映像と、3次元モデルDBのデータから確認できる作業対象設備の絶対位置との相対関係から容易に算出することができることは言うまでもない。
【0038】
また、投影箇所の位置を対象の面の近傍で法線ベクトルを用いて決定する例を示したがこれに限られることはなく、他の情報を用いて決定してもよい。例えば、指示方向の指示ベクトルの逆ベクトルと同様の法線ベクトルを有する面を3次元モデルDBから検出して決定する方法。このように決定すれば、指示方向(すなわち、作業者)から投影箇所に投影された情報を容易に確認することができるものとなる。また、他の方法としては、指示方向から投影位置がすべて確認することができる箇所(尚、ここで言うすべてとは、情報を確認するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の90%を有することを条件とするなど、様々な設定が考えられる。)を選択するために、まず、指示方向から投影した場合に投影される箇所の第1の面積を求め、その第1の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第2の面積(すなわち、実際に投影可能となる面積)を求める。次に第1および第2の面積の差(すなわち、実際に投影不可能となる面積)を求め、その差を第1の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、指示方向から投影される面積の割合が大きく成るため、容易に情報を確認することができる。
【0039】
また、情報投影手段の投影方向(ここでいう投影方向とは、情報投影手段の位置から情報を投影するために使用する箇所の中心位置に向かうベクトルを指す)から検討する場合も考えられる。例えば、投影方向の方向ベクトルの逆ベクトルと同様の法線ベクトルを有する面を3次元モデルDBから検出して決定する方法。このように決定すれば、投影方向から投影箇所に確実に投影情報を投影することができるものとなる。また、他の方法としては、投影方向から投影位置にすべて情報を投影することができる箇所(尚、ここで言うすべてとは、情報を投影するために差し障りのない程度のことを指すものとする。例えば、情報投影面積の90%を有することを条件とするなど、様々な設定が考えられる。)を選択するために、まず、投影方向から投影した場合に投影される箇所の第1の面積を求め、その第1の面積の内、その面より前方に他の設備が存在するため投影が遮られる箇所以外の第2の面積を求める(すなわち、実際に投影可能となる面積)。次に第1および第2の面積の差(すなわち、実際に投影不可能となる面積)を求め、その差を第1の面積で割る。そして、その結果が小さいものを選択して投影箇所とする。このようにすれば、投影方向から投影される面積の割合が大きく成るため、確実に情報を投影することができる
【0040】
このような、さまざまな方法を用いて投影箇所を決定することができる。また、上記に示した方法を組み合わせることにより決定することができることは言うまでもない。
【0041】
実施の形態2.
上記実施の形態1の作業情報提供装置では設備情報を3次元モデルDB内のデータに基づいて、元の注目点(交点)の近傍で、元の注目点が属する面の法線ベクトルに近い法線ベクトルを有する面を検索し、そこに投影する例を示したが、これに限られることはなく、この実施の形態2では、3次元モデルDBに存在しない位置、作業者の他方の手の甲に選択メニューを投影する例について説明する。
【0042】
図13は、情報を投影のための作業者の手に貼り付ける第2の識別マークの貼付例を示したものである。このように手901に複数(3個以上)の第2の識別マーク902、903、904を貼り付けることで、対象を指示する手の位置、方向検出手段が、位置、方向だけでなく、手901の面の情報を得ることができる。
【0043】
これは各第2の識別マーク902、903、904の3次元位置を検出し、識別マーク902、903を結ぶ3次元ベクトル905と識別マーク902、904を結ぶ3次元ベクトル906から、図14に示すように、手901の仮想面の法線ベクトル907を求めることができる(尚、図14において手の甲を便宜上矩形にて示している)。また、第2の識別マーク902、903を結ぶ3次元ベクトル905と、第2の識別マーク902、904を結ぶ3次元ベクトル906とが直交するように配置すると、より精度よく面の法線ベクトル、および面内の座標系を求めることができることはいうまでもない。
【0044】
図15は上記のように求めた手の甲の面の法線ベクトル、面内の座標系に基づき、選択メニューを手の甲に情報を投影する例を示す図である。図において上記実施の形態1と同様の部分は同一符号を付して説明を省略する。手901に選択メニュー910が情報投影手段14により投影されている。この時、作業者の他方の手101は上記実施の形態1と同様に第1の識別マーク102、105が貼付されている。
【0045】
作業者の手は常時動くことが想定されるため、撮影手段11で常時撮影し、対象を指示する手の指示方向検出手段15で常に手の甲の面の法線ベクトル、座標系を検出し、これに対応して投影情報作成手段13で常に手の甲に投影位置、方向を変更する。また、手の甲に選択メニューを投影する場合においては、選択メニューが投影されている部分に直接手で触っても、対象設備の操作と誤認識することがないため、指先の位置が選択メニューを投影している部分のどこに触れたかで、どのメニューを選択したかを識別しても良い。
【0046】
図15では選択メニュー910の選択方法を示しており、投影された選択メニュー910の一部を他方の作業者の手101の指先が接触、あるいは仮想面との距離が閾値以下となったことをもって、選択したと判定するようにしてもよい。選択した後の設備情報の投影などは上記実施の形態1と同様に行うことができることは言うまでもない。
【0047】
上記のように構成された実施の形態2の作業情報提供装置は、作業者の手に設備情報を投影し、他方の手でその設備情報を触れることで設備情報の選択ができるので、確実に設備情報の選択ができる。
【0048】
上記実施の形態2においては、3次元モデルDBに存在しない位置として、作業者の他方の手の甲に選択メニューを投影する例を示したがこれに限られることはなく、例えば、図16に示すように作業設備内の作業対象設備以外の作業設備42に第2の識別マーク201、202、203、204を貼付して行うようにしてもよい。
【0049】
この場合、図17に示すように、上記実施の形態1にて示した場合と同様に、カメラ111からの視線ベクトル503、505とカメラ112からの視線ベクトル504、506の交点202、201が、第2の識別マーク202、201の3次元位置となる。このようにして各第2の識別マークの位置を検出して、他の絶対位置との関係より相対位置検出手段12にて第2の識別マークの絶対位置を判定し、上記に示した場合と同様に選択メニューなどの設備情報を表示して同様に行うことができる。
【0050】
また、他の作業設備内における壁面、天井面、また新たに設置された投射面などであっても、第2の識別マークを貼付し、その位置が検出可能であればいずれのものに対しても設備情報を投影することができること言うまでもない。また、その面は平面に限られることはなく、曲面であっても投影情報をその曲面情報に基づいて適宜設定すれば投影可能となることは言うまでもない。
【0051】
【発明の効果】
以上のようにこの発明によれば、作業情報提供装置は、複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、各作業対象設備の3次元位置情報を保持する3次元モデルデータベースと、投影情報を作業設備内に投影する情報投影手段と、各作業対象設備に関する設備情報を保持する設備情報データベースと、撮影手段にて撮影された映像から作業設備内に存在する第1の識別子が指示する指示方向を検出する指示方向検出手段と、指示方向と3次元位置情報とから第1の識別子が指示する作業対象設備を同定する対象同定手段と、対象同定手段にて同定された作業対象設備に対して予め設定されている設備情報を設備情報データベースから抽出して投影箇所を指定して投影情報を作成し情報投影手段に送信する投影情報作成手段とを備えたので、第1の識別子の指示箇所の同定と、その箇所の状況確認を並行して行うことができる作業情報提供装置を提供することができる。
【図面の簡単な説明】
【図1】この発明の実施の形態1に作業情報提供装置の構成を示す図である。
【図2】図1に示した作業情報提供装置の第1の識別マークの貼付例を示した図である。
【図3】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図4】図1に示した作業情報提供装置を用いた指示方向の同定方法の例を示した図である。
【図5】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図6】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図7】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図8】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図9】図1に示した作業情報提供装置を用いた作業設備の例を示した図である。
【図10】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図11】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図12】図1に示した作業情報提供装置の動作を説明するためのフローチャートを示した図である。
【図13】この発明の実施の形態2における作業情報提供装置の第2の識別子の貼付例を示した図である。
【図14】図13に示した第2の識別マークの法線ベクトルの検出方法を示した図である。
【図15】この発明の実施の形態2における作業情報提供装置を用いた作業設備の例を示した図である。
【図16】この発明の実施の形態2における作業情報提供装置を用いた作業設備の第2の識別マークの貼付例を示した図である。
【図17】図16に示した第2の識別マークの位置の検出方法を示した図である。
【符号の説明】
1,102,103,105 第1の識別マーク、
2,201,202,203,204,902,903,904 第2の識別マーク、
11 撮影手段、12 相対位置検出手段、13 投影情報作成手段、
14 情報投影手段、15 指示方向検出手段16対象同定手段、
17 3次元モデルDB、18 設備情報DB、111,112 カメラ、
42 作業設備、44 作業対象設備、101,901 手、
516 指示方向、518 交点、702,808 投影箇所、
703,910 選択メニュー。
Claims (6)
- 複数の作業対象設備を有する作業設備内を複数のカメラにより撮影する撮影手段と、上記各作業対象設備の3次元位置情報を保持する3次元モデルデータベースと、投影情報を上記作業設備内に投影する情報投影手段と、上記各作業対象設備に関する設備情報を保持する設備情報データベースと、上記撮影手段にて撮影された映像から上記作業設備内に存在する第1の識別子が指示する指示方向を検出する指示方向検出手段と、上記指示方向と上記3次元位置情報とから上記第1の識別子が指示する上記作業対象設備を同定する対象同定手段と、上記対象同定手段にて同定された上記作業対象設備に対して予め設定されている上記設備情報を上記設備情報データベースから抽出して投影箇所を指定して上記投影情報を作成し上記情報投影手段に送信する投影情報作成手段とを備えたことを特徴とする作業情報提供装置。
- 上記指示方向検出手段は、上記撮影手段にて撮影された映像から上記作業設備内に存在する上記第1の識別子が指示する指示方向を再度検出し、上記対象同定手段は、上記指示方向と上記投影情報が投影された投影箇所とから上記第1の識別子が指示する上記投影情報中の選択設備情報を同定し、上記投影情報作成手段は上記対象同定手段にて同定された上記選択設備情報に対して予め設定されている関連情報を上記設備情報データベースから抽出し投影箇所を指定して投影情報を作成し上記情報投影手段に送信することを特徴とする請求項1に記載の作業情報提供装置。
- 上記作業対象設備が複数の構成物にて成る場合、上記指示方向検出手段は、上記撮影手段にて撮影された映像から上記作業設備内に存在する上記第1の識別子が指示する指示方向を再度検出し、上記対象同定手段は、上記指示方向と上記3次元位置情報とから上記第1の識別子が指示する上記作業対象設備の詳細構成物を同定し、上記投影情報作成手段は上記同定された詳細構成物に対応する上記投影情報中の選択設備情報を検出し、上記選択設備情報に対して予め設定されている関連情報を上記設備情報データベースから抽出し投影箇所を指定して投影情報を作成し上記情報投影手段に送信することを特徴とする請求項1に記載の作業情報提供装置。
- 上記投影情報作成手段は、上記投影情報として、上記情報投影手段の位置情報と上記作業設備内の投影箇所の位置情報とから、上記情報投影手段の投影方向を指定することを特徴とする請求項1ないし請求項3のいずれかに記載の作業情報提供装置。
- 上記投影情報作成手段は、上記作業設備内の投影箇所の位置情報を、上記投影手段の投影方向の情報および/または上記第1の識別子の指示方向の情報および上記3次元位置情報に基づいて設定することを特徴とする請求項1ないし請求項3のいずれかに記載の作業情報提供装置。
- 上記作業設備内に存在する第2の識別子の位置を判断する相対位置検出手段を備え、上記投影情報作成手段は、上記投影情報を投影する上記作業設備内の投影箇所を、上記相対位置検出手段にて検出された上記第2の識別子が存在する箇所に設定することを特徴とする請求項1ないし請求項4のいずれかに記載の作業情報提供装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181929A JP2005018385A (ja) | 2003-06-26 | 2003-06-26 | 作業情報提供装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003181929A JP2005018385A (ja) | 2003-06-26 | 2003-06-26 | 作業情報提供装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005018385A true JP2005018385A (ja) | 2005-01-20 |
Family
ID=34182454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003181929A Withdrawn JP2005018385A (ja) | 2003-06-26 | 2003-06-26 | 作業情報提供装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005018385A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014075835A (ja) * | 2013-12-11 | 2014-04-24 | Hitachi Consumer Electronics Co Ltd | 操作制御装置 |
WO2016017101A1 (ja) * | 2014-07-30 | 2016-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9438843B2 (en) | 2010-12-06 | 2016-09-06 | Hitachi Maxell, Ltd. | Operation controlling apparatus |
CN110873551A (zh) * | 2018-09-03 | 2020-03-10 | Juki株式会社 | 检查装置 |
US11238653B2 (en) | 2017-12-29 | 2022-02-01 | Fujitsu Limited | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program |
-
2003
- 2003-06-26 JP JP2003181929A patent/JP2005018385A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438843B2 (en) | 2010-12-06 | 2016-09-06 | Hitachi Maxell, Ltd. | Operation controlling apparatus |
US9538115B2 (en) | 2010-12-06 | 2017-01-03 | Hitachi Maxell, Ltd. | Operation controlling apparatus |
JP2014075835A (ja) * | 2013-12-11 | 2014-04-24 | Hitachi Consumer Electronics Co Ltd | 操作制御装置 |
WO2016017101A1 (ja) * | 2014-07-30 | 2016-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JPWO2016017101A1 (ja) * | 2014-07-30 | 2017-06-15 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10346992B2 (en) | 2014-07-30 | 2019-07-09 | Sony Corporation | Information processing apparatus, information processing method, and program |
US11238653B2 (en) | 2017-12-29 | 2022-02-01 | Fujitsu Limited | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program |
CN110873551A (zh) * | 2018-09-03 | 2020-03-10 | Juki株式会社 | 检查装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109584295B (zh) | 对图像内目标物体进行自动标注的方法、装置及系统 | |
US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
Kim et al. | Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality | |
JP4537557B2 (ja) | 情報呈示システム | |
US9767563B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
CN104160369B (zh) | 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质 | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
JP4508049B2 (ja) | 360°画像撮影装置 | |
US8803992B2 (en) | Augmented reality navigation for repeat photography and difference extraction | |
JP6077010B2 (ja) | 作業支援端末および作業支援システム | |
US20120124509A1 (en) | Information processor, processing method and program | |
CN112667179B (zh) | 一种基于混合现实的远程同步协作系统 | |
JP2013008257A (ja) | 画像合成プログラム | |
KR20110087407A (ko) | 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법 | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2005018385A (ja) | 作業情報提供装置 | |
JP6146869B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム | |
Möller et al. | Tool support for prototyping interfaces for vision-based indoor navigation | |
KR101964227B1 (ko) | 군사 작전 통제 장치 및 방법 | |
JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム | |
JP2021039567A (ja) | 作業支援システム及びプログラム | |
JP2020008981A (ja) | 支援装置及びプログラム | |
WO2023224031A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム | |
WO2023224036A1 (ja) | 情報処理方法、情報処理装置、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051031 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080313 |