JP2004347488A - 現場作業支援装置 - Google Patents

Abstract

【課題】投影手段と作業対象物との相対位置及び姿勢を精度よく算出するようにした現場作業支援装置を得る。
【解決手段】対象物をカメラ１により撮影した対象物映像データと設備モデルデータベース５の対象物のデータとの照合により対象物の概略の相対位置及び姿勢を対象物位置姿勢推定部６により推定し、この推定された対象物の存在する領域にプロジェクタ２により投射されるマーカー図形をマーカー映像生成部７により生成して、プロジェクタ２により投射し、対象物に投射されたマーカー図形をカメラ１により撮影して撮影されたマーカー図形と、投射されたマーカー図形との比較により対象物とプロジェクタ２との相対位置及び姿勢を対象物位置姿勢確定算出部８により高精度に算出するようにした。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
この発明は、プラントなどの設備の保守や点検などの作業を現場において行うに当たり、作業対象や作業行為に関連する情報を、作業対象物を撮影した映像、もしくは作業対象物自身またはその周囲に重ね合わせて表示して現場作業を支援する現場作業支援装置に関するものである。
【０００２】
【従来の技術】
プラントなどの設備の保守や点検といった作業を現場において支援する方法として、作業対象や作業行為に関連する情報を、作業対象物を撮影した映像、または、作業対象物自身またはその周囲、に重ね合わせて表示する技術が知られている。
例えば、特許文献１の「映像表示装置及び映像表示システム」にはそのような技術の適用として、映像情報を対象物またはその周囲に投影する例が示されている。ここでは、カメラから得られた映像、または、（磁気センサ、ジャイロ、超音波センサなどで実現された）位置姿勢計測装置から得られた情報に基づき、対象物との間の相対位置と姿勢を計測ならびに計算し、その結果に基づいて投影情報検索部にて投影情報データベースを検索し、映像情報生成部にて投影すべき映像を生成する。このようにすることにより、作業支援の情報を対象物自身またはその周辺に重ね合わせて表示するので、複数の作業員で情報を共有することができるというメリットを有する。
【０００３】
また、特許文献２の「作業情報提示装置」には、さらに作業行為を同定する手段を設けて、予め想定した作業行為内容と比較してそれに応じた情報を作業者に提示する例が示されている。この特許文献２の情報重畳装置には、特許文献１の例に示されているような映像情報を対象物またはその周囲に重ね合わせて表示する方法も含まれる。作業行為を同定し、作業行為比較手段によって予め想定した作業行為内容と比較することで、誤りの防止効果をもたらすというメリットを有する。
【０００４】
ここで、特許文献１に示されるような投影手段と作業対象物との相対位置を把握する従来手法は、大きく以下の２種類に分かれる。
Ａ：センサー（磁気、超音波、ジャイロなど）を用いて装置（カメラ＋プロジェクタ）の絶対位置を計測して、対象物（データベース等から位置が得られる）との相対位置を算出する。（特許文献１）
Ｂ：対象物が写った画像をカメラから取得し、それを解析してカメラ（ひいては装置）と対象物との相対位置を算出する。以下のＢ１及びＢ２の方法が代表的である。
Ｂ１：円盤状のマーカーを対象物に貼り、それが写った画像を解析する。画像上でのマーカーの像の大きさや変形の度合いからカメラとの相対位置が計算される。
Ｂ２：対象物の特徴点（頂点など）が写った画像を解析する。複数の特徴点について、画像上でのそれら特徴点の像の位置からカメラとの相対位置が計算される。
【０００５】
【特許文献１】
特許第３２７４２９０号公報（段落番号００４０〜００４５、図１）
【特許文献２】
特開２００１−２８２３４９号公報（段落番号００１９〜００３４、図１）
【０００６】
【発明が解決しようとする課題】
作業対象物自身やその周辺に情報を重ね合わせて表示するためには、作業対象物と投影表示手段との間の相対位置および姿勢が高精度に求まっている必要がある。
さらに、作業対象物が可動部分を有し、作業行為の結果として、あるいは、対象物の内部状態の変化の結果として、可動部分が大きく変位する場合は、重ね合わせ表示する情報の内容や表示位置も変位に合わせて変化させる必要がある。したがって、可動部分の変位量が高精度に求まっている必要がある。
また、現場作業に支障がないよう、支援装置には、可搬性の具備、小型化、軽量化、簡素化が求められる。
【０００７】
上述のＡの方法では、センサー系を含めた装置全体が大がかりになる、複雑になるという問題や、装置を複数の現場で移動しながら使うなどの可搬性が実現しにくいという問題があった。
また、Ｂ１の方法では、画像上で、マーカーの像の大きさや変形の度合いを精度良く計測するのは難しく、計算された相対位置の精度は低くなるため、概略値を得るなど用途が限定されるという問題があった。
また、Ｂ２の方法では、計算に必要な個数の特徴点が全て画像内に写っている必要がある。すなわち、そのような画像が撮影できる位置に装置を設置する必要があり、設置場所が限定されてしまうという問題や、カメラからの画像に画像処理を施して特徴点の像を検出する際に、照明条件によっては検出できない場合があるという問題があった。
【０００８】
この発明は、上述のような課題を解決するためになされたものであり、投影手段と作業対象物との相対位置及び姿勢を精度よく算出するようにした現場作業支援装置を得ることを目的にしている。
【０００９】
【課題を解決するための手段】
この発明に係わる現場作業支援装置においては、作業を行う対象物上または対象物の近傍に作業に関連する映像を投射して作業を支援する現場作業支援装置において、対象物に映像を投射する投射手段、この投射手段により投射された映像を撮影する撮影手段、及び投射手段により投射される映像及び撮影手段により撮影された映像を処理する計算処理部を備え、計算処理部は、投射手段と撮影手段との相対位置及び姿勢を格納または計測する投影手段撮影手段位置姿勢計測部と、対象物のデータを格納した設備モデルデータベースと、投影手段撮影手段位置姿勢計測部により格納または計測された投射手段と撮影手段との相対位置及び姿勢に基づき、対象物を撮影手段により撮影された対象物映像データと設備モデルデータベースの対象物のデータとの照合により投射手段と対象物との概略の相対位置及び姿勢を推定する対象物位置姿勢推定部と、この対象物位置姿勢推定部により推定された対象物の存在する領域に投射手段により投射されるマーカー図形を生成するマーカー映像生成部と、投射手段と撮影手段との相対位置及び姿勢に基づき、対象物に投射されたマーカー図形を撮影手段により撮影して撮影されたマーカー図形を分析することにより投射手段と対象物との相対位置及び姿勢を算出する対象物位置姿勢確定算出部と、この対象物位置姿勢確定算出部により算出された投射手段と対象物との相対位置及び姿勢に基づき投影手段により対象物に投影される対象物の作業支援映像を生成する作業支援映像生成部とによって構成されているものである。
【００１０】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による現場作業支援装置の構成を示すブロック図である。
図１において、対象物を撮影するカメラ１（撮影手段）と、対象物またはその周辺に所定の情報を映像として投影するプロジェクタ２（投影手段）が配置され、カメラ１から得られた映像を基にプロジェクタで投影すべき映像を生成する計算処理部３が設けられている。
この計算処理部３の内部を構成する手段として４〜１０があり、カメラとプロジェクタとの間の相対位置および姿勢を格納または計測するカメラ〜プロジェクタ間位置姿勢計測部４（投影手段撮影手段位置姿勢計測部）と、対象物の識別情報や３次元空間における位置、姿勢、形状に関するデータ（対象物のデータ）を格納する設備モデルデータベース５と、対象物とプロジェクタとの間の相対位置および姿勢を推定する対象物位置姿勢推定部６と、マーカー図形を対象物にプロジェクタで投影する映像を生成するマーカー映像生成部７と、対象物とプロジェクタとの間の相対位置および姿勢を確定算出する対象物位置姿勢確定算出部８と、対象物に関する情報や対象物に対する作業行為に関する情報を格納する作業支援情報データベース９と、作業支援情報を表現する映像（作業支援映像）を生成する作業支援映像生成部１０を有している。
【００１１】
次に、動作について説明する。
カメラ〜プロジェクタ位置姿勢計測部４は、カメラ１とプロジェクタ２とが支持具などで一体化されていて、相対位置および姿勢が固定されている場合は、予め計測しておいた値を格納する記憶装置によって実現され、可動機構などによって可変の場合は、適当なセンサー出力や制御機構の制御パラメータなどから両者の相対位置および姿勢を計測する装置によって実現される。
対象物位置姿勢推定部６は、カメラ１から得られた映像（対象物映像データ）を分析して、設備モデルデータベース５との照合により、映像内に写った対象物を同定するとともに、対象物とカメラ１との間の相対位置と姿勢の概略値を算出し、さらにカメラ〜プロジェクタ間位置姿勢計測部４から得られたデータに基づき、対象物とプロジェクタ２との間の相対位置と姿勢の情報に変換する。この対象物位置姿勢推定部６において算出される相対位置と姿勢は、概略値でよい。具体的な方法としては、例えば、対象物に円形のマーカーを貼り、映像内に写ったマーカーの楕円状の像の大きさ、傾き、扁平の度合を計測することによって概略値を求めることができる。
対象物の同定は、対象物ごとにマーカーの色を違えるなどして、設備モデルデータベース５との照合により行なうことができる。
【００１２】
マーカー映像生成部７は、対象物位置姿勢推定部６によって推定された相対位置および姿勢と、設備モデルデータベース５に格納された対象物の形状データとから、プロジェクタ２から見て対象物が存在すると推定される領域方向に対して、所定の形と光学的特徴を有するマーカー図形が投影されるような映像を生成する。
対象物位置姿勢確定算出部８は、前記マーカー図形が対象物の表面に投影されたものをカメラ１で撮影した映像を分析してマーカー図形の像を検出し、カメラ１（またはプロジェクタ２）に対するマーカー図形の特徴点の相対位置を算出する。
さらに、そのようなマーカー図形の相対位置データと設備モデルデータベース５に格納された対象物の形状データとを照合して、カメラ１（またはプロジェクタ２）に対する対象物の相対位置および姿勢を算出する。
マーカー映像生成部７と対象物位置姿勢確定算出部８とによって実現される対象物の相対位置および姿勢の算出は、具体的には、以下のようにして行なう。（図２参照）
【００１３】
図２は、この発明の実施の形態１による現場作業支援装置の対象物の相対位置及び姿勢の算出を示す図である。
図２において、対象物２０１をカメラ１で撮影した映像が得られるスクリーン面（撮像スクリーン面）２０２と、プロジェクタ２で投影する映像が置かれるスクリーン面（投影スクリーン面）２０３とを有し、対象物位置姿勢推定部６で推定された対象物が、プロジェクタ２の投影スクリーン面２０３上で位置すると推定される領域２０４に表わされる。
【００１４】
今、投影すべきマーカー図形は点図形とする。この時、プロジェクタ２の投影スクリーン２０３面におけるマーカー図形の位置Ｐ、対象物の表面に投影されたマーカー図形の位置Ｘ、カメラ１の撮像スクリーン２０２面におけるマーカー図形像の位置Ｑは、同図に示すような位置関係にある。
カメラ１とプロジェクタ２との間の相対位置および姿勢は、既に得られている。また、位置Ｐは、マーカー映像生成部７によって決定されるため、既知である。さらに、位置Ｑもカメラ１からの映像の分析結果として得られるため、既知である。したがって、対象物の表面に投影されたマーカー図形の位置Ｘのみが未知となるが、これは三角測量の原理に基づき、一意に求めることができる。
【００１５】
対象物の表面の形状データは、設備モデルデータベース５から取得することができ、例えば平面部分に３個のマーカー図形を投影すれば、平面の位置や向きは一意に特定される。
作業支援映像生成部１０は、作業支援情報データベース９を検索して対象物の諸元データ（仕様、定格、内部状態など）や対象物に対する作業指示などの作業支援情報を取得し、対象物とプロジェクタ２との間の相対位置および姿勢に基づき、これらの情報が対象物またはその周辺に重なり合うような映像を生成し、プロジェクタ２によって対象物に投影する。
【００１６】
実施の形態１によれば、対象物に投影されたマーカー図形を用いて、対象物とプロジェクタとの間の相対位置および姿勢を高精度で算出するので、作業を支援する適切な情報を正しい位置に重ね合わせ表示することができる。
【００１７】
実施の形態２．
実施の形態２は、対象物が所定の軌跡に沿って運動するような可動部分を有する場合に、可動部分の変位量を高精度で算出できるようにし、変位に合わせて投影すべき作業支援情報を変化させるようにしたものである。
実施の形態２の構成は、実施の形態１と同様で、図１に示されるものと同じである。
図３は、この発明の実施の形態１による現場作業支援装置のマーカー映像生成部によるマーカー図形を投影するための映像を生成する様子を示す図である。
図３において、対象物３０１の可動部分で、本例では直線状に前後移動する引出し形ユニット３０２がある。プロジェクタ２が投影する映像が置かれるスクリーン面３０３（投影スクリーン面）には、可動部分の形状と３次元運動軌跡データに基づいて計算された可動範囲が投影スクリーン面において占める領域３０４が表わされている。
【００１８】
次に、動作について説明する。
対象物の固定部分とプロジェクタ２との間の相対位置および姿勢を算出する過程は、実施の形態１と同様である。
このように固定部分とプロジェクタ２との間の相対位置および姿勢が、確定算出されたのち、マーカー映像生成部７は、設備モデルデータベース５に格納された可動部分の形状データとその３次元運動軌跡データとに基づき、可動部分が運動しうる範囲を計算し、プロジェクタ２から見た可動範囲の領域方向に対して、所定の形と光学的特徴を有するマーカー図形が投影されるような映像を生成する。
【００１９】
対象物位置姿勢確定部８は、マーカー図形が可動部分の表面に投影されたものをカメラ１で撮影した映像を分析してマーカー図形の像を検出し、実施の形態１に示した同様の方法により、カメラ１（またはプロジェクタ２）に対する可動部分の表面における同マーカー図形の特徴点の相対位置を計算する。さらに、設備モデルデータベース５に格納された可動部分の形状データと３次元運動軌跡データとから、可動部分の表面が上述のように算出された位置を通るような変位量を算出する。
図３において、投影すべきマーカー図形は、可動部分の運動の自由度を減じるのに十分な個数の点図形でよく、同図の例では１次元の直線運動のため１個の点図形で十分である。
作業支援映像生成部１０は、このようにして算出された変位量に基づき、変位量に合わせた内容の情報を生成し、また、変位量に応じた位置に情報が表示されるような映像を生成し、プロジェクタ２によって対象物に投影する。
【００２０】
なお、実施の形態２では、直線運動を行なう引出し形ユニットを可動部分として有する設備を例にして説明したが、扉や回転スイッチのような回転運動の場合や、直線運動や回転運動を組み合せた任意の運動についても同様の方法で処理することができる。
【００２１】
実施の形態２によれば、対象物が所定の軌跡に沿って運動するような可動部分を持ち、作業支援情報を可動部分に対して投影する必要があるような場合でも、可動部分の変位量を高精度に算出するので、作業を支援する適切な情報を正しい位置に重ね合わせ表示することができる。
【００２２】
実施の形態３．
実施の形態３は、対象物とプロジェクタとの間の相対位置や姿勢に応じて最も適した位置にマーカー図形の映像を投影するようにして、対象物とプロジェクタとの間の位置関係に関する制約を少なくしたものである。
実施の形態３の構成は、実施の形態１と同様であり、図１に示されるものと同一のものである。
図４は、この発明の実施の形態３による現場作業支援装置の対象物が直方体形状である場合に、マーカー図形を投影する様子を示す図であり、図４（ａ）は、正面に投影する場合、図４（ｂ）は、正面と側面に投影する場合、図４（ｃ）は、側面に投影する場合を示している。
【００２３】
次に、動作について説明する。
マーカー映像生成部７は、対象物位置姿勢推定部６によって推定された対象物とプロジェクタ２（およびカメラ１）との間の相対位置および姿勢に基づき、対象物を構成する表面のうち、対象物位置姿勢確定算出部８における計算を最も精度よく行なえるようなマーカー図形の投影対象面を決定し、プロジェクタ１からの投影がそのような対象面に当たるよう、生成するマーカー図形の位置を計算して、投影映像を生成する。
【００２４】
例えば、図４のように対象物が直方体形状である場合には、対象物とプロジェクタ２およびカメラ２との間の相対位置および姿勢の推定に基づき、
図４（ａ）のように、正面のみ
図４（ｃ）のように、側面のみ
図４（ｂ）のように、正面と側面の双方
などの組み合わせについてマーカー図形を投影した場合の計算精度を評価し、最もよい精度が期待される組み合わせを決定し、マーカー図形の映像を生成する。この場合は、平面が決められる３点以上のマーカー図形を用いる。
【００２５】
実施の形態３によれば、対象物とカメラとの間の相対位置や姿勢によらず、安定して対象物の位置や姿勢を算出することができる。
【００２６】
実施の形態４．
実施の形態４は、対象物をカメラで撮影して得られた画像を分析し、対象物や対象物が置かれた環境の色、明度、材質などの特徴を評価し、投影すべきマーカー図形の形や光学的特徴を決定することで、対象物位置姿勢確定算出部８におけるマーカー図形の検出をより頑健なものにしたものである。
実施の形態４の構成は、実施の形態１と同様であり、図１に示されるものと同一のものである。
【００２７】
次に動作について説明する。
対象物位置姿勢推定部６は、カメラ１から得れらた映像を分析する際に、画像の色分布や明度分布など評価して、対象物表面および周囲の環境の光学的特性を表した属性情報を合わせて算出する。
マーカー映像生成部７は、対象物への相対位置および姿勢に関するデータに加えて、対象物表面および周囲の環境の光学的特性を表した属性情報も併せて対象物位置推定部６から取得し、対象物位置姿勢確定算出部８においてマーカー図形像が周辺部との間で補色効果を現すなど検出が容易となるような光学的特徴を有するマーカー図形の映像を生成する。
【００２８】
実施の形態４によれば、現場ごとに環境や対象物の光学的特性が大きく変化する場合でも、安定して対象物の位置や姿勢を算出することができる。
【００２９】
【発明の効果】
この発明は、以上説明したように、作業を行う対象物上または対象物の近傍に作業に関連する映像を投射して作業を支援する現場作業支援装置において、対象物に映像を投射する投射手段、この投射手段により投射された映像を撮影する撮影手段、及び投射手段により投射される映像及び撮影手段により撮影された映像を処理する計算処理部を備え、計算処理部は、投射手段と撮影手段との相対位置及び姿勢を格納または計測する投影手段撮影手段位置姿勢計測部と、対象物のデータを格納した設備モデルデータベースと、投影手段撮影手段位置姿勢計測部により格納または計測された投射手段と撮影手段との相対位置及び姿勢に基づき、対象物を撮影手段により撮影された対象物映像データと設備モデルデータベースの対象物のデータとの照合により投射手段と対象物との概略の相対位置及び姿勢を推定する対象物位置姿勢推定部と、この対象物位置姿勢推定部により推定された対象物の存在する領域に投射手段により投射されるマーカー図形を生成するマーカー映像生成部と、投射手段と撮影手段との相対位置及び姿勢に基づき、対象物に投射されたマーカー図形を撮影手段により撮影して撮影されたマーカー図形を分析することにより投射手段と対象物との相対位置及び姿勢を算出する対象物位置姿勢確定算出部と、この対象物位置姿勢確定算出部により算出された投射手段と対象物との相対位置及び姿勢に基づき投影手段により対象物に投影される対象物の作業支援映像を生成する作業支援映像生成部とによって構成されているので、投射手段と対象物との相対位置および姿勢を高精度で算出でき、作業支援映像を適確な位置に表示することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による現場作業支援装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による現場作業支援装置の対象物の相対位置及び姿勢の算出を示す図である。
【図３】この発明の実施の形態２による現場作業支援装置のマーカー映像生成部によるマーカー図形を投影するための映像を生成する様子を示す図である。
【図４】この発明の実施の形態３による現場作業支援装置の対象物が直方体形状である場合に、マーカー図形を投影する様子を示す図である。
【符号の説明】
１ カメラ、２ プロジェクタ、３ 計算処理部、
４ カメラ〜プロジェクタ間位置姿勢計測部、５ 設備モデルデータベース、
６ 対象物位置姿勢推定部、７ マーカー映像生成部、
８ 対象物位置姿勢確定算出部、９ 作業支援情報データベース、
１０ 作業支援映像生成部、２０１ 対象物、２０２ 撮像スクリーン面、
２０３ 投影スクリーン面、２０４ 対象物の位置が推定される領域、
３０１ 対象物、３０２ 引出し形ユニット、３０３ 投影スクリーン面、
３０４ 可動範囲が占める領域。

Claims (5)

1. 作業を行う対象物上または上記対象物の近傍に上記作業に関連する映像を投射して上記作業を支援する現場作業支援装置において、上記対象物に映像を投射する投射手段、この投射手段により投射された映像を撮影する撮影手段、及び上記投射手段により投射される映像及び上記撮影手段により撮影された映像を処理する計算処理部を備え、上記計算処理部は、上記投射手段と上記撮影手段との相対位置及び姿勢を格納または計測する投影手段撮影手段位置姿勢計測部と、上記対象物のデータを格納した設備モデルデータベースと、上記投影手段撮影手段位置姿勢計測部により格納または計測された上記投射手段と上記撮影手段との相対位置及び姿勢に基づき、上記対象物を上記撮影手段により撮影された対象物映像データと上記設備モデルデータベースの上記対象物のデータとの照合により上記投射手段と対象物との概略の相対位置及び姿勢を推定する対象物位置姿勢推定部と、この対象物位置姿勢推定部により推定された上記対象物の存在する領域に上記投射手段により投射されるマーカー図形を生成するマーカー映像生成部と、上記投射手段と上記撮影手段との相対位置及び姿勢に基づき、上記対象物に投射されたマーカー図形を上記撮影手段により撮影して上記撮影されたマーカー図形を分析することにより上記投射手段と上記対象物との相対位置及び姿勢を算出する対象物位置姿勢確定算出部と、この対象物位置姿勢確定算出部により算出された上記投射手段と対象物との相対位置及び姿勢に基づき上記投影手段により上記対象物に投影される上記対象物の作業支援映像を生成する作業支援映像生成部とによって構成されていることを特徴とする現場作業支援装置。
2. 上記対象物は、所定の軌跡に沿って運動する可動部分を有し、上記設備モデルデータベースには、上記可動部分の形状データ及び３次元の運動軌跡データが格納され、上記マーカー映像生成部は、上記設備モデルデータベースを参照して上記可動部分の可動範囲の領域に投射される上記マーカー図形を生成し、上記対象物位置姿勢確定算出部は、上記可動部分に投射されたマーカー図形を上記撮影手段により撮影して上記撮影されたマーカー図形を分析することにより上記投射手段と上記可動部分との相対位置及び姿勢並びに上記可動部分の変位量を算出し、上記作業支援映像生成部は、上記投射手段と上記可動部分との相対位置及び姿勢並びに上記可動部分の変位量に基づき、上記投影手段により上記可動部分に投影される上記対象物の作業支援映像を生成することを特徴とする請求項１記載の現場作業支援装置。
3. 上記マーカー映像生成部によって生成されるマーカー図形は、上記対象物の可動部分の運動軌跡及び可動範囲に応じた数の点図形であることを特徴とする請求項２記載の現場作業支援装置。
4. 上記マーカー映像生成部は、上記対象物位置姿勢推定部により推定された上記投影手段と対象物との相対位置及び姿勢に応じて、上記対象物のマーカー図形を投射する上記対象物の投影対象面を決定し、上記投影対象面に投影されるマーカー図形を生成することを特徴とする請求項１〜請求項３のいずれかに記載の現場作業支援装置。
5. 上記対象物位置姿勢推定部は、上記撮影手段により得られる映像から上記対象物及び上記対象物の周囲の光学的特性を表す属性情報を算出し、上記マーカー映像生成部は、上記光学的特性を表す属性情報に基づき、上記上記対象物位置姿勢確定算出部による投射手段と対象物との相対位置及び姿勢が算出しやすい光学的特徴を有するマーカー図形を生成することを特徴とする請求項１〜請求項４のいずれかに記載の現場作業支援装置。

Images