JP4002211B2

JP4002211B2 - Field work support device

Info

Publication number: JP4002211B2
Application number: JP2003145640A
Authority: JP
Inventors: 宮田　　亮; 覚坊; 信太郎渡邉; 景一塩谷
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-05-23
Filing date: 2003-05-23
Publication date: 2007-10-31
Anticipated expiration: 2023-05-23
Also published as: JP2004347488A

Description

【０００１】
【発明の属する技術分野】
この発明は、プラントなどの設備の保守や点検などの作業を現場において行うに当たり、作業対象や作業行為に関連する情報を、作業対象物を撮影した映像、もしくは作業対象物自身またはその周囲に重ね合わせて表示して現場作業を支援する現場作業支援装置に関するものである。
【０００２】
【従来の技術】
プラントなどの設備の保守や点検といった作業を現場において支援する方法として、作業対象や作業行為に関連する情報を、作業対象物を撮影した映像、または、作業対象物自身またはその周囲、に重ね合わせて表示する技術が知られている。
例えば、特許文献１の「映像表示装置及び映像表示システム」にはそのような技術の適用として、映像情報を対象物またはその周囲に投影する例が示されている。ここでは、カメラから得られた映像、または、（磁気センサ、ジャイロ、超音波センサなどで実現された）位置姿勢計測装置から得られた情報に基づき、対象物との間の相対位置と姿勢を計測ならびに計算し、その結果に基づいて投影情報検索部にて投影情報データベースを検索し、映像情報生成部にて投影すべき映像を生成する。このようにすることにより、作業支援の情報を対象物自身またはその周辺に重ね合わせて表示するので、複数の作業員で情報を共有することができるというメリットを有する。
【０００３】
また、特許文献２の「作業情報提示装置」には、さらに作業行為を同定する手段を設けて、予め想定した作業行為内容と比較してそれに応じた情報を作業者に提示する例が示されている。この特許文献２の情報重畳装置には、特許文献１の例に示されているような映像情報を対象物またはその周囲に重ね合わせて表示する方法も含まれる。作業行為を同定し、作業行為比較手段によって予め想定した作業行為内容と比較することで、誤りの防止効果をもたらすというメリットを有する。
【０００４】
ここで、特許文献１に示されるような投影手段と作業対象物との相対位置を把握する従来手法は、大きく以下の２種類に分かれる。
Ａ：センサー（磁気、超音波、ジャイロなど）を用いて装置（カメラ＋プロジェクタ）の絶対位置を計測して、対象物（データベース等から位置が得られる）との相対位置を算出する。（特許文献１）
Ｂ：対象物が写った画像をカメラから取得し、それを解析してカメラ（ひいては装置）と対象物との相対位置を算出する。以下のＢ１及びＢ２の方法が代表的である。
Ｂ１：円盤状のマーカーを対象物に貼り、それが写った画像を解析する。画像上でのマーカーの像の大きさや変形の度合いからカメラとの相対位置が計算される。
Ｂ２：対象物の特徴点（頂点など）が写った画像を解析する。複数の特徴点について、画像上でのそれら特徴点の像の位置からカメラとの相対位置が計算される。
【０００５】
【特許文献１】
特許第３２７４２９０号公報（段落番号００４０〜００４５、図１）
【特許文献２】
特開２００１−２８２３４９号公報（段落番号００１９〜００３４、図１）
【０００６】
【発明が解決しようとする課題】
作業対象物自身やその周辺に情報を重ね合わせて表示するためには、作業対象物と投影表示手段との間の相対位置および姿勢が高精度に求まっている必要がある。
さらに、作業対象物が可動部分を有し、作業行為の結果として、あるいは、対象物の内部状態の変化の結果として、可動部分が大きく変位する場合は、重ね合わせ表示する情報の内容や表示位置も変位に合わせて変化させる必要がある。したがって、可動部分の変位量が高精度に求まっている必要がある。
また、現場作業に支障がないよう、支援装置には、可搬性の具備、小型化、軽量化、簡素化が求められる。
【０００７】
上述のＡの方法では、センサー系を含めた装置全体が大がかりになる、複雑になるという問題や、装置を複数の現場で移動しながら使うなどの可搬性が実現しにくいという問題があった。
また、Ｂ１の方法では、画像上で、マーカーの像の大きさや変形の度合いを精度良く計測するのは難しく、計算された相対位置の精度は低くなるため、概略値を得るなど用途が限定されるという問題があった。
また、Ｂ２の方法では、計算に必要な個数の特徴点が全て画像内に写っている必要がある。すなわち、そのような画像が撮影できる位置に装置を設置する必要があり、設置場所が限定されてしまうという問題や、カメラからの画像に画像処理を施して特徴点の像を検出する際に、照明条件によっては検出できない場合があるという問題があった。
【０００８】
この発明は、上述のような課題を解決するためになされたものであり、投影手段と作業対象物との相対位置及び姿勢を精度よく算出するようにした現場作業支援装置を得ることを目的にしている。
【０００９】
【課題を解決するための手段】
この発明に係わる現場作業支援装置においては、作業を行う対象物上または対象物の近傍に作業に関連する映像を投射して作業を支援する現場作業支援装置において、対象物に映像を投射する投射手段、この投射手段により投射された映像を撮影する撮影手段、及び投射手段により投射される映像及び撮影手段により撮影された映像を処理する計算処理部を備え、計算処理部は、投射手段と撮影手段との相対位置及び姿勢を格納または計測する投影手段撮影手段位置姿勢計測部と、対象物のデータを格納した設備モデルデータベースと、投影手段撮影手段位置姿勢計測部により格納または計測された投射手段と撮影手段との相対位置及び姿勢に基づき、対象物を撮影手段により撮影された対象物映像データと設備モデルデータベースの対象物のデータとの照合により投射手段と対象物との概略の相対位置及び姿勢を推定する対象物位置姿勢推定部と、この対象物位置姿勢推定部により推定された対象物の存在する領域に投射手段により投射されるマーカー図形を生成するマーカー映像生成部と、投射手段と撮影手段との相対位置及び姿勢に基づき、対象物に投射されたマーカー図形を撮影手段により撮影して撮影されたマーカー図形を分析することにより投射手段と対象物との相対位置及び姿勢を算出する対象物位置姿勢確定算出部と、この対象物位置姿勢確定算出部により算出された投射手段と対象物との相対位置及び姿勢に基づき投影手段により対象物に投影される対象物の作業支援映像を生成する作業支援映像生成部とによって構成されているものである。
【００１０】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による現場作業支援装置の構成を示すブロック図である。
図１において、対象物を撮影するカメラ１（撮影手段）と、対象物またはその周辺に所定の情報を映像として投影するプロジェクタ２（投影手段）が配置され、カメラ１から得られた映像を基にプロジェクタで投影すべき映像を生成する計算処理部３が設けられている。
この計算処理部３の内部を構成する手段として４〜１０があり、カメラとプロジェクタとの間の相対位置および姿勢を格納または計測するカメラ〜プロジェクタ間位置姿勢計測部４（投影手段撮影手段位置姿勢計測部）と、対象物の識別情報や３次元空間における位置、姿勢、形状に関するデータ（対象物のデータ）を格納する設備モデルデータベース５と、対象物とプロジェクタとの間の相対位置および姿勢を推定する対象物位置姿勢推定部６と、マーカー図形を対象物にプロジェクタで投影する映像を生成するマーカー映像生成部７と、対象物とプロジェクタとの間の相対位置および姿勢を確定算出する対象物位置姿勢確定算出部８と、対象物に関する情報や対象物に対する作業行為に関する情報を格納する作業支援情報データベース９と、作業支援情報を表現する映像（作業支援映像）を生成する作業支援映像生成部１０を有している。
【００１１】
次に、動作について説明する。
カメラ〜プロジェクタ位置姿勢計測部４は、カメラ１とプロジェクタ２とが支持具などで一体化されていて、相対位置および姿勢が固定されている場合は、予め計測しておいた値を格納する記憶装置によって実現され、可動機構などによって可変の場合は、適当なセンサー出力や制御機構の制御パラメータなどから両者の相対位置および姿勢を計測する装置によって実現される。
対象物位置姿勢推定部６は、カメラ１から得られた映像（対象物映像データ）を分析して、設備モデルデータベース５との照合により、映像内に写った対象物を同定するとともに、対象物とカメラ１との間の相対位置と姿勢の概略値を算出し、さらにカメラ〜プロジェクタ間位置姿勢計測部４から得られたデータに基づき、対象物とプロジェクタ２との間の相対位置と姿勢の情報に変換する。この対象物位置姿勢推定部６において算出される相対位置と姿勢は、概略値でよい。具体的な方法としては、例えば、対象物に円形のマーカーを貼り、映像内に写ったマーカーの楕円状の像の大きさ、傾き、扁平の度合を計測することによって概略値を求めることができる。
対象物の同定は、対象物ごとにマーカーの色を違えるなどして、設備モデルデータベース５との照合により行なうことができる。
【００１２】
マーカー映像生成部７は、対象物位置姿勢推定部６によって推定された相対位置および姿勢と、設備モデルデータベース５に格納された対象物の形状データとから、プロジェクタ２から見て対象物が存在すると推定される領域方向に対して、所定の形と光学的特徴を有するマーカー図形が投影されるような映像を生成する。
対象物位置姿勢確定算出部８は、前記マーカー図形が対象物の表面に投影されたものをカメラ１で撮影した映像を分析してマーカー図形の像を検出し、カメラ１（またはプロジェクタ２）に対するマーカー図形の特徴点の相対位置を算出する。
さらに、そのようなマーカー図形の相対位置データと設備モデルデータベース５に格納された対象物の形状データとを照合して、カメラ１（またはプロジェクタ２）に対する対象物の相対位置および姿勢を算出する。
マーカー映像生成部７と対象物位置姿勢確定算出部８とによって実現される対象物の相対位置および姿勢の算出は、具体的には、以下のようにして行なう。（図２参照）
【００１３】
図２は、この発明の実施の形態１による現場作業支援装置の対象物の相対位置及び姿勢の算出を示す図である。
図２において、対象物２０１をカメラ１で撮影した映像が得られるスクリーン面（撮像スクリーン面）２０２と、プロジェクタ２で投影する映像が置かれるスクリーン面（投影スクリーン面）２０３とを有し、対象物位置姿勢推定部６で推定された対象物が、プロジェクタ２の投影スクリーン面２０３上で位置すると推定される領域２０４に表わされる。
【００１４】
今、投影すべきマーカー図形は点図形とする。この時、プロジェクタ２の投影スクリーン２０３面におけるマーカー図形の位置Ｐ、対象物の表面に投影されたマーカー図形の位置Ｘ、カメラ１の撮像スクリーン２０２面におけるマーカー図形像の位置Ｑは、同図に示すような位置関係にある。
カメラ１とプロジェクタ２との間の相対位置および姿勢は、既に得られている。また、位置Ｐは、マーカー映像生成部７によって決定されるため、既知である。さらに、位置Ｑもカメラ１からの映像の分析結果として得られるため、既知である。したがって、対象物の表面に投影されたマーカー図形の位置Ｘのみが未知となるが、これは三角測量の原理に基づき、一意に求めることができる。
【００１５】
対象物の表面の形状データは、設備モデルデータベース５から取得することができ、例えば平面部分に３個のマーカー図形を投影すれば、平面の位置や向きは一意に特定される。
作業支援映像生成部１０は、作業支援情報データベース９を検索して対象物の諸元データ（仕様、定格、内部状態など）や対象物に対する作業指示などの作業支援情報を取得し、対象物とプロジェクタ２との間の相対位置および姿勢に基づき、これらの情報が対象物またはその周辺に重なり合うような映像を生成し、プロジェクタ２によって対象物に投影する。
【００１６】
実施の形態１によれば、対象物に投影されたマーカー図形を用いて、対象物とプロジェクタとの間の相対位置および姿勢を高精度で算出するので、作業を支援する適切な情報を正しい位置に重ね合わせ表示することができる。
【００１７】
実施の形態２．
実施の形態２は、対象物が所定の軌跡に沿って運動するような可動部分を有する場合に、可動部分の変位量を高精度で算出できるようにし、変位に合わせて投影すべき作業支援情報を変化させるようにしたものである。
実施の形態２の構成は、実施の形態１と同様で、図１に示されるものと同じである。
図３は、この発明の実施の形態１による現場作業支援装置のマーカー映像生成部によるマーカー図形を投影するための映像を生成する様子を示す図である。
図３において、対象物３０１の可動部分で、本例では直線状に前後移動する引出し形ユニット３０２がある。プロジェクタ２が投影する映像が置かれるスクリーン面３０３（投影スクリーン面）には、可動部分の形状と３次元運動軌跡データに基づいて計算された可動範囲が投影スクリーン面において占める領域３０４が表わされている。
【００１８】
次に、動作について説明する。
対象物の固定部分とプロジェクタ２との間の相対位置および姿勢を算出する過程は、実施の形態１と同様である。
このように固定部分とプロジェクタ２との間の相対位置および姿勢が、確定算出されたのち、マーカー映像生成部７は、設備モデルデータベース５に格納された可動部分の形状データとその３次元運動軌跡データとに基づき、可動部分が運動しうる範囲を計算し、プロジェクタ２から見た可動範囲の領域方向に対して、所定の形と光学的特徴を有するマーカー図形が投影されるような映像を生成する。
【００１９】
対象物位置姿勢確定部８は、マーカー図形が可動部分の表面に投影されたものをカメラ１で撮影した映像を分析してマーカー図形の像を検出し、実施の形態１に示した同様の方法により、カメラ１（またはプロジェクタ２）に対する可動部分の表面における同マーカー図形の特徴点の相対位置を計算する。さらに、設備モデルデータベース５に格納された可動部分の形状データと３次元運動軌跡データとから、可動部分の表面が上述のように算出された位置を通るような変位量を算出する。
図３において、投影すべきマーカー図形は、可動部分の運動の自由度を減じるのに十分な個数の点図形でよく、同図の例では１次元の直線運動のため１個の点図形で十分である。
作業支援映像生成部１０は、このようにして算出された変位量に基づき、変位量に合わせた内容の情報を生成し、また、変位量に応じた位置に情報が表示されるような映像を生成し、プロジェクタ２によって対象物に投影する。
【００２０】
なお、実施の形態２では、直線運動を行なう引出し形ユニットを可動部分として有する設備を例にして説明したが、扉や回転スイッチのような回転運動の場合や、直線運動や回転運動を組み合せた任意の運動についても同様の方法で処理することができる。
【００２１】
実施の形態２によれば、対象物が所定の軌跡に沿って運動するような可動部分を持ち、作業支援情報を可動部分に対して投影する必要があるような場合でも、可動部分の変位量を高精度に算出するので、作業を支援する適切な情報を正しい位置に重ね合わせ表示することができる。
【００２２】
実施の形態３．
実施の形態３は、対象物とプロジェクタとの間の相対位置や姿勢に応じて最も適した位置にマーカー図形の映像を投影するようにして、対象物とプロジェクタとの間の位置関係に関する制約を少なくしたものである。
実施の形態３の構成は、実施の形態１と同様であり、図１に示されるものと同一のものである。
図４は、この発明の実施の形態３による現場作業支援装置の対象物が直方体形状である場合に、マーカー図形を投影する様子を示す図であり、図４（ａ）は、正面に投影する場合、図４（ｂ）は、正面と側面に投影する場合、図４（ｃ）は、側面に投影する場合を示している。
【００２３】
次に、動作について説明する。
マーカー映像生成部７は、対象物位置姿勢推定部６によって推定された対象物とプロジェクタ２（およびカメラ１）との間の相対位置および姿勢に基づき、対象物を構成する表面のうち、対象物位置姿勢確定算出部８における計算を最も精度よく行なえるようなマーカー図形の投影対象面を決定し、プロジェクタ１からの投影がそのような対象面に当たるよう、生成するマーカー図形の位置を計算して、投影映像を生成する。
【００２４】
例えば、図４のように対象物が直方体形状である場合には、対象物とプロジェクタ２およびカメラ２との間の相対位置および姿勢の推定に基づき、
図４（ａ）のように、正面のみ
図４（ｃ）のように、側面のみ
図４（ｂ）のように、正面と側面の双方
などの組み合わせについてマーカー図形を投影した場合の計算精度を評価し、最もよい精度が期待される組み合わせを決定し、マーカー図形の映像を生成する。この場合は、平面が決められる３点以上のマーカー図形を用いる。
【００２５】
実施の形態３によれば、対象物とカメラとの間の相対位置や姿勢によらず、安定して対象物の位置や姿勢を算出することができる。
【００２６】
実施の形態４．
実施の形態４は、対象物をカメラで撮影して得られた画像を分析し、対象物や対象物が置かれた環境の色、明度、材質などの特徴を評価し、投影すべきマーカー図形の形や光学的特徴を決定することで、対象物位置姿勢確定算出部８におけるマーカー図形の検出をより頑健なものにしたものである。
実施の形態４の構成は、実施の形態１と同様であり、図１に示されるものと同一のものである。
【００２７】
次に動作について説明する。
対象物位置姿勢推定部６は、カメラ１から得れらた映像を分析する際に、画像の色分布や明度分布など評価して、対象物表面および周囲の環境の光学的特性を表した属性情報を合わせて算出する。
マーカー映像生成部７は、対象物への相対位置および姿勢に関するデータに加えて、対象物表面および周囲の環境の光学的特性を表した属性情報も併せて対象物位置推定部６から取得し、対象物位置姿勢確定算出部８においてマーカー図形像が周辺部との間で補色効果を現すなど検出が容易となるような光学的特徴を有するマーカー図形の映像を生成する。
【００２８】
実施の形態４によれば、現場ごとに環境や対象物の光学的特性が大きく変化する場合でも、安定して対象物の位置や姿勢を算出することができる。
【００２９】
【発明の効果】
この発明は、以上説明したように、作業を行う対象物上または対象物の近傍に作業に関連する映像を投射して作業を支援する現場作業支援装置において、対象物に映像を投射する投射手段、この投射手段により投射された映像を撮影する撮影手段、及び投射手段により投射される映像及び撮影手段により撮影された映像を処理する計算処理部を備え、計算処理部は、投射手段と撮影手段との相対位置及び姿勢を格納または計測する投影手段撮影手段位置姿勢計測部と、対象物のデータを格納した設備モデルデータベースと、投影手段撮影手段位置姿勢計測部により格納または計測された投射手段と撮影手段との相対位置及び姿勢に基づき、対象物を撮影手段により撮影された対象物映像データと設備モデルデータベースの対象物のデータとの照合により投射手段と対象物との概略の相対位置及び姿勢を推定する対象物位置姿勢推定部と、この対象物位置姿勢推定部により推定された対象物の存在する領域に投射手段により投射されるマーカー図形を生成するマーカー映像生成部と、投射手段と撮影手段との相対位置及び姿勢に基づき、対象物に投射されたマーカー図形を撮影手段により撮影して撮影されたマーカー図形を分析することにより投射手段と対象物との相対位置及び姿勢を算出する対象物位置姿勢確定算出部と、この対象物位置姿勢確定算出部により算出された投射手段と対象物との相対位置及び姿勢に基づき投影手段により対象物に投影される対象物の作業支援映像を生成する作業支援映像生成部とによって構成されているので、投射手段と対象物との相対位置および姿勢を高精度で算出でき、作業支援映像を適確な位置に表示することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による現場作業支援装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による現場作業支援装置の対象物の相対位置及び姿勢の算出を示す図である。
【図３】この発明の実施の形態２による現場作業支援装置のマーカー映像生成部によるマーカー図形を投影するための映像を生成する様子を示す図である。
【図４】この発明の実施の形態３による現場作業支援装置の対象物が直方体形状である場合に、マーカー図形を投影する様子を示す図である。
【符号の説明】
１カメラ、２プロジェクタ、３計算処理部、
４カメラ〜プロジェクタ間位置姿勢計測部、５設備モデルデータベース、
６対象物位置姿勢推定部、７マーカー映像生成部、
８対象物位置姿勢確定算出部、９作業支援情報データベース、
１０作業支援映像生成部、２０１対象物、２０２撮像スクリーン面、
２０３投影スクリーン面、２０４対象物の位置が推定される領域、
３０１対象物、３０２引出し形ユニット、３０３投影スクリーン面、
３０４可動範囲が占める領域。[0001]
BACKGROUND OF THE INVENTION
When performing maintenance or inspection of facilities such as a plant on the site, the present invention superimposes information related to the work object or work action on a video image of the work object or the work object itself or its surroundings. The present invention relates to an on-site work support device that displays and supports the on-site work.
[0002]
[Prior art]
As a method to support operations such as maintenance and inspection of facilities such as plants, information related to work objects and work activities is superimposed on video images of work objects or the work objects themselves or their surroundings. A technique for displaying images is known.
For example, “Video display device and video display system” in Patent Document 1 shows an example in which video information is projected onto an object or its surroundings as an application of such a technique. Here, based on the image obtained from the camera or the information obtained from the position and orientation measurement device (realized by a magnetic sensor, gyroscope, ultrasonic sensor, etc.), the relative position and orientation with the object are calculated. Based on the measurement and calculation, the projection information database is searched by the projection information search unit, and the video to be projected is generated by the video information generation unit. By doing so, work support information is displayed superimposed on the object itself or its surroundings, so that there is an advantage that information can be shared by a plurality of workers.
[0003]
In addition, the “work information presentation device” of Patent Document 2 is provided with an example of providing a means for identifying a work action and presenting information corresponding to the work action content to the worker in comparison with the assumed work action content. ing. The information superimposing device of Patent Document 2 includes a method for displaying video information superimposed on an object or its surroundings as shown in the example of Patent Document 1. By identifying the work action and comparing it with the work action content assumed in advance by the work action comparison means, there is a merit that an error prevention effect is brought about.
[0004]
Here, the conventional method for grasping the relative position between the projection means and the work object as shown in Patent Document 1 is roughly divided into the following two types.
A: The absolute position of the apparatus (camera + projector) is measured using a sensor (magnetism, ultrasonic wave, gyro, etc.), and the relative position with respect to the object (position can be obtained from a database or the like) is calculated. (Patent Document 1)
B: An image showing the object is acquired from the camera, and is analyzed to calculate the relative position between the camera (and apparatus) and the object. The following methods B1 and B2 are typical.
B1: A disk-shaped marker is pasted on an object, and an image in which the marker is reflected is analyzed. The relative position to the camera is calculated from the size of the marker image on the image and the degree of deformation.
B2: Analyzing an image in which feature points (vertices and the like) of the object are captured For a plurality of feature points, a relative position with respect to the camera is calculated from the positions of the image of the feature points on the image.
[0005]
[Patent Document 1]
Japanese Patent No. 3274290 (paragraph numbers 0040 to 0045, FIG. 1)
[Patent Document 2]
JP 2001-282349 A (paragraph numbers 0019 to 0034, FIG. 1)
[0006]
[Problems to be solved by the invention]
In order to superimpose and display information on the work object itself and its surroundings, the relative position and orientation between the work object and the projection display means need to be obtained with high accuracy.
In addition, if the work object has a movable part and the movable part is greatly displaced as a result of a work action or as a result of a change in the internal state of the object, the content and display position of the information to be overlaid Needs to be changed according to the displacement. Therefore, the displacement amount of the movable part needs to be determined with high accuracy.
In addition, the support device is required to have portability, size reduction, weight reduction, and simplification so as not to hinder field work.
[0007]
In the method A described above, there are problems that the entire apparatus including the sensor system becomes large and complicated, and that it is difficult to realize portability such as using the apparatus while moving at a plurality of sites.
In the method B1, it is difficult to accurately measure the size of the marker image and the degree of deformation on the image, and the accuracy of the calculated relative position is low. There was a problem that.
Further, in the method B2, it is necessary that all the number of feature points necessary for the calculation are shown in the image. In other words, it is necessary to install the device at a position where such an image can be captured, and there is a problem that the installation location is limited, or when performing image processing on the image from the camera and detecting the image of the feature point, There was a problem that it could not be detected depending on the illumination conditions.
[0008]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an on-site work support device capable of accurately calculating the relative position and posture between the projection means and the work object. ing.
[0009]
[Means for Solving the Problems]
In the field work support device according to the present invention, in the field work support device that supports the work by projecting an image related to the work on or near the object to be worked, the projection for projecting the image on the object Means, a photographing means for photographing the image projected by the projecting means, and a calculation processing section for processing the image projected by the projecting means and the image photographed by the photographing means. Projection means imaging means position / orientation measurement section for storing or measuring relative position and orientation with means, equipment model database storing object data, and projection means stored or measured by projection means imaging means position / orientation measurement section The object image data obtained by photographing the object by the photographing means and the object in the equipment model database based on the relative position and posture between the image taking means and the photographing means An object position / posture estimation unit that estimates an approximate relative position and posture between the projection unit and the target object by collating with the data, and an area where the target object estimated by the target position / posture estimation unit exists Based on the marker image generation unit that generates the projected marker graphic and the relative position and orientation of the projection unit and the imaging unit, the marker graphic projected on the object is imaged by the imaging unit and the captured marker graphic is analyzed. To calculate the relative position and orientation between the projection means and the object, and the relative position and orientation between the projection means and the object calculated by the object position and orientation determination calculation section. And a work support video generation unit that generates a work support video of the target object projected onto the target object by the projection means.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
1 is a block diagram showing a configuration of a field work support apparatus according to Embodiment 1 of the present invention.
In FIG. 1, a camera 1 (photographing means) for photographing an object and a projector 2 (projection means) for projecting predetermined information as an image on the object or its periphery are arranged, and based on an image obtained from the camera 1. Is provided with a calculation processing unit 3 for generating an image to be projected by the projector.
There are 4 to 10 means constituting the inside of the calculation processing unit 3, and a camera-projector position / orientation measurement unit 4 (projection means photographing means position and orientation) that stores or measures the relative position and orientation between the camera and the projector. A measurement unit), an equipment model database 5 for storing identification information of the object and data on the position, orientation, and shape in the three-dimensional space (object data), and a relative position and orientation between the object and the projector. An object position / orientation estimation unit 6 to be estimated, a marker image generation unit 7 that generates an image in which a marker graphic is projected onto the object by the projector, and an object that determines and calculates the relative position and orientation between the object and the projector A position / orientation determination calculation unit 8 and a work support information database 9 for storing information on the object and information on work actions on the object. Has a work support video generation unit 10 for generating a video (work support video) representing the work support information.
[0011]
Next, the operation will be described.
The camera-projector position / orientation measurement unit 4 stores a value measured in advance when the camera 1 and the projector 2 are integrated with a support or the like and the relative position and orientation are fixed. When realized by a device and variable by a movable mechanism or the like, it is realized by a device that measures the relative position and posture of both from an appropriate sensor output, a control parameter of a control mechanism, and the like.
The object position / orientation estimation unit 6 analyzes the image (object image data) obtained from the camera 1 and identifies the object shown in the image by collating with the equipment model database 5. The approximate values of the relative position and orientation between the camera and the camera 1 are calculated, and the relative position and orientation between the object and the projector 2 are calculated based on the data obtained from the camera-projector position and orientation measurement unit 4. Convert to information. The relative position and orientation calculated by the object position and orientation estimation unit 6 may be approximate values. As a specific method, for example, a rough marker can be obtained by pasting a circular marker on an object and measuring the size, inclination, and flatness of the elliptical image of the marker in the video. .
The identification of the object can be performed by collating with the equipment model database 5 by changing the color of the marker for each object.
[0012]
The marker video generation unit 7 determines that there is an object as viewed from the projector 2 based on the relative position and orientation estimated by the object position / orientation estimation unit 6 and the shape data of the object stored in the equipment model database 5. An image is generated in which a marker graphic having a predetermined shape and optical characteristics is projected with respect to the estimated region direction.
The object position / orientation determination calculation unit 8 detects an image of the marker graphic by analyzing an image of the marker graphic projected on the surface of the object with the camera 1, and detects the image of the marker graphic with respect to the camera 1 (or projector 2). The relative position of the feature point of the marker figure is calculated.
Further, the relative position data of the marker figure and the shape data of the object stored in the equipment model database 5 are collated to calculate the relative position and orientation of the object with respect to the camera 1 (or projector 2).
The calculation of the relative position and orientation of the target realized by the marker video generation unit 7 and the target position / posture determination calculation unit 8 is specifically performed as follows. (See Figure 2)
[0013]
FIG. 2 is a diagram showing the calculation of the relative position and posture of the object of the field work support apparatus according to Embodiment 1 of the present invention.
In FIG. 2, it has a screen surface (imaging screen surface) 202 from which an image obtained by photographing the object 201 with the camera 1 is obtained, and a screen surface (projection screen surface) 203 on which an image projected by the projector 2 is placed. The object estimated by the object position / orientation estimation unit 6 is represented in a region 204 estimated to be located on the projection screen surface 203 of the projector 2.
[0014]
Now, the marker graphic to be projected is a point graphic. At this time, the position P of the marker graphic on the surface of the projection screen 203 of the projector 2, the position X of the marker graphic projected on the surface of the object, and the position Q of the marker graphic image on the surface of the imaging screen 202 of the camera 1 are shown in FIG. The positional relationship is as shown.
The relative position and orientation between the camera 1 and the projector 2 have already been obtained. Further, the position P is known because it is determined by the marker video generation unit 7. Further, the position Q is also known because it is obtained as an analysis result of the video from the camera 1. Accordingly, only the position X of the marker graphic projected on the surface of the object is unknown, but this can be uniquely determined based on the principle of triangulation.
[0015]
The shape data of the surface of the object can be acquired from the equipment model database 5. For example, if three marker figures are projected on the plane portion, the position and orientation of the plane are uniquely specified.
The work support video generation unit 10 searches the work support information database 9 to acquire work support information such as specification data (specifications, ratings, internal state, etc.) of the target object and work instructions for the target object, Based on the relative position and orientation with respect to the projector 2, an image is generated such that these pieces of information overlap the object or its surroundings, and the projector 2 projects the image onto the object.
[0016]
According to the first embodiment, the relative position and orientation between the object and the projector are calculated with high accuracy using the marker graphic projected on the object, so that appropriate information for supporting the work is set to the correct position. Can be displayed superimposed on each other.
[0017]
Embodiment 2. FIG.
In the second embodiment, when the object has a movable part that moves along a predetermined trajectory, the amount of displacement of the movable part can be calculated with high accuracy, and work support information to be projected in accordance with the displacement Is to change.
The configuration of the second embodiment is the same as that of the first embodiment and is the same as that shown in FIG.
FIG. 3 is a diagram showing a state in which a video for projecting a marker graphic is generated by the marker video generation unit of the field work support apparatus according to Embodiment 1 of the present invention.
In FIG. 3, there is a drawer-type unit 302 that is a movable part of an object 301 and moves back and forth linearly in this example. On the screen surface 303 (projection screen surface) on which an image projected by the projector 2 is placed, an area 304 occupied by the movable range calculated based on the shape of the movable part and the three-dimensional motion trajectory data is represented. ing.
[0018]
Next, the operation will be described.
The process of calculating the relative position and orientation between the fixed part of the object and the projector 2 is the same as in the first embodiment.
After the relative position and orientation between the fixed part and the projector 2 are determined and calculated in this way, the marker video generation unit 7 calculates the shape data of the movable part stored in the equipment model database 5 and its three-dimensional motion trajectory. Based on the data, the range in which the movable part can move is calculated, and an image is generated in which a marker figure having a predetermined shape and optical characteristics is projected in the direction of the movable range viewed from the projector 2 To do.
[0019]
The object position / posture determination unit 8 detects an image of the marker graphic by analyzing a video image of the marker graphic projected on the surface of the movable part by the camera 1, and performs the same method as described in the first embodiment. Thus, the relative position of the feature point of the marker graphic on the surface of the movable part with respect to the camera 1 (or projector 2) is calculated. Further, a displacement amount is calculated such that the surface of the movable part passes through the position calculated as described above from the shape data of the movable part and the three-dimensional motion trajectory data stored in the equipment model database 5.
In FIG. 3, the marker figure to be projected may be a sufficient number of point figures to reduce the degree of freedom of movement of the movable part. In the example of FIG. 3, one point figure is sufficient for one-dimensional linear movement. It is.
Based on the displacement amount calculated in this way, the work support image generation unit 10 generates information of contents according to the displacement amount, and displays an image whose information is displayed at a position corresponding to the displacement amount. It is generated and projected onto the object by the projector 2.
[0020]
In the second embodiment, the equipment having the drawer-type unit that performs linear motion as a movable part has been described as an example. However, in the case of rotational motion such as a door or a rotary switch, linear motion or rotational motion is combined. Arbitrary exercises can be processed in a similar manner.
[0021]
According to the second embodiment, even when the object has a movable part that moves along a predetermined trajectory and the work support information needs to be projected onto the movable part, the displacement amount of the movable part Can be calculated with high accuracy, so that appropriate information supporting the work can be displayed in a superimposed manner at the correct position.
[0022]
Embodiment 3 FIG.
In the third embodiment, a marker graphic image is projected at the most suitable position according to the relative position and orientation between the object and the projector, and restrictions on the positional relationship between the object and the projector are imposed. Less.
The configuration of the third embodiment is the same as that of the first embodiment, and is the same as that shown in FIG.
FIG. 4 is a diagram showing a state in which marker graphics are projected when the object of the field work support apparatus according to Embodiment 3 of the present invention has a rectangular parallelepiped shape, and FIG. 4 (a) is projected onto the front. In this case, FIG. 4B shows a case of projecting to the front and side surfaces, and FIG. 4C shows a case of projecting to the side surfaces.
[0023]
Next, the operation will be described.
Based on the relative position and orientation between the object and the projector 2 (and the camera 1) estimated by the object position / orientation estimation unit 6, the marker image generation unit 7 selects the object among the surfaces constituting the object. The projection target surface of the marker graphic that can perform the calculation in the position / orientation determination calculation unit 8 most accurately is determined, and the position of the marker graphic to be generated is calculated so that the projection from the projector 1 hits the target surface. , Generate a projected image.
[0024]
For example, when the object has a rectangular parallelepiped shape as shown in FIG. 4, based on the estimation of the relative position and orientation between the object and the projector 2 and the camera 2,
As shown in FIG. 4 (a), only the front side is calculated as shown in FIG. 4 (c), and only the side surface is calculated as shown in FIG. 4 (b). Evaluate, determine the combination that is expected to have the best accuracy, and generate a marker graphic image. In this case, three or more marker figures that can determine the plane are used.
[0025]
According to the third embodiment, the position and orientation of the object can be calculated stably regardless of the relative position and orientation between the object and the camera.
[0026]
Embodiment 4 FIG.
In the fourth embodiment, an image obtained by photographing an object with a camera is analyzed, characteristics such as color, brightness, and material of the environment in which the object and the object are placed are evaluated, and a marker graphic to be projected By determining the shape and optical characteristics of the object, the detection of the marker figure in the object position / posture determination calculation unit 8 is made more robust.
The configuration of the fourth embodiment is the same as that of the first embodiment and is the same as that shown in FIG.
[0027]
Next, the operation will be described.
The object position / orientation estimation unit 6 evaluates the color distribution, brightness distribution, etc. of the image when analyzing the video obtained from the camera 1, and represents the optical characteristics of the object surface and the surrounding environment. Calculate the information together.
The marker video generation unit 7 acquires, in addition to the data related to the relative position and orientation to the target object, attribute information representing the optical characteristics of the target surface and the surrounding environment from the target position estimation unit 6, The object position / posture determination calculation unit 8 generates a marker graphic image having optical characteristics that facilitate detection, such as a complementary color effect between the marker graphic image and the peripheral part.
[0028]
According to the fourth embodiment, the position and orientation of an object can be calculated stably even when the environment and the optical characteristics of the object greatly change from site to site.
[0029]
【The invention's effect】
As described above, the present invention provides a projecting means for projecting an image on an object in a field work support device for assisting the work by projecting an image related to the work on or near the object to be worked. A photographing means for photographing the video projected by the projecting means, and a calculation processing section for processing the video projected by the projecting means and the video photographed by the photographing means. The calculation processing section comprises the projecting means and the photographing means. Projecting means photographing means position and orientation measuring section for storing or measuring relative position and orientation with respect to, equipment model database storing object data, and projecting means stored or measured by the projecting means photographing means position and orientation measuring section Based on the relative position and orientation relative to the photographing means, the object video data obtained by photographing the object by the photographing means and the object data in the equipment model database. The target position / posture estimation unit for estimating the approximate relative position and posture between the projection unit and the target object and the target unit estimated by the target position / posture estimation unit are projected by the projection unit. By analyzing the marker graphic photographed by photographing the marker graphic projected on the object by the photographing means based on the marker image generation unit for generating the marker graphic, and the relative position and orientation of the projection means and the photographing means An object position / posture determination calculation unit that calculates a relative position and posture between the projection unit and the target, and a projection unit based on the relative position and posture between the projection unit and the target calculated by the target position / posture determination calculation unit And a work support video generation unit that generates a work support video of the target object projected onto the target object, so that the relative position between the projection means and the target object The energizing can be calculated with high accuracy, it is possible to display the work support video to accurately position.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a field work support apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing calculation of a relative position and posture of an object of the field work support apparatus according to Embodiment 1 of the present invention.
FIG. 3 is a diagram showing a state in which a video for projecting a marker graphic is generated by a marker video generation unit of a field work support apparatus according to Embodiment 2 of the present invention;
FIG. 4 is a diagram showing a state in which a marker graphic is projected when the object of the field work support apparatus according to Embodiment 3 of the present invention has a rectangular parallelepiped shape.
[Explanation of symbols]
1 camera, 2 projector, 3 calculation processing unit,
4 Camera-projector position and orientation measurement unit, 5 equipment model database,
6 object position and orientation estimation unit, 7 marker image generation unit,
8 object position and orientation determination calculation unit, 9 work support information database,
10 work support video generation unit, 201 object, 202 imaging screen surface,
203 projection screen surface, 204 area where the position of the object is estimated,
301 object, 302 drawer-type unit, 303 projection screen surface,
304 Area occupied by movable range.

Claims

Projection means for projecting an image on the object, and projecting by the projection means in a field work support device that supports the work by projecting an image related to the work on or near the object to be worked And a calculation processing unit for processing the video projected by the projection unit and the video shot by the shooting unit. The calculation processing unit includes the projection unit, the imaging unit, Projecting means photographing means position / orientation measuring section for storing or measuring the relative position and orientation of the object, equipment model database storing the object data, and the projection stored or measured by the projecting means photographing means position / orientation measuring section Object image data obtained by photographing the object by the photographing means and the equipment model based on the relative position and posture between the photographing means and the photographing means An object position / posture estimation unit for estimating an approximate relative position and posture of the projection means and the target object by collating with the data of the target object in the database, and the target object estimated by the target object position / posture estimation unit A marker image generating unit that generates a marker graphic projected by the projecting unit on an area where the projecting unit exists, and a marker graphic projected on the object based on a relative position and orientation of the projecting unit and the imaging unit. An object position / posture determination calculation unit that calculates a relative position and posture between the projection unit and the object by analyzing the photographed marker graphic taken by the image pickup unit, and the object position / posture determination calculation unit The work support video of the object projected onto the object by the projecting means based on the relative position and orientation between the projecting means and the object calculated by Field work support device, characterized in that it is constituted by a work support image generating unit to generate.

The object has a movable part that moves along a predetermined locus, and the equipment model database stores shape data and three-dimensional movement locus data of the movable part, and the marker image generator The marker graphic projected on the movable range region of the movable part is generated with reference to the equipment model database, and the object position / posture determination calculation unit is configured to capture the marker graphic projected on the movable part as the imaging unit. And calculating the relative position and orientation of the projection means and the movable part and the displacement amount of the movable part by analyzing the photographed marker graphic, and the work support video generation unit is configured to output the projection means. Of the object projected onto the movable part by the projection means based on the relative position and posture of the movable part and the displacement of the movable part. Field work support apparatus according to claim 1, wherein the generating support image.

3. The field work support apparatus according to claim 2, wherein the marker graphic generated by the marker video generation unit is a number of point graphics corresponding to a motion trajectory and a movable range of the movable part of the object.

The marker video generation unit projects the marker graphic of the target according to the relative position and posture between the projection means and the target estimated by the target position / posture estimation unit. The field work support device according to claim 1, wherein a marker figure projected onto the projection target surface is generated.

The target object position / posture estimation unit calculates attribute information representing optical characteristics of the target object and the surroundings of the target object from an image obtained by the photographing unit, and the marker video generation unit calculates the optical characteristic. 2. A marker graphic having an optical feature that makes it easy to calculate the relative position and orientation between the projection means and the object by the object position / orientation determination calculation unit based on the attribute information that is expressed. The on-site work support device according to claim 4.