JP2018092299A - 操作支援装置 - Google Patents

Abstract

【課題】現実空間と見本画像とを容易に対比することができ、かつ現実空間と見本画像とを同時に視認できる操作支援装置を提供する。【解決手段】センサ装置１０は操作対象を検知する。表示装置４０は、操作支援用のCGを操作対象及びその指定領域と関連付けて表示する。位置姿勢算出部３１は、センサ装置１０の出力に基づいて操作対象の位置／姿勢パラメータを算出する。指定領域情報取得部３２は、指定領域を特定する指定領域情報を取得する。第１CG取得部３３は、取得した指定領域情報に基づいて、指定領域の位置及び形状を、少なくともその要部と重ならないように明示する。第１CG重畳部３４は、第１CGを表示装置上の指定領域近傍に、位置／姿勢パラメータに応じた態様で重畳表示する。第２CG取得部３５は、指定領域への操作内容を明示する。第２CG表示部３６は、取得した第２CGを第１CGと関連付けて表示装置上に表示する。【選択図】図７

Description

本発明は、操作対象の現実空間中での指定領域の視認性を向上させることが可能な操作支援装置に係り、特に、指定領域と当該指定領域に関連する操作支援用のCGとを同時に視認する際の視認性を向上させることが可能な操作支援装置に関する。

AR（拡張現実感）は、CG（Computer Graphics：以下、視覚的な仮想情報をCGで総称する）を現実世界に重畳する技術である。ARの用途としては、例えばユーザが自ら所持する端末のカメラを商品にかざした際に、その商品を特定し、その商品に紐付いた価格等の情報をディスプレイの適切な位置に表示させるものがある。近年、携帯電話機やスマートフォンのような端末の処理性能の向上に伴って、ARを実行可能な環境が提供されてきている。

例えば、ユーザの頭部に装着する小型ディスプレイを備えた眼鏡状装置としてHMD（ヘッド・マウント・ディスプレイ）がある。HMDに搭載されたカメラは、ユーザの視線の先に映る現実空間の映像を撮影し続けるために、ユーザが自ら意識的にカメラをかざす必要もない。そのために、ユーザの視線の先の現実空間上にCGを重畳的に表示することができる。HMDとARとを連携した用途として作業支援システムがある。作業者は、例えば手先の作業をしながら、ディスプレイに映る作業指示CGをハンズフリーで確認することができる。

HMDは、主に(1)透過型と、(2)非透過型とに分類できる。透過型は、ハーフミラー等を通して装着者に虚像を見せるものであり、装着者は現実空間を直接視認できる。この方式は光学シースルー型とも呼ばれる。一方、非透過型は装着者の視界の一部もしくは全てを覆うように装着者の眼前にディスプレイが設置されるため、装着者はディスプレイの後方の現実空間を直接視認できない。但し、カメラを内蔵している場合、カメラで撮影した映像をディスプレイ上に表示することで、装着者は後方の現実空間を映像越しに視認することができる。この方式はビデオシースルー型と呼ばれる。作業支援システムでは、視界の一部が遮られることで作業効率が低下する恐れがあるため、非透過よりも、光学もしくはビデオのいずれのかのシースルー方式を用いる方が望ましい。

特許文献１には、装着者に作業内容を具体的に把握させることを目的として、作業領域における作業の見本画像（CG）を重畳する作業支援システムが開示されている。見本画像は、その作業を行う際の身振りや手振りを撮影した画像や動画であってもよく、見本画像に対応する領域を現実空間内から特定し、その領域に見本画像を重畳することで、装着者は作業領域の位置の把握が容易で、かつ作業内容のより具体的なイメージを掴むことできる。また、透過型HMDを使用することで、装着者の視界で現実空間と見本画像が重なったような表示を提供することができる。

非特許文献１には、ナビゲーションシステムにおいて視認性の高い関連情報の表示方式が開示されている。具体的には、現実空間の対象箇所から離れた位置に関連情報を表示し、さらに関連情報と対象箇所と結ぶ線分を表示することで、関連情報と対応箇所との対応関係の把握を容易とし、かつ対象箇所が関連情報に重なることを防止している。

特開2016-81241号公報

https://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol18_4/vol18_4_006jp.pdf 加藤博一，M.Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，Vol4，No4，pp.607-616，(1999)

特許文献１に開示されている方式では、見本画像が現実空間と被ってしまうため、見本画像が説明する現実空間を直接視認することができない。そのため、見本画像と現実空間とを見比べながら、実際に手を動かして作業することが困難であった。

非特許文献１に開示されている方式は、対象箇所が撮影画像内に小さく（例えば、一点として）写っている場合のみを対象としており、大きく写っている場合に線分の先がどの領域を示しているかが不明瞭であった。

本発明の目的は、上記の従来技術の課題を解決し、現実空間と見本画像とを容易に対比することができ、かつ現実空間と見本画像とを同時に視認できる操作支援装置を提供するもことにある。

上記の目的を達成するために、本発明は、操作対象の指定領域に関する操作支援用のCGを表示する操作支援装置において、以下の構成を具備した点に特徴がある。

(1) 操作対象を検知するセンサ装置と、操作支援用のCGを操作対象及びその指定領域と関連付けて表示する表示装置と、センサ装置の出力に基づいて操作対象の位置／姿勢パラメータを算出する位置姿勢算出手段と、指定領域を特定する指定領域情報を取得する指定領域情報取得手段と、取得した指定領域情報に基づいて、指定領域の位置及び形状を、少なくともその要部と重ならないように明示する第１CGを取得する第１CG取得手段と、第１CGを表示装置上の指定領域近傍に、前記位置／姿勢パラメータに応じた態様で重畳表示する第１CG重畳手段とを具備した。

(2) 指定領域への操作内容を明示する見本画像としての第２CGを取得する手段と、取得した第２CGを第１CGと関連付けて表示装置上に表示する第２CG表示手段とをさらに具備した。

(3) 第１CGと第２CGとの対応関係を明示する第３CGを表示装置上に表示する第３CG表示手段をさらに具備した。

本発明によれば、以下のような効果が達成される。

(1) 操作対象Tの指定領域Uを特定する第１CGを、指定領域Uの視認が妨げられないように表示装置４０のスクリーン上に表示して作業者に視認させることができるので、作業者に対して指定領域Uの位置、範囲および形状を正確に認識させることができるようになる。

(2) 現実空間中の指定領域Uと、この指定領域Uに関連する操作支援用の第２CGとを同時に視認することが可能となるので、作業者は、説明領域の位置を示す第１CGにより作業箇所を把握した上で、指定領域と指定領域に関連する第２CGとを見比べながらケーブルの抜去等の操作を正確に行えるようになる。

(3) 第１CGと第２CGとを結ぶ線分等の図形を第３CGとして表示するので、作業者は第１CGと第２CGとの対応関係を容易に把握できるようになる。

本発明の第１実施形態に係る操作支援装置の主要部の構成を示した機能ブロック図である。 マーカを用いた際に設定される座標系の一例を示した図である。 特徴点の配置を用いた際に設定される座標系の一例を示した図である。 位置／姿勢算出に用いる操作対象Tの撮影範囲と指定領域Uの範囲とを同一にした例を示した図である。 第１CGを射影変換して、指定領域の視認が妨げられないように重畳表示した例を示した図である。 第１CGを正射影して、指定領域の視認が妨げられないように重畳表示した例を示した図である。 本発明の第２実施形態に係る操作支援装置の主要部の構成を示した機能ブロック図である。 LANポートに装着されているLANケーブルを取り外す操作を支援する第２CGの一例を示した図である。 第１の第２CG要素及び第２の第２CG要素の例を示した図である。 指定領域の更新に同期して第２CGが更新される様子を示した図である。 位置／姿勢パラメータを用いて射影変換された第２CGの表示例を示した図である。 位置／姿勢パラメータを用いて相似変換された第２CGの表示例を示した図である。 第２CGを常に直立姿勢で表示する例を示した図である。 第２CGと第１CGとの距離に相当する線分の一例を示した図である。 第２CGを予め用意された複数の候補位置のいずれかに相似変換して表示する方法を示した図（その１）である。 第２CGを予め用意された複数の候補位置のいずれかに相似変換して表示する方法を示した図（その２）である。 本発明の第３実施形態に係る操作支援装置の主要部の構成を示した機能ブロック図である。 第１CGと第２CGとを結ぶ図形を第３CGとして表示する例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る操作支援装置１の主要部の構成を示した機能ブロック図であり、センサ装置１０、データベース２０、画像出力装置３０及び表示装置４０を主要な構成としている。

センサ装置１０は、操作支援に係る対象物（操作対象）Tの位置／姿勢を検知する。このようなセンサ装置１０としては、可視光、赤外線、超音波または磁気用のセンサを用いることができる。一般的なスマートフォン等に搭載される可視光カメラを用いる場合は、専用のマーカを対象物に貼り付けることで操作対象Tの位置／姿勢パラメータを取得する手法が非特許文献２に開示されている。

あるいは、操作対象Tから抽出できる特徴点の配置を登録しておくことで、マーカを貼り付けることなく操作対象Tの位置・姿勢パラメータを計算できる。赤外線を用いる場合は、赤外線カメラ、赤外線照射センサ及び反射マーカが必要となる。超音波や磁気を用いる場合は、各々のセンサと専用のトランスミッタが必要となる。

なお、操作対象Tに対するセンサ装置１０の位置／姿勢パラメータまたはセンサ装置１０に対する操作対象Tの位置／姿勢パラメータが計算できるものであれば、センサ装置１０は上述のセンサ等に限定されない。なお、本実施形態では、センサ装置１０として特に可視光カメラを用いる場合を例にして説明する。

データベース２０は、位置／姿勢パラメータの算出に必要な情報及び後述する指定領域の情報や第１CG等の電子情報を記録しておくことができる記憶装置であり、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージまたはPCの主記憶装置として使用される揮発性メモリを用いることができる。

表示装置４０は、PCやスマートフォンのディスプレイであり、ヘッドマウントディスプレイやヘッドアップディスプレイ、ホログラムディスプレイを使用してもよい。ヘッドマウントディスプレイには、透過型と非透過型との２種類が存在するが、そのいずれであっても良い。

画像出力装置３０において、位置／姿勢算出部３１は、例えば非特許文献２に開示された手法を利用して、可視光カメラ１０が撮影したカメラ画像から抽出した複数の特徴点（SIFT，SURF，ORB等）またはマーカの配置と、操作対象Tから予め抽出してデータベース２０に蓄積されている複数の特徴点またはマーカの配置との対応関係に基づいて、操作対象Tと可視光カメラ１０との相対的な位置、姿勢関係を表す位置／姿勢パラメータを算出する。

前記位置／姿勢パラメータとしては、並進及び移動のパラメータ、射影変換行列またはアフィン変換行列、ホモグラフィ行列などを用いることができる。位置／姿勢パラメータとは、より厳密には可視光カメラ１０と操作対象Tとの間との相対的な位置関係を示すものであり、操作対象Tに対する可視光カメラ１０の位置／姿勢パラメータ及び可視光カメラ１０に対する操作対象Tの位置／姿勢パラメータのいずれも用いることができる。

指定領域情報取得部３２は、操作対象Tにおける指定領域Uの位置及び形状を特定する指定領域情報をデータベース２０から取得して第１CG取得部３３へ提供する。第１CG取得部３３は、前記提供された指定領域情報に基づいて、指定領域Uの位置及び形状を、少なくともその要部と重ならないように明示する第１CGを、データベース２０から取得または自ら生成して第１CG重畳部３４へ提供する。

指定領域Uとは、操作対象Tにおける具体的な操作部分として予め指定される少なくとも一つの領域であり、位置／姿勢算出部３１が位置／姿勢パラメータを算出する際に使用した操作対象Tの座標系上の点群に基づいて定めることができる。

例えば、図２，３に示したように、指定領域Uが矩形の形状であって、その４頂点の座標を操作対象Tの座標系上で指定することで指定領域Uが予め登録されているのであれば、当該4頂点の各座標を指定領域情報取得部３２がデータベース２０から取得して第１CG取得部３３へ提供する。

第１CG取得部３３は、前記提供された情報に基づいて、前記4頂点を結ぶ矩形枠状の第１CGをデータベース２０から取得する。あるいは、前記提供された情報に基づいて、前記4頂点を結ぶ矩形枠状の第１CGを自ら生成する。

本実施形態では、前記位置／姿勢パラメータを算出するために、マーカや特徴点の配置を用いる場合及びセンサ装置１０として可視光カメラ以外を用いる場合のいずれにおいても、操作象物Tに対して座標系が設定され、この座標系を用いて指定領域Uが登録される。

図２は、マーカを用いた際に設定される座標系（X,Y,Z）の一例を示しており、図３は、特徴点（図中の×印）の配置を用いた際に設定される座標系の一例を示している。なお、図２、３ではいずれも画像の左上が原点となっているが、これに限定されるものではない。

また、指定領域Uは上記のような矩形の形状に限定されるものではなく、楕円形状や任意の形状とすることもできる。この場合には、指定領域Uの輪郭に沿った点群の各座標が予め登録されることになる。

このとき、指定領域Uの位置及び形状を示す点群の一部又は全てによって構成される図形を第１CGとして用いても良い。あるいは、点群の一部又は全てを頂点とする多角形を第１CGとして用いてもよい。あるいは、点群を内包する図形（例えば、凸包や円）を取得し、その輪郭線を第１CGとして用いても良い。

さらに、複数の指定領域Uを、その操作タイミングに応じた時系列で順次に明示したい場合には、各指定領域Uに対応する点群を、その再生タイミングに応じた時間情報と対応付けてデータベース２０に登録することができる。

例えば、作業支援システムにおいて、複数の作業工程から構成される作業手順を提示する場合に、第１工程は第１指定領域U1を対象とし、第２工程は第２指定領域U2を対象とするのであれば、作業の進捗状況に応じて、第１指定領域U1を明示する第１CG及び第２指定領域U2を明示する第１CGが、当該順序で表示、消去を繰り返すようにしても良い。

なお、処理を簡略化するために、位置／姿勢算出部３１で用いる操作対象Tの撮影範囲と指定領域情報取得部３２で用いる指定領域Uの範囲とを同一にしてもよい。具体的には、図４に示したように、操作対象Tを映した画像の左上を原点とした座標系において事前に特徴点を計算しておくと共に、指定領域Uが操作対象画像の全体を示すように、指定領域Uを四隅の点によって定めてもよい。

第１CG重畳部３４は、第１CGを前記位置／姿勢パラメータを用いて、表示装置４０上で操作対象Tの指定領域Uが視認される位置（表示装置４０が透過スクリーンであれば、指定領域Uの透過位置）近傍に重畳表示する。このとき、第１CGが操作対象Tに張り付いて視認されるように、位置／姿勢パラメータに応じた態様、例えば射影変換（アフィン変換や相似変換等を包含する）した後に、当該指定領域Uの近傍に重畳表示するようにしても良い。図５は、矩形枠状の第１CGを射影変換して、現実空間の指定領域の視認が妨げられないように、その輪郭近傍に沿って重畳表示した例を示している。

あるいは、位置／姿勢パラメータを用いて指定領域Uの位置及び形状を示す点群の一部又は全てについて表示装置４０上の投影先を算出し、投影先に基づいて第１CGを逐次的に生成、表示しても良い。

例えば、図６に示すように、点群の投影先（図中の×）を内包する図形（例えば、楕円や矩形）を第１CGとして生成し、正射影により表示してもよい。

なお、表示装置４０が透過型ディスプレイによって構成される場合は、位置／姿勢パラメータと透過型ディスプレイに関するキャリブレーションパラメータとを用いて、第１CGの表示位置を指定領域の透過位置として算出すれば良い。

本実施形態によれば、操作対象Tの指定領域Uを特定する第１CGを、指定領域Uの視認が妨げられないように表示装置４０のスクリーン上に表示して作業者に視認させることができるので、作業者に対して指定領域Uの位置及び範囲を正確に認識させることができるようになる。

図７は、本発明の第２実施形態に係る操作支援装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は、指定領域Uへの操作内容等を表す見本画像を第２CGとして取得する第２CG取得部３５及び当該第２CGを表示装置４０に表示する第２CG表示部３６を具備した点に特徴がある。

第２CG取得部３５は、指定領域Uに予め紐付けられた第２CGをデータベース２０から取得して第２CG表示部３６へ提供する。第２CGは、指定領域Uへの作業者による適切な操作内容等を撮影した画像または動画、もしくは操作内容等に応じて作成されたイラストまたはアニメーションである。

第２CG表示部３６は、前記第２CGを表示装置４０に表示する。このとき、現実空間中の指定領域Uとの比較がしやすいように、位置／姿勢パラメータを用いて射影変換（アフィン変換等を包含する）した第２CGを表示するようにすることが望ましい。

図８は、所定のLANポートに装着されているLANケーブルを取り外す操作を支援する第２CGの一例を示しており、当該LANポートからLANケーブルを取り外す動画やアニメーションが第２CGとなり得る。

なお、各指定領域Uに関連して表示する第２CGは一つに限定されるものではなく、図９に一例を示したように、操作支援用に指定領域Uに対する推奨操作を撮影したカメラ画像（見本画像）を第１の第２CG要素[同図(a)]とし、これに操作する部品等を具体的に特定するための目印や操作内容を説明する文字列を表す第２の第２CG要素等[同図(b)]を重畳し、この重畳画像を第２CGとして表示[同図(c)]するようにしても良い。前記第１の第２CG要素は、指定領域Uに対する推奨操作を描画したアニメーション（見本画像）であっても良い。

前記図９は、所定のLANポートに装着されているLANケーブルを取り外す操作を支援する第２CGなので、所定のLANポートにLANケーブルが装着されている第１の第２CG要素[同図(a)]に、取り外し対象のLANケーブルを特定するための目印（ここでは、〇印）及び操作内容（ここでは、「ヌク」の文字列）を示す第２の第２CG要素[同図(b)]を重畳して第２CG[同図(c)]としている。

また、指定領域Uは一つの操作対象Tについて１か所である必要は無く、複数の指定領域U（U1，U2，U3）を逐次的に操作する場合には、第１CGの位置および形状を各指定領域Uに応じて逐次更新し、当該第１CGの更新に同期して、これに関連付けて表示する第２CGの内容も更新するようにしても良い。

例えば、複数のLANケーブルを所定の順序で挿抜する操作支援であれば、図１０に示したように、時刻t1では１番目に挿抜すべきLANケーブルに対応した指定領域U1の位置に、その範囲に応じた形状の第１CGを表示すると共に、その操作内容を説明する第２CGを関連付けて表示する。

次いで、その操作に要する時間経過後の時刻t2では、２番目に挿抜すべきLANケーブルに対応した指定領域U2の位置に、その範囲に応じた形状の第１CGを表示すると共に、その操作内容を示す第２CGを関連付けて表示する。

最後に、その操作に要する時間経過後の時刻t3に、３番目に挿抜すべきLANケーブルに対応した指定領域U3の位置に、その範囲に応じた形状の第１CGを表示すると共に、その操作内容を示す第２CGを関連付けて表示するようにしても良い。

このような時系列表示は、表示すべき複数の第1CGおよび第２CGのペアを、その表示タイミングと共にデータベース２０に蓄積しておき、第１CG状重畳部３４および第２CG表示部３６が、各CGをその表示タイミングで順次に表示することで実現できる。

一方、前記第２CG表示部３６は第２CGを表示する際に、現実空間中の指定領域Uとの比較がしやすいように、図１１に示したように、位置／姿勢パラメータを用いて射影変換（アフィン変換等を包含する）した第２CGを表示してもよい。

あるいは、第２CGが常に正面方向で提示されるように、図１２に示したように、表示装置４０内の位置・回転・拡大縮小のみを補正（相似変換）するようにしても良い。このようにすれば、作業者にとってCG単体の視認性を向上させることができるようになる。

さらに、表示装置４０に傾きを検知するセンサを設けておき、当該センサにより検知された傾きパラメータを用いて第２CGの回転成分を補正してもよい。表示装置４０の傾きパラメータとしては、加速度センサの出力信号を用いることができる。これによって、図１３に示すように、表示装置４０が傾いた状態でも第２CGを常に直立姿勢の状態で表示できるようになる。

前記第２CGの表示位置は、第２CGと第１CGとの距離を指標（第１指標）として決定してもよい。第１CG及び第２CGの位置は、例えば各CGを構成する点群の座標の中央値や平均値で代表できる。その上で、第２CGと第１CGとの距離が一定値、もしくは一定以上となる位置を第２CGの表示位置として算出してもよい。第２CGと第１CGとの距離に相当する線分の一例を図１４に示す。

もしくは、第２CGと第１CGとの重複率を指標（第２指標）として第２CGの表示位置を決定してもよい。例えば、第１CG及び第２CGの各CGを構成する点群の凸包を取得し、（第１凸包と第２凸包とのAND領域の面積）／（第１凸包と第２凸包とのOR領域の面積）を重複率として算出してもよい。その上で、重複率が一定値もしくは一定以下となる位置を第２CGの表示位置として算出してもよい。

なお、第２CGの表示位置は、上記の第１または第２指標に基づいて距離や重複率に関する条件を満たす位置をランダムに算出するのみならず、事前に定義した複数の候補位置の中から最適位置を適応的に選択するようにしてもよい。例えば、複数の候補位置の中から指標値が最小（例えば、重複率が最小）になる候補位置を選択してもよい。

図１５は、第２CGを予め用意された複数の候補位置のいずれかに相似変換して表示する方法を示した図であり、ここでは候補位置の大きさを固定とし、回転角度は、位置／姿勢パラメータを用いて第１CGと同等の回転量となるように補正されるものとする。また、４つの候補位置を表示装置４０の四隅に定義（x1〜x4）し、重複率に基づいて適応的にいずれかの候補位置が選択されるようにしている。そして、各候補位置について、前記固定の大きさと回転量とを用いた場合に想定される第２CGの表示領域を算出する。

図１５の例では、第１CGと第２CGとの重複率が最小となるのは候補位置x3であるため、図１６に示したように、候補位置x3が第２CGの表示位置として選択される。

本実施形態によれば、指定領域に対する操作内容を明示する操作支援用の第２CGが、指定領域に重ねてではなく、指定領域から離れた位置に表示されるので、第１CGで明示された指定領域の状態を目視で確認しながら、第２CGを参照することで、その操作内容を確認することができるようになる。

図１７は、本発明の第３実施形態に係る操作支援装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は、第１CGと第２CGとの対応関係を明示する第３CGを表示する第３CG表示部３７をさらに具備した点に特徴がある。

第３CG表示部３７は、図１８に例示したように、第１CGと第２CGとを結ぶ図形（例えば、線分）を第３CGとして表示するので、作業者は第１CGと第２CGとの対応関係を容易に把握できるようになる。

なお、上記の実施形態では、第２CGとして予め録画された操作支援用の動画やアニメーション、またはカメラ画像から切り出した指定領域Uのリアルタイム映像のいずれかを選択的に表示するものとして説明したが、本発明はこれのみに限定されるものでなく、最初は予め録画された操作支援用の動画を第２CGとして表示して操作内容を作業者に学習させ、その後、所定のタイミングで指定領域Uのリアルタイム映像に切り替えるようにしても良い。

１０…センサ装置（可視光カメラ），２０…データベース，３０…画像出力装置，３１…位置／姿勢算出部，３２…指定領域情報取得部，３３…第１CG取得部，３４…第１CG重畳部，３５…第２CG取得部，３６…第２CG表示部，３７…第３CG表示部，４０…表示装置

Claims (23)

1. 操作対象の指定領域に関する操作支援用のCGを表示する操作支援装置において、
   操作対象を検知するセンサ装置と、
   操作支援用のCGを操作対象及びその指定領域と関連付けて表示する表示装置と、
   センサ装置の出力に基づいて操作対象の位置／姿勢パラメータを算出する位置姿勢算出手段と、
   指定領域を特定する指定領域情報を取得する指定領域情報取得手段と、
   取得した指定領域情報に基づいて、指定領域の位置及び形状を、少なくともその要部と重ならないように明示する第１CGを取得する第１CG取得手段と、
   第１CGを表示装置上の指定領域近傍に、前記位置／姿勢パラメータに応じた態様で重畳表示する第１CG重畳手段とを具備したことを特徴とする操作支援装置。
2. 前記指定領域への操作内容を明示する第２CGを取得する手段と、
   取得した第２CGを前記第１CGと関連付けて表示装置上に表示する第２CG表示手段とをさらに具備したことを特徴とする請求項１に記載の操作支援装置。
3. 前記第１CGと第２CGとの対応関係を明示する第３CGを表示装置上に表示する第３CG表示手段をさらに具備したことを特徴とする請求項２に記載の操作支援装置。
4. 前記第３CGが第１CGと第２CGとを結ぶ図形であることを特徴とする請求項３に記載の操作支援装置。
5. 前記指定領域情報が、指定領域の位置及び形状を特定する点群の座標であることを特徴とする請求項１ないし４のいずれかに記載の操作支援装置。
6. 前記第１CG取得手段は、前記点群に基づいて構成されるCGを第１CGとして取得することを特徴とする請求項５に記載の操作支援装置。
7. 前記第１CG取得手段は、前記点群を内包する図形の輪郭形状を第１CGとして取得することを特徴とする請求項６に記載の操作支援装置。
8. 前記第１CG重畳手段は、前記位置／姿勢パラメータに基づいて射影変換された第１CGを表示することを特徴とする請求項１ないし７のいずれかに記載の操作支援装置。
9. 前記第１CG重畳手段は、前記位置／姿勢パラメータに基づいて、指定領域の位置及び形状を特定する点群の表示装置上への投影先を算出し、当該投影先の座標に基づいて第１CGを逐次的に表示することを特徴とする請求項１ないし７のいずれかに記載の操作支援装置。
10. 前記指定領域情報取得手段は、取得する指定領域情報を逐次的に更新し、前記第１CGの表示位置及び形状が当該更新に応じて逐次的に更新されることを特徴とする請求項１ないし９のいずれかに記載の操作支援装置。
11. 前記第２CGが、指定領域に対する推奨操作を撮影した画像であることを特徴とする請求項２ないし４のいずれかに記載の操作支援装置。
12. 前記第２CGが、指定領域に対する推奨操作を描画したアニメーションであることを特徴とする請求項２ないし４のいずれかに記載の操作支援装置。
13. 前記第２CGが、複数の第２CG要素を重畳したCGであることを特徴とする請求項２ないし４のいずれかに記載の操作支援装置。
14. 前記複数の第２CG要素が、指定領域に対する推奨操作を撮影した第１の第２CG要素及び指定領域に対する推奨操作を説明する第２の第２CG要素を含むことを特徴とする請求項１３に記載の操作支援装置。
15. 前記第１CGが逐次的に更新され、当該更新に同期して当該第１CGに関連する第２CGも更新されることを特徴とする請求項２ないし４のいずれかに記載の操作支援装置。
16. 前記センサ装置が可視光カメラであり、
    前記第１の第２CG要素が、前記位置／姿勢パラメータを用いてカメラ画像の指定領域から切り出したリアルタイム映像であることを特徴とする請求項１４または１５に記載の操作支援装置。
17. 前記第２CG表示手段は、前記位置／姿勢パラメータを用いて射影変換した第２CGを表示することを特徴とする請求項１１ないし１６のいずれかに記載の操作支援装置。
18. 前記第２CG表示手段は、前記位置／姿勢パラメータを用いて相似変換した第２CGを表示することを特徴とする請求項１１ないし１６のいずれかに記載の操作支援装置。
19. 前記第２CG表示手段は、表示装置の傾きパラメータを用いて回転成分を補正した第２CGを表示することを特徴とする請求項１１ないし１６のいずれかに記載の操作支援装置。
20. 前記第２CG表示手段は、表示装置の傾きパラメータとして加速度センサのセンサ値を用いることを特徴とする請求項１９に記載の操作支援装置。
21. 前記第２CG表示手段は、第１CGと第２CGとの距離が所定の関係を示すように当該第２CGの表示位置を決定する請求項１１ないし２０のいずれかに記載の操作支援装置。
22. 前記第２CG表示手段は、第１CGと第２CGとの重複率が所定の関係を示すように当該第２CGの表示位置を決定する請求項１１ないし２０のいずれかに記載の操作支援装置。
23. 前記表示装置が透過型のディスプレイを含み、前記第１CGが前記指定領域の透過位置の輪郭近傍に表示されることを特徴とする請求項１ないし２２のいずれかに記載の操作支援装置。