JP2009140125A - 情報提示装置 - Google Patents

Abstract

【課題】カメラで実環境映像を取得し、HMDにその実環境に応じて必要なコンピュータグラフィックス（CG）を表示させる際に、眼で見るのと同じ像をカメラで取得する。
【解決手段】本発明は、カメラで撮影した実環境映像を画像処理装置に導き、かつ、該画像処理装置は、実環境映像とコンピュータグラフィックスの合成映像を作成して、情報提示デバイスに出力し、該情報提示デバイスがその合成映像を表示する。単眼用情報提示デバイスの死角に１個のカメラを配置し、かつ、該情報提示デバイスとカメラの光軸を一致させる。
【選択図】図１

Description

本発明は、カメラで撮影した実環境映像とコンピュータグラフィックスの合成映像を作成して、情報提示デバイスに表示する情報提示装置に関する。

単眼ヘッドマウントディスプレイ（HMD）とカメラを組み合わせることによって、カメラで実環境映像を取得し、HMDにその実環境に応じて必要なコンピュータグラフィックス（CG）を表示させることができる（特許文献１、２参照）。適用例としては、AR（Augmented Reality：拡張現実）技術、例えば、この装置を装着した人が建物を見るとその建物に関する情報が表示されたり、目的地までの道順を表示させたり、スーパーで、野菜を手に取るとその生産者や収穫日、流通経路、どんな農薬を使ったかなどの情報を表示させたりできる。

しかし、従来技術は、カメラと人間の眼の光軸がずれているため、眼で見えてもカメラでは見えない場合がある。図１１及び図１２は、その一例を示している。従来のようにHMDとカメラの光軸が一致していない場合には、例えば、机上の細かな組立作業などでは、図に示すように作業者自身の手や他の部品などが障害物となって、カメラの光軸が遮られ、作業者の目で見える位置にあってもカメラで対象物を捉えることができない場合がある。具体的には小さな穴の中を覗き込んで作業を行う場合や、装置がケースの中に入っている電子部品基板などを限られた隙間の中から覗き込んでの作業、両手を使う半田付け作業の組立作業、背の高い部品が並んでいるビデオデッキの修理など、眼と対象物までの間に障害物が増えるほど、人間の眼で見えてカメラでは見えない状況が発生しやすくなり、HMDとカメラの光軸が一致している方が有利な状況が頻繁に発生する。このような状況ではカメラで取得した映像を元に画像処理したり、適切なCGを表示させたりすることができない。そこでカメラをHMDに近づけることが考えられるが、この場合、カメラ自身によって遮られる視野の領域が大きくなってわずらわしくなる。このため、作業のやりにくさにつながり、精神的にも圧迫感を感じるなどの問題が生じる。
特開２００３−２８１２９７号公報 特開２００１−１９７４００号公報

上述したように、従来技術は、カメラで取得した映像を元に画像処理したり、適切なCGを表示させたりすることができない。
本発明は、係る問題点を解決して、単眼ヘッドマウントディスプレイ（HMD）とカメラを組み合わせることによって、カメラで実環境映像を取得し、HMDにその実環境に応じて必要なコンピュータグラフィックス（CG）を表示させる際に、眼で見るのと同じ像をカメラで取得することを目的としている。

また、カメラをHMDに近づけると、遮られる視野の領域が大きくなってわずらわしく、作業のやりにくさにつながり、精神的にも圧迫感を感じるなどの問題がある。そこで、本発明は、遮られる視野の大きさを小さくすることを目的としている。

本発明の情報提示装置は、カメラで撮影した実環境映像を画像処理装置に導き、かつ、該画像処理装置は、実環境映像とコンピュータグラフィックスの合成映像を作成して、情報提示デバイスに出力し、該情報提示デバイスがその合成映像を表示する。単眼用情報提示デバイスの死角に１個のカメラを配置し、かつ、該情報提示デバイスとカメラの光軸を一致させる。

前記情報提示デバイスは、ヘッドマウントディスプレイHMDとすることができる。前記情報提示デバイスに表示した映像と、その周囲の実画像が連続的につながるように光学系を調整可能にする。
また、計測器を備え、該計測器から得られた作業対象物の情報をもとに、シミュレータ或いは加工データベースにアクセスして情報を取得し、該情報を前記情報提示デバイスを介して提示する。

本発明によれば、カメラで実環境映像を取得し、HMDにその実環境に応じて必要なコンピュータグラフィックス（CG）を表示させる際に、眼で見るのと同じ像をカメラで取得することができ、また、遮られる視野の大きさを小さくすることができる。

また、本発明によれば、具体的には加工物の形状誤差や温度分布などの情報を取得し、その状況に応じた加工方法や手順をヘッドマウントディスプレイ（HMD）等を介して作業者に提示することによって、対話的に作業者を支援することができ、熟練者でなくても、高度な技能を有する作業を行ったり、その作業者の技能を高めることが可能となる。

以下、例示に基づき本発明を説明する。図１は、情報提示デバイスとしての小型のビデオシースルーHMD（ヘッドマウントディスプレイ）と、小型カメラを単眼のみに配置した状態で示す斜視図である。このビデオシースルーHMDと小型カメラの装着は、図示したような眼鏡フレーム（但し、眼鏡レンズは必ずしも必要ではない）を利用して、或いは、頭部に装着したバンドから吊り下げることによって行うことができる（図７参照）。

シースルーHMDとは、カメラとHMDが一体となった構造で、カメラで取得した映像がHMDに表示されるものである。それは光学シースルーとビデオシースルーに分類される。光学シースルーは、ハーフミラーなどを眼前に配置して実映像とHMDの両映像が同時に見られるもので、それに対してビデオシースルーは、HMDからの映像だけが見えるものである。図1のようにHMDとカメラの光軸を一致、すなわちHMD映像の中心を通る法線とカメラの取得映像の中心を通る法線を一致させるように配置する。このHMDを装着すると視線方向がHMDの提示映像の中心にきたときには、視線方向とそれらの2つの法線は一致することになる。その際HMDの死角にカメラを配置し、かつ光学系設計によって、HMDの映像を見るときHMDのフレーム枠が見えないように配置されている。

図２は、HMDのフレーム枠が見えないことについて説明する図である。図示のように、接眼レンズなど光学系やHMDの筐体の配置によって、映像の縁の筐体枠はほとんど見えなくすることができる。

図３は、HMDとカメラの位置関係及びシステムの概略構成を示す図である。図示したように、小型カメラは、HMDの死角にあって、見えない位置に配置されている。カメラで撮影した実環境映像は、コンピュータ等により構成される画像処理装置に導かれる。画像処理装置は、実環境映像とコンピュータグラフィックスの合成映像を作成して、HMDに出力する。HMDはその合成映像を表示する。

図４は、人間の視野角と映像提示領域を示す図である。左眼の前に、ビデオシースルーHMDと小型カメラを配置したとする。この場合、小型のHMDを用いると、左目の視野全体を覆うわけではないので、図４のように正面より少し外側にHMD映像提示領域を配置すると、正面を見るときは直接両眼視でき、必要な情報を見たいときだけ、少し左を見るようにすれば、工場での加工作業など、直接視で作業したいが、さまざまな情報（設計情報や作業指示など）も見たいアプリケーションで使用できる。視野が遮られるのは、ケーブル等で隠される領域のみである。

図５は、周囲の実画像と小型ディスプレイの映像との関係を説明する図である。図中の点線円は、小型ディスプレイによる提示映像を示し、その周囲は実環境を示している。図示のように、周囲の実画像とHMDの映像が連続的につながるように光学系を調整して、等価的に遮られる視野の範囲を小さくする。具体的にはカメラで取得した実環境映像のうち、映像の拡大縮小比率（ズーム率）と提示位置（ズームした画像のどの部分を切り取って提示するか）を画像処理装置の中でソフト的に処理する。あるいは、カメラで映像を取得する際にズームレンズなどを用いてハード的に処理することもできる。

図６は、対話的支援技術の概要を示す図である。加工物の形状誤差や温度分布などの情報を取得し、その状況に応じた加工方法や手順をヘッドマウントディスプレイ（HMD）等を介して作業者に提示することによって、対話的に作業者を支援することができる。この技術によって、熟練者でなくても、高度な技能を有する作業を行ったり、その作業者の技能を高めることができる。ここではその適用例として、バーナー加熱による鉄板等の板曲げ作業を考える。この作業は、まず機械的な曲げ加工により大まかに鉄板を成形したあと、線状に加熱することによって発生する熱変形により仕上げの曲げ加工を行うものであり、船の外板の曲げ加工などで広く使われている。

図６に示すように、作業者は、HMD、カメラのほか、様々な計測器を装備したウエアラブル機器を装着する。それらの計測器から得られた作業対象物の情報をもとに、シミュレータや加工データベース設計情報にアクセスして適切な作業手順や方法など様々な情報を取得し、HMD等の情報提示デバイスを介して作業者に提示する。

作業者が作業現場を移動しつつ視覚的な情報をやり取りすることを想定した情報提示システムとしては、実画像を取得したり、コンピュータグラフィックス（CG）と実環境映像を重ね合わせて提示でき、かつウェアラブルであることが望ましい。さらに、作業者が両手で作業しつつ情報を見ることができ、屋外など周囲が明るい環境でも映像が見やすく、作業中の停電による提示映像の遮断に対しても安全なように直接視ができればなおよい。カメラと映像ディスプレイの組み合わせで小型のものとしては、カメラ付きPDAや、携帯電話、小型カメラとHMDの構成などが考えられる。

3次元の鉄板上に加熱すべき線を表示する際に、それが単眼HMDによって2次元のCGで提示されているから、作業者はその加熱線を立体的に見ることはできない。従ってその状態で精度良くその線に沿って加熱させることができるかどうか、誤差が発生する場合はどの程度なのかを検証した。このため、被験者は図７左の情報提示システムを装着し、図７右に示すようにバーナーに見立てたツールを持つ。ツールの先にはペンが装着されている。

図８は、実験における単眼HMDの提示映像の一例を示している。鉄板に見立てたペンタブレット上には加熱線を想定してCGでなぞるべき目標線が描かれている。この線は、周囲に配置されたマーカが手がかりにならないように、適当に傾きを持たせた。被験者が、HMDによって提示されたCGの目標線に沿ってペンでなぞると、その軌跡が記録されるので、その軌跡と目標線との距離誤差を評価する。ペンタブレット上の正方形マーカは、それらを画像認識してペンタブレットの位置姿勢を検出し、CGを提示するために使用している。比較のため、HMDを装着せずにペンタブレット上に直接描かれた目標線を直接視しつつなぞる実験も行った。被験者は健常な成人2名で、事前に十分な練習の後、実験を行った。HMDを使用した場合とHMDを使用せずに直接視で行った場合でそれぞれ5回ずつ測定した。

図９は、Start Pointを原点としたペンの軌跡の一例を示している。図１０は、図９のペン軌跡の各点から基準線までの距離（ペン軌跡の距離誤差）を示している。このグラフから、HMDを装着した場合の誤差は2mm以内に収まっていることがわかる。この距離誤差の標準偏差を実験毎に算出し5回の実験の平均をとると、被験者Y.Oの場合、HMD使用では0.802、直接視では0.365、被験者Y.Kの場合、HMD使用では0.658、直接視では0.288であった。これらの結果からHMDを用いた場合でも、直接視には及ばないものの、指示された線に沿って精度良くなぞることができることを確認した。この実施例は、作業が単純化されていて、カメラとHMDが離れて配置されていても達成できるものであるが、実際の作業では図１１及び図１２に示すような障害物となるものが存在する状況、すなわち本特許の構造の方が有利な状況が頻繁に発生する。

小型のビデオシースルーHMDと、小型カメラを単眼のみに配置した状態で示す斜視図である。 HMDのフレーム枠が見えないことについて説明する図である。 HMDとカメラの位置関係及びシステムの概略構成を示す図である。 人間の視野角と映像提示領域を示す図である。 周囲の実画像と小型ディスプレイの映像との関係を説明する図である。 対話的支援技術の概要を示す図である。 映像情報提示システムを例示する図である。 実験における単眼HMDの提示映像の一例を示す図である。 Start Pointを原点としたペンの軌跡の一例を示す図である。 図９のペン軌跡の各点から基準線までの距離（ペン軌跡の距離誤差）を示す図である。 HMDとカメラの光軸がずれているために作業できない状況の一例を示す図である。 HMDとカメラの光軸がずれているために作業できない状況の一例を示す図である。

Claims (4)

1. カメラで撮影した実環境映像を画像処理装置に導き、かつ、該画像処理装置は、実環境映像とコンピュータグラフィックスの合成映像を作成して、情報提示デバイスに出力し、該情報提示デバイスがその合成映像を表示する情報提示装置において、
   単眼用情報提示デバイスの死角に１個のカメラを配置し、かつ、
   該情報提示デバイスとカメラの光軸を一致させたことを特徴とする情報提示装置。
2. 前記情報提示デバイスは、ヘッドマウントディスプレイHMDである請求項１に記載の情報提示装置。
3. 前記情報提示デバイスに表示した映像と、その周囲の実画像が連続的につながるように光学系を調整可能にした請求項１に記載の情報提示装置。
4. 計測器を備え、該計測器から得られた作業対象物の情報をもとに、シミュレータ或いは加工データベースにアクセスして情報を取得し、該情報を前記情報提示デバイスを介して提示する請求項１に記載の情報提示装置。