JP2008508591A - 肉眼で見えないマーカーを用いるビジョンベースの拡張リアリティシステム - Google Patents

Abstract

肉眼で見えないマーカーを用いたビジョンベースの拡張リアリティシステムは、肉眼で見えないマーカーを追跡対象体に表示し、マーカーを感知して追跡対象体を迅速かつ正確に追跡する。この拡張リアリティシステムは、肉眼で見えない赤外線発光物質によって表示された赤外線マーカー(IM)を有する追跡対象体(TO)と、追跡対象体を撮影する可視光線カメラ(110)と、追跡対象体に含まれた赤外線マーカーを撮影する赤外線カメラ(120)と、追跡対象体から受けた可視光線を可視光線カメラに送り、追跡対象体から受けた赤外線を赤外線カメラに送り、赤外線カメラと可視光線カメラの時点を一致させる光軸変更手段と、可視光線カメラ(110)及び赤外線カメラ(120)から受けた赤外線マーカー映像及び追跡対象体映像を分離し、赤外線カメラに対する赤外線マーカーの位置及び姿勢を実時間で監視し、この赤外線マーカーの位置及び姿勢に対する監視を通して追跡対象体の位置及び姿勢を実時間で追跡し、予め用意した仮想映像を追跡対象体映像にレンダリングし、新しい映像を生成する映像処理システム(140)とを備える。

Description

本発明は、コンピュータグラフィック（ＣＧ）による仮想映像を実際映像に実時間で整合させる拡張リアリティシステム（augmented reality system）に関するもので、特に、肉眼で見えないマーカーを追跡対象体に表示し、マーカーを感知して追跡対象体を迅速かつ正確に追跡することで、拡張リアリティを一層迅速かつ正確に実現することができ、肉眼で見えるマーカーを用いる場合に発生した短所を解消することで、応用分野を拡張することができる肉眼で見えないマーカーを用いたビジョンベースの拡張リアリティシステムに関するものである。

一般的に、仮想リアリティには、没入型仮想リアリティ（Immersive VR）、卓上型仮想リアリティ（Desktop VR）及び拡張リアリティ（augmented Reality）などがある。これらのうち、拡張リアリティは、使用者が見ている実写映像に、コンピュータで生成した仮想映像を正確に整合する使用者インターフェース技術である。この拡張リアリティを通して、一層向上した現実感及び認知度を使用者に提供することができる。

上記のような拡張リアリティを実現するための重要な核心技術は、カメラまたは追跡対象体の動きを正確に推定することであり、この拡張リアリティの実現方法は、一般的に二つの方法に分けられる。

第一の方法は、実世界に存在する物体から収集された特徴を用いることであり、これは、拡張リアリティ分野で窮極的に指向している方法である。しかしながら、上記の方法には、物体から収集された特徴が少ないか、照明などの環境条件が不安定である場合、性能が大いに低下するという短所がある。

第二の方法は、既知のマーカーを用いることであり、これは、一般的に第一の方法に比べて安定的な性能を有する。ここで、マーカーは、実世界に存在しない物体であるが、カメラまたは追跡対象体の動きを正確に推定するために人為的に実世界に挿入された物体であるため、他の物体を遮るか目障りになるという短所がある。上記のような短所のため、既知のマーカーを用いた拡張リアリティ技術は、使用可能な応用分野が比較的に限定されている。

以下、上記のようなマーカーを用いたビジョンベースの拡張リアリティシステムを、図１に基づいて説明する。

図１は、従来のビジョンベースの拡張リアリティシステムを示した構成図である。
図１に示した従来のビジョンベースの拡張リアリティシステムは、肉眼で見えるマーカーＶＭが表示された追跡対象体ＴＯを撮影するカメラ１１と、追跡対象体に表示されたマーク映像をカメラ１１から受けた後、このマーク映像に基づいてマーカーの位置及び姿勢を監視し、追跡対象体の位置及び姿勢を追跡し、予め用意した仮想映像を追跡対象体映像にレンダリングすることで、新しい映像を生成する映像処理機１２と、この映像処理機１２から受けた映像を画面に出力する出力装置１３と、を含む。

上記のような従来の拡張リアリティシステムでは、肉眼で見えるマーカーを用いるため、正確かつ迅速に拡張リアリティを実現することができる。しかしながら、この場合に用いられるマーカーは、実際の環境では存在しない人為的な付加物であるため、実際に望む対象物を遮るか目障りになるという問題点がある。また、肉眼で見えるマーカーを用いる拡張リアリティシステムは、応用可能な領域が極めて制限的であるという問題点がある。

本発明は、上記のような従来の問題点を解消するためのものであって、その目的は、肉眼で見えないマーカーを追跡対象体に表示し、マーカーを感知して追跡対象体を迅速かつ正確に追跡することで、拡張リアリティを一層迅速かつ正確に実現することができ、肉眼で見えるマーカーを用いる場合に発生した短所を解消することで、応用分野を拡張することができる肉眼で見えないマーカーを用いたビジョンベースの拡張リアリティシステムを提供することにある。

上記のような目的を達成すべく、本発明に係る肉眼で見えないマーカーを用いたビジョンベースの拡張リアリティシステムは、肉眼で見えない赤外線発光物質によって表示された赤外線マーカーを有する追跡対象体と、前記追跡対象体を撮影する可視光線カメラと、前記追跡対象体に含まれた赤外線マーカーを撮影する赤外線カメラと、前記追跡対象体から受けた可視光線を前記可視光線カメラに送り、前記追跡対象体から受けた赤外線を前記赤外線カメラに送り、前記赤外線カメラと可視光線カメラの時点を一致させる光軸変更手段と、前記可視光線カメラ及び赤外線カメラから受けた赤外線マーカー映像及び追跡対象体映像を分離し、前記赤外線カメラに対する前記赤外線マーカーの位置及び姿勢を実時間で監視し、この赤外線マーカーの位置及び姿勢に対する監視を通して前記追跡対象体の位置及び姿勢を実時間で追跡し、予め用意した仮想映像を前記追跡対象体映像にレンダリングし、新しい映像を生成する映像処理システムと、前記映像処理システムから受けた映像を画面に出力する出力装置と、を備えることを特徴とする。

本発明によると、コンピュータグラフィック（ＣＧ）による仮想映像を実際映像に実時間で整合させる拡張リアリティシステムで、肉眼で見えないマーカーを追跡対象体に表示し、マーカーを感知して追跡対象体を迅速かつ正確に追跡することで、拡張リアリティを一層迅速かつ正確に実現することができ、肉眼で見えるマーカーを用いる場合に発生した短所を解消することで、応用分野を拡張することができるという効果がある。

以下、本発明の好適な実施形態を、図面に基づいて一層詳細に説明する。
図２は、本発明に係るビジョンベースの拡張リアリティシステムを示した構成図である。

図２に示すように、本発明に係るビジョンベースの拡張リアリティシステムは、追跡対象体ＴＯ、可視光線カメラ１１０、赤外線カメラ１２０、光軸変更手段、映像処理システム１４０及び出力装置１５０を含む。

追跡対象体ＴＯは、肉眼で見えない赤外線発光物質によって表示された赤外線マーカーＩＭを有する。この赤外線マーカーＩＭは、追跡対象体を正確に追跡するために用いられるもので、追跡対象体を肉眼で見ることを妨害しないように、肉眼で見えない赤外線マークが用いられる。ここで、赤外線発光物質としては、赤外線発光インクなどが挙げられる。

可視光線カメラ１１０は、追跡対象体ＴＯを撮影する。また、可視光線カメラ１１０は、可視光線と赤外線との分離程度を一層向上させるために、可視光線領域の光を通過させるカラー補正フィルターを含む。

赤外線カメラ１２０は、追跡対象体ＴＯに含まれた赤外線マーカーを撮影する。また、赤外線カメラ１２０は、可視光線と赤外線との分離程度を向上させるために、赤外線領域の光を通過させる赤外線通過フィルターを含む。

上記のようにカラー補正フィルター及び赤外線通過フィルターを用いると、赤外線領域及び可視光線領域の光が互いに分離されるので、赤外線と可視光線との分離程度を一層向上させることができる。

光軸変更手段は、追跡対象体ＴＯから受けた可視光線を可視光線カメラ１１０に送り、追跡対象体ＴＯから受けた赤外線を赤外線カメラ１２０に送ることで、赤外線カメラ１２０と可視光線カメラ１１０の時点を一致させる。

ここで、赤外線カメラ１２０と可視光線カメラ１１０の時点を一致させることは、赤外線カメラ１２０及び可視光線カメラ１１０が同一位置で同一方向に同一の場面を撮影することを意味する。

上記のような光軸変更手段を通して、赤外線カメラ１２０と可視光線カメラ１１０の時点を一致させることで、赤外線カメラ１２０及び可視光線カメラ１１０は、同一場面を同一距離及び時点で撮影するようになる。

映像処理システム１４０は、可視光線カメラ１１０及び赤外線カメラ１２０から受けた赤外線マーカー映像及び追跡対象体映像を分離し、赤外線カメラ１２０に対する赤外線マーカーＩＭの位置及び姿勢を実時間で監視し、この赤外線マーカーＩＭの位置及び姿勢に対する監視を通して追跡対象体ＴＯの位置及び姿勢を実時間で追跡し、予め用意した仮想映像を追跡対象体映像にレンダリングすることで、新しい映像を生成する。

ここで、レンダリングは、画面に描かれる実際物体の各面に、３次元コンピュータグラフィックを通して色や効果を与えることを意味し、このレンダリングを通して、画面上の実際物体に対する立体感及び事実感が向上する。

そして、出力装置１５０は、映像処理システム１４０から受けた映像を画面に出力する。この出力装置１５０の例としては、単純なモニターを初めとして、ＨＭＤ（Head Mounted Display）、クリスタルアイズ（crystal Eyes）などの立体眼鏡、眼鏡型ＨＭ（Optical See-Through ＨＭＤ）などが挙げられる。

一方、光軸変更手段は、上述したように、赤外線カメラ１２０と可視光線カメラ１１０の時点を一致させるもので、半面鏡１３０またはプリズム１３０Ａで実現される。

図２に示すように、光軸変更手段が半面鏡で実現される場合、光軸変更手段は、可視光線カメラ１１０と赤外線カメラ１２０との間に設置され、追跡対象体から発生した可視光線を可視光線カメラに透過させ、追跡対象体から発生した赤外線を赤外線カメラに反射させる。よって、赤外線カメラと可視光線カメラの時点が一致するようになる。

図３は、本発明の光軸変更手段としてプリズムを用いる例を示した図である。
図３に示すように、光軸変更手段がプリズムで実現される場合、光軸変更手段は、追跡対象体から発生した可視光線を可視光線カメラに屈折させ、追跡対象体から発生した赤外線を赤外線カメラに屈折させる。よって、赤外線カメラと可視光線カメラの時点が一致するようになる。

以下、本発明の作用及び効果を、添付の図面に基づいて詳細に説明する。
図４は、本発明の映像処理システムの動作処理を示したフローチャートで、図２及び図３に示すように、本発明の光軸変更手段は、追跡対象体ＴＯから受けた光軸ＯＰのうち可視光線ＯＰ１を可視光線カメラ１１０に送り、追跡対象体ＴＯから受けた赤外線ＯＰ２を赤外線カメラ１２０に送ることで、赤外線カメラ１２０と可視光線カメラ１１０の時点を一致させる。この光軸変更手段を通して、赤外線カメラ１２０と可視光線カメラ１１０が同一場面を同一距離及び時点で撮影するようになる。

このとき、可視光線カメラ１１０は、肉眼で見えない赤外線発光物質によって表示された赤外線マーカーＩＭを有する追跡対象体ＴＯを撮影し、この撮影された追跡対象体ＴＯを映像処理システム１４０に出力する。また、赤外線カメラ１２０は、追跡対象体ＴＯに含まれた赤外線マーカーを撮影し、この撮影された赤外線マーカーを映像処理システム１４０に出力する。

図５（ａ）及び図５（ｂ）は、本発明の可視光線カメラ及び赤外線カメラで獲得した映像の例である。
図５（ａ）及び図５（ｂ）は、同一時点で撮影した映像であり、図５（ａ）は可視光線カメラ１１０で獲得した映像の例で、図５（ｂ）は赤外線カメラ１２０で獲得した映像の例である。図５（ｂ）から分かるように、赤外線マーカーＩＭは、赤外線カメラのみによって撮影される。

図２及び図４に示すように、映像処理システム１４０は、可視光線カメラ１１０及び赤外線カメラ１２０から赤外線マーカー映像及び追跡対象体映像をそれぞれ獲得する（Ｓ４１）。この獲得された赤外線マーカーＩＭに対する映像座標を、予め用意した基準マーカーの座標と互いに比較することで、赤外線カメラ１２０での赤外線マーカーＩＭの位置及び姿勢を実時間で計算することができる（Ｓ４２）。

上記のような赤外線マーカーＩＭの位置及び姿勢に対する監視を通して、追跡対象体ＴＯの位置及び姿勢を実時間で追跡することができ（Ｓ４３）、予め用意した仮想映像を追跡対象体映像にレンダリングすることで、新しい映像を生成し（Ｓ４４）、出力装置１５０の出力を制御する過程を終了前まで繰り返す（Ｓ４５、Ｓ４６）。

これによって、出力装置１５０が映像処理システム１４０から受けた映像を画面に出力することで、拡張リアリティが実現可能になる。

図６は、本発明に係る拡張リアリティが実現された映像の例である。
図６は、赤外線カメラ１２０を用いて赤外線マーカーＩＭの位置を追跡し、追跡対象体の姿勢（ポーズ）を計算した後、予め用意したやかんの映像を可視光線カメラ１１０で獲得された映像にレンダリングし、拡張リアリティＡＲを適用した新しい映像を示している。

上述したように、本発明は、肉眼で見えないインク（赤外線発光物質）によって製作されたマーカーを用いて正確かつ迅速に追跡対象体を追跡することで、拡張リアリティを一層迅速かつ正確に実現することができる。すなわち、赤外線カメラを用いてマーカーを監視し、その結果を用いて、可視光線カメラで獲得された映像に仮想映像をレンダリングして拡張リアリティを実現する。二つのカメラの時点は、半面鏡またはプリズムを用いて一致させるので、可視光線映像のみを考慮すると、肉眼で見えないマーカーを監視して拡張リアリティを実現する。

本発明は、拡張リアリティ技術を必要とする全ての応用分野に適用される。
上記の本発明は、特定の実施形態に関して記載されかつ説明されたが、これは、単なる例示として本発明を説明するため記載されたもので、本発明をこのような特定構造に制限するものではない。当業界において通常の知識を有する者であれば、添付の特許請求の範囲に記載された本発明の技術的思想及び領域を外れない範囲内で本発明を多様に修正及び変形できることが分かる。しかし、このような修正及び変形構造は、何れも本発明の権利範囲内に含まれることが明らかである。

従来のビジョンベースの拡張リアリティシステムを示した構成図である。 本発明に係るビジョンベースの拡張リアリティシステムを示した構成図である。 本発明の光軸変更手段としてプリズムを用いる例を示した図である。 本発明の映像処理システムの動作処理を示したフローチャートである。 (a)及び(b)は、本発明の可視光線カメラ及び赤外線カメラで獲得した映像の例である。 本発明に係る拡張リアリティが実現された映像の例である。

符号の説明

ＩＭ 赤外線マーカー
ＴＯ 追跡対象体
１１０ 可視光線カメラ
１２０ 赤外線カメラ
１３０ 半面鏡
１３０Ａ プリズム
１４０ 映像処理システム
１５０ 出力装置

Claims (5)

1. 肉眼で見えない赤外線発光物質によって表示された赤外線マーカーを有する追跡対象体と、
   前記追跡対象体を撮影する可視光線カメラと、
   前記追跡対象体に含まれた赤外線マーカーを撮影する赤外線カメラと、
   前記追跡対象体から受けた可視光線を前記可視光線カメラに送り、前記追跡対象体から受けた赤外線を前記赤外線カメラに送り、前記赤外線カメラと可視光線カメラの時点を一致させる光軸変更手段と、
   前記可視光線カメラ及び赤外線カメラから受けた赤外線マーカー映像及び追跡対象体映像を分離し、前記赤外線カメラに対する前記赤外線マーカーの位置及び姿勢を実時間で監視し、この赤外線マーカーの位置及び姿勢に対する監視を通して前記追跡対象体の位置及び姿勢を実時間で追跡し、予め用意した仮想映像を前記追跡対象体映像にレンダリングし、新しい映像を生成する映像処理システムと、
   前記映像処理システムから受けた映像を画面に出力する出力装置と、を備えることを特徴とする肉眼で見えないマーカーを用いたビジョンベースの拡張リアリティシステム。
2. 前記可視光線カメラは、
   可視光線領域の光を通過させるカラー補正フィルターをさらに含むことを特徴とする請求項１に記載の拡張リアリティシステム。
3. 前記赤外線カメラは、
   赤外線領域の光を通過させて前記赤外線マーカーを認識するための赤外線通過フィルターをさらに含むことを特徴とする請求項１に記載の拡張リアリティシステム。
4. 前記光軸変更手段は、
   前記可視光線カメラと赤外線カメラとの間に設置され、前記追跡対象体から発生した可視光線を前記可視光線カメラに透過させ、前記追跡対象体から発生した赤外線を前記赤外線カメラに反射させ、前記赤外線カメラと可視光線カメラの時点を一致させる半面鏡であることを特徴とする請求項１に記載の拡張リアリティシステム。
5. 前記光軸変更手段は、
   前記追跡対象体から受けた可視光線を前記可視光線カメラに屈折させ、前記追跡対象体から受けた赤外線を前記赤外線カメラに屈折させ、前記赤外線カメラと可視光線カメラの時点を一致させるプリズムであることを特徴とする請求項１に記載の拡張リアリティシステム。
   

Images