JP2001344617A - 複合現実感実現システム - Google Patents
複合現実感実現システムInfo
- Publication number
- JP2001344617A JP2001344617A JP2001097782A JP2001097782A JP2001344617A JP 2001344617 A JP2001344617 A JP 2001344617A JP 2001097782 A JP2001097782 A JP 2001097782A JP 2001097782 A JP2001097782 A JP 2001097782A JP 2001344617 A JP2001344617 A JP 2001344617A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- display
- portable computer
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 赤外線ＬＥＤとＣＣＤカメラを組み合わせ
て、展示品の実像にその関連するコンテンツを重畳させ
観者に高度な没入感を提供できるようにする。 【解決手段】 展示品の周りの同一垂直平面上に４個の
赤外線ＬＥＤ１を設置する一方、携帯型コンピュータ５
側に装備されたＣＣＤカメラ１０により撮影され、座標
位置認識部１３でリアルタイムに認識される赤外線ＬＥ
Ｄ１の画像上の座標位置と、携帯型コンピュータ５側の
パソコン本体４の記憶装置部１１に予め登録されている
画像上の基準座標位置との差を演算し、その演算結果に
基づいて展示品に関連するコンテンツを展示品の実像に
リアルタイムに位置整合させて重畳させることで、観者
にインタラクティブな情報を提供し高度な没入感を与え
ることができるように構成している。
て、展示品の実像にその関連するコンテンツを重畳させ
観者に高度な没入感を提供できるようにする。 【解決手段】 展示品の周りの同一垂直平面上に４個の
赤外線ＬＥＤ１を設置する一方、携帯型コンピュータ５
側に装備されたＣＣＤカメラ１０により撮影され、座標
位置認識部１３でリアルタイムに認識される赤外線ＬＥ
Ｄ１の画像上の座標位置と、携帯型コンピュータ５側の
パソコン本体４の記憶装置部１１に予め登録されている
画像上の基準座標位置との差を演算し、その演算結果に
基づいて展示品に関連するコンテンツを展示品の実像に
リアルタイムに位置整合させて重畳させることで、観者
にインタラクティブな情報を提供し高度な没入感を与え
ることができるように構成している。
Description
【０００１】
【発明の属する技術分野】本発明は、主として博物館等
の文化施設において発掘土器等の文化品を展示する場合
に好適に使用可能な複合現実感実現システムに関する。
の文化施設において発掘土器等の文化品を展示する場合
に好適に使用可能な複合現実感実現システムに関する。
【０００２】
【従来の技術】博物館等の文化施設で発掘土器等の文化
品を展示するに際しては、展示品を単に裸眼で可視する
ように展示するだけでなく、その展示品に関連する情
報、例えば展示品が発掘土器である場合、それの発掘場
所や発掘状況などを来館者等の観者に伝達できるように
することが望ましい。
品を展示するに際しては、展示品を単に裸眼で可視する
ように展示するだけでなく、その展示品に関連する情
報、例えば展示品が発掘土器である場合、それの発掘場
所や発掘状況などを来館者等の観者に伝達できるように
することが望ましい。
【０００３】そのような要望に応えるものとして、従来
一般的には、展示品の展示の妨げにならない範囲で解説
パネルを設置したり、音声によって関連情報を提供する
音声ガイダンスシステムが汎用されている。
一般的には、展示品の展示の妨げにならない範囲で解説
パネルを設置したり、音声によって関連情報を提供する
音声ガイダンスシステムが汎用されている。
【０００４】また、近年のマイクロプロセッサの目覚ま
しい発展に伴い、携帯式情報端末装置（ＰＤＡ）を用い
て音声と映像を組み合わせて来館者等の観者の興味に応
じてインタラクティブな情報を提供する電子ガイダンス
システムも開発されている。
しい発展に伴い、携帯式情報端末装置（ＰＤＡ）を用い
て音声と映像を組み合わせて来館者等の観者の興味に応
じてインタラクティブな情報を提供する電子ガイダンス
システムも開発されている。
【０００５】
【発明が解決しようとする課題】しかしながら、従来か
ら汎用されている解説パネルの場合は、パネルの大きさ
やそれの設置スペース等の物理的な制約条件があること
からみて観者の興味に応じたインタラクティブな情報を
提供することが不可能あるいは非常に困難である。ま
た、音声ガイダンスシステムの場合は、物理的な制約条
件がない反面、写真や映像などを利用した視覚的な情報
を提供することができないため、現実感、没入感のある
展示効果は望めない。
ら汎用されている解説パネルの場合は、パネルの大きさ
やそれの設置スペース等の物理的な制約条件があること
からみて観者の興味に応じたインタラクティブな情報を
提供することが不可能あるいは非常に困難である。ま
た、音声ガイダンスシステムの場合は、物理的な制約条
件がない反面、写真や映像などを利用した視覚的な情報
を提供することができないため、現実感、没入感のある
展示効果は望めない。
【０００６】これらに対して、ＰＤＡを用いた電子ガイ
ダンスシステムは、観者に音声と映像の組み合わせによ
って観者の興味に応じたインタラクティブな情報を提供
することが可能であり、現状にあっては最善のシステム
と考えられる。
ダンスシステムは、観者に音声と映像の組み合わせによ
って観者の興味に応じたインタラクティブな情報を提供
することが可能であり、現状にあっては最善のシステム
と考えられる。
【０００７】しかし、電子ガイダンスシステムの場合
は、ＰＤＡを観者自身が両手を用いて保持しなければな
らないという面倒があるばかりでなく、展示品とそれの
映像情報の表示位置が観者の視線に対して異なるため
に、観者は視線を展示品と映像表示位置の間に亘って頻
繁に移動させねばならず、これによって、観者に対して
高度な没入感を与えることができないという問題があっ
た。
は、ＰＤＡを観者自身が両手を用いて保持しなければな
らないという面倒があるばかりでなく、展示品とそれの
映像情報の表示位置が観者の視線に対して異なるため
に、観者は視線を展示品と映像表示位置の間に亘って頻
繁に移動させねばならず、これによって、観者に対して
高度な没入感を与えることができないという問題があっ
た。
【０００８】本発明は上記の課題を解消するためになさ
れたもので、携帯型コンピュータを用いることで、特別
な３次元位置・姿勢センサー等の多くの構成要素を用い
ることなく、少数の構成要素を用いた簡単な構成であり
ながら、観者の興味に応じたインタラクティブな情報を
提供し高度な没入感を与えて効果的な展示を実現するこ
とができる複合現実感実現システムを提供することを目
的としている。
れたもので、携帯型コンピュータを用いることで、特別
な３次元位置・姿勢センサー等の多くの構成要素を用い
ることなく、少数の構成要素を用いた簡単な構成であり
ながら、観者の興味に応じたインタラクティブな情報を
提供し高度な没入感を与えて効果的な展示を実現するこ
とができる複合現実感実現システムを提供することを目
的としている。
【０００９】
【課題を解決するための手段】上記目的を達成するため
に、本発明における複合現実感実現システムは、対象物
の周りの同一垂直平面上に設置され、個別の対象物の識
別信号を発信する識別信号発信手段と、対象物の位置を
教示する３以上複数個の位置教示手段と、ヘッド・マウ
ント・ディスプレイとコントローラとパソコン本体とか
らなる携帯型コンピュータとで構成される複合現実感実
現システムであって、上記携帯型コンピュータのヘッド
・マウント・ディスプレイには、映像表示部と、識別信
号発信手段から発信される個別の対象物の識別信号を受
信する識別信号受信手段と、複数個の位置教示手段を撮
影する撮影手段とが具備されている。また、上記携帯型
コンピュータのパソコン本体には、対象物に関連する映
像等を含むコンテンツ及び対象物によって予め定められ
た基準位置から撮影手段で撮影した位置教示手段の画像
上の座標位置を含むデータを予め登録するための記憶装
置部と、識別信号受信手段からの信号を受けて対象物に
関連するコンテンツを記憶装置部から呼び出す制御演算
部と、撮影手段で撮影した画像上における複数個の位置
教示手段の座標位置をリアルタイムに認識する座標位置
認識部と、それら複数の座標位置から対象物の可視位置
と対象物間の位置を演算する位置情報演算部と、これら
位置情報から記憶装置部に予め登録されている対象物に
関連するコンテンツ、例えば映像をヘッド・マウント・
ディスプレイの映像表示部上で対象物の実像に位置整合
させて重畳させるコンテンツ重畳部とが具備されてお
り、上記パソコン本体の記憶装置部に予め登録されてい
る位置教示手段の画像上の座標位置と上記座標位置認識
部でリアルタイムに認識される座標位置との差を位置情
報演算部で演算し、その演算結果に基づいて対象物に関
連するコンテンツ、例えば映像を対象物の実像にリアル
タイムに位置整合し重畳させるように構成したものであ
る。
に、本発明における複合現実感実現システムは、対象物
の周りの同一垂直平面上に設置され、個別の対象物の識
別信号を発信する識別信号発信手段と、対象物の位置を
教示する３以上複数個の位置教示手段と、ヘッド・マウ
ント・ディスプレイとコントローラとパソコン本体とか
らなる携帯型コンピュータとで構成される複合現実感実
現システムであって、上記携帯型コンピュータのヘッド
・マウント・ディスプレイには、映像表示部と、識別信
号発信手段から発信される個別の対象物の識別信号を受
信する識別信号受信手段と、複数個の位置教示手段を撮
影する撮影手段とが具備されている。また、上記携帯型
コンピュータのパソコン本体には、対象物に関連する映
像等を含むコンテンツ及び対象物によって予め定められ
た基準位置から撮影手段で撮影した位置教示手段の画像
上の座標位置を含むデータを予め登録するための記憶装
置部と、識別信号受信手段からの信号を受けて対象物に
関連するコンテンツを記憶装置部から呼び出す制御演算
部と、撮影手段で撮影した画像上における複数個の位置
教示手段の座標位置をリアルタイムに認識する座標位置
認識部と、それら複数の座標位置から対象物の可視位置
と対象物間の位置を演算する位置情報演算部と、これら
位置情報から記憶装置部に予め登録されている対象物に
関連するコンテンツ、例えば映像をヘッド・マウント・
ディスプレイの映像表示部上で対象物の実像に位置整合
させて重畳させるコンテンツ重畳部とが具備されてお
り、上記パソコン本体の記憶装置部に予め登録されてい
る位置教示手段の画像上の座標位置と上記座標位置認識
部でリアルタイムに認識される座標位置との差を位置情
報演算部で演算し、その演算結果に基づいて対象物に関
連するコンテンツ、例えば映像を対象物の実像にリアル
タイムに位置整合し重畳させるように構成したものであ
る。
【００１０】上記した構成の複合現実感実現システムに
よると、識別信号発信手段を対象物の周りの同一垂直平
面上に設置する一方、位置教示手段を撮影するための撮
影手段を携帯型コンピュータ側のヘッド・マウント・デ
ィスプレイに観者の視線上に合致するように装備させる
ことにより、特別な３次元位置・姿勢センサー等の多数
の構成要素を用いることなく、識別信号発信手段および
位置教示手段と撮影手段を組み合わせただけの簡単な構
成としながらも、対象物と観者の可視位置間の物理的な
位置関係を演算し、この演算結果に基づいて対象物にそ
の対象物に関連するコンテンツ、例えば映像（虚像）を
リアルタイムに位置整合し重畳させて複合現実感を実現
させることが可能である。これによって、観者自身が観
ている対象物（実物）とそれに関連する映像を含むコン
テンツとが一体に結び付いた興趣性に富んだインタラク
ティブな情報を観者に提供することが可能となり、観者
に高度な没入感を与えることができる。
よると、識別信号発信手段を対象物の周りの同一垂直平
面上に設置する一方、位置教示手段を撮影するための撮
影手段を携帯型コンピュータ側のヘッド・マウント・デ
ィスプレイに観者の視線上に合致するように装備させる
ことにより、特別な３次元位置・姿勢センサー等の多数
の構成要素を用いることなく、識別信号発信手段および
位置教示手段と撮影手段を組み合わせただけの簡単な構
成としながらも、対象物と観者の可視位置間の物理的な
位置関係を演算し、この演算結果に基づいて対象物にそ
の対象物に関連するコンテンツ、例えば映像（虚像）を
リアルタイムに位置整合し重畳させて複合現実感を実現
させることが可能である。これによって、観者自身が観
ている対象物（実物）とそれに関連する映像を含むコン
テンツとが一体に結び付いた興趣性に富んだインタラク
ティブな情報を観者に提供することが可能となり、観者
に高度な没入感を与えることができる。
【００１１】このような複合現実感実現システムにおけ
る携帯型コンピュータのヘッド・マウント・ディスプレ
イとしては、請求項２に記載のように、対象物からの反
射光を対象物の可視位置へ向けて直線的に透過させるハ
ーフミラーを備えてなり、撮影手段により撮影される背
景画像は映像表示部に出力しない光学的シースルー方式
に構成されたヘッド・マウント・ディスプレイ、あるい
は、請求項３に記載のように、対象物からの反射光を対
象物の可視位置からの視線に対して直交する方向へ屈曲
させる両面鏡を備えてなり、撮影手段により撮影される
背景画像を映像表示部へ出力させるビデオシースルー方
式に構成されたヘッド・マウント・ディスプレイを使用
して撮影手段により撮影される背景画像を重畳させて映
像表示部に出力させるビデオシースルー方式に構成され
たヘッド・マウント・ディスプレイのいずれを使用して
もよい。
る携帯型コンピュータのヘッド・マウント・ディスプレ
イとしては、請求項２に記載のように、対象物からの反
射光を対象物の可視位置へ向けて直線的に透過させるハ
ーフミラーを備えてなり、撮影手段により撮影される背
景画像は映像表示部に出力しない光学的シースルー方式
に構成されたヘッド・マウント・ディスプレイ、あるい
は、請求項３に記載のように、対象物からの反射光を対
象物の可視位置からの視線に対して直交する方向へ屈曲
させる両面鏡を備えてなり、撮影手段により撮影される
背景画像を映像表示部へ出力させるビデオシースルー方
式に構成されたヘッド・マウント・ディスプレイを使用
して撮影手段により撮影される背景画像を重畳させて映
像表示部に出力させるビデオシースルー方式に構成され
たヘッド・マウント・ディスプレイのいずれを使用して
もよい。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態による
複合現実感実現システムを図１〜図５に基づいて説明す
る。
複合現実感実現システムを図１〜図５に基づいて説明す
る。
【００１３】この複合現実感実現システムは、図１に示
すように、展示品（対象物の一例）の周りの同一垂直平
面上に設置されて個別の展示品の識別信号６を発信する
１個（複数個でもよい）の赤外線ＬＥＤ（識別信号発信
手段）１と、これを含めた３以上複数個の赤外線ＬＥＤ
（位置教示手段）１と、単眼式ヘッド・マウント・ディ
スプレイ（以下、単眼式ＨＭＤと称する）２とコントロ
ーラ３とパソコン本体４とからなる携帯型コンピュータ
（例えば、身体に装着できるもの、ポケットなどに収納
できるものなど）５とで構成されている。なお、上記赤
外線ＬＥＤ１について言えば、少なくとも３個設けられ
るが、これら全ての赤外線ＬＥＤが位置教示用として使
用されるとともに、この内の１つが識別信号用として使
用されることになる。すなわち、赤外線ＬＥＤを使用す
る限りでは、識別信号発信手段が位置教示手段を兼ねる
ことになる。勿論、異なる部品（手段）を用いる場合に
は、それぞれ別個に設けられて兼用されることはない。
すように、展示品（対象物の一例）の周りの同一垂直平
面上に設置されて個別の展示品の識別信号６を発信する
１個（複数個でもよい）の赤外線ＬＥＤ（識別信号発信
手段）１と、これを含めた３以上複数個の赤外線ＬＥＤ
（位置教示手段）１と、単眼式ヘッド・マウント・ディ
スプレイ（以下、単眼式ＨＭＤと称する）２とコントロ
ーラ３とパソコン本体４とからなる携帯型コンピュータ
（例えば、身体に装着できるもの、ポケットなどに収納
できるものなど）５とで構成されている。なお、上記赤
外線ＬＥＤ１について言えば、少なくとも３個設けられ
るが、これら全ての赤外線ＬＥＤが位置教示用として使
用されるとともに、この内の１つが識別信号用として使
用されることになる。すなわち、赤外線ＬＥＤを使用す
る限りでは、識別信号発信手段が位置教示手段を兼ねる
ことになる。勿論、異なる部品（手段）を用いる場合に
は、それぞれ別個に設けられて兼用されることはない。
【００１４】上記携帯型コンピュータ５の単眼式ＨＭＤ
２には、映像表示部（液晶またはＣＲＴ等のディスプレ
イ）７と、音響伝達部（一般にイヤホーンが用いられる
が、小型のスピーカを用いてもよい）８と、赤外線ＬＥ
Ｄ１から発信される個別の展示品を識別するための赤外
線識別信号６を受信する赤外線受光部［識別信号受信手
段の一例である。赤外線以外の光を用い、位置教示手段
と識別信号発信手段とを兼用する場合は、光源となる波
長に合わせて、受光部にフィルタを設けて認識可能とす
る。位置教示手段では、画像処理にて認識が行われる
（赤外線を使用した場合と同じ）］９と、複数個の赤外
線ＬＥＤ１を撮影するＣＣＤカメラ（撮影手段の一例
で、例えばＣＭＯＳカメラを用いることもできる）１０
とが具備されている。
２には、映像表示部（液晶またはＣＲＴ等のディスプレ
イ）７と、音響伝達部（一般にイヤホーンが用いられる
が、小型のスピーカを用いてもよい）８と、赤外線ＬＥ
Ｄ１から発信される個別の展示品を識別するための赤外
線識別信号６を受信する赤外線受光部［識別信号受信手
段の一例である。赤外線以外の光を用い、位置教示手段
と識別信号発信手段とを兼用する場合は、光源となる波
長に合わせて、受光部にフィルタを設けて認識可能とす
る。位置教示手段では、画像処理にて認識が行われる
（赤外線を使用した場合と同じ）］９と、複数個の赤外
線ＬＥＤ１を撮影するＣＣＤカメラ（撮影手段の一例
で、例えばＣＭＯＳカメラを用いることもできる）１０
とが具備されている。
【００１５】このＣＣＤカメラ１０は、図２に示すよう
に、観者Ｈが単眼式ＨＭＤ２を通して見たものと同じ背
景を撮影できるように単眼式ＨＭＤ２に光学的に装着さ
れており、このＣＣＤカメラ１０を含む単眼式ＨＭＤ２
としては、光学的シースルー方式に構成されたもの、ビ
デオシースルー方式に構成されたもののいずれを用いて
もよい。
に、観者Ｈが単眼式ＨＭＤ２を通して見たものと同じ背
景を撮影できるように単眼式ＨＭＤ２に光学的に装着さ
れており、このＣＣＤカメラ１０を含む単眼式ＨＭＤ２
としては、光学的シースルー方式に構成されたもの、ビ
デオシースルー方式に構成されたもののいずれを用いて
もよい。
【００１６】光学的シースルー方式の単眼式ＨＭＤ２と
は、この単眼式ＨＭＤ２に装着されるミラーＭがハーフ
ミラーの場合であり、これは、図２に示すように、文化
施設内における展示室の壁等の垂直平面Ｗに沿う姿勢に
展示された展示品Ａからの反射光Ｐが観者Ｈの可視位置
へ向けて直線的に透過される位置にハーフミラーＭが配
置され、このハーフミラーＭの両側にＣＣＤカメラ１０
と映像表示部７とがレンズ１６，１７を介して光学的に
配置されたものである。
は、この単眼式ＨＭＤ２に装着されるミラーＭがハーフ
ミラーの場合であり、これは、図２に示すように、文化
施設内における展示室の壁等の垂直平面Ｗに沿う姿勢に
展示された展示品Ａからの反射光Ｐが観者Ｈの可視位置
へ向けて直線的に透過される位置にハーフミラーＭが配
置され、このハーフミラーＭの両側にＣＣＤカメラ１０
と映像表示部７とがレンズ１６，１７を介して光学的に
配置されたものである。
【００１７】このような光学的シースルー方式の単眼式
ＨＭＤ２によると、ＣＣＤカメラ１０により撮影された
背景画像は映像表示部７へ出力されない。ただし、映像
表示部７へ表示する重畳用の映像の表示位置及び大きさ
を決定するために、ＣＣＤカメラ１０により赤外線ＬＥ
Ｄ１を撮影することは不可欠である。
ＨＭＤ２によると、ＣＣＤカメラ１０により撮影された
背景画像は映像表示部７へ出力されない。ただし、映像
表示部７へ表示する重畳用の映像の表示位置及び大きさ
を決定するために、ＣＣＤカメラ１０により赤外線ＬＥ
Ｄ１を撮影することは不可欠である。
【００１８】また、ビデオシースルー方式の単眼式ＨＭ
Ｄ２とは、この単眼式ＨＭＤ２に装着されるミラーＭが
両面鏡の場合であり、これは、展示室の壁等の垂直平面
Ｗに沿う姿勢に展示された展示品Ａからの反射光Ｐが両
面鏡Ｍによって観者Ｈの可視位置からの視線に対して直
交する方向へ屈曲されて背景画像がＣＣＤカメラ１０に
より撮影され、その撮影された背景画像を映像表示部７
へ出力させて重畳用映像に重ねるように構成されたもの
である。なお、このビデオスルー方式の単眼式ＨＭＤ２
においても、映像表示部７へ表示する重畳用映像の表示
位置及び大きさを決定するために、ＣＣＤカメラ１０に
より赤外線ＬＥＤ１を撮影することは不可欠である。
Ｄ２とは、この単眼式ＨＭＤ２に装着されるミラーＭが
両面鏡の場合であり、これは、展示室の壁等の垂直平面
Ｗに沿う姿勢に展示された展示品Ａからの反射光Ｐが両
面鏡Ｍによって観者Ｈの可視位置からの視線に対して直
交する方向へ屈曲されて背景画像がＣＣＤカメラ１０に
より撮影され、その撮影された背景画像を映像表示部７
へ出力させて重畳用映像に重ねるように構成されたもの
である。なお、このビデオスルー方式の単眼式ＨＭＤ２
においても、映像表示部７へ表示する重畳用映像の表示
位置及び大きさを決定するために、ＣＣＤカメラ１０に
より赤外線ＬＥＤ１を撮影することは不可欠である。
【００１９】上記携帯型コンピュータ５のパソコン本体
４には、展示品に関連する映像、説明文、音響等を含む
コンテンツ（なお、このコンテンツは各種データ類、例
えば技術的データも含むもので、単に、情報と称しても
よい）及び展示品によって予め定められた基準位置から
ＣＣＤカメラ１０で撮影した赤外線ＬＥＤ１の画像上の
座標位置を含むデータ（以下、基準の座標データと称
し、この点の詳細は後述する）を予め登録するための記
憶装置部１１と、赤外線受光部９からの信号を受けて記
憶装置部１１から映像、説明文、音声等の展示品に関連
するコンテンツを呼び出す制御演算部１２と、ＣＣＤカ
メラ１０で撮影した画像上における赤外線ＬＥＤ１の座
標位置（以下、実座標データと称する）をリアルタイム
に認識する座標位置認識部１３と、それら実座標データ
から携帯型コンピュータ５の単眼式ＨＭＤ２を装着した
来館者等の観者による展示品の可視位置と展示品間の位
置を演算する位置情報演算部１４と、それら位置情報か
ら記憶装置部１１に予め登録されている展示品に関連す
る映像または説明文等を単眼式ＨＭＤ２の映像表示部７
において展示品の実像に位置整合させて重畳するコンテ
ンツ重畳部１５とが具備されている。なお、上記記憶装
置部１１は、通信機能を持たせることにより、外部に配
置するものであってもよい。
４には、展示品に関連する映像、説明文、音響等を含む
コンテンツ（なお、このコンテンツは各種データ類、例
えば技術的データも含むもので、単に、情報と称しても
よい）及び展示品によって予め定められた基準位置から
ＣＣＤカメラ１０で撮影した赤外線ＬＥＤ１の画像上の
座標位置を含むデータ（以下、基準の座標データと称
し、この点の詳細は後述する）を予め登録するための記
憶装置部１１と、赤外線受光部９からの信号を受けて記
憶装置部１１から映像、説明文、音声等の展示品に関連
するコンテンツを呼び出す制御演算部１２と、ＣＣＤカ
メラ１０で撮影した画像上における赤外線ＬＥＤ１の座
標位置（以下、実座標データと称する）をリアルタイム
に認識する座標位置認識部１３と、それら実座標データ
から携帯型コンピュータ５の単眼式ＨＭＤ２を装着した
来館者等の観者による展示品の可視位置と展示品間の位
置を演算する位置情報演算部１４と、それら位置情報か
ら記憶装置部１１に予め登録されている展示品に関連す
る映像または説明文等を単眼式ＨＭＤ２の映像表示部７
において展示品の実像に位置整合させて重畳するコンテ
ンツ重畳部１５とが具備されている。なお、上記記憶装
置部１１は、通信機能を持たせることにより、外部に配
置するものであってもよい。
【００２０】次に、上記構成のシステムを使用して、博
物館等の文化施設において複合現実感を実現させる方法
について、図３〜図５及び図６に示す処理概要フローチ
ャートを参照して説明する。
物館等の文化施設において複合現実感を実現させる方法
について、図３〜図５及び図６に示す処理概要フローチ
ャートを参照して説明する。
【００２１】図３及び図４に示すように、展示室Ｒ内の
壁等の垂直平面Ｗに沿う姿勢に掛けられている展示品Ａ
の周りの四隅で、この展示品Ａと同一垂直平面上に設置
された４個の赤外線ＬＥＤ１のうちの一つから展示品Ａ
の識別信号６が発信される。ここで、展示品Ａの左上角
で一つの赤外線ＬＥＤ１が設置された箇所を第１基準点
とし、他の三つの赤外線ＬＥＤ１が設置された箇所を時
計回りに第２、第３、第４基準点とする。
壁等の垂直平面Ｗに沿う姿勢に掛けられている展示品Ａ
の周りの四隅で、この展示品Ａと同一垂直平面上に設置
された４個の赤外線ＬＥＤ１のうちの一つから展示品Ａ
の識別信号６が発信される。ここで、展示品Ａの左上角
で一つの赤外線ＬＥＤ１が設置された箇所を第１基準点
とし、他の三つの赤外線ＬＥＤ１が設置された箇所を時
計回りに第２、第３、第４基準点とする。
【００２２】上記一つの赤外線ＬＥＤ１から発信された
識別信号６を携帯型コンピュータ５における単眼式ＨＭ
Ｄ２の赤外線受光部９で受信する（ステップＳ２１）
と、この赤外線受光部９からの出力信号を携帯型コンピ
ュータ５におけるパソコン本体４の制御演算部１２が受
けて、記憶装置部１１から該当する映像、説明文、音声
等の展示品に関連するコンテンツ及び基準の座標データ
が呼び出され（ステップＳ２２）、その呼び出された基
準の座標データが位置情報演算部１４に、かつ、コンテ
ンツがコンテンツ重畳部１５に送られる（ステップＳ２
３，Ｓ２４）。
識別信号６を携帯型コンピュータ５における単眼式ＨＭ
Ｄ２の赤外線受光部９で受信する（ステップＳ２１）
と、この赤外線受光部９からの出力信号を携帯型コンピ
ュータ５におけるパソコン本体４の制御演算部１２が受
けて、記憶装置部１１から該当する映像、説明文、音声
等の展示品に関連するコンテンツ及び基準の座標データ
が呼び出され（ステップＳ２２）、その呼び出された基
準の座標データが位置情報演算部１４に、かつ、コンテ
ンツがコンテンツ重畳部１５に送られる（ステップＳ２
３，Ｓ２４）。
【００２３】ここで、上記基準の座標データとは、図４
に示すように、展示品Ａによって予め定められた基準位
置ＢＰから、単眼式ＨＭＤ２のＣＣＤカメラ１０により
撮影した赤外線ＬＥＤ１の第１と第４基準点（または第
２と第３基準点）間及び第１と第２基準点間の画像上に
おける距離を測定し、同時に、図５に示すように、展示
品Ａに関連した映像ＳＥを重畳する座標（ＣＣＤカメラ
１０で撮影された画像ＬＥ上の左上角を原点Ｏとし、重
畳する映像ＳＥの左上角の座標）を決定したものであ
る。
に示すように、展示品Ａによって予め定められた基準位
置ＢＰから、単眼式ＨＭＤ２のＣＣＤカメラ１０により
撮影した赤外線ＬＥＤ１の第１と第４基準点（または第
２と第３基準点）間及び第１と第２基準点間の画像上に
おける距離を測定し、同時に、図５に示すように、展示
品Ａに関連した映像ＳＥを重畳する座標（ＣＣＤカメラ
１０で撮影された画像ＬＥ上の左上角を原点Ｏとし、重
畳する映像ＳＥの左上角の座標）を決定したものであ
る。
【００２４】次に、携帯型コンピュータ５におけるパソ
コン本体４の座標位置認識部１３において、この携帯型
コンピュータ５を装着した来館者等の観者Ｈが任意に選
択した実際の可視位置ＲＰから単眼式ＨＭＤ２のＣＣＤ
カメラ１０で４個の赤外線ＬＥＤ１を撮影し（ステップ
Ｓ２５）、その撮影した４個の赤外線ＬＥＤ１の画像Ｌ
Ｅ上における座標（画像上の左上角を原点とする）を求
める（ステップＳ２６）。この座標から、第１と第４基
準点（または第２と第３基準点）間及び第１と第２基準
点間の画像上における距離を求める。
コン本体４の座標位置認識部１３において、この携帯型
コンピュータ５を装着した来館者等の観者Ｈが任意に選
択した実際の可視位置ＲＰから単眼式ＨＭＤ２のＣＣＤ
カメラ１０で４個の赤外線ＬＥＤ１を撮影し（ステップ
Ｓ２５）、その撮影した４個の赤外線ＬＥＤ１の画像Ｌ
Ｅ上における座標（画像上の左上角を原点とする）を求
める（ステップＳ２６）。この座標から、第１と第４基
準点（または第２と第３基準点）間及び第１と第２基準
点間の画像上における距離を求める。
【００２５】続いて、携帯型コンピュータ５におけるパ
ソコン本体４の位置情報演算部１４において、予め基準
位置ＢＰから撮影した第１と第４基準点（または第２と
第３基準点）間及び第１と第２基準点間の長さを比較す
ることにより、展示品Ａと観者Ｈとの位置情報、つま
り、距離と角度を計算する。すなわち、予め測定してお
いた第１と第４基準点（または第２と第３基準点）間の
画像上の距離を正規化して「１」とし、観者Ｈの実際の
可視位置ＲＰからの撮影に基づいて求められた第１と第
４基準点（または第２と第３基準点）間の画像上の距離
αを計算する。同様に、予め測定しておいた第１と第２
基準点間の画像上の距離を正規化して「１」とし、観者
Ｈの実際の可視位置ＲＰからの撮影に基づいて求められ
た第１と第２基準点間の画像上の距離α×βを計算する
（ステップＳ２７）。なお、第４基準点が他の観者等の
存在によって撮影不能な場合は、第２と第３基準点間の
長さから距離αを計算すればよい。
ソコン本体４の位置情報演算部１４において、予め基準
位置ＢＰから撮影した第１と第４基準点（または第２と
第３基準点）間及び第１と第２基準点間の長さを比較す
ることにより、展示品Ａと観者Ｈとの位置情報、つま
り、距離と角度を計算する。すなわち、予め測定してお
いた第１と第４基準点（または第２と第３基準点）間の
画像上の距離を正規化して「１」とし、観者Ｈの実際の
可視位置ＲＰからの撮影に基づいて求められた第１と第
４基準点（または第２と第３基準点）間の画像上の距離
αを計算する。同様に、予め測定しておいた第１と第２
基準点間の画像上の距離を正規化して「１」とし、観者
Ｈの実際の可視位置ＲＰからの撮影に基づいて求められ
た第１と第２基準点間の画像上の距離α×βを計算する
（ステップＳ２７）。なお、第４基準点が他の観者等の
存在によって撮影不能な場合は、第２と第３基準点間の
長さから距離αを計算すればよい。
【００２６】次いで、携帯型コンピュータ５におけるパ
ソコン本体４のコンテンツ重畳部１５において、観者Ｈ
の実際の可視位置ＲＰから撮影された画像ＬＥ上におけ
る展示品に関連する映像ＳＥの重畳する座標を決定する
とともに、重畳する映像ＳＥのスケール（大きさ）合わ
せを行った（ステップＳ２８）上、映像ＳＥを展示品Ａ
の実像上に重畳する（ステップＳ２９）。これを詳述す
ると、まず、観者Ｈの実際の可視位置ＲＰから撮影した
第１基準点の座標と、基準位置ＢＰから撮影した第１基
準点の座標との差を演算し、その差分だけ重畳する映像
ＳＥの左上角の座標を平行移動する。ここでは、画像の
左上を原点とした予め定められている展示品Ａ上の所定
の位置（座標）を映像ＳＥの左上角と定めているものと
する。さらに、その平行移動された映像ＳＥの座標と観
者Ｈの実際の可視位置ＲＰから撮影した第１基準点の座
標との差を演算し、その差分のＹ成分（Ｙは鉛直方向を
表す）をα倍するとともに、その差分のＸ成分（Ｘは水
平方向を表す）をα×β倍して、それぞれを観者Ｈの実
際の可視位置ＲＰから撮影した第１基準点の座標に加え
て、映像ＳＥの左上角の座標を決定する。そして、最後
に記憶装置部１１に予め登録されている映像をＸ・Ｙ方
向全体にα倍するとともに、Ｘ方向にβ倍に圧縮した
後、上記のように決定した座標にリアルタイムに重畳さ
せる。
ソコン本体４のコンテンツ重畳部１５において、観者Ｈ
の実際の可視位置ＲＰから撮影された画像ＬＥ上におけ
る展示品に関連する映像ＳＥの重畳する座標を決定する
とともに、重畳する映像ＳＥのスケール（大きさ）合わ
せを行った（ステップＳ２８）上、映像ＳＥを展示品Ａ
の実像上に重畳する（ステップＳ２９）。これを詳述す
ると、まず、観者Ｈの実際の可視位置ＲＰから撮影した
第１基準点の座標と、基準位置ＢＰから撮影した第１基
準点の座標との差を演算し、その差分だけ重畳する映像
ＳＥの左上角の座標を平行移動する。ここでは、画像の
左上を原点とした予め定められている展示品Ａ上の所定
の位置（座標）を映像ＳＥの左上角と定めているものと
する。さらに、その平行移動された映像ＳＥの座標と観
者Ｈの実際の可視位置ＲＰから撮影した第１基準点の座
標との差を演算し、その差分のＹ成分（Ｙは鉛直方向を
表す）をα倍するとともに、その差分のＸ成分（Ｘは水
平方向を表す）をα×β倍して、それぞれを観者Ｈの実
際の可視位置ＲＰから撮影した第１基準点の座標に加え
て、映像ＳＥの左上角の座標を決定する。そして、最後
に記憶装置部１１に予め登録されている映像をＸ・Ｙ方
向全体にα倍するとともに、Ｘ方向にβ倍に圧縮した
後、上記のように決定した座標にリアルタイムに重畳さ
せる。
【００２７】なお、ここで観者Ｈが展示品Ａに接近し
て、ＣＣＤカメラ１０により撮影された赤外線ＬＥＤ１
が画像ＬＥからはみ出す場合は、はみ出す前の映像の重
畳状態をキープし待機させるものとする。
て、ＣＣＤカメラ１０により撮影された赤外線ＬＥＤ１
が画像ＬＥからはみ出す場合は、はみ出す前の映像の重
畳状態をキープし待機させるものとする。
【００２８】また、上記実施の形態では、重畳しようと
する映像ＳＥを展示品Ａの範囲内に収まるような位置に
表示させる場合について説明したが、必ずしもそれに限
定されるものでなく、展示品Ａと重なり合わないような
位置に表示させることも可能である。この場合は、「表
示の基準位置」、例えば映像の左上角の座標を決定する
ための「基準位置」を第２基準点に設定しておき、その
「基準位置」の座標に合わせて「表示の基準位置」も平
行移動させる。このような映像の表示位置変更手段を採
用することによって、展示品Ａと映像ＳＥが実際に同一
平面上に存在し、その平面上における位置関係も一定で
あるかのように表現させることが可能である。さらに上
記したαとβを使用して、可視位置によって変化する展
示品Ａのサイズと同様なサイズ変化を重畳する映像ＳＥ
にも持たせて表示させることも可能である。
する映像ＳＥを展示品Ａの範囲内に収まるような位置に
表示させる場合について説明したが、必ずしもそれに限
定されるものでなく、展示品Ａと重なり合わないような
位置に表示させることも可能である。この場合は、「表
示の基準位置」、例えば映像の左上角の座標を決定する
ための「基準位置」を第２基準点に設定しておき、その
「基準位置」の座標に合わせて「表示の基準位置」も平
行移動させる。このような映像の表示位置変更手段を採
用することによって、展示品Ａと映像ＳＥが実際に同一
平面上に存在し、その平面上における位置関係も一定で
あるかのように表現させることが可能である。さらに上
記したαとβを使用して、可視位置によって変化する展
示品Ａのサイズと同様なサイズ変化を重畳する映像ＳＥ
にも持たせて表示させることも可能である。
【００２９】また、上記実施の形態では、垂直平面Ｗに
設置される展示品Ａが平面的なものである場合について
説明したが、自由空間に設置された立体的な展示品に対
しても仮想的に垂直平面を設定して立体的な展示品の４
隅に赤外線ＬＥＤ１を配置することによって、上記した
と同様な複合現実感の実現が可能であり、さらに、重畳
する映像ＳＥに三次元グラフィックスを採用すること
で、立体的な展示品に対して立体的な映像を重畳させる
ことも可能である。また、音響伝達部から、重畳する映
像等の有無に拘わらず、様々なガイダンス、説明等を流
すことにより、観者に、一層の没入感を与えることがで
きる。
設置される展示品Ａが平面的なものである場合について
説明したが、自由空間に設置された立体的な展示品に対
しても仮想的に垂直平面を設定して立体的な展示品の４
隅に赤外線ＬＥＤ１を配置することによって、上記した
と同様な複合現実感の実現が可能であり、さらに、重畳
する映像ＳＥに三次元グラフィックスを採用すること
で、立体的な展示品に対して立体的な映像を重畳させる
ことも可能である。また、音響伝達部から、重畳する映
像等の有無に拘わらず、様々なガイダンス、説明等を流
すことにより、観者に、一層の没入感を与えることがで
きる。
【００３０】さらに、本発明は、博物館等の文化施設に
おける展示品を対象として複合現実感を実現するもので
あるが、各種産業分野における機器・装置の診断や、医
療診断、そのほか教育分野、エンターテイメント分野に
おける複合現実感の実現システムに応用することも考え
られる。すなわち、対象物としては、予め、参照情報を
提供するようにされた設置物ならどのような物でもよ
く、例えば工場設備に設けられるような計器、または装
置の調整手段であってもよい。
おける展示品を対象として複合現実感を実現するもので
あるが、各種産業分野における機器・装置の診断や、医
療診断、そのほか教育分野、エンターテイメント分野に
おける複合現実感の実現システムに応用することも考え
られる。すなわち、対象物としては、予め、参照情報を
提供するようにされた設置物ならどのような物でもよ
く、例えば工場設備に設けられるような計器、または装
置の調整手段であってもよい。
【００３１】
【発明の効果】以上のように、本発明によれば、対象物
の周りの同一垂直平面上に設置された位置教示手段を撮
影して対象物に関連するコンテンツを対象物の実像にリ
アルタイムに位置整合し重畳表示させるための撮影手段
を携帯型コンピュータ側のＨＭＤに観者の視線上に合致
するように装備させることにより、特別な３次元位置・
姿勢センサー等の多数の構成要素を用いることなく、位
置教示手段と撮影手段を組み合わせただけの簡単な構成
でありながら、観者自身が観ている対象物とそれに関連
するコンテンツとが一体に結び付いた興趣性に富んだイ
ンタラクティブな情報を観者に提供することができ、こ
れによって、観者に高度な没入感を与え、例えば対象物
が展示品である場合には、展示効果を顕著に高めること
ができる。
の周りの同一垂直平面上に設置された位置教示手段を撮
影して対象物に関連するコンテンツを対象物の実像にリ
アルタイムに位置整合し重畳表示させるための撮影手段
を携帯型コンピュータ側のＨＭＤに観者の視線上に合致
するように装備させることにより、特別な３次元位置・
姿勢センサー等の多数の構成要素を用いることなく、位
置教示手段と撮影手段を組み合わせただけの簡単な構成
でありながら、観者自身が観ている対象物とそれに関連
するコンテンツとが一体に結び付いた興趣性に富んだイ
ンタラクティブな情報を観者に提供することができ、こ
れによって、観者に高度な没入感を与え、例えば対象物
が展示品である場合には、展示効果を顕著に高めること
ができる。
【図１】本発明の実施の形態による複合現実感実現シス
テムの概略構成を示すブロック図である。
テムの概略構成を示すブロック図である。
【図２】同システムにおける単眼式ＨＭＤの光学的位置
関係を説明する平面図である。
関係を説明する平面図である。
【図３】同システムを使用して、平面的な展示品に対す
る複合現実感を実現するための一例を説明する立面図で
ある。
る複合現実感を実現するための一例を説明する立面図で
ある。
【図４】同平面図である。
【図５】単眼式ＨＭＤによる画像図である。
【図６】処理概要フローチャートである。
１ 赤外線ＬＥＤ ２ 単眼式ＨＭＤ ３ コントローラ ４ パソコン本体 ５ 携帯型コンピュータ ７ 映像表示部 ８ 音響伝達部 ９ 赤外線受光部 １０ ＣＣＤカメラ １１ 記憶装置部 １２ 制御演算部 １３ 座標位置認識部 １４ 位置情報演算部 １５ コンテンツ重畳部 Ａ 展示品 Ｗ 垂直平面 Ｈ 観者（来館者等）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田村 晴代 大阪府大阪市住之江区南港北１丁目７番89 号 日立造船株式会社内
Claims (4)
- 【請求項１】対象物の周りの同一垂直平面上に設置さ
れ、個別の対象物の識別信号を発信する識別信号発信手
段と、対象物の位置を教示する３以上複数個の位置教示
手段と、ヘッド・マウント・ディスプレイとコントロー
ラとパソコン本体とからなる携帯型コンピュータとで構
成される複合現実感実現システムであって、 上記携帯型コンピュータのヘッド・マウント・ディスプ
レイには、映像表示部と、識別番号発信手段から発信さ
れる個別の対象物の識別信号を受信する識別番号受信手
段と、上記複数個の位置教示手段を撮影する撮影手段と
が具備され、 上記携帯型コンピュータのパソコン本体には、対象物に
関連するコンテンツ及び対象物によって予め定められた
基準位置から撮影手段で撮影した位置教示手段の画像上
の座標位置を含むデータを予め登録するための記憶装置
部と、識別信号受信手段からの信号を受けて対象物に関
連するコンテンツを記憶装置部から呼び出す制御演算部
と、撮影手段で撮影した画像上における複数個の位置教
示手段の座標位置をリアルタイムに認識する座標位置認
識部と、これら複数の座標位置から対象物の可視位置と
対象物間の位置を演算する位置情報演算部と、これら位
置情報から記憶装置部に予め登録されている対象物に関
連するコンテンツをヘッド・マウント・ディスプレイの
映像表示部上で対象物に重畳させるコンテンツ重畳部と
が具備されており、 上記パソコン本体の記憶装置部に予め登録されている位
置教示手段の画像上の座標位置と上記座標位置認識部で
リアルタイムに認識される座標位置との差を位置情報演
算部で演算し、その演算結果に基づいて対象物に関連す
るコンテンツを対象物にリアルタイムにて重畳させるよ
うに構成したことを特徴とする複合現実感実現システ
ム。 - 【請求項２】上記携帯型コンピュータのヘッド・マウン
ト・ディスプレイとして、対象物からの反射光を対象物
の可視位置へ向けて直線的に透過させるハーフミラーを
備えてなり、撮影手段により撮影される背景画像は映像
表示部へ出力しない光学的シースルー方式に構成された
ヘッド・マウント・ディスプレイを使用することを特徴
とする請求項１に記載の複合現実感実現システム。 - 【請求項３】上記携帯型コンピュータのヘッド・マウン
ト・ディスプレイとして、対象物からの反射光を対象物
の可視位置からの視線に対して直交する方向へ屈曲させ
る両面鏡を備えてなり、撮影手段により撮影される背景
画像を映像表示部へ出力させるビデオシースルー方式に
構成されたヘッド・マウント・ディスプレイを使用する
ことを特徴とする請求項１に記載の複合現実感実現シス
テム。 - 【請求項４】コンテンツが映像であることを特徴とする
請求項１乃至３のいずれかに記載の複合現実感実現シス
テム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001097782A JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
| US10/189,127 US6795041B2 (en) | 2000-03-31 | 2002-07-02 | Mixed reality realizing system |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000096055 | 2000-03-31 | ||
| JP2000-96055 | 2000-03-31 | ||
| JP2001097782A JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
| US10/189,127 US6795041B2 (en) | 2000-03-31 | 2002-07-02 | Mixed reality realizing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001344617A true JP2001344617A (ja) | 2001-12-14 |
| JP3957468B2 JP3957468B2 (ja) | 2007-08-15 |
Family
ID=32303121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001097782A Expired - Lifetime JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6795041B2 (ja) |
| JP (1) | JP3957468B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
| JP2009140125A (ja) * | 2007-12-05 | 2009-06-25 | National Institute Of Advanced Industrial & Technology | 情報提示装置 |
| JP2009245390A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 表示処理装置及び表示処理システム |
| JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
| KR101080040B1 (ko) | 2010-03-25 | 2011-11-04 | 동서대학교산학협력단 | 공간 증강 현실 기반 인터랙티브 디스플레이 방법 |
| JP2014016627A (ja) * | 2013-08-29 | 2014-01-30 | Sony Corp | 頭部装着型ディスプレイにおける光学的位置調整方法 |
| JP2014071277A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | ヘッドマウントディスプレイ、それを作動させる方法およびプログラム |
| KR101397214B1 (ko) * | 2007-06-05 | 2014-05-20 | 삼성전자주식회사 | 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법 |
| KR20140093835A (ko) * | 2013-01-18 | 2014-07-29 | 한국전자통신연구원 | L자형 디스플레이 기반 인터랙티브 컨텐츠 제어 장치 및 방법 |
| US8907865B2 (en) | 2010-04-08 | 2014-12-09 | Sony Corporation | Head mounted display and optical position adjustment method of the same |
| US9766453B2 (en) | 2010-08-18 | 2017-09-19 | Sony Corporation | Display apparatus |
| JP2019121273A (ja) * | 2018-01-10 | 2019-07-22 | 富士ゼロックス株式会社 | 情報伝達装置、情報伝達システム及びプログラム |
Families Citing this family (71)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
| US20030062675A1 (en) * | 2001-09-28 | 2003-04-03 | Canon Kabushiki Kaisha | Image experiencing system and information processing method |
| US8458028B2 (en) * | 2002-10-16 | 2013-06-04 | Barbaro Technologies | System and method for integrating business-related content into an electronic game |
| JP4356983B2 (ja) * | 2004-02-10 | 2009-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| US7474318B2 (en) | 2004-05-28 | 2009-01-06 | National University Of Singapore | Interactive system and method |
| US20050285878A1 (en) * | 2004-05-28 | 2005-12-29 | Siddharth Singh | Mobile platform |
| US20050288078A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Game |
| US20050289590A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Marketing platform |
| ITBO20040749A1 (it) * | 2004-12-02 | 2005-03-02 | Bieffebi Spa | Macchina per il montaggio a registro di cliche' flessografici con sistema informatico virtuale |
| JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
| CA2621191C (en) | 2005-08-29 | 2012-12-18 | Evryx Technologies, Inc. | Interactivity via mobile image recognition |
| JP5104679B2 (ja) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
| US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
| US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
| US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| JP2013105345A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム |
| US9483875B2 (en) * | 2013-02-14 | 2016-11-01 | Blackberry Limited | Augmented reality system with encoding beacons |
| US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
| US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
| US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
| US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
| US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
| US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
| US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
| US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
| US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
| US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
| US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
| US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
| US9811152B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
| US9532714B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
| US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
| US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
| US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
| US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
| US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
| US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
| US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
| US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
| US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
| DE102014115471B4 (de) * | 2014-10-23 | 2018-08-23 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Kopfbefestigbare Anzeigevorrichtung und Verfahren |
| US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
| USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
| USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
| USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
| US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| RU2644125C1 (ru) * | 2016-11-30 | 2018-02-07 | Эдуард Борисович Попов | Персональный видео - гид |
| WO2019000429A1 (en) * | 2017-06-30 | 2019-01-03 | Guangdong Virtual Reality Technology Co., Ltd. | METHODS AND SYSTEMS FOR OPERATING AN APPARATUS THROUGH INCREASED REALITY |
| CN110914701A (zh) | 2017-07-26 | 2020-03-24 | 昕诺飞控股有限公司 | 用于经由光源传送设备的存在的系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08160879A (ja) | 1994-12-09 | 1996-06-21 | Shimadzu Corp | 頭部装着表示装置 |
| JPH09114543A (ja) * | 1995-10-02 | 1997-05-02 | Xybernaut Corp | ハンドフリーコンピュータ装置 |
| US6587783B2 (en) * | 2000-10-05 | 2003-07-01 | Siemens Corporate Research, Inc. | Method and system for computer assisted localization, site navigation, and data navigation |
| US7064742B2 (en) * | 2001-05-31 | 2006-06-20 | Siemens Corporate Research Inc | Input devices using infrared trackers |
-
2001
- 2001-03-30 JP JP2001097782A patent/JP3957468B2/ja not_active Expired - Lifetime
-
2002
- 2002-07-02 US US10/189,127 patent/US6795041B2/en not_active Expired - Lifetime
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
| KR101397214B1 (ko) * | 2007-06-05 | 2014-05-20 | 삼성전자주식회사 | 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법 |
| JP2009140125A (ja) * | 2007-12-05 | 2009-06-25 | National Institute Of Advanced Industrial & Technology | 情報提示装置 |
| JP2009245390A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 表示処理装置及び表示処理システム |
| JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
| KR101080040B1 (ko) | 2010-03-25 | 2011-11-04 | 동서대학교산학협력단 | 공간 증강 현실 기반 인터랙티브 디스플레이 방법 |
| US9709809B2 (en) | 2010-04-08 | 2017-07-18 | Sony Corporation | Head mounted display and optical position adjustment method of the same |
| US8907865B2 (en) | 2010-04-08 | 2014-12-09 | Sony Corporation | Head mounted display and optical position adjustment method of the same |
| US9201242B2 (en) | 2010-04-08 | 2015-12-01 | Sony Corporation | Head mounted display and optical position adjustment method of the same |
| US9569897B2 (en) | 2010-04-08 | 2017-02-14 | Sony Corporation | Head mounted display and optical position adjustment method of the same |
| US9766453B2 (en) | 2010-08-18 | 2017-09-19 | Sony Corporation | Display apparatus |
| JP2014071277A (ja) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | ヘッドマウントディスプレイ、それを作動させる方法およびプログラム |
| KR20140093835A (ko) * | 2013-01-18 | 2014-07-29 | 한국전자통신연구원 | L자형 디스플레이 기반 인터랙티브 컨텐츠 제어 장치 및 방법 |
| KR102013790B1 (ko) | 2013-01-18 | 2019-08-26 | 한국전자통신연구원 | L자형 디스플레이 기반 인터랙티브 컨텐츠 제어 장치 및 방법 |
| JP2014016627A (ja) * | 2013-08-29 | 2014-01-30 | Sony Corp | 頭部装着型ディスプレイにおける光学的位置調整方法 |
| JP2019121273A (ja) * | 2018-01-10 | 2019-07-22 | 富士ゼロックス株式会社 | 情報伝達装置、情報伝達システム及びプログラム |
| JP7056155B2 (ja) | 2018-01-10 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 情報伝達装置、情報伝達システム及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6795041B2 (en) | 2004-09-21 |
| US20040004583A1 (en) | 2004-01-08 |
| JP3957468B2 (ja) | 2007-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3957468B2 (ja) | 複合現実感実現システム | |
| US7817104B2 (en) | Augmented reality apparatus and method | |
| US9848184B2 (en) | Stereoscopic display system using light field type data | |
| US20060132915A1 (en) | Visual interfacing apparatus for providing mixed multiple stereo images | |
| EP3029550A1 (en) | Virtual reality system | |
| CN103081462B (zh) | 用于实物大小的视频会议的工作室和系统 | |
| US20180246331A1 (en) | Helmet-mounted display, visual field calibration method thereof, and mixed reality display system | |
| KR20110136012A (ko) | 위치와 시선방향을 추적하는 증강현실 장치 | |
| TWI453462B (zh) | 智慧型電子裝置之虛擬望遠系統及其方法 | |
| WO2008036931A3 (en) | 3-d displays and telepresence systems and methods therefore | |
| CN211349296U (zh) | 一种基于cave投影的定位捕捉互动装置 | |
| JP2007501950A (ja) | ３次元像表示装置 | |
| KR20200115631A (ko) | 멀티뷰잉 가상 현실 사용자 인터페이스 | |
| US11054652B2 (en) | Augmented reality apparatus | |
| JP2017046233A (ja) | 表示装置及び情報処理装置及びその制御方法 | |
| CN114846434A (zh) | 非均匀立体渲染 | |
| KR101090081B1 (ko) | 증강현실 제공 시스템 및 그 제공 방법 | |
| KR20190031805A (ko) | 가상 현실 콘텐츠에 참여하고 있는 사용자에 대한 코칭 시스템 | |
| JP2005092363A (ja) | 画像生成装置および画像生成プログラム | |
| US9989762B2 (en) | Optically composited augmented reality pedestal viewer | |
| KR200398885Y1 (ko) | 비주얼 트래킹을 이용한 증강현실 체험 망원경 | |
| JP2018050156A (ja) | 双方向コミュニケーション装置 | |
| CN111586394A (zh) | 一种三维交互展示系统及其展示方法 | |
| WO2017098999A1 (ja) | 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム | |
| US20240205513A1 (en) | Video display system, information processing device, information processing method, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070508 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3957468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |