JP2002163670A - 複合現実感提示装置及びその制御方法 - Google Patents

複合現実感提示装置及びその制御方法

Info

Publication number
JP2002163670A
JP2002163670A JP2000358002A JP2000358002A JP2002163670A JP 2002163670 A JP2002163670 A JP 2002163670A JP 2000358002 A JP2000358002 A JP 2000358002A JP 2000358002 A JP2000358002 A JP 2000358002A JP 2002163670 A JP2002163670 A JP 2002163670A
Authority
JP
Japan
Prior art keywords
color tone
image
virtual
virtual object
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000358002A
Other languages
English (en)
Other versions
JP3406965B2 (ja
Inventor
Mahoro Anabuki
まほろ 穴吹
Kiyohide Sato
清秀 佐藤
Akihiro Katayama
昭宏 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixed Reality Systems Laboratory Inc
Original Assignee
Mixed Reality Systems Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixed Reality Systems Laboratory Inc filed Critical Mixed Reality Systems Laboratory Inc
Priority to JP2000358002A priority Critical patent/JP3406965B2/ja
Priority to US09/816,072 priority patent/US6633304B2/en
Publication of JP2002163670A publication Critical patent/JP2002163670A/ja
Application granted granted Critical
Publication of JP3406965B2 publication Critical patent/JP3406965B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 仮想物体が重畳表示される現実空間の色調、
明るさ、照明条件等に応じて、表示する仮想物体に適切
な表示が可能な複合現実感提示装置及びその制御方法を
提供すること。 【解決手段】 観察者の目に映る現実画像の色調に基づ
いて仮想情報の表示色と位置、ならびに照明設定を調整
する表示設定調整手段１０６を設け、仮想のテキスト情
報及び仮想のワイヤーフレーム情報については現実空間
画像との色調差が大きくなるように色設定し、３次元仮
想物体については現実空間に存在する物体と融合するよ
うな色調で描画されるよう描画時に用いる照明色を設定
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複合現実感提示装
置及びその制御方法に関し、特に、色調や明るさの変化
が大きな現実空間に仮想空間画像を重畳して複合現実感
を提示する複合現実感提示装置及びその制御方法に関す
る。
【０００２】
【従来の技術】近年は、複合現実感（Mixed Reality; M
R）を利用したシステムやマンマシンインタフェースが
提案されている。ＭＲとは、コンピュータによって生成
した仮想空間と、観察者が直接視認、もしくは観察者の
視点近傍で撮影した現実空間とを融合して観察者に提示
することにより、両空間の情報を相互に補完・増強する
技術である。
【０００３】ＭＲを利用したシステム（ＭＲシステム）
の中でも、仮想物体としてのテキスト、ワイヤーフレー
ムのような付加情報やＣＧ（Computer Graphics）物体
を現実空間に重畳表示するシステムが注目されており、
観察者に対する情報提示や視覚的なシミュレーションに
応用されている。
【０００４】このようなＭＲシステムを屋外で実現する
ための研究も行われており、その１つが、文献「Steven
Feiner, Blair MacIntre, Tobias Hollerer, and Anth
onyWebster.: A Touring Machine: Prototyping 3D Mob
ile Augmented Reality Systems for Exploring the Ur
ban Environment, Personal Technologies, vol. 1,no.
4, PP. 208-217, 1997」に開示されている。
【０００５】この文献で開示されるＭＲシステムは観察
者に大学構内の案内を行うシステムであり、ＧＰＳ（Gl
obal Positioning System）・傾斜計・地磁気センサに
よって得られた観察者の視点位置・姿勢情報に基づいて
生成された案内情報（校舎名等）を、観察者が装着した
光学シースルー型ＨＭＤ（Head Mounted Display; 頭部
装着型ディスプレイ）に表示する。この結果、観察者は
例えば現実空間に存在する校舎と、ディスプレイ上で位
置合わせされて表示される校舎名とを同時に視認するこ
とができ、構内を歩きながらリアルタイムに案内を受け
ることができる。
【０００６】
【発明が解決しようとする課題】しかしながら、特に屋
外でＭＲシステムを利用する場合には、屋内利用と大き
く環境が異なる上、その変化の度合いも大きいため、特
有の問題が存在する。すなわち、屋外は屋内に比べて一
般に周辺環境が明るいため、仮想物体、特にテキスト情
報やワイヤーフレーム情報等線の細い物体は、背景とな
る現実物体との色調差が小さいと、観察者に視認されに
くい。
【０００７】加えて、観察者の移動により観察者が視認
する現実空間の色調、明るさ、照明条件が変化する上、
変化の幅も非常に大きいため、予め色調差が大きくなる
ように表示色を決めておくことは難しい。さらに、観察
者が移動しなくても、日時や天候によっても現実空間の
色調、明るさ、照明条件が変わるので、同じ問題が発生
する。
【０００８】同様に、十分幅のある建物等のＣＧ物体を
現実空間に存在するかのように表示する場合も、屋外で
利用する場合には、背景となる現実空間との色調が大き
く異なっていると、仮想のＣＧ物体が画質的に現実空間
と融合せずに、観察者に違和感を与えるという問題があ
る。
【０００９】このような、現実空間の色調、明るさによ
って、仮想物体の視認性が悪化したり、観察者に違和感
を与えたりする問題は、ＭＲシステムを屋外利用する場
合に特に顕著であるが屋内でＭＲシステムを利用する場
合でも、例えば外光の影響による照明条件の変化などに
よって生じうる。
【００１０】本発明は、このような従来技術の問題点に
鑑みてなされたものであり、その目的は、仮想物体が重
畳表示される現実空間の色調、明るさ、照明条件等に応
じて、表示する仮想物体に適切な表示が可能な複合現実
感提示装置及びその制御方法を提供することにある。
【００１１】
【課題を解決するための手段】すなわち、本発明の要旨
は、仮想物体画像で構成される仮想空間画像を観察者が
視認する現実空間もしくはその画像に重畳して観察者に
提示することにより観察者に複合現実感を提示する複合
現実感提示装置であって、現実空間もしくはその画像中
の所定領域の色調を検出する色調検出手段と、色調検出
手段の検出結果および重畳表示する仮想物体画像の種類
もしくはその表示目的に基づいて、仮想物体画像の色調
を決定する色調決定手段と、色調決定手段の決定結果に
基づいて仮想物体画像で構成される仮想空間画像を生成
する仮想空間画像生成手段と、仮想空間画像生成手段が
生成した仮想空間画像を現実空間もしくはその画像に重
畳して観察者に提示する提示手段とを有することを特徴
とする複合現実感提示装置に存する。
【００１２】また、本発明の別の要旨は、仮想物体画像
で構成される仮想空間画像を観察者が視認する現実空間
もしくはその画像に重畳して観察者に提示することによ
り観察者に複合現実感を提示する複合現実感提示装置の
制御方法であって、現実空間もしくはその画像中の所定
領域の色調を検出する色調検出ステップと、色調検出ス
テップの検出結果および重畳表示する仮想物体画像の種
類もしくはその表示目的に基づいて、仮想物体画像の色
調を決定する色調決定ステップと、色調決定ステップの
決定結果に基づいて仮想物体画像で構成される仮想空間
画像を生成する仮想空間画像生成ステップと、仮想空間
画像生成ステップが生成した仮想空間画像を現実空間も
しくはその画像に重畳して観察者に提示する提示ステッ
プとを有することを特徴とする複合現実感提示装置の制
御方法に存する。
【００１３】また、本発明の別の要旨は、仮想物体画像
で構成される仮想空間画像を観察者が視認する現実空間
もしくはその画像に重畳して観察者に提示することによ
り観察者に複合現実感を提示する複合現実感提示装置の
制御プログラムを格納したコンピュータ装置読み取り可
能な記憶媒体であって、プログラムが、現実空間もしく
はその画像中の所定領域の色調を検出する色調検出工程
のプログラムと、色調検出工程のプログラムの検出結果
および重畳表示する仮想物体画像の種類もしくはその表
示目的に基づいて、仮想物体画像の色調を決定する色調
決定工程のプログラムと、色調決定工程のプログラムの
決定結果に基づいて仮想物体画像から構成される仮想空
間画像を生成する仮想空間画像生成工程のプログラム
と、仮想空間画像生成工程のプログラムが生成した仮想
空間画像を現実空間もしくはその画像に重畳して観察者
に提示する提示工程のプログラムとを有することを特徴
とする記憶媒体に存する。
【００１４】
【発明の実施の形態】以下、図面を参照して本発明をそ
の好ましい実施形態に基づいて説明する。図１は、本発
明の実施形態に係る複合現実感提示装置の構成例を示す
ブロック図である。図１において、複合現実感提示装置
１００は、観察者の視点位置を検出する視点位置検出部
１０１と、観察者の視点姿勢を検出する視点姿勢検出部
１０２と、仮想空間の作成に必要な情報を蓄積した情報
蓄積部１０３と、上記視点位置検出部１０１から観察者
の視点位置、および上記視点姿勢検出部１０２から観察
者の視点姿勢、および上記情報蓄積部１０３から仮想空
間の作成に必要な情報を受け取って仮想物体画像で構成
される仮想空間画像を作成する仮想画像作成部１０４
と、観察者の目に映る現実世界の画像を取り込む現実画
像取り込み部１０５と、仮想画像作成部１０４で作成し
た仮想空間画像および現実画像取り込み部１０５で取り
込んだ現実画像に基づいて仮想物体画像の表示色と位
置、ならびに照明設定を調整する表示設定調整部１０６
と、仮想空間画像を描画し仮想空間画像と現実画像とを
合成する画像合成部１０７と、画像合成部１０７で描
画、もしくは、合成された画像を観察者に提示する画像
表示部１０８とを有する。
【００１５】なお、図１においては、画像表示部１０８
として、ビデオシースルー方式（仮想空間と現実空間を
装置内で融合する方式）のＨＭＤと、光学シースルー方
式（装置で作成した画像と現実空間の画像を観察者の網
膜上で融合させる方式）のＨＭＤの両方に対応した構成
を記載しているが、使用するＨＭＤの種類によっていず
れか一方の方式にのみ対応可能な構成としても良い。
【００１６】また、図１における仮想画像作成部１０
４、表示設定調整部１０６及び画像合成部１０７は、専
用のハードウェアを用いて実現しても、汎用のマイクロ
プロセッサにプログラムを実行させることによって実現
しても良い。また、観察者の視点位置及び姿勢を、１つ
の検出部（センサ）によって検出することも可能であ
る。
【００１７】図２は、図１に示した本実施形態の複合現
実感提示装置１００を屋外で実現する場合の具体的な構
成例を示す図である。即ち、観察者の視点の位置を検出
する視点位置検出部１０１としてＧＰＳ１１を、観察者
の視点の姿勢を検出する視点姿勢検出部１０２としてジ
ャイロセンサ１２を、観察者の目に映る現実世界の画像
を取り込む現実画像取り込み部１０５としてＣＣＤビデ
オカメラ１３を、画像表示部１０８としてＨＭＤ１５を
用い、情報蓄積部１０３、仮想画像作成部１０４、表示
設定調整部１０６及び画像合成部１０７としてパーソナ
ルコンピューター（ＰＣ）１４を用いる。仮想画像作成
部１０４、表示設定調整部１０６及び画像合成部１０７
の一部もしくは全部をハードウェアで実現する場合に
は、そのハードウェアを搭載したボードをＰＣ１４が有
するＰＣＩバス等のバスに挿入して用いる。また、情報
蓄積部１０３としては、ハードディスク、ＣＤ−ＲＯＭ
等、コンピュータ機器において記憶装置として用いられ
る機器で実現される。
【００１８】もちろん、ＧＰＳ１１やジャイロセンサ１
２の代わりに、同様の機能を有する他のセンサ、装置を
用いても良く、また設置位置も図２に示す位置に限定さ
れるものではない。
【００１９】図１に戻って、視点位置検出部１０１は、
磁気センサやＧＰＳといった位置計測センサもしくは装
置（位置計測機器）を備えている。これらの位置計測機
器を観察者の視点に設置することはできないので、これ
ら位置計測機器の出力は観察者の視点位置に一致しな
い。従って、視点位置検出部１０１は位置計測機器の出
力を補正することによって観察者の視点位置を算出して
から仮想画像作成部１０４に出力する。
【００２０】例えば、図２に示すように、位置計測機器
としてのＧＰＳ１１を観察者との距離が一定に保たれる
ように固定すると、位置計測機器と観察者の視点の位置
関係はほぼ一定に保たれるので、位置計測機器の出力結
果に固定の変換式を適用することにより、観察者の視点
位置を算出することができる。もちろん、図２に示すよ
うに背中にＧＰＳ１１を固定した場合、頭の動きにＧＰ
Ｓは追従できないため、若干の誤差は生じるが、頭部の
移動可能範囲は大きくないので問題とならない。ただ
し、図２のジャイロセンサ１２のように、観察者の頭部
に固定できればより正確な視点位置算出が可能になる。
【００２１】また、現実画像を取り込み部１０５で撮影
した画像中のランドマーク（絶対位置が分かっている物
体もしくはその特徴点）位置を検出して、位置計測機器
の出力結果を更に補正することも可能である。
【００２２】即ち、現実空間に存在するランドマーク
の、撮影画像上の位置を認識し、位置計測機器の出力結
果から計算されるランドマークの位置との差が無くなる
ように位置計測機器の出力を補正する。また、このよう
な画像処理のみによって観察者の視点位置を算出するこ
ともできる。その他、観察者の視点位置を獲得する機構
ならば、何を有していてもよい。
【００２３】視点姿勢検出部１０２は、地磁気センサや
ジャイロセンサといった姿勢計測センサもしくは装置
（姿勢計測機器）を備えている。位置計測機器と同様、
これらの姿勢計測機器を観察者の視点に設置することは
できないので、これら姿勢計測機器の出力は観察者の視
点姿勢に一致しない。従って、視点姿勢検出部１０２は
姿勢計測機器の出力を補正することによって観察者の視
点姿勢を算出してから仮想画像作成部１０４に出力す
る。
【００２４】例えば、図２に示すように、姿勢計測機器
としてのジャイロセンサ１２を観察者の頭部に固定する
と、姿勢計測機器と観察者の視点の姿勢関係は一定に保
たれるので、姿勢計測機器の出力結果に固定の変換式を
適用することにより、観察者の視点姿勢を算出すること
ができる。
【００２５】また、現実画像を取り込み部１０５で撮影
した画像中のランドマーク（絶対姿勢が分かっている物
体もしくはその特徴点）位置を検出して、姿勢計測機器
の出力結果を更に補正することも可能である。
【００２６】即ち、現実空間に存在するランドマーク
の、撮影画像上の位置を認識し、姿勢計測機器の出力結
果から計算されるランドマークの位置との差が無くなる
ように姿勢計測機器の出力を補正する。また、このよう
な画像処理のみによって観察者の視点姿勢を算出するこ
ともできる。その他、観察者の視点姿勢を獲得する機構
ならば何を有していてもよい。
【００２７】情報蓄積部１０３は、上述のようにハード
ディスクやＣＤ−ＲＯＭ等記憶装置もしくは記憶媒体で
あり、仮想空間を構築する際に必要となる仮想情報と、
仮想空間と現実空間を正しく融合するために必要な現実
情報と、仮想空間画像の作成に必要な画像情報とを記憶
する。
【００２８】仮想情報には、観察者に提示するテキスト
の文字情報や、観察者の視界に存在する物体の輪郭を強
調するためのワイヤーフレームの線種情報や、仮想空間
に配置する仮想物体の位置、姿勢、形状情報等が含まれ
る。
【００２９】また、現実情報には、仮想空間と融合され
る現実空間に存在する物体（現実物体）の位置、姿勢、
形状情報等が含まれる。画像情報には、観察者が視認す
る現実空間に正しく仮想空間画像が位置合わせされて重
畳表示されるために必要な、画像表示部１０８の画角や
焦点距離といったカメラパラメータが含まれる。
【００３０】これら情報は固定の情報に限定されるもの
ではなく、例えば実画像取り込み部１０５で取得した現
実空間画像を元に、現実情報をリアルタイムに変更する
ように構成することも可能である。このように、情報蓄
積部に記憶された情報の書き換えが行われる場合には、
情報蓄積部１０３に書き換え可能な記憶装置もしくは記
憶媒体を用いる必要があることは言うまでもない。
【００３１】仮想画像作成部１０４は、上述のように汎
用のマイクロプロセッサでプログラムを実行するか、専
用のハードウェアを用いて実現される。もちろん仮想画
像作成部１０４の一部の処理の_ンを専用ハードウェアで
実施し、残りの処理をソフトウェアによって実現するよ
うに構成することもできる。
【００３２】仮想画像作成部１０４は、情報蓄積部１０
３に記憶された仮想情報及び現実情報を用いて仮想空間
を構築する。この時、仮想空間と現実空間の隠蔽関係
（仮想物体と現実物体の前後関係）が正しく表現される
ように、仮想空間内に現実物体を透明のＣＧ（ここで、
透明とは観察者に見えないという意味であり、この透明
のＣＧで隠される仮想物体の部分は描画されない）とし
て表現する。その後、視点位置検出部１０１から送られ
る観察者の視点位置と、視点姿勢検出部１０２から送ら
れる観察者の視点姿勢に基づいて、仮想空間内に観察者
の視点を設定し、その視点から見える仮想空間画像を作
成する（この時点ではまた表示調整が済んでいないため
描画はしない）。
【００３３】現実画像取り込み部１０５は一つないし二
つのカメラ等の画像取り込み機器を持ち、図２に示した
ように表示設定調整部１０６及び画像合成部１０７がＰ
Ｃ１４で実現される場合には、ＰＣ１４に設けられたカ
メラインタフェース（ビデオ入力インタフェース、ＵＳ
Ｂ、ＩＥＥＥ１３９４等）を介して観察者の目に映る現
実空間の画像を取り込む。
【００３４】表示設定調整部１０６は仮想画像作成部１
０４と同様、汎用のマイクロプロセッサでプログラムを
実行するか、専用のハードウェアを用いて実現される。
もちろん表示設定調整部１０６の一部の処理のみを専用
ハードウェアで実施し、残りの処理をソフトウェアによ
って実現するように構成することもできる。表示設定調
整部１０６は、現実画像取り込み部１０５から取り込ん
だ現実画像の色調を解析し、その解析結果に基づいて仮
想画像作成部１０４から送られる仮想情報の描画設定
（描画パラメータ）を調整する。表示設定調整部１０６
の動作については後で詳細に説明する。
【００３５】画像合成部１０７も表示設定調整部１０６
と同様、汎用のマイクロプロセッサでプログラムを実行
するか、専用のハードウェアを用いて実現される。もち
ろん画像合成部１０７の一部の処理のみを専用ハードウ
ェアで実施し、残りの処理をソフトウェアによって実現
するように構成することもできる。
【００３６】画像合成部１０７は、表示設定調整部１０
６で調整した描画設定に基づいて、仮想画像作成部１０
４で作成した仮想空間画像を描画する。画像合成部１０
７は画像表示部１０８がビデオシースルー方式である場
合には、描画する仮想空間画像の背景に現実画像取り込
み部１０５で取り込んだ現実画像と、仮想空間画像とを
合成して出力する。
【００３７】一方、画像表示部１０８が光学シースルー
方式の場合は、画像表示部１０８がビデオシースルー方
式であった場合に現実画像となる部分を黒く描画して、
画像表示部１０８に表示した際に仮想空間画像のみが描
画され、現実空間は画像表示部１０８を透して観察者が
視認できるようにする。
【００３８】画像表示部１０８は、ＨＭＤやコンピュー
タディスプレイ等の画像表示機器によって構成され、画
像を観察者の眼前に表示する。仮想画像と現実画像を重
ね合わせる手法としては、ビデオシースルー方式、光学
シースルー方式のどちらでもよい。ビデオシースルー方
式の場合は、現実画像取り込み部１０５で取り込んだ現
実画像と、描画した仮想空間画像の合成画像を画像表示
部１０８に表示する。光学シースルー方式の場合、画像
表示部１０８は、自由曲面プリズム等により仮想空間画
像をハーフミラー上に投射し、画像表示部１０８を透し
て観察者が現実空間を視認できるようにし、現実空間と
画像合成部１０７で描画された仮想空間画像とが、観察
者の網膜上で重ね合わさるようにする。
【００３９】（全体処理）次に、図１の複合現実感提示
装置１００における処理動作の全体について、図３のフ
ローチャートを参照しながら説明する。図３に示す処理
は、複合現実感提示装置１００が起動されるとスタート
する。
【００４０】まず、ステップＳ１００において、視点位
置検出部１０１が観察者の視点位置を検出し、仮想画像
作成部１０４に送る。
【００４１】ステップＳ２００において、視点姿勢検出
部１０２が観察者の視点姿勢を検出し、仮想画像作成部
１０４に送る。なお、ステップＳ１００及びステップＳ
２００は時系列的に記載されているが、図１に示すよう
に視点位置検出部１０１及び視点姿勢検出部１０２が別
個に設けられ、かつ並行して動作可能である場合には、
ステップＳ１００及びステップＳ２００の処理が同時に
行われてもよい。
【００４２】ステップＳ３００において、仮想画像作成
部１０４は、受信した視点位置情報及び視点姿勢情報か
ら、対応する情報蓄積部１０３に記憶された仮想情報、
現実情報および画像情報を読み出す。
【００４３】ステップＳ４００において、仮想画像作成
部１０４は仮想情報と現実情報に基づいて、現実空間に
重ね合わせる仮想空間を構築し、視点位置・視点姿勢・
画像情報に基づいて、観察者に提示する仮想空間画像を
作成する。前述したように、この時点で作成される仮想
空間画像は描画前の仮想空間画像であり、照明が未設定
な３次元仮想物体の作成、色が未設定な３次元ワイヤー
フレームの作成、後述する仮想のテキスト情報の表示内
容決定及び表示位置仮決定に相当する。
【００４４】ステップＳ５００において、現実画像取り
込み部１０５によって、現実空間の画像を取り込む。ス
テップＳ６００において、表示設定調節部１０６は、現
実画像取り込み部１０５が取り込んだ現実画像の色調を
算出する。ステップＳ７００において、表示設定調節部
１０６は、現実画像の色調に基づいて、仮想物体の表示
色、表示位置および仮想物体を描画する際に用いる照明
（光源）の設定（位置、角度等）を行う。
【００４５】ステップＳ８００において、画像合成部１
０７は、表示設定調節部１０６で行った設定に従って、
仮想物体を描画し、仮想物体画像で構成される仮想空間
画像を生成する。そして、上述したように、画像表_ヲ部
１０８がビデオシースルー方式の場合には、現実空間画
像との合成も行う。画像表示部１０８が光学シースルー
方式の場合には、ビデオシースルー方式での合成画像中
現実空間画像となる部分を黒く描画する。ステップＳ９
００において、画像表示部１０８に、画像合成部１０７
で描画（および合成した）画像を表示する。
【００４６】ステップＳ１０００において、複合現実感
提示装置１００の動作を終了するよう指示があれば処理
を終了し、終了指示がなければステップＳ１００に戻っ
て処理を繰り返す。動作の終了指示は、例えば観察者が
所定のボタンを押下する等によって行うことが可能であ
る。また、バッテリーの電圧が所定値より低下した場合
も同様に処理を終了させても良い。
【００４７】（仮想のテキスト情報に対する色調検出及
び調整処理）次に、図３のステップＳ６００およびステ
ップＳ７００において、表示設定調整部１０６が現実画
像の色調を算出し、仮想物体の表示色およびテキスト情
報の表示色及び／又は表示位置の設定を行う処理につい
て、図４のフローチャートを参照しながら説明する。
【００４８】なお、例えば前述の構内案内システム等に
おいて建物の名前を現実空間に重畳して表示する場合、
表示される建造物名称は仮想空間に表示される仮想物体
であるが、一方では単なるテキスト情報であり、例えば
仮想の机や椅子等の３次元仮想物体とはその性質を異に
する。従って、以下の説明においては、仮想空間に表示
されるテキスト情報については「仮想のテキスト情報」
として、３次元仮想物体と区別して説明する。
【００４９】本実施形態において、仮想のテキスト情報
に関する色調検出及び調整処理には、色調変更を行う設
定と行わない設定があるが、まず、色調変更を行う設定
の場合を説明する。まず、ステップＳ６１０において、
表示設定調整部１０６は、現実画像取り込み部１０５が
取り込んだ現実空間画像を構成する各画素の色調を検出
する。以下の説明においては、色調を表すデータとして
は、例えば（Ｒ、Ｇ、Ｂ、α）の値を用いる場合を説明
するが、色調を表す値であれば他の形式であってもよ
い。
【００５０】ステップＳ７１０において、表示設定調節
部１０６は、仮想画像生成部１０４で作成した仮想画像
と、現実画像取り込み部１０５で取り込んだ現実画像を
照らし合わせ、ステップＳ４００で仮決定した仮想のテ
キスト情報の表示位置に表示した際にその背景となる部
分、すなわちテキスト情報を囲むバウンダリーボックス
領域の平均色調を算出する。本実施形態において、バウ
ンダリーボックス領域の決定方法は任意であるが、例え
ば仮想のテキスト情報を囲む最小の長方形とすることが
できる。
【００５１】ステップＳ７２０において、表示設定調節
部１０６は、ステップＳ７１０で算出したバウンダリー
ボックス領域内の平均色調と色調差のある色調を求め
る。色調差の程度や色調の求め方はどのようなものでも
良いが、予め平均色調に対して視認性に優れる色調を計
算もしくは実際に確認しながら求め、ルックアップテー
ブルとして記憶しておくか、その都度所定の算出式によ
り求める方法が最も簡単である。
【００５２】ルックアップテーブルは、例えばある色調
（Ｒ，Ｇ，Ｂ，α）を入力すると、その色調と色調差の
ある色調（Ｒ’，Ｇ’，Ｂ’，α’）が得られる対応表
である。また、算出式は、例えば行列式Ｘ（Ｒ，Ｇ，
Ｂ，α）＝（Ｒ’，Ｇ’，Ｂ’，α’）といったもので
ある。
【００５３】具体的には、各画素のＲ，Ｇ，Ｂがそれぞ
れ２５６階調ある場合、Ｒ’＝２５５−Ｒ、Ｇ’＝２５
５−Ｇ、Ｂ’＝２５５−Ｂとすれば、（Ｒ、Ｇ、Ｂ）の
補色が（Ｒ’，Ｇ’，Ｂ’）として求められる。ステッ
プＳ７３０において、表示設定調節部１０６は、ステッ
プＳ７２０で算出した色調で仮想のテキスト情報を描画
する設定を行う。
【００５４】次に、色調変更を行わない場合について、
図５にしめすフローチャートを用いて説明する。なお、
図５において先に説明した図４と同じ処理には同じステ
ップ番号を付し、重複する説明は省略する。
【００５５】色調変更を行うか、行わないかは、装置の
初期設定等によって任意に設定することができる。色調
変更を行わない場合には、予め仮想のテキスト情報毎、
もしくは一括して、あるいはその表示内容に応じて表示
色調を設定することが可能である。例えば、商店街など
の案内に本実施形態の装置を用いる場合、店舗の種類ご
とに仮想のテキスト情報の表示色調を替えて設定すれ
ば、テキスト情報の色によって観察者が所望の店を容易
に探すことが可能になる。
【００５６】図５において、ステップＳ６１０〜ステッ
プＳ７２０までの処理は図４と同一である。しかし、色
調変更を行わない設定がなされている場合には、ステッ
プＳ７２０でバウンダリーボックス領域の平均色調と差
のある色調が判定されても、判定された色調での表示は
行わず、予めその仮想のテキストに設定された表示色調
と比較を行う（ステップＳ７４０）。尚、ここで行う比
較とは、たとえば各色調成分の差の二乗和を算出するこ
とでよい。
【００５７】この比較の結果、予め設定された表示色調
と、ステップＳ７２０で判定された好ましい表示色調と
の差が予め定めた値以上であるかどうかを調べ（ステッ
プＳ７５０）、そうであればステップＳ７６０へ移行す
る。
【００５８】一方、予め設定された表示色調と、ステッ
プＳ７２０で判定された好ましい表示色調との差が予め
定めた値未満であればステップＳ７９５へ移行し、予め
設定された表示色調で表示を行うよう設定してステップ
Ｓ８００へ進む。
【００５９】ステップＳ７５０において、色調の差が予
め定めた値以上である場合、予め設定された表示色調で
表示すると、バウンダリーボックス領域内の実空間画像
（もしくは実空間）と色調差が十分でなく、視認性が悪
いおそれがある。従って、仮想のテキスト情報の表示位
置を移動することによって、視認性が向上するかどうか
を調べる。
【００６０】すなわち、ステップＳ７６０で、移動処理
の回数をカウントする変数ｉを１インクリメントし、ｉ
が所定回数ｎ以下であれば表示位置の移動を行う（ステ
ップＳ７７０、Ｓ７８０）。このとき、表示位置の移動
方向はランダムとしてもよいし、決められた一定方向で
もよいし、一定のアルゴリズムに従って決定してもよ
い。
【００６１】一定のアルゴリズムに従って方向を決定す
る方法の例としては、バウンダリーボックス内画素の色
調を検出し、バウンダリーボックス領域の中心から、予
め設定された表示色調と最も色調差が大きい画素への方
向を移動方向とする方法が挙げられる。１回に移動する
距離は任意に設定可能であるが、一度に大きく移動する
と他の仮想のテキスト情報の表示に干渉するおそれがあ
る上、本来指し示すはずの現実物体との対応が不明確に
なるおそれがある。また、移動が少なすぎると移動によ
る効果が現れにくいので、バウンダリーボックス領域の
大きさ等を勘案して定める。
【００６２】ステップＳ７８０で表示位置の移動を行
い、再びステップＳ７１０〜Ｓ７５０の処理を繰り返
す。そして、ｎ回の移動処理の中で、ステップＳ７２０
で判定された色調との差が所定値未満となった場合に
は、ステップＳ７９５に移行し、予め設定された表示色
調で表示を行う。
【００６３】しかしながら、ｎ回の移動処理を行って
も、ステップＳ７２０で判定された色調との差が所定値
未満とならない場合には、仮想のテキスト情報の表示位
置を移動処理開始前の初期位置に戻し、背景描画設定を
行った（ステップＳ７９０）後、ステップＳ７９５へ移
行する。
【００６４】背景描画設定とは、仮想のテキスト情報を
囲むバウンダリーボックス領域を、表示する仮想のテキ
スト情報に予め設定された表示色調と差のある色調によ
って塗り潰す設定である。塗りつぶす色は例えば予め設
定された表示色調の補色でも良いが、ステップＳ７２０
で算出した色調で塗りつぶすように設定するのが最も容
易である。
【００６５】（仮想のワイヤーフレーム情報に対する色
調検出及び調整処理）図４及び図５を用いて仮想のテキ
スト情報に対する色調検出及び調整処理を説明したが、
次に、仮想のワイヤーフレーム情報についての色調検出
及び調整処理について説明する。
【００６６】仮想のワイヤーフレーム情報は、現実空間
に存在する物体（例えばビルなど）の輪郭に重畳して表
示することにより、特定の物体を強調表示する際に用い
られる。仮想のワイヤーフレーム情報は３次元物体の輪
郭を表すため、仮想のテキスト情報と異なるが、ワイヤ
ーフレームであるため、仮想のテキスト情報同様全体が
同一色調で表示される。
【００６７】図３のステップＳ６００およびステップＳ
７００において、表示設定調整部１０６が現実画像の色
調を算出し、仮想のワイヤーフレーム情報の表示色設定
を行う処理動作について、図６のフローチャートを参照
しながら説明する。ステップＳ６２０において、表示設
定調節部１０６は、現実画像取り込み部１０５が取り込
んだ現実画像の各画素の色調の平均値を算出し、それを
画像全体の平均色調とする。
【００６８】ステップＳ７５１において、表示設定調節
部１０６は、ステップＳ６２０で算出した画像全体の平
均色調と色調差のある色調を図４のステップＳ７２０と
同様にして得る。ステップＳ７５２において、表示設定
調節部１０６は、ステップＳ７５１で算出した色調で、
ワイヤーフレームを描画する設定を行う。
【００６９】（仮想の３次元物体に対する色調検出及び
調整処理）次に、本実施形態において、仮想の３次元物
体に対する色調検出及び調整処理を説明する。仮想の３
次元物体は上述した仮想のテキスト情報、仮想のワイヤ
ーフレーム情報と異なり、面を有する。従って、レンダ
リング時に使用する光源の方向、角度、色によって、物
体の表示色が部分部分で変化する。
【００７０】図３のステップＳ６００およびステップＳ
７００において、表示設定調整部１０６が現実画像の色
調を算出し、仮想の３次元物体（ＣＧ物体）を照らす照
明の設定を行う処理動作について、図７のフローチャー
トを参照しながら説明する。
【００７１】まず、ステップＳ６３０において、表示設
定調節部１０６は、現実画像取り込み部１０５が取り込
んだ現実画像の各画素の色調の平均値を算出し、それを
画像全体の平均色調とする。
【００７２】次に、ステップＳ７８１において、表示設
定調節部１０６は、ステップＳ６３０で算出した画像全
体の平均色調から光源設定用の変数を算出する。光源設
定用の変数を算出する式は、例えば画像全体の色調を
（Ｒ，Ｇ，Ｂ，α）とし、光源設定用の変数を（Ｒ’，
Ｇ’，Ｂ’，α’）とすると、行列式Ｙ（Ｒ，Ｇ，Ｂ，
α）＝（Ｒ’，Ｇ’，Ｂ’，α’）＝（1.0，1.0，1.
0，α）といったものである。光源設定用の変数を算出
した後、その変数に基づいて、仮想画像描画における光
源設定を行う。光源の方向、角度についても設定するこ
とができるが、観察者における違和感を減少させるとい
う目的は、レンダリング時に用いる照明の色を設定する
ことにより充分達成することが可能である。
【００７３】上述した図６および図７で説明したステッ
プＳ６２０及びステップＳ６３０の処理は同一であるた
め、独立に行ってもよいし、同時に行ってもよい。同様
に、図４〜図７で説明した各ステップは、それぞれ順次
行っても良いし、並列に行ってもよい。
【００７４】
【他の実施形態】なお、本発明は、複数の機器（例えば
ホストコンピュータ、インタフェース機器、リーダ、プ
リンタなど）から構成されるシステムに適用しても、そ
れらが一体となって構成された装置（例えば、複写機、
ファクシミリ装置など）に適用してもよい。
【００７５】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラ_ コードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
【００７６】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００７７】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図３乃至図７のいずれ
か１つ以上に示す）フローチャートに対応するプログラ
ムコードが格納されることになる。
【００７８】
【発明の効果】以上説明したように、本発明によれば、
現実空間に重ね合わせる仮想空間の表示を、背景となる
現実空間の色調に応じて決定した色調で行うことによ
り、現実空間の変化に追従して常に視認性よく表示する
ことが可能になる。
【００７９】また、本発明によれば、現実空間の色調と
融合するように照明の色調を設定して仮想物体を描画す
ることにより、現実空間と仮想空間の融合度が高いＭＲ
空間を観察者に提示することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る複合現実感提示装置の
全体構成例を示すブロック図である。
【図２】図１に示す複合現実感提示装置を観察者に装着
した例を示す図である。
【図３】本発明の実施形態に係る複合現実感提示装置の
全体処理を説明するフローチャートである。
【図４】本発明の実施形態において、色調変更を行う場
合の、仮想のテキスト情報に対する色調検出及び調整処
理を説明するフローチャートである。
【図５】本発明の実施形態において、色調変更を行わな
い場合の、仮想のテキスト情報に対する色調検出及び調
整処理を説明するフローチャートである。
【図６】本発明の実施形態における、仮想のワイヤーフ
レーム情報に対する色調検出及び調整処理を説明するフ
ローチャートである。
【図７】本発明の実施形態において、３次元仮想物体の
描画に用いる照明設定処理を説明するフローチャートで
ある。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 片山 昭宏 横浜市西区花咲町６丁目145番地 横浜花 咲ビル 株式会社エム・アール・システム 研究所内 Ｆターム(参考） 5B050 BA07 BA09 BA11 EA19 EA21 EA26 FA02 FA06 5B080 AA18 BA02 FA05 FA08 5E501 AC09 AC15 BA03 EA32 FA14 FA36 FA46 FB28

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 仮想物体画像で構成される仮想空間画像
    を観察者が視認する現実空間もしくはその画像に重畳し
    て観察者に提示することにより前記観察者に複合現実感
    を提示する複合現実感提示装置であって、 前記現実空間もしくはその画像中の所定領域の色調を検
    出する色調検出手段と、 前記色調検出手段の検出結果および重畳表示する前記仮
    想物体画像の種類もしくはその表示目的に基づいて、前
    記仮想物体画像の色調を決定する色調決定手段と、 前記色調決定手段の決定結果に基づいて前記仮想物体画
    像で構成される前記仮想空間画像を生成する仮想空間画
    像生成手段と、 前記仮想空間画像生成手段が生成した前記仮想空間画像
    を前記現実空間もしくはその画像に重畳して観察者に提
    示する提示手段とを有することを特徴とする複合現実感
    提示装置。
  2. 【請求項２】 前記色調決定手段が、前記仮想物体画像
    の表示領域に対応する前記現実空間もしくはその画像の
    領域の色調に基づいて前記色調を決定することを特徴と
    する請求項１記載の複合現実感提示装置。
  3. 【請求項３】 前記色調決定手段が、前記現実空間もし
    くはその画像全体についての色調に基づいて前記色調を
    決定することを特徴とする請求項１または請求項２記載
    の複合現実感提示装置。
  4. 【請求項４】 前記色調決定手段が、前記現実空間もし
    くはその画像全体についての色調に基づいて前記仮想物
    体画像を描画する際の照明色を前記色調として決定する
    ことを特徴とする請求項１乃至請求項３のいずれか１項
    に記載の複合現実感提示装置。
  5. 【請求項５】 前記色調決定手段が、前記仮想物体画像
    の種類もしくはその表示目的に応じて、前記色調検出手
    段の検出した色調と決定する色調との差の大きさを変化
    させることを特徴とする請求項１乃至請求項４のいずれ
    か１項に記載の複合現実感提示装置。
  6. 【請求項６】 前記仮想物体画像にあらかじめ設定され
    た色調と、前記色調決定手段によって決定された色調の
    差が所定の値より大きい場合、前記仮想物体画像の表示
    位置を変更し、当該変更後の表示位置において前記色調
    決定手段が決定した色調と前記あらかじめ設定された色
    調との差が前記所定の値以下になったならば前記あらか
    じめ設定された色調を前記色調決定手段の決定結果とし
    て前記仮想空間画像生成手段に供給する表示位置変更手
    段をさらに有することを特徴とする請求項１乃至請求項
    ５のいずれか１項に記載の複合現実感提示装置。
  7. 【請求項７】 前記表示位置変更手段が、前記表示位置
    変更を所定回数行っても前記色調の差が前記所定の値よ
    りも大きい場合、前記あらかじめ設定された色調を前記
    色調決定手段の決定結果として前記仮想空間画像生成手
    段に供給するとともに、前記仮想物体画像の背景を前記
    色調決定手段が決定した色調で塗りつぶすよう前記仮想
    空間画像生成手段に指示することを特徴とする請求項６
    記載の複合現実感提示装置。
  8. 【請求項８】 仮想物体画像で構成される仮想空間画像
    を観察者が視認する現実空間もしくはその画像に重畳し
    て観察者に提示することにより前記観察者に複合現実感
    を提示する複合現実感提示装置の制御方法であって、 前記現実空間もしくはその画像中の所定領域の色調を検
    出する色調検出ステップと、 前記色調検出ステップの検出結果および重畳表示する前
    記仮想物体画像の種類もしくはその表示目的に基づい
    て、前記仮想物体画像の色調を決定する色調決定ステッ
    プと、 前記色調決定ステップの決定結果に基づいて前記仮想物
    体画像で構成される前記仮想空間画像を生成する仮想空
    間画像生成ステップと、 前記仮想空間画像生成ステップが生成した前記仮想空間
    画像を前記現実空間もしくはその画像に重畳して観察者
    に提示する提示ステップとを有することを特徴とする複
    合現実感提示装置の制御方法。
  9. 【請求項９】 前記色調決定ステップが、前記仮想物体
    画像の表示領域に対応する前記現実空間もしくはその画
    像の領域の色調に基づいて前記色調を決定することを特
    徴とする請求項８記載の複合現実感提示装置の制御方
    法。
  10. 【請求項１０】 前記色調決定ステップが、前記現実空
    間もしくはその画像全体についての色調に基づいて前記
    色調を決定することを特徴とする請求項８または請求項
    ９記載の複合現実感提示装置の制御方法。
  11. 【請求項１１】 前記色調決定ステップが、前記現実空
    間もしくはその画像全体についての色調に基づいて前記
    仮想物体画像を描画する際の照明色を前記色調として決
    定することを特徴とする請求項８乃至請求項１０のいず
    れか１項に記載の複合現実感提示装置の制御方法。
  12. 【請求項１２】 前記色調決定ステップが、前記仮想物
    体画像の種類もしくはその表示目的に応じて、前記色調
    検出ステップの検出した色調と決定する色調との差の大
    きさを変化させることを特徴とする請求項８乃至請求項
    １１のいずれか１項に記載の複合現実感提示装置の制御
    方法。
  13. 【請求項１３】 前記仮想物体画像にあらかじめ設定さ
    れた色調と、前記色調決定ステップによって決定された
    色調の差が所定の値より大きい場合、前記仮想物体画像
    の表示位置を変更し、当該変更後の表示位置において前
    記色調決定ステップが決定した色調と前記あらかじめ設
    定された色調との差が前記所定の値以下になったならば
    前記あらかじめ設定された色調を前記色調決定ステップ
    の決定結果として前記仮想空間画像生成ステップに供給
    する表示位置変更ステップをさらに有することを特徴と
    する請求項８乃至請求項１２のいずれか１項に記載の複
    合現実感提示装置の制御方法。
  14. 【請求項１４】 前記表示位置変更ステップが、前記表
    示位置変更を所定回数行っても前記色調の差が前記所定
    の値よりも大きい場合、前記あらかじめ設定された色調
    を前記色調決定ステップの決定結果として前記仮想空間
    画像生成ステップに供給するとともに、前記仮想物体画
    像の背景を前記色調決定ステップが決定した色調で塗り
    つぶすよう前記仮想空間画像生成ステップに指示するこ
    とを特徴とする請求項１３記載の複合現実感提示装置の
    制御方法。
  15. 【請求項１５】 仮想物体画像で構成される仮想空間画
    像を観察者が視認する現実空間もしくはその画像に重畳
    して観察者に提示することにより前記観察者に複合現実
    感を提示する複合現実感提示装置の制御プログラムを格
    納したコンピュータ装置読み取り可能な記憶媒体であっ
    て、前記プログラムが、 前記現実空間もしくはその画像中の所定領域の色調を検
    出する色調検出工程のプログラムと、 前記色調検出工程のプログラムの検出結果および重畳表
    示する前記仮想物体画像の種類もしくはその表示目的に
    基づいて、前記仮想物体画像の色調を決定する色調決定
    工程のプログラムと、 前記色調決定工程のプログラムの決定結果に基づいて前
    記仮想物体画像から構成される前記仮想空間画像を生成
    する仮想空間画像生成工程のプログラムと、 前記仮想空間画像生成工程のプログラムが生成した前記
    仮想空間画像を前記現実空間もしくはその画像に重畳し
    て観察者に提示する提示工程のプログラムとを有するこ
    とを特徴とする記憶媒体。
JP2000358002A 2000-11-24 2000-11-24 複合現実感提示装置及びその制御方法 Expired - Fee Related JP3406965B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000358002A JP3406965B2 (ja) 2000-11-24 2000-11-24 複合現実感提示装置及びその制御方法
US09/816,072 US6633304B2 (en) 2000-11-24 2001-03-26 Mixed reality presentation apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000358002A JP3406965B2 (ja) 2000-11-24 2000-11-24 複合現実感提示装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2002163670A true JP2002163670A (ja) 2002-06-07
JP3406965B2 JP3406965B2 (ja) 2003-05-19

Family

ID=18829981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000358002A Expired - Fee Related JP3406965B2 (ja) 2000-11-24 2000-11-24 複合現実感提示装置及びその制御方法

Country Status (2)

Country Link
US (1) US6633304B2 (ja)
JP (1) JP3406965B2 (ja)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
WO2004088595A1 (ja) * 2003-03-28 2004-10-14 Olympus Corporation データオーサリング処理装置
JP2005107968A (ja) * 2003-09-30 2005-04-21 Canon Inc 画像表示装置及び方法並びに情報処理方法
JP2006506745A (ja) * 2002-11-15 2006-02-23 ワーナー・ブロス・エンターテイメント・インコーポレーテッド 映画におけるデジタルイメージング用のリアリティベースのライト環境
JP2007280046A (ja) * 2006-04-06 2007-10-25 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
CN100356407C (zh) * 2003-03-28 2007-12-19 奥林巴斯株式会社 数据创建设备
JP2010118062A (ja) * 2008-11-14 2010-05-27 Nvidia Corp ハイブリッドシステム構成を使用した画像処理
JP2010238098A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法
KR20110055145A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 표시부 출력 제어 방법 및 이를 지원하는 휴대 단말기
KR20110136018A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 알에프아이디 리더를 구비한 증강현실 장치
WO2012101778A1 (ja) * 2011-01-26 2012-08-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
JP2013109768A (ja) * 2011-11-22 2013-06-06 Samsung Electronics Co Ltd ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置
JP2013210793A (ja) * 2012-03-30 2013-10-10 Ntt Data Corp Ａｒ表示最適化のためのシステム、方法、およびプログラム
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP2016504615A (ja) * 2012-11-13 2016-02-12 クアルコム，インコーポレイテッド 拡張現実デバイスの電力性能を高めるための仮想オブジェクトディスプレイ特性の変更
JP2016507970A (ja) * 2013-01-04 2016-03-10 ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ 双方向型ウェアラブルポータブルスマート装置
JP2017182814A (ja) * 2012-06-29 2017-10-05 ノキア テクノロジーズ オサケユイチア 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
KR101792250B1 (ko) * 2017-02-23 2017-11-02 주식회사 비즈모델라인 실제현실 적응형 증강현실 제공 방법
CN107367839A (zh) * 2016-05-11 2017-11-21 宏达国际电子股份有限公司 穿戴式电子装置、虚拟实境系统以及控制方法
JP2018503198A (ja) * 2014-12-14 2018-02-01 エルビット・システムズ・リミテッド 表示されるカラーシンボロジーの視知覚の向上
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR101935061B1 (ko) * 2010-12-16 2019-01-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 디스플레이를 위한 이해 및 의도-기반 컨텐트
WO2019026747A1 (ja) * 2017-07-31 2019-02-07 日本精機株式会社 車両用拡張現実画像表示装置
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
JP2019515379A (ja) * 2016-04-21 2019-06-06 インターデジタル シーイー パテント ホールディングス レンダリングデバイスのポーズを推定する方法及び装置
JP2019191600A (ja) * 2015-08-18 2019-10-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実システムならびに方法
JP2020004407A (ja) * 2018-06-22 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 仮想オブジェクトを表示するための方法およびシステム
JP2021077127A (ja) * 2019-11-11 2021-05-20 株式会社トプコン アイウェア装置を用いた管理システムおよび管理方法
JP2021120901A (ja) * 2019-07-03 2021-08-19 株式会社東芝 ウェアラブル端末、システム及び方法
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11741811B2 (en) 2015-09-01 2023-08-29 Kabushiki Kaisha Toshiba Electronic apparatus and method

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4878083B2 (ja) * 2001-03-13 2012-02-15 キヤノン株式会社 画像合成装置及び方法、プログラム
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US6864889B2 (en) * 2001-10-31 2005-03-08 Hewlett-Packard Development Company, L.P. System for previewing a photorealistic rendering of a synthetic scene in real-time
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP2003215494A (ja) * 2002-01-22 2003-07-30 Canon Inc 複合現実感提示装置および画像処理方法
US7301547B2 (en) * 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
US20040113887A1 (en) * 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6985240B2 (en) * 2002-12-23 2006-01-10 International Business Machines Corporation Method and apparatus for retrieving information about an object of interest to an observer
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
WO2005045729A1 (de) * 2003-11-10 2005-05-19 Siemens Aktiengesellschaft System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
JP3851907B2 (ja) * 2004-02-18 2006-11-29 株式会社ソニー・コンピュータエンタテインメント 画像表示システム及びビデオゲームシステム
JP3904562B2 (ja) * 2004-02-18 2007-04-11 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
DE102004016331B4 (de) * 2004-04-02 2007-07-05 Siemens Ag Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
JP4593968B2 (ja) * 2004-05-14 2010-12-08 キヤノン株式会社 位置姿勢計測方法および装置
US7474318B2 (en) 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050288078A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Game
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
EP1814101A1 (en) * 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US7479967B2 (en) * 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
JP4739002B2 (ja) * 2005-06-30 2011-08-03 キヤノン株式会社 画像処理方法、画像処理装置
JP4914039B2 (ja) * 2005-07-27 2012-04-11 キヤノン株式会社 情報処理方法および装置
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
WO2007147081A1 (en) * 2006-06-14 2007-12-21 Nik Software, Inc. Graphical user interface and related method
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
JP4861105B2 (ja) * 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 空間掲示板システム
US20100100560A1 (en) * 2007-03-30 2010-04-22 Koninklijke Philips Electronics N.V. Learning anatomy dependent viewing parameters on medical viewing workstations
US8094090B2 (en) * 2007-10-19 2012-01-10 Southwest Research Institute Real-time self-visualization system
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
JP2010145436A (ja) * 2008-12-16 2010-07-01 Brother Ind Ltd ヘッドマウントディスプレイ
JP5136442B2 (ja) * 2009-01-27 2013-02-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5402293B2 (ja) * 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
JP2011090408A (ja) * 2009-10-20 2011-05-06 Canon Inc 情報処理装置、その行動推定方法及びプログラム
US20110181601A1 (en) * 2010-01-22 2011-07-28 Sony Computer Entertainment America Inc. Capturing views and movements of actors performing within generated scenes
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9105115B2 (en) * 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
ITBA20100021A1 (it) * 2010-04-20 2011-10-21 Alessia Fratta Modello speciale di occhiali avente per modalità d'uso la gestione e fruizione, in loco, della ricostruzione digitale di un parco o di un area archeologica.
US10359545B2 (en) 2010-10-21 2019-07-23 Lockheed Martin Corporation Fresnel lens with reduced draft facet visibility
US8625200B2 (en) 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8781794B2 (en) 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
JP5216834B2 (ja) * 2010-11-08 2013-06-19 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
US20120127198A1 (en) * 2010-11-22 2012-05-24 Microsoft Corporation Selection of foreground characteristics based on background
JP6246592B2 (ja) 2010-12-16 2017-12-13 ロッキード マーティン コーポレーション 画素レンズを有するコリメーティングディスプレイ
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8970692B2 (en) * 2011-09-01 2015-03-03 Industrial Technology Research Institute Head mount personal computer and interactive system using the same
US8670000B2 (en) * 2011-09-12 2014-03-11 Google Inc. Optical display system and method with virtual image contrast control
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
US9129429B2 (en) 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
CN104937641A (zh) 2013-02-01 2015-09-23 索尼公司 信息处理装置、客户端装置、信息处理方法以及程序
KR20150008733A (ko) * 2013-07-15 2015-01-23 엘지전자 주식회사 안경형 휴대기기 및 그의 정보 투사면 탐색방법
WO2015041642A1 (en) * 2013-09-18 2015-03-26 Intel Corporation A method, apparatus, and system for displaying a graphical user interface
US20150161822A1 (en) * 2013-12-11 2015-06-11 Adobe Systems Incorporated Location-Specific Digital Artwork Using Augmented Reality
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US10586395B2 (en) 2013-12-30 2020-03-10 Daqri, Llc Remote object detection and local tracking using visual odometry
JP6346445B2 (ja) 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
US20160048019A1 (en) * 2014-08-12 2016-02-18 Osterhout Group, Inc. Content presentation in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12112089B2 (en) 2014-02-11 2024-10-08 Mentor Acquisition One, Llc Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US8976191B1 (en) * 2014-03-13 2015-03-10 Qualcomm Incorporated Creating a realistic color for a virtual object in an augmented reality environment
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10684476B2 (en) 2014-10-17 2020-06-16 Lockheed Martin Corporation Head-wearable ultra-wide field of view display device
CN107077011B (zh) 2014-10-23 2020-02-07 飞利浦灯具控股公司 光照感知增强方法、计算机程序产品、头戴式计算装置和照明系统
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US10262441B2 (en) * 2015-02-18 2019-04-16 Qualcomm Incorporated Using features at multiple scales for color transfer in augmented reality
WO2016141054A1 (en) 2015-03-02 2016-09-09 Lockheed Martin Corporation Wearable display system
US10559130B2 (en) 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
JP2017059041A (ja) * 2015-09-17 2017-03-23 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
US10754156B2 (en) 2015-10-20 2020-08-25 Lockheed Martin Corporation Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9995936B1 (en) 2016-04-29 2018-06-12 Lockheed Martin Corporation Augmented reality systems having a virtual image overlaying an infrared portion of a live scene
KR102267397B1 (ko) * 2016-10-25 2021-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
US20180190019A1 (en) * 2016-12-29 2018-07-05 Daqri, Llc Augmented reality user interface visibility
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
CN108682352B (zh) * 2017-05-09 2021-03-23 苏州乐轩科技有限公司 混合现实组件及产生混合现实的方法
WO2019089704A1 (en) * 2017-10-31 2019-05-09 Outward, Inc. Blended physical and virtual realities
CN110149458A (zh) * 2018-02-13 2019-08-20 中兴通讯股份有限公司 增强现实视觉元素显示的方法和装置
US10872582B2 (en) * 2018-02-27 2020-12-22 Vid Scale, Inc. Method and apparatus for increased color accuracy of display by compensating for observer's color vision properties
CN108646912A (zh) * 2018-04-17 2018-10-12 上海与德通讯技术有限公司 显示设备的挂架的调整方法和显示设备
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN118155479B (zh) * 2024-05-11 2024-08-16 成都运达科技股份有限公司 一种标识牌显示方法、驾培训练装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0758428B2 (ja) * 1988-08-19 1995-06-21 株式会社写研 文字画像処理方法
JP2692458B2 (ja) 1991-11-19 1997-12-17 日本電気株式会社 画像の照明方向の変更方法及び装置並び画像合成方法及び装置
JPH0863618A (ja) 1994-08-25 1996-03-08 Imeeji Joho Kagaku Kenkyusho 画像処理装置
US5926216A (en) * 1994-12-27 1999-07-20 Canon Kabushiki Kaisha Image sensing apparatus
JP3104638B2 (ja) 1996-03-25 2000-10-30 株式会社日立製作所 ３次元画像作成装置
JPH09275487A (ja) 1996-04-05 1997-10-21 Canon Inc 画像処理装置及びその方法
US5884223A (en) * 1996-04-29 1999-03-16 Sun Microsystems, Inc. Altitude sparse aircraft display
JPH11167449A (ja) 1997-12-05 1999-06-22 Mitsubishi Electric Corp 画像表示装置
JP2000113215A (ja) 1998-10-08 2000-04-21 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
JP2000200299A (ja) 1998-10-28 2000-07-18 Sekisui Chem Co Ltd ３次元ｃｇによる色変化シミュレ―ション方法及び装置
JP2000315261A (ja) 1999-03-02 2000-11-14 Fujitsu Ltd 画像データの作成方法およびその装置ならびに記憶媒体
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006506745A (ja) * 2002-11-15 2006-02-23 ワーナー・ブロス・エンターテイメント・インコーポレーテッド 映画におけるデジタルイメージング用のリアリティベースのライト環境
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
US7031495B2 (en) 2003-03-28 2006-04-18 Olympus Corporation Data authoring device
WO2004088595A1 (ja) * 2003-03-28 2004-10-14 Olympus Corporation データオーサリング処理装置
CN100356407C (zh) * 2003-03-28 2007-12-19 奥林巴斯株式会社 数据创建设备
JP2005107968A (ja) * 2003-09-30 2005-04-21 Canon Inc 画像表示装置及び方法並びに情報処理方法
JP2007280046A (ja) * 2006-04-06 2007-10-25 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
JP2010118062A (ja) * 2008-11-14 2010-05-27 Nvidia Corp ハイブリッドシステム構成を使用した画像処理
US9204050B2 (en) 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
JP2010238098A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 端末装置、情報提示システム及び端末画面表示方法
US9747864B2 (en) 2009-11-19 2017-08-29 Samsung Electronics Co., Ltd. List searching method and portable device using the same
KR20110055145A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 표시부 출력 제어 방법 및 이를 지원하는 휴대 단말기
US9190015B2 (en) 2009-11-19 2015-11-17 Samsung Electronics Co., Ltd. List searching method and portable device using the same
KR101640214B1 (ko) * 2009-11-19 2016-07-15 삼성전자 주식회사 표시부 출력 제어 방법 및 이를 지원하는 휴대 단말기
KR20110136018A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 알에프아이디 리더를 구비한 증강현실 장치
KR101682705B1 (ko) * 2010-06-14 2016-12-06 주식회사 비즈모델라인 알에프리더를 이용한 증강현실 제공 방법
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
KR101935061B1 (ko) * 2010-12-16 2019-01-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 디스플레이를 위한 이해 및 의도-기반 컨텐트
WO2012101778A1 (ja) * 2011-01-26 2012-08-02 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
US10223832B2 (en) 2011-08-17 2019-03-05 Microsoft Technology Licensing, Llc Providing location occupancy analysis via a mixed reality device
US11127210B2 (en) 2011-08-24 2021-09-21 Microsoft Technology Licensing, Llc Touch and social cues as inputs into a computer
US9216347B2 (en) 2011-10-05 2015-12-22 Fraunhofer-Gesellschaft Zur Foerderung Der Andewandten Forschung E.V. Portable device, virtual reality system and method
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
JP2013109768A (ja) * 2011-11-22 2013-06-06 Samsung Electronics Co Ltd ポータブル端末で拡張現実サービスを提供するための方法、及びポータブル端末装置
JP2013210793A (ja) * 2012-03-30 2013-10-10 Ntt Data Corp Ａｒ表示最適化のためのシステム、方法、およびプログラム
JP2017182814A (ja) * 2012-06-29 2017-10-05 ノキア テクノロジーズ オサケユイチア 環境情報の視覚的複雑性に基づいて情報の提示を修正する方法と装置
JP2016505919A (ja) * 2012-11-13 2016-02-25 クアルコム，インコーポレイテッド 仮想オブジェクトディスプレイ特性の変更
JP2016504615A (ja) * 2012-11-13 2016-02-12 クアルコム，インコーポレイテッド 拡張現実デバイスの電力性能を高めるための仮想オブジェクトディスプレイ特性の変更
JP2016507970A (ja) * 2013-01-04 2016-03-10 ヴァジックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ 双方向型ウェアラブルポータブルスマート装置
JP2018503198A (ja) * 2014-12-14 2018-02-01 エルビット・システムズ・リミテッド 表示されるカラーシンボロジーの視知覚の向上
US11481911B2 (en) 2015-08-18 2022-10-25 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP7036773B2 (ja) 2015-08-18 2022-03-15 マジック リープ， インコーポレイテッド 仮想および拡張現実システムならびに方法
US11302018B2 (en) 2015-08-18 2022-04-12 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2019191600A (ja) * 2015-08-18 2019-10-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想および拡張現実システムならびに方法
US11741811B2 (en) 2015-09-01 2023-08-29 Kabushiki Kaisha Toshiba Electronic apparatus and method
JP2019515379A (ja) * 2016-04-21 2019-06-06 インターデジタル シーイー パテント ホールディングス レンダリングデバイスのポーズを推定する方法及び装置
CN107367839A (zh) * 2016-05-11 2017-11-21 宏达国际电子股份有限公司 穿戴式电子装置、虚拟实境系统以及控制方法
JP2018112809A (ja) * 2017-01-10 2018-07-19 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR101792250B1 (ko) * 2017-02-23 2017-11-02 주식회사 비즈모델라인 실제현실 적응형 증강현실 제공 방법
JPWO2019026747A1 (ja) * 2017-07-31 2020-05-28 日本精機株式会社 車両用拡張現実画像表示装置
WO2019026747A1 (ja) * 2017-07-31 2019-02-07 日本精機株式会社 車両用拡張現実画像表示装置
US11616911B2 (en) 2018-02-22 2023-03-28 Magic Leap, Inc. Virtual and augmented reality systems and methods
US11800218B2 (en) 2018-02-22 2023-10-24 Magic Leap, Inc. Virtual and augmented reality systems and methods
JP2020004407A (ja) * 2018-06-22 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 仮想オブジェクトを表示するための方法およびシステム
JP7465067B2 (ja) 2018-06-22 2024-04-10 株式会社ソニー・インタラクティブエンタテインメント 仮想オブジェクトを表示するための方法およびシステム
JP2021120901A (ja) * 2019-07-03 2021-08-19 株式会社東芝 ウェアラブル端末、システム及び方法
JP2021077127A (ja) * 2019-11-11 2021-05-20 株式会社トプコン アイウェア装置を用いた管理システムおよび管理方法
JP7341861B2 (ja) 2019-11-11 2023-09-11 株式会社トプコン アイウェア装置を用いた管理システムおよび管理方法

Also Published As

Publication number Publication date
JP3406965B2 (ja) 2003-05-19
US20020057280A1 (en) 2002-05-16
US6633304B2 (en) 2003-10-14

Similar Documents

Publication Publication Date Title
JP3406965B2 (ja) 複合現実感提示装置及びその制御方法
JP4401727B2 (ja) 画像表示装置及び方法
KR100542370B1 (ko) 보이지 않는 마커를 이용하는 비전기반 증강현실 시스템
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
EP1404126B1 (en) Video combining apparatus and method
JP3991020B2 (ja) 画像表示方法及び画像表示システム
US8860847B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image
KR20230048457A (ko) 증강 현실 데이터를 레코딩하기 위한 기술
KR20200012043A (ko) 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
JPWO2015098807A1 (ja) 被写体と３次元仮想空間をリアルタイムに合成する撮影システム
CN110738736B (zh) 图像处理装置、图像处理方法和存储介质
JP2006285609A (ja) 画像処理方法、画像処理装置
JP2007018173A (ja) 画像処理方法、画像処理装置
JP2003187261A (ja) ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
US20220036779A1 (en) Information processing apparatus, information processing method, and recording medium
JP2003143477A (ja) 映像合成装置および方法
JP4046973B2 (ja) 情報処理方法および画像混合装置
JP4366165B2 (ja) 画像表示装置及び方法並びに記憶媒体
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
JP7163498B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2022093262A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP4006105B2 (ja) 画像処理装置およびその方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030214

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees