JP2008033219A - 混合現実環境用のフェイスマウントディスプレイ装置 - Google Patents

混合現実環境用のフェイスマウントディスプレイ装置 Download PDF

Info

Publication number
JP2008033219A
JP2008033219A JP2006338509A JP2006338509A JP2008033219A JP 2008033219 A JP2008033219 A JP 2008033219A JP 2006338509 A JP2006338509 A JP 2006338509A JP 2006338509 A JP2006338509 A JP 2006338509A JP 2008033219 A JP2008033219 A JP 2008033219A
Authority
JP
Japan
Prior art keywords
image
user
display device
information
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006338509A
Other languages
English (en)
Inventor
Ung-Yeon Yang
ウンヨン ヤン
Gun Adven Lee
グンアドヴェン リ
Sun Yu Hwang
スンユ ファン
Wookho Son
ウォクホ ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2008033219A publication Critical patent/JP2008033219A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実画像および複数の人工画像から生成される画像情報を一つの３次元仮想空間に整合してユーザに伝達するフェイスマウントディスプレイ装置を提供する。
【解決手段】ユーザの周りの実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、抽出されたユーザの視覚情報に基づいて立体画像信号を生成する画像生成部と、抽出されたユーザの視覚情報に基づいて前記多重外部画像信号と前記立体画像信号とを同期化して合成する画像合成部と、合成された画像信号を前記ユーザに出力する画像出力部とを含むフェイスマウントディスプレイ装置。
【選択図】図１

Description

本発明は混合現実環境用のディスプレイ装置に関し、より詳しくは、混合現実環境用のフェイスマウントディスプレイ装置に関する。
仮想現実（バーチャル・リアリティ、ＶＲ）インターフェース分野において、コンピュータ立体画像生成技術は、基本的に、人の左右視覚に互いに異なる画像情報を提供するステレオディスプレイ技術を採用して、立体感を取得させる。そして、ＶＲビジュアルインターフェースシステムは、複数のユーザ向けの大型スクリーンベースの立体ビジュアルシステム技術と、個人ユーザ向けの携帯型立体ビジュアルシステム技術とに分類できる。
まず、複数のユーザ向けの大型スクリーンベースの立体ビジュアルシステム技術は、大規模画像を出力するプロジェクトモジュール、画像が投射されるスクリーンモジュール、および両眼視覚（binocular viewing）を提示するための左右視覚情報分離モジュール（例えばプロジェクター付き偏光フィルタ、立体眼鏡など）からなる。かかるシステムはテーマパークの仮想現実体験場や大型立体映画館などの大規模のユーザが仮想環境で同時に立体画像コンテンツを楽しむことを目的として使用されている。
個人ユーザ向けの携帯型立体ビジュアルシステム技術の代表的な形態は、ヘッド／フェイスマウントディスプレイ（ＨＭＤ／ＦＭＤ： Head Mounted Display, Face Mounted Display）装置である。これらの装置は、超小型ディスプレイ装置（例えば、小型モニタ、ＬＣＯＳなど）と眼鏡に似た光学拡大構造とを一体化した構造であり、立体ビジュアルディスプレイのために左右の目のそれぞれのための別個のモジュールと２つのチャンネルの画像情報が入力される構造を有している。ＨＭＤ／ＦＭＤ装置は、個人情報を表示する環境やモバイルコンピューティングのように高い身体動作の自由度が求められる条件で活用されている。
立体画像生成技術では、正確な立体感を有する画像を生成するために、ユーザから情報を引き出して入力値として使用する。通常、正確な立体画像を生成するために、頭の動きや視覚情報を追跡する視標追跡（eye-tracking）技術を用いる。人間工学評価実験では、被験者が眺める物体の位置を追跡するために、瞳の動きをコンピュータビジョン技術を用いて追跡するか、直接コンタクトレンズの形の追跡部品を目の角膜に直接付着する方法を用いる。このような技術によって視線の方向を１度以下の精度で追跡することができる技術が商業化されている。
立体画像コンテンツの可視化のための現在のビジュアルインターフェース装置は、それらの方式で制限されている個々の使用環境に適するように設計されている。従って、多様なコンテンツに対する適用の限界を有し、大型可視化システムの場合、ユーザに一つの同一の視点の情報だけを提供するという短所がある。
仮想空間共動環境（virtual space cooperation environment）上で、共有情報と個人情報を同時に活用するには、単一の立体画像出力形態を有する現在の立体ビジュアルディスプレイ装置は不適である。そして、各物体が、実物のように一定した空間を占めている自然な深みを提供するとともに、理想的な立体画像視覚装置とみなされるホログラムディスプレイ装置は、映画の特殊効果に用いられるか、宇宙や航空分野の研究室で試作品として製作にとどまり、いまだに一般のユーザが満足するほどの成果を挙げていない実状である。
立体画像技術の発展により、スタンドアロン（stand-alone）プラットフォーム型の立体画像ディスプレイ技術の一般化が進行されている。近いうちにモバイル／ウェアラブルコンピューティング（mobile/wearable computing）技術の大衆化によりシースルー型ＦＭＤなどのような個人向けの仮想現実インターフェース装置が一般化され、個人の仮想情報と共用の仮想情報とを混合することによって相互動作が一般化される。したがって、自然に２つ以上の立体画像空間情報を混合し、所望のユーザに提示することができる新たな技術が求められているが、まだそれに応じる結果が出ていないという問題がある。
従って、本発明は前述した従来の問題点を解消するために提案されたもので、その目的は実画像および複数の人工画像から生成される画像情報を一つの３次元仮想空間に適合して、ユーザに伝達するフェイスマウントディスプレイ装置を提供することにある。
前記目的を達成するために、本発明はユーザの周りの物体の実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、前記ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、前記抽出されたユーザの視覚情報に基づいて立体画像信号を生成する画像生成部と、前記抽出されたユーザの視覚情報に基づいて前記多重外部画像信号および前記立体画像信号とを同期化して合成する画像合成部と、前記合成された画像信号を前記ユーザに出力する画像出力部とを含む混合現実環境用のディスプレイ装置を提供する。
本発明によれば、混合現実システムのための立体画像表示用ディスプレイ装置は、シースルー機能による外部画像情報と内部画像情報との合成が可能な構造を提示することで、ユーザが画像装置を独立的に使用する場合に発生される既存の短所を解決した。つまり、従来の技術では外部の実在情報とディスプレイ装置の仮想情報とを統合する形態でシステムが具現されているが、本発明によれば外部の実在情報、人工画像情報、および内部の人工画像情報を全て統合して制御することができる。
また、本発明によれば、エンターテインメント分野においてマルチユーザが参加可能な仮想現実ゲームコンテンツを構築することができ、仮想環境における作業訓練および教育や、ウェアラブルコンピューティング、ユビキタスコンピューティングなどの分野での幅広い活用が可能である。
以下、添付図面を参照して、本発明の目的と特徴は、好適な実施形態の続く説明から明らかとなる。
図１は本発明による混合現実環境用のディスプレイ装置の主要構成を示すブロック図である。図１に示されているように、本発明による混合現実環境用のディスプレイ装置は、外部画像処理部１０１、ユーザ情報抽出部１０２、画像生成部１０３、画像合成部１０４、および画像出力部１０５を含む。
外部画像処理部１０１は、ユーザの周りの実画像と人工的に生成された単一又は複数の立体画像を合成して多重外部画像信号を画像合成部１０４へ出力する。外部画像処理部１０１は、ディスプレイ装置の外部から入る多様な画像情報を透視処理してディスプレイ装置の内部で生成された画像情報と合成する。この際、外部画像処理部１０１は合成された信号を左右２つの視覚チャンネルに分離して出力することが望ましい。
ユーザ情報抽出部１０２は、ユーザの位置、目の位置、視線の方向、および焦点距離などのユーザの視覚情報を抽出して画像生成部１０３および画像合成部１０４に提供する。
画像生成部１０３は、ユーザ情報抽出部１０２により抽出された、あるいは既に入力されたユーザの視覚情報と所定のコンテンツの内容に基づいて立体画像信号を生成する。
画像合成部１０４は、ユーザの視覚情報に基づいて多重外部画像信号と立体画像信号を同期化して合成する。また、画像合成部１０４は、互いに異なる３次元空間上に可視化される多重外部画像信号および立体画像信号を一つの３次元空間上に可視化するために、立体画像信号を基準として外部画像信号と内部装置で生成された立体画像信号を深さ方向に沿って階層空間（layered space）に分離し、その後それらを合成することが望ましい。
画像出力部１０５は、画像合成部１０４により合成された画像信号をユーザに出力する。画像出力部は前記合成された画像信号を左右２つの視覚チャンネルに分離し、出力することが望ましい。
本発明による混合現実環境用のディスプレイ装置は、フェイスマウントディスプレイ（ＦＭＤ）で実装されることが好ましい。
図２は本発明による混合現実環境用のディスプレイ装置の主要画像データを主要制御情報に沿って示す図である。図２に示されているように、本発明による混合現実環境用のディスプレイ装置は、外部画像処理部２０１、ユーザ情報抽出部２０２、画像生成部２０３、画像合成部２０４、および画像出力部２０５を含む。図２に示された外部画像処理部２０１、ユーザ情報抽出部２０２、画像生成部２０３、画像合成部２０４、および画像出力部２０５は、それぞれ図１に示された外部画像処理部１０１、ユーザ情報抽出部１０２、画像生成部１０３、画像合成部１０４、および画像出力部１０５と実質的に同一の機能を遂行する。
外部画像処理部２０１は、外部立体画像のｎ１個の対（つまり、左と右）へ同期信号を交互に交換し、ｎ２個の外部画像を入力させて、左右ｎ１個対の視覚チャンネルに分離して、画像合成部２０４へ出力する。
ユーザ情報抽出部２０２は、外部画像生成に必要なユーザの視覚情報を抽出し、フェイスマウントディスプレイ画像を生成し、合成処理の基準となる入力データとして画像生成部２０３および画像合成部２０４に提供する。
本発明による混合現実環境用のディスプレイ装置は、図３の光学シースルー方式および図４のビデオシースルー方式で実装できる。
まず、図３は本発明の好適な一実施形態による光学シースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。図３に示しているように、本発明による光学シースルー方式の混合現実環境用のディスプレイ装置は、外部光透過量調節装置３０３、透過度制御部３０４、左右視覚情報分離パネル３０５、左右視覚情報分離制御部３０６、ディスプレイ装置の外枠３０７、追跡センサ３０８、第１視線位置情報獲得部３１０、第２視線位置情報獲得部３１１、合成画像出力部３１２、画像生成部３１３、画像合成部３１４、ユーザ情報抽出部３１５、画像出力部３１６、外部画像処理部３１７、外部画像処理制御部３１８、および視線情報提供部３１９を含む。
外部光透過量調節装置３０３は、光学シースルー工程において、本発明によるディスプレイ装置の外部の光量と、ディスプレイ装置の内部で生成された光量の混合比率を調節する。
透過度制御部３０４は、外部光透過量調節装置３０３の機能をサポートするために、本発明によるディスプレイ装置の外部の光量（例えば、光の明るさ）を測定して、外部画像処理制御部３１８に伝送するか、または外部画像処理制御部３１８によって決定された外部光量透過情報に基づいて外部光透過量調節装置３０３の全透過度および各画素（pixel）別の透過度を制御する。
左右視覚情報分離パネル３０５は、外部立体画像を左／右視覚情報に分離するパネルであって、人工的な立体画像生成方法と同様な方法により外部立体画像情報を左／右視覚装置部に交互に提供する。左右視覚情報分離制御部３０６は、左右視覚情報分離パネル３０５の動作を制御する。また、左右視覚情報分離制御部３０６は、外部画像処理部３１７の立体画像生成技術によって必要な情報を交換（例えば、左／右信号分離および同期化情報）する。更に、左右視覚情報分離制御部３０６は、外部画像がモノ画像（mono image）である場合、左右視覚情報分離パネル３０５の機能を停止させる。
ディスプレイ装置の外枠３０７は、外部光透過量調節装置３０３、透過度制御部３０４、左右視覚情報分離パネル３０５、左右視覚情報分離制御部３０６、追跡センサ３０８を選択的に着脱することができる構成を有する。
追跡センサ３０８は、本発明によるディスプレイ装置の着用者の視線の位置を計算するためのもので、その計算された位置値はユーザ情報抽出部３１５に伝送される。
第１視線位置情報獲得部３１０および第２視線位置情報獲得部３１１は、本発明によるディスプレイ装置の着用者の視線情報を獲得するための装置である。現在の視標追跡技術と類似しているが、第１視線位置情報獲得部３１０は合成画像出力部３１２により提供される画像イメージの光源を用いてユーザの視線情報を直接得る。従って、眼球と近くの閉鎖空間に画像獲得装置部を搭載できるというメリットを有する。
また、第２視線位置情報獲得部３１１は、反射された画像情報を獲得する方法を用いることで、所望の情報を抽出してユーザ情報抽出部３１５へ伝達する。従って、鮮明な高品質の画像情報獲得のための必要条件（例えば、光学系における距離確保）を充たすことができるという長所を有し、画像出力部の部品を共有するという長所をも有する。
合成画像出力部３１２は、画像合成部３１４で生成された最終合成画像を出力する。例えば、一対のレンズからなる投影システムを超小型に製作して、ディスプレイ装置内でユーザの目とレンズの間の余裕空間に画像を投射してユーザの視線に画像情報が提示されるようにする。
画像生成部３１３は、各ユーザにカスタマイズされた画像情報を生成する。画像生成部３１３は、ユーザ情報抽出部３１５の情報と提示されるコンテンツの情報に基づいて個人画像イメージを生成する。
画像合成部３１４は、画像生成部３１３、ユーザ情報抽出部３１５、および外部画像処理制御部３１８から入力された情報に基づいて、外部画像および個人的画像を一つの３次元画像に合成する。互いに異なる３次元空間上に可視化される仮想オブジェクトおよび実オブジェクトを一つの３次元空間上に合成させるために、仮想空間をユーザの視線を基準として、深さ方向に各装置の担当する階層空間に分離して合成するか、もしくは深さバッファー（depth-buffer）アルゴリズムを用いて一つの画像情報に統合する。
ユーザ情報抽出部３１５は、各ユーザに最適化された立体画像を生成するための個人情報を抽出する。追跡センサ３０８、第１視線位置情報獲得部３１０、および第２視線位置情報獲得部３１１から獲得されるユーザの視線位置、姿勢、および視線の方向情報などを追跡センサ３０８、画像合成部３１４、視線情報提供部３１９の入力値として伝達する。
画像出力部３１６は、図１および図２の画像出力部１０５、２０５と同一の機能を遂行する。つまり画像出力部３１６は、画像合成部３１４によって作られた合成画像信号をユーザへ出力する。
外部画像処理部３１７は、外部画像処理制御部３１８の機能に加えて、図１の外部画像処理部１０１の機能をも遂行する。
外部画像処理制御部３１８は、画像合成部３１４の情報に基づいて、透過度制御部３０４を用いて、外部画像全てまたは特定の位置に対する透過量を制御する。つまり、制御部３１８は、本発明のディスプレイ装置画像および外部の画像を許可し、画像合成部３１４の正確な合成のために光学的に自然に（例えば、同じ明度値）合成されるように、外部画像情報の深さ値を獲得することによって、合成画像出力部３１２に提供される。視線情報提供部３１９は、外部立体画像情報がユーザの視線情報を必要とする場合にこれを伝送する。
図４は本発明の好適な他の実施形態によるビデオシースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。図４に示されたビデオシースルー方式の混合現実環境用のディスプレイ装置は、ほとんどの機能部は、図３における光学シースルー方式の混合現実環境用のディスプレイ装置と類似している。
左右視覚情報分離制御部４０８、左右視覚情報分離パネル４０９は、それぞれ図３の左右視覚情報分離制御部３０６、左右視覚情報分離パネル３０５と同一の機能を果たす。
カメラモジュール制御部４５０は、制御部４２８の制御命令を受けてカメラの撮影方向を調整する。
制御部４２８は、外部画像獲得モジュール４０９と４５１を駆動する左右視覚情報分離制御部４０８およびカメラモジュール制御部４５０を制御する。
図４に示されたビデオシースルー方式の混合現実環境用のディスプレイ装置は、殆どの動作が図３における光学シースルー方式の混合現実環境用のディスプレイ装置と類似している。図４によるビデオシースルー方式の場合、外部画像を獲得して合成する段階で、人間の自然視覚を用いる光学方式ではなく、任意のセンサ技術を利用するという点が光学シースルー方式と相異なる。ビデオシースルー方式の場合、外部画像獲得のために外部画像獲得モジュール（例えば、小型カメラ）４５１を使用し、カメラとユーザ視覚との連動のために外部画像処理制御部４２８は、ユーザ情報抽出部３１５の情報を用いてカメラモジュール制御部４５０を制御し、これにより、外部画像獲得モジュール４５１の収束角を制御する。
図５は本発明による光学シースルー方式の混合現実環境用のディスプレイ装置を示す例示図である。光学シースルー方式のディスプレイ装置は、ユーザの頭の動きを追跡するセンサ５０２と外部立体画像を選別して透視できる線形偏光フィルム５０１を含む。さらに、光学シースルー方式のディスプレイ装置は、画像生成部５０３、半透明反射鏡およびレンズとからなる多重立体画像混合処理部５０４、多重立体画像混合表示部５０５、ユーザの頭（目）の動き（姿勢）の追跡センサ５０６、および最終の個人の立体画像生成部５０７を更に含む。
本発明のディスプレイ装置を用いてユーザは、図８に示されているように、自分の個人インターフェースに関連する立体画像と外部コンテンツの立体画像とを同時に一つの空間に合成して見ることができ、マルチユーザ参加型ゲームにおいて解決し難い情報の私有および情報の共有問題を解決することができる。
図６Ａおよび図６Ｂは、本発明による混合現実環境用のディスプレイ装置の具現例を示す図である。図６Ａに示された本発明による混合現実環境用のディスプレイ装置によってフェイスマウントディスプレイ装置が具現され、実画像と外部画像とが自然に合成された画像を見ることができるようになる。本発明によるディスプレイ装置は、本体６０１、外部立体画像処理部（光学式立体画像フィルタ部）６０２、および外部光量透過度調節部６０３を備えている。図６Ｂに示されたように、本発明によるディスプレイ装置をユーザの目の位置から見ると、最終端の光学部により形成される拡大された虚像６０４の超小型の画像投影装置（プロジェクター）６０５によってユーザの眼球６０６上に形成される。また、外部画像情報は、外部画像生成（送出）装置の画像情報を伝達する光ケーブル６０７によって伝達される。画像投影装置６０５は、図３に示された合成画像出力部３１２の役割をする。
図７は本発明による混合現実環境用のディスプレイ装置を用いて、仮想スプレーペインティングトレーニングシステムの実装例を示す図である。外部人工画像は、大型の後面投射型の立体画像投影システムにより、ペインティング対象物が立体感を有するように可視化される。混合現実環境用のディスプレイ装置を着用した訓練生は、外部の仮想ブロックおよび自分のスプレーガンから発射される仮想ペイントの噴射の様子を見ることができ、正確なペインティング動作を案内するガイド情報などが自然に合成される。混合現実ディスプレイ装置を介して、ユーザの実際の手７０１、仮想動作案内情報７０２、実際のスプレーペインティング道具７０３、および仮想ペイントスプレー７０４を一度に見ることができる。外部立体ディスプレイ画面上の仮想船舶ブロック７０７上に仮想ペイントスプレー７０５を噴射すると、仮想ペイントが塗られる領域７０６を介して、仮想ペイントが塗られるのを見ることができる。
図８は本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツのインターフェース装置として実装した事例を示す図である。図８に示しているように、外部ゲーム空間は大型の立体画像ディスプレイシステムによって可視化され、ゲームに参加したユーザ１とユーザ２によって同時に観察することができる。ハンターの役割をするユーザ１が装着したディスプレイ装置には、武器制御に関連する立体画像情報が外部画像情報と合成されて可視化される。ユーザ１とユーザ２は互いに相手の個人情報を見ることができず、ゲームに参加する第三者は、ユーザの行動からゲーム世界に対外的に現われる結果のみを見ることができる。即ち、図８の左上端に示した一般のマルチユーザ参加型ゲームインターフェース画面８０１のように、ユーザと関連のない情報が共用画面に可視化され、可視性の混乱を招くことを引き起こさないことができる。一般のゲームインターフェース画面８０１とは異なり、本発明による仮想現実ゲームコンテンツ８０２は、外部画像と内部画像の共通立体画像を提供する。ユーザ１とユーザ２がゲームを一緒にする場合、ディスプレイ画面上にユーザ１のための個人制御メニュー８０３が表示され、個人制御メニュー８０３の個人立体画像を介して、ユーザ１はゲームオプションを選択することができる。また、ユーザ２も同様に、ユーザ２の個人制御メニューを介してゲームオプションを選択することになる。ユーザ１およびユーザ２はそれぞれ自分の多重立体画像の合成表示ビジュアルインターフェース装置８０４、８０５を介して、外部共通立体画像８０２または個人制御メニュー８０３を見ることができる。
図９は本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツとして実装した事例を示す図である。外部人工画像９０３は、立体モニタによって可視化される。図９のシナリオは円形偏光フィルタ付きディスプレイ装置９０４、９０５を装着した二人のユーザが、それぞれドライバーおよびハンターとなって迷宮を探検しながら幽霊を狩るという内容のシナリオである。ユーザ１（たとえば、ハンター）は、外部実在オブジェクト情報、人工画像、および自分のディスプレイ装置により可視化される個人画像情報９０１が自然に合成された混合現実環境で、ゲームを進行することができ、ユーザ２（たとえば、ドライバー）は、外部迷路空間を外部環境提示用のディスプレイ装置を介して立体的に見るとともに自分に好適な運転計器板情報９０２を見ながら実際の操作対象となるゲームジョイスティックパッド（実際の物）を見ながら操作できる。
一方、前述した本発明の実施形態は、コンピュータで実行可能なプログラムで実装することができ、コンピュータ可読の記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータにて実装できる。前記コンピュータ可読の記録媒体は、例えばＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなどの磁気記録媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤなどの光学的読出媒体、および例えばインターネットを通した伝送のような搬送波などの記録媒体を含む。
以上、本発明を添付図面および実施形態に参照して示し説明してきたが、これらは例示的なものに過ぎず、当業者ならば、特許明細の範囲に定義される発明の精神と範囲から逸脱することなく、これから多様な変更および均等な他の実施形態が可能であることは明らかである。
本発明による混合現実環境用のディスプレイ装置の主要構成を示すブロック図である。 本発明による混合現実環境用のディスプレイ装置の主要画像データおよび主要制御情報の流れと共に示す図である。 本発明の好適な一実施形態による光学シースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。 本発明の好適な他の実施形態によるビデオシースルー方式の混合現実環境用のディスプレイ装置を示す概略図である。 図３に示した光学シースルー方式による混合現実環境用のディスプレイ装置の試作品を例示する。 ＡとＢは本発明による混合現実環境用のディスプレイ装置の一例を示す図である。 本発明による混合現実環境用のディスプレイ装置を用いて仮想スプレーペインティングトレーニングシステムの一例を示す。 本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツのインターフェース装置として具現した事例を示す図である。 本発明による混合現実環境用のディスプレイ装置をマルチユーザ参加型の仮想現実ゲームコンテンツとして実装される一例を表す。
符号の説明
１０１ 外部画像処理部
１０２ ユーザ情報抽出部
１０３ 画像生成部
１０４ 画像合成部
１０５ 画像出力部
２０１ 外部画像処理部
２０２ ユーザ情報抽出部
２０３ 画像生成部
２０４ 画像合成部
２０５ 画像出力部
３０３ 外部光透過量調節装置
３０４ 透過度制御部
３０５ 左右視覚情報分離パネル
３０６ 左右視覚情報分離制御部
３０７ ディスプレイ装置の外枠
３０８ 追跡センサ
３１０ 第１視線位置情報獲得部
３１１ 第２視線位置情報獲得部
３１２ 合成画像出力部
３１３ 画像生成部
３１４ 画像合成部
３１５ ユーザ情報抽出部
３１６ 画像出力部
３１７ 外部画像処理部
３１８ 外部画像処理制御部
３１９ 視線情報提供部

Claims (11)

  1. ユーザの周りの物体の実画像と人工的に生成された単一又は複数の立体画像とを合成して多重外部画像信号を出力する外部画像処理部と、
    前記ユーザの位置、目の位置、視線の方向、および焦点距離を含む当該ユーザの視覚情報を抽出するユーザ情報抽出部と、
    前記抽出されたユーザの視覚情報に基づいて、立体画像信号を生成する画像生成部と、
    前記抽出されたユーザの視覚情報に基づいて、前記多重外部画像信号および前記立体画像信号を同期化して合成する画像合成部と、
    前記合成された画像信号を前記ユーザに出力する画像出力部と
    を備えたことを特徴とする混合現実環境用のディスプレイ装置。
  2. 前記ユーザ情報抽出部は、前記ユーザの視覚情報を抽出するために、目の部分を撮影する手段を含み、前記撮影手段は、前記目の部分を直接撮影するか、または画像キャプチャ装置によって提供される光を使用して間接的に撮影することを特徴とする請求項１記載のディスプレイ装置。
  3. 前記画像出力部は、前記合成された画像信号を、左右の視覚チャンネルに分離し、分離された信号を出力することを特徴とする請求項１に記載のディスプレイ装置。
  4. 前記ディスプレイ装置は、フェイスマウントディスプレイ（ＦＭＤ：Face Mounted Display）であることを特徴とする請求項１に記載のディスプレイ装置。
  5. 前記外部画像処理部は、前記合成された信号を左右の視覚チャンネルに分離し、分離された信号を出力することを特徴とする請求項１に記載のディスプレイ装置。
  6. 前記外部画像処理部は、前記実画像および前記立体画像に対応する外部の光を透過するシースルー構造であることを特徴とする請求項１に記載のディスプレイ装置。
  7. 前記外部画像処理部は、前記透過される外部の光の光量に関する透過度を選択的に調節できる光透過量調節部をさらに含むことを特徴とする請求項６に記載のディスプレイ装置。
  8. 前記外部画像処理部は、物体の実際の画像および立体画像を撮像し、入力するカメラを含むことを特徴とする請求項１に記載のディスプレイ装置。
  9. 前記画像合成部は、異なる３次元空間上に可視化された前記多重の外部画像信号および前記立体画像信号を一つの３次元空間上に可視化するために、前記立体画像信号を基準として深さ方向に、前記外部画像信号を階層空間に分離し、合成することを特徴とする請求項１に記載のディスプレイ装置。
  10. 前記ディスプレイ装置は、仮想の作業シナリオおよび環境に用いられることを特徴とする請求項１の記載のディスプレイ装置。
  11. 前記ディスプレイ装置は、マルチユーザ参加型の仮想現実ゲームコンテンツに用いられることを特徴とする請求項１に記載のディスプレイ装置。
JP2006338509A 2006-07-27 2006-12-15 混合現実環境用のフェイスマウントディスプレイ装置 Pending JP2008033219A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060070523A KR100809479B1 (ko) 2006-07-27 2006-07-27 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치

Publications (1)

Publication Number Publication Date
JP2008033219A true JP2008033219A (ja) 2008-02-14

Family

ID=38985775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006338509A Pending JP2008033219A (ja) 2006-07-27 2006-12-15 混合現実環境用のフェイスマウントディスプレイ装置

Country Status (3)

Country Link
US (1) US7804507B2 (ja)
JP (1) JP2008033219A (ja)
KR (1) KR100809479B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035782A1 (ja) * 2010-09-16 2012-03-22 旭エレクトロニクス株式会社 スプレー塗装シミュレートシステム
JP2015176568A (ja) * 2014-03-18 2015-10-05 カシオ計算機株式会社 情報機器とその表示方法、並びにプログラム
WO2019026713A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019139781A (ja) * 2013-03-11 2019-08-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実および仮想現実のためのシステムおよび方法
JP2020527872A (ja) * 2017-07-13 2020-09-10 グーグル エルエルシー 非平面コンピュテーショナルディスプレイ
US11854150B2 (en) 2013-03-15 2023-12-26 Magic Leap, Inc. Frame-by-frame rendering for augmented or virtual reality systems

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848044B2 (en) 2007-01-26 2014-09-30 Nec Corporation Image processing apparatus, method, program and display
US8446341B2 (en) * 2007-03-07 2013-05-21 University Of Washington Contact lens with integrated light-emitting component
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR100943392B1 (ko) * 2008-01-09 2010-02-18 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
KR100917100B1 (ko) * 2008-01-14 2009-09-15 에스케이 텔레콤주식회사 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
KR101378407B1 (ko) * 2008-05-08 2014-03-28 에스케이플래닛 주식회사 광시야각이 가능한 입체 영상 디스플레이 장치 및 그 입체영상 디스플레이 장치에서의 표시부 위치 조절 방법
US20100131865A1 (en) * 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
WO2010141870A1 (en) * 2009-06-04 2010-12-09 Kopin Corporation 3d video processor integrated with head mounted display
KR101147873B1 (ko) * 2010-06-24 2012-05-24 박영기 얼굴 인식을 이용한 스크린 골프 시스템 및 그 제어 방법
CN102446048B (zh) * 2010-09-30 2014-04-02 联想(北京)有限公司 信息处理设备以及信息处理方法
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US8625200B2 (en) 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US10359545B2 (en) 2010-10-21 2019-07-23 Lockheed Martin Corporation Fresnel lens with reduced draft facet visibility
US8781794B2 (en) 2010-10-21 2014-07-15 Lockheed Martin Corporation Methods and systems for creating free space reflective optical surfaces
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8608550B1 (en) * 2010-11-12 2013-12-17 Wms Gaming, Inc Coordinating three dimensional wagering game content presentations
KR101390383B1 (ko) * 2010-11-16 2014-04-29 한국전자통신연구원 가상현실 기반 훈련 시뮬레이터를 위한 가변형 플랫폼 관리 장치
BR112013014975A2 (pt) 2010-12-16 2020-08-11 Lockheed Martin Corporation exibição de colimação com lentes de pixel
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8784206B1 (en) 2011-04-15 2014-07-22 Wms Gaming, Inc. Modifying presentation of three-dimensional, wagering-game content
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
EP2751609B1 (en) 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
KR101926577B1 (ko) 2012-02-23 2018-12-11 한국전자통신연구원 확장형 3차원 입체영상 디스플레이 시스템
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
JP5483761B2 (ja) 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
JP5891125B2 (ja) 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
EP2685732A1 (en) * 2012-07-12 2014-01-15 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Stereoscopic pictures generation
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
KR102077105B1 (ko) 2013-09-03 2020-02-13 한국전자통신연구원 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
KR102187848B1 (ko) * 2014-03-19 2020-12-07 삼성전자 주식회사 프로젝터를 이용한 영상 표시 방법 및 이를 구현하는 착용형 전자장치
CN103927966A (zh) * 2014-04-02 2014-07-16 北京智谷睿拓技术服务有限公司 显示控制方法及显示控制装置
US10083675B2 (en) 2014-04-02 2018-09-25 Beijing Zhigu Rui Tuo Tech Co., Ltd Display control method and display control apparatus
CN103877726B (zh) * 2014-04-10 2017-09-26 北京蚁视科技有限公司 一种虚拟现实组件系统
US20170186236A1 (en) * 2014-07-22 2017-06-29 Sony Corporation Image display device, image display method, and computer program
KR102244222B1 (ko) * 2014-09-02 2021-04-26 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
US10320924B2 (en) * 2014-10-08 2019-06-11 Disney Enterprises, Inc. Location-based mobile storytelling using beacons
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US10684476B2 (en) 2014-10-17 2020-06-16 Lockheed Martin Corporation Head-wearable ultra-wide field of view display device
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
WO2016141054A1 (en) 2015-03-02 2016-09-09 Lockheed Martin Corporation Wearable display system
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US10127725B2 (en) 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
US10754156B2 (en) 2015-10-20 2020-08-25 Lockheed Martin Corporation Multiple-eye, single-display, ultrawide-field-of-view optical see-through augmented reality system
US10962780B2 (en) 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US9995936B1 (en) 2016-04-29 2018-06-12 Lockheed Martin Corporation Augmented reality systems having a virtual image overlaying an infrared portion of a live scene
US10325407B2 (en) 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
CN106780756A (zh) * 2016-11-30 2017-05-31 安徽金曦网络科技股份有限公司 虚拟现实看房系统
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
US10559276B2 (en) * 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
CN108465240B (zh) * 2018-03-22 2020-08-11 腾讯科技（深圳）有限公司 标记点位置显示方法、装置、终端及计算机可读存储介质
CA3092884A1 (en) * 2018-03-27 2019-10-03 Spacedraft Pty Ltd A media content planning system
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
JP6854972B2 (ja) * 2018-05-02 2021-04-07 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
CN114127837A (zh) * 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
KR102474528B1 (ko) * 2020-03-27 2022-12-06 한국광기술원 현실감 있는 증강현실 영상을 출력하는 장치 및 방법
US11743340B2 (en) * 2020-06-10 2023-08-29 Snap Inc. Deep linking to augmented reality components
KR102215146B1 (ko) * 2020-06-23 2021-02-15 주식회사 예쉬컴퍼니 증강현실 및 혼합현실을 이용한 인터랙티브 서비스 제공 방법, 장치 및 컴퓨터프로그램
KR102393627B1 (ko) * 2020-08-28 2022-05-02 한국로봇융합연구원 Mr 환경과 로봇의 인터렉션 훈련 시스템
CN116324681A (zh) * 2020-09-14 2023-06-23 交互数字Ce专利控股有限公司 触觉场景表示格式
KR102465800B1 (ko) * 2020-09-23 2022-11-11 (주)엘비전테크 근안 영상 표시 장치에 적용되는 시스루 광학 시스템 및 시스루 광학 시스템에서의 시선 추적 방법
DE102020215559A1 (de) * 2020-12-09 2022-06-09 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
KR20220086367A (ko) * 2020-12-16 2022-06-23 삼성전자주식회사 저지연으로 복수의 어플리케이션 데이터 전송 방법 및 장치
CN116711302A (zh) 2020-12-16 2023-09-05 三星电子株式会社 以低时延发送多条应用数据的方法和装置
US20220413433A1 (en) * 2021-06-28 2022-12-29 Meta Platforms Technologies, Llc Holographic Calling for Artificial Reality
US11934569B2 (en) * 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20230147312A (ko) * 2022-04-14 2023-10-23 주식회사 피아몬드 가상 공간에서 프라이버시 제공을 위한 방법 및 시스템
US11995789B2 (en) * 2022-06-15 2024-05-28 VRdirect GmbH System and method of creating, hosting, and accessing virtual reality projects
US20240073372A1 (en) * 2022-08-31 2024-02-29 Snap Inc. In-person participant interaction for hybrid event

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010299A (ja) * 2000-06-23 2002-01-11 Olympus Optical Co Ltd 画像表示装置
JP2002176661A (ja) * 2000-12-08 2002-06-21 Kawasaki Heavy Ind Ltd 画像表示装置
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453451B1 (en) * 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US5796373A (en) * 1996-10-10 1998-08-18 Artificial Parallax Electronics Corp. Computerized stereoscopic image system and method of using two-dimensional image for providing a view having visual depth
KR19990021540A (ko) 1997-08-30 1999-03-25 윤종용 눈의 시선각도를 이용한 입력장치
KR19990021535A (ko) 1997-08-30 1999-03-25 윤종용 에이취엠디 및 시선각도 인식기능을 구비한 퍼스널 컴퓨터
KR100265496B1 (ko) 1997-12-08 2000-09-15 구자홍 3차원 영상을 위한 hmd
KR100283933B1 (ko) 1997-12-10 2001-03-02 윤종용 편광방식에 의한 입체영상장치
KR100270804B1 (ko) * 1998-02-18 2000-11-01 박남은 시알티모니터를사용하는컴퓨터시스템에서입체영상구현을위한입체영상구현장치
KR100438816B1 (ko) 1998-03-09 2004-07-16 삼성전자주식회사 개인용 입체영상 헤드마운트 디스플레이 장치
US6433760B1 (en) * 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6417820B1 (en) * 2000-05-12 2002-07-09 Samsung Electronics Co., Ltd. Head mounted display and optical system for use in HMD
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
KR200304507Y1 (ko) 2002-11-18 2003-02-15 (주)디오컴 광 영상전송에 의한 헤드마운트디스플레이 장치
KR100656342B1 (ko) * 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US7464010B2 (en) * 2004-12-21 2008-12-09 Electronics And Telecommunications Research Institute User interface design and evaluation system and hand interaction based user interface design and evaluation system
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010299A (ja) * 2000-06-23 2002-01-11 Olympus Optical Co Ltd 画像表示装置
JP2002176661A (ja) * 2000-12-08 2002-06-21 Kawasaki Heavy Ind Ltd 画像表示装置
JP2002244074A (ja) * 2001-02-15 2002-08-28 Mixed Reality Systems Laboratory Inc 画像表示装置
JP2005107038A (ja) * 2003-09-29 2005-04-21 Brother Ind Ltd 網膜走査表示装置
JP2005165778A (ja) * 2003-12-03 2005-06-23 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012035782A1 (ja) * 2010-09-16 2012-03-22 旭エレクトロニクス株式会社 スプレー塗装シミュレートシステム
JP2019139781A (ja) * 2013-03-11 2019-08-22 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実および仮想現実のためのシステムおよび方法
JP2021082310A (ja) * 2013-03-11 2021-05-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 拡張現実および仮想現実のためのシステムおよび方法
JP7002684B2 (ja) 2013-03-11 2022-01-20 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
JP2022036160A (ja) * 2013-03-11 2022-03-04 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
US11663789B2 (en) 2013-03-11 2023-05-30 Magic Leap, Inc. Recognizing objects in a passable world model in augmented or virtual reality systems
US11854150B2 (en) 2013-03-15 2023-12-26 Magic Leap, Inc. Frame-by-frame rendering for augmented or virtual reality systems
JP2015176568A (ja) * 2014-03-18 2015-10-05 カシオ計算機株式会社 情報機器とその表示方法、並びにプログラム
JP2020527872A (ja) * 2017-07-13 2020-09-10 グーグル エルエルシー 非平面コンピュテーショナルディスプレイ
WO2019026713A1 (ja) * 2017-08-04 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
KR100809479B1 (ko) 2008-03-03
US20080024597A1 (en) 2008-01-31
KR20080010502A (ko) 2008-01-31
US7804507B2 (en) 2010-09-28

Similar Documents

Publication Publication Date Title
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US10009542B2 (en) Systems and methods for environment content sharing
Schmalstieg et al. Augmented reality: principles and practice
US20060132915A1 (en) Visual interfacing apparatus for providing mixed multiple stereo images
US9230500B2 (en) Expanded 3D stereoscopic display system
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
JP2023109774A (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US20150312561A1 (en) Virtual 3d monitor
EP4012482A1 (en) Display
CN107810634A (zh) 用于立体增强现实的显示器
JP7177054B2 (ja) ユーザ頭部回転ガイド付きヘッドマウントディスプレイ
CN203746012U (zh) 一种三维虚拟场景人机交互立体显示系统
US11961194B2 (en) Non-uniform stereo rendering
CN207625712U (zh) 视觉显示系统以及头戴显示装置
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
WO2018142418A1 (en) An apparatus, method, and system for augmented and mixed reality viewing
CN116582661B (zh) 混合模式三维显示系统和方法
CN109963145A (zh) 视觉显示系统及方法，以及头戴显示装置
EP4083754B1 (en) System and method for generating motion data comprising simulated gaze information
JP7403256B2 (ja) 映像提示装置およびプログラム
CN109963141B (zh) 视觉显示系统及方法，以及头戴显示装置
Vaish et al. A REVIEW ON APPLICATIONS OF AUGMENTED REALITY PRESENT AND FUTURE
Banchi et al. Effects of binocular parallax in 360-degree VR images on viewing behavior
CN116582661A (zh) 混合模式三维显示系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130412