JP2002157607A - 画像生成システム、画像生成方法および記憶媒体 - Google Patents

画像生成システム、画像生成方法および記憶媒体

Info

Publication number
JP2002157607A
JP2002157607A JP2000351995A JP2000351995A JP2002157607A JP 2002157607 A JP2002157607 A JP 2002157607A JP 2000351995 A JP2000351995 A JP 2000351995A JP 2000351995 A JP2000351995 A JP 2000351995A JP 2002157607 A JP2002157607 A JP 2002157607A
Authority
JP
Japan
Prior art keywords
image
virtual space
space
observer
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000351995A
Other languages
English (en)
Inventor
Hironori Yonezawa
博紀 米澤
Kenji Morita
憲司 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000351995A priority Critical patent/JP2002157607A/ja
Priority to US10/000,668 priority patent/US20020075286A1/en
Publication of JP2002157607A publication Critical patent/JP2002157607A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Abstract

(57)【要約】 【課題】 現実空間映像と仮想空間映像の時間的ずれを
軽減し、より没入感がある複合映像を観察者に提供する
ことができる画像生成システムを提供する。 【解決手段】 コンピュータ１０７においては、位置方
向計測ソフト３２０、位置補正マーカ検出ソフト３３
０、視線方向補正ソフト３５０、効果音出力ソフト３４
０、ＭＲ空間映像生成ソフト３１０の各ソフトウェアが
動作する。コンピュータ１０７にネットワーク１３０を
介して接続されるコンピュータ１０８においては、ＭＲ
空間状態管理ソフト４００が動作する。ＭＲ空間状態管
理ソフト４００は、全ての現実空間物体の位置方向およ
び状態、全ての仮想空間物体の位置方向および状態を管
理する。仮想空間物体の位置方向および状態について
は、ＭＲ空間状態管理ソフト４００内の仮想空間状態管
理部４０１が管理する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラなど
の撮影手段から取り込まれた現実空間映像とコンピュー
タグラフィックスなどの仮想空間映像とを合成し、複合
映像を生成する画像生成システム、画像生成方法および
記憶媒体に関する。
【０００２】
【従来の技術】従来のＨＭＤ（ヘッドマウントディスプ
レイ）を表示装置として利用する複合現実感装置として
は、大島、佐藤、山本、田村などにより提案さているも
のがある（大島, 佐藤, 山本, 田村："AR2ホッケー：協
調型複合現実感システムの実現", 日本バーチャルリア
リティ学会論文誌, Vol.3, No.2, pp.55-60, 1998. な
ど参照）。
【０００３】
【発明が解決しようとする課題】しかしながら、上述の
従来の装置では、観察者が首を左右に振ると、現実空間
映像は即座に追随するが、仮想空間映像は現実空間映像
に遅れてついてくるなどの現象が確認される。すなわ
ち、現実空間映像と仮想空間映像の時間的なずれが目立
つ。
【０００４】本発明の目的は、現実空間映像と仮想空間
映像の時間的ずれを軽減し、より没入感がある複合映像
を観察者に提供することができる画像生成システム、画
像生成方法および記憶媒体を提供することにある。
【０００５】
【課題を解決するための手段】請求項１記載の発明は、
観察者の視点位置でその視線方向における現実空間を撮
像する撮像手段と、前記観察者の視点位置および視線方
向を検出する検出手段と、前記検出手段によって検出さ
れた観察者の視点位置および視線方向における仮想空間
映像を生成する仮想空間映像生成手段と、前記仮想空間
映像生成手段によって生成された仮想空間映像と、前記
撮像手段より出力された現実空間映像とを合成した複合
映像を生成する複合映像生成手段と、前記複合映像生成
手段によって生成された複合映像を表示する表示手段
と、現実空間と仮想空間に対して、それぞれに存在する
物体およびその位置、方向の情報を共通に管理する管理
手段とを有することを特徴とする。
【０００６】請求項２記載の発明は、請求項１記載の画
像生成システムにおいて、前記管理手段は、前記現実空
間と前記仮想空間のそれぞれの物体、その位置、方向お
よび状態の情報の更新を行うことが可能であることを特
徴とする。
【０００７】請求項３記載の発明は、請求項２記載の画
像生成システムにおいて、前記管理手段は、所定の時間
毎に前記現実空間と前記仮想空間とのそれぞれの物体、
その位置、方向および状態の情報を前記複合映像生成手
段に通知することを特徴とする。
【０００８】請求項４記載の発明は、請求項３記載の画
像生成システムにおいて、前記仮想映像生成手段は、前
記管理手段からの情報更新に応じてとして、前記現実空
間と前記仮想空間とのそれぞれの物体、その位置および
方向に基づいた仮想空間映像を生成することを特徴とす
る。
【０００９】請求項５記載の発明は、請求項３または４
記載の画像生成システムにおいて、前記複合映像生成手
段は、前記管理手段からの情報更新に応じて、前記現実
空間映像の描画を開始することを特徴とする。
【００１０】請求項６記載の発明は、請求項５記載の画
像生成システムにおいて、前記複合映像生成手段は、前
記現実空間映像の描画を終了しかつ前記仮想空間映像生
成手段により仮想空間映像が生成された後に、前記現実
空間映像と前記仮想空間映像との合成を行うことを特徴
とする。
【００１１】請求項７記載の発明は、請求項６記載の画
像生成システムにおいて、前記複合映像生成手段は、前
記現実空間映像と前記仮想空間映像の合成を行う直前
に、前記検出手段によって検出された観察者の視点位置
および視線方向に基づき前記仮想空間映像の再生成を行
うことを特徴とする。
【００１２】請求項８記載の発明は、請求項３記載の画
像生成システムにおいて、前記仮想空間映像生成手段
は、前記管理手段からの情報更新に応じて、前記現実空
間と前記仮想空間のそれぞれの物体、その位置および方
向に基づいた仮想空間映像を生成する処理を行い、前記
複合映像生成手段は、前記管理手段からの情報通知に応
じて、前記現実空間映像の描画を開始する処理を、前記
仮想空間映像生成手段による前記仮想空間映像の生成処
理と並列して行うことを特徴とする。
【００１３】請求項９記載の発明は、請求項１ないし８
のいずれか１つに記載の画像生成システムにおいて、前
記観察者の数は複数であることを特徴とする。
【００１４】請求項１０記載の発明は、請求項１ないし
９のいずれか１つに記載の画像生成システムにおいて、
前記検出手段の検出結果に基づき、検出対象としている
観察者の身振り、状態などを含む動作を検出する動作検
出手段を有することを特徴とする。
【００１５】請求項１１記載の発明は、請求項１０記載
の画像生成システムにおいて、前記動作検出手段によっ
て検出された観察者の動作を前記複合現実空間および該
複合現実空間に存在する物体への働きかけ入力として利
用することが可能であることを特徴とする。
【００１６】請求項１２記載の発明は、観察者の視点位
置でその視線方向における現実空間映像に、仮想空間映
像を合成して複合映像を生成するための画像生成方法で
あって、前記観察者の視点位置および視線位置を検出す
る工程と、前記観察者の視点位置および視線方向におけ
る現実空間映像を得る工程と、現実空間と仮想空間との
それぞれに存在する物体およびその位置、方向を含む管
理情報を得る工程と、前記管理情報に応じて、前記観察
者の視点位置および視線方向における仮想空間映像を生
成する工程と、前記管理情報に応じて、前記仮想空間映
像と前記現実空間映像とを合成した複合映像を生成する
工程とを有することを特徴とする。
【００１７】請求項１３記載の発明は、請求項１２記載
の画像生成方法において、前記管理情報を更新する工程
を有することを特徴とする。
【００１８】請求項１４記載の発明は、請求項１２また
は１３記載の画像生成方法において、前記管理情報は、
所定の時間毎に前記複合映像を生成する工程に通知され
ることを特徴とする。
【００１９】請求項１５記載の発明は、請求項１４記載
の画像生成方法において、前記仮想空間映像の生成は、
前記管理情報の更新に応じて、前記現実空間と前記仮想
空間とのそれぞれの物体、その位置および方向に基づき
生成されることを特徴とする。
【００２０】請求項１６記載の発明は、請求項１４また
は１５記載の画像生成方法において、前記複合映像の生
成時には、前記管理情報の更新を契機として、前記取得
された現実空間映像の描画が開始されることを特徴とす
る。
【００２１】請求項１７記載の発明は、請求項１６記載
の画像生成方法において、前記複合映像の生成は、前記
現実空間映像の描画が終了しかつ前記仮想空間映像生成
工程により仮想空間映像が生成された後に、前記現実空
間映像と前記仮想空間映像とを合成することによって行
われることを特徴とする。
【００２２】請求項１８記載の発明は、請求項１７記載
の画像生成方法において、前記現実空間映像と前記仮想
空間映像の合成を行う直前に、前記検出された観察者の
視点位置および視線方向に基づき前記仮想空間映像の再
生成が行われることを特徴とする。
【００２３】請求項１９記載の発明は、請求項１４記載
の画像生成方法において、前記管理情報の更新に応じ
て、前記管理情報に基づいた仮想空間映像の生成が開始
され、前記複合映像の生成に伴う前記取得された現実空
間映像の描画が開始され、前記仮想空間映像の生成と前
記現実空間映像の描画とが並列して行われることを特徴
とする。
【００２４】請求項２０記載の発明は、請求項１２ない
し１９のいずれか１つに記載の画像生成方法において、
前記観察者の数は複数であることを特徴とする。
【００２５】請求項２１記載の発明は、請求項２０記載
の画像生成方法において、前記観察者の視点位置および
視線位置に基づき検出対象としている観察者の身振り、
状態などを含む動作を検出する工程を有することを特徴
とする。
【００２６】請求項２２記載の発明は、請求項２１記載
の画像生成方法において、前記検出された観察者の動作
を前記複合映像の空間および該複合映像の空間に存在す
る物体への働きかけ入力として利用することが可能であ
ることを特徴とする。
【００２７】請求項２３記載の発明は、観察者の視点位
置でその視線方向における現実空間映像を撮像する撮像
手段と、前記観察者の視点位置および視線方向を検出す
る検出手段と、前記現実空間映像に対して、前記観察者
の視点位置および視線方向における仮想空間映像を合成
した複合映像を表示するための表示手段とを備える画像
生成システムにおいて、前記複合映像を生成するための
プログラムを格納したコンピュータ読取り可能な記憶媒
体であって、前記プログラムは、前記検出手段によって
検出された観察者の視点位置および視線方向を検出する
検出モジュールと、前記検出モジュールによって検出さ
れた観察者の視点位置および視線方向からの仮想空間映
像を生成するための仮想空間映像生成モジュールと、前
記仮想空間映像生成モジュールによって生成された仮想
空間映像と前記現実空間映像とから前記複合映像を生成
するための複合映像生成モジュールと、現実空間と仮想
空間のそれぞれに存在する物体およびその位置、方向を
管理するための管理モジュールとを有することを特徴と
する。
【００２８】請求項２４記載の発明は、請求項２３記載
の記憶媒体において、前記管理モジュールは、前記現実
空間と前記仮想空間とのそれぞれの物体、その位置、方
向および状態の更新を行うことが可能であることを特徴
とする。
【００２９】請求項２５記載の発明は、請求項２４記載
の記憶媒体において、前記管理モジュールは、所定の時
間毎に前記現実空間と前記仮想空間とのそれぞれの物
体、その位置、方向および状態を前記複合映像生成手段
に通知することを特徴とする。
【００３０】請求項２６記載の発明は、請求項２５記載
の記憶媒体において、前記仮想空間映像生成モジュール
は、前記管理モジュールからの情報更新を契機として、
前記現実空間と前記仮想空間とのそれぞれの物体、その
位置および方向に基づいた仮想空間映像を生成すること
を特徴とする。
【００３１】請求項２７記載の発明は、請求項２５また
は２６記載の記憶媒体において、前記複合映像生成モジ
ュールは、前記管理モジュールからの情報更新を契機と
して、前記現実空間映像の描画を開始することを特徴と
する。
【００３２】請求項２８記載の発明は、請求項２７記載
の記憶媒体において、前記複合映像生成モジュールは、
前記現実空間映像の描画を終了しかつ前記仮想空間映像
生成モジュールにより仮想空間映像が生成された後に、
前記現実空間映像と前記仮想空間映像との合成を行うこ
とを特徴とする。
【００３３】請求項２９記載の発明は、請求項２８記載
の記憶媒体において、前記複合映像生成モジュールは、
前記現実空間映像と前記仮想空間映像の合成を行う直前
に、前記検出モジュールによって検出された観察者の視
点位置および視線方向に基づき前記仮想空間映像の再生
成を行うことを特徴とする。
【００３４】請求項３０記載の発明は、請求項２５記載
の記憶媒体において、前記仮想空間映像生成モジュール
は、前記管理モジュールからの情報更新を契機として、
前記現実空間と前記仮想空間とのそれぞれの物体、その
位置および方向に基づいた仮想空間映像を生成する処理
を行い、前記複合映像生成モジュールは、前記管理モジ
ュールからの情報通知に応じて、前記現実空間映像の描
画を開始する処理を前記仮想空間映像生成モジュールに
よる前記仮想空間映像の生成処理と並列して行うことを
特徴とする。
【００３５】請求項３１記載の発明は、請求項２３ない
し３０のいずれか１つに記載の記憶媒体において、前記
観察者の数は複数であることを特徴とする。
【００３６】請求項３２記載の発明は、請求項２３ない
し３１のいずれか１つに記載の記憶媒体において、前記
プログラムは、前記検出モジュールの検出結果に基づき
検出対象としている観察者の身振り、状態などを含む動
作を検出する動作検出モジュールを有することを特徴と
する。
【００３７】請求項３３記載の発明は、請求項３２記載
の記憶媒体において、前記動作検出モジュールによって
検出された観察者の動作を前記複合映像空間および該複
合映像空間に存在する物体への働きかけとして利用する
ことが可能であることを特徴とする。
【００３８】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら説明する。
【００３９】図１は本発明の実施の一形態に係る複合映
像を表示する画像生成システムの外観構成図、図２は図
１の観察者の頭部に装着されるＨＭＤの構成を示す斜視
図である。
【００４０】本実施の形態においては、図１に示すよう
に、システムを５ｍ四方程度の室内に設置し、３人の観
察者１００ａ，１００ｂ，１００ｃが本システムにより
複合現実感を体験するものとする。なお、本システムの
設置場所、広さ、観察者数は、これに限定されるもので
はなく、自由に変更可能である。
【００４１】各観察者１００ａ，１００ｂ，１００ｃ
は、複合現実空間映像（以下、ＭＲ空間映像という）を
それぞれの観察者に提供するためのＨＭＤ（ヘッドマウ
ントディスプレイ）１０１を頭部に、頭部の位置および
方向を検出する頭部位置方向センサ受信機１０２を頭部
に、手の位置および方向を検出するための手部位置方向
センサ受信機１０３を右手（例えば利き腕）にそれぞれ
装着する。
【００４２】このＨＭＤ１０１は、図２（ａ），（ｂ）
に示すように、右目用表示装置２０１および左目用表示
装置２０２と、右目用ビデオカメラ２０３および左目用
ビデオカメラ２０４とを有する。各表示装置２０１，２
０２は、カラー液晶とプリズムから構成され、観察者の
視点位置および視線方向に応じたＭＲ空間映像を表示す
る。
【００４３】右目用ビデオカメラ２０３で撮影された現
実空間映像は右目の位置から見える仮想空間映像と重畳
され、これにより右目用ＭＲ空間映像が生成される。こ
の右目用ＭＲ空間映像は、右目用表示装置２０１に表示
される。左目用ビデオカメラ２０４で撮影された現実空
間映像は左目の位置から見える仮想空間映像と重畳さ
れ、これにより左目用ＭＲ空間映像が生成される。この
左目用ＭＲ空間映像は、左目用表示装置２０２に表示さ
れる。このように、左目用、右目用表示装置２０１，２
０２のそれぞれに対応するＭＲ空間映像を表示すれば、
観察者にＭＲ空間をステレオ立体視させることが可能で
ある。なお、ビデオカメラの数を１つにして、ステレオ
立体視映像を提供しなくても構わない。
【００４４】頭部位置方向センサ受信機１０２、手部位
置方向センサ受信機１０３は、位置方向センサ送信機１
０４から発せられる電磁波や超音波などを受信し、その
受信強度や位相などから、センサの位置方向を特定する
ことが可能である。この位置方向センサ送信機は、ゲー
ムの場となるスペース内の所定の位置に固定され、それ
ぞれ各観察者の頭部、手部の位置および方向を検出する
基準となる。
【００４５】ここで、頭部位置方向センサ受信機１０２
は、観察者の視点位置、視線方向を検出するものであ
る。本実施の形態では、頭部位置方向センサ受信機１０
２はＨＭＤ１０１に固定されているものとする。手部位
置方向センサ受信機１０３は、手の位置方向を測定する
ものであり、例えば仮想空間上の物体を持ったり、手の
動きに応じて状態が変化したりするなど、観察者の手の
位置方向情報が複合現実空間（以下、ＭＲ空間という）
において必要である場合には、手部位置方向センサ受信
機１０３が装着され、それ以外の場合には装着しなくて
もよい。また、観察者の身体の各部における位置情報が
必要であれば、必要な部位にそれぞれセンサ受信機が装
着されることになる。
【００４６】観察者１００ａ，１００ｂ，１００ｃの傍
には、上記位置方向センサ送信機１０４と、スピーカ１
０５と、頭部位置方向センサ受信機１０２、手位置方向
センサ受信機１０３および位置方向センサ送信機１０４
が接続される位置方向センサ本体１０６と、各観察者１
００ａ，１００ｂ，１００ｃ毎のＭＲ空間映像を生成す
るコンピュータ１０７とが設置されている。ここで、位
置方向センサ本体１０６と、コンピュータ１０７とは対
応する観察者に近接して設置されているが、観察者から
離れた所に設置してもよい。また、各観察者１００ａ，
１００ｂ，１００ｃが観察するＭＲ空間に融合される複
数の現実空間物体１１０が生成したいＭＲ空間に応じて
設置される。この現実空間物体１１０としては任意の数
の物体を設置することができる。
【００４７】スピーカ１０５からは、ＭＲ空間で起こっ
たイベントに対応する音が発生される。このイベントに
対応する音としては、例えば仮想空間中のキャラクタ同
士が衝突した場合に発生する爆発音などがある。スピー
カ１０５のＭＲ空間上での座標は予めシステムに記憶さ
れている。そして何らかの音を発生するイベントが起こ
った場合、そのイベントの起こったＭＲ空間座標近傍に
配置されているスピーカ１０５から音が発生する。例え
ば観察者１００ｂの近傍で爆発イベントが起こった場
合、この観察者１００ｂの近傍のスピーカ１０５から爆
発音が発せられる。スピーカ１０５は、観察者に対して
適正な臨場感を与えるように、任意の数を任意の場所に
配置される。
【００４８】また、このようなスピーカ１０５を配置す
る方式でなく、ヘッドホンを装着したＨＭＤを利用して
本システムにおける音響効果を実現するようにしてもよ
い。この場合、音は特定の観察者しか聞くことができな
いので、３Ｄオーディオと呼ばれる仮想音源を使う必要
がある。
【００４９】現実空間物体１１０は、具体的にはアミュ
ーズメント施設のアトラクションに用いられるようなセ
ットである。どのようなセットを用意するかは、どのよ
うなＭＲ空間を観察者に提供するかによって変わる。
【００５０】現実空間物体１１０の表面には、マーカ１
２０と呼ばれる有色の薄い小片がいくつか貼り付けられ
ている。マーカ１２０は、現実空間座標と仮想空間座標
のずれを画像処理によって補正するために利用される。
この補正については後述する。
【００５１】次にＨＭＤ１０１に表示されるＭＲ空間映
像生成における主要な点について図３ないし図６を参照
しながらを説明する。図３は全ての仮想空間物体が手前
にある場合のＭＲ空間映像生成例を示す図、図４は透過
仮想空間物体を使用しない場合のＭＲ空間映像生成例を
示す図、図５は透過仮想空間物体を使用する場合のＭＲ
空間映像生成例を示す図、図６は図１の画像生成システ
ムにおけるマーカによるずれ補正の例を示す図である。
【００５２】観察者１００ａ，１００ｂ，１００ｃに
は、ＨＭＤ１０１を通して、図３に示すように、現実空
間映像と仮想空間映像が重畳されて、あたかも現実空間
内に仮想空間物体が存在しているかのようなＭＲ空間映
像がリアルタイムに表示される。ＭＲ空間映像の生成に
おいて、より融合感を強めるためには、ＭＲ空間座標に
よる処理、透過仮想物体による重なり時の処理、マーカ
によるずれ補正処理が重要である。以下にそれぞれにつ
いて説明する。
【００５３】まず、ＭＲ空間座標について説明する。
【００５４】観察者１００ａ，１００ｂ，１００ｃがＭ
Ｒ空間内に融合された仮想空間物体とインタラクション
― 例えば、手でＣＧキャラクタを叩いたとき、キャラ
クタに何らかの反応をさせる ― を行うようなＭＲ空間
を生成する場合、現実空間と仮想空間で別の座標軸を使
っていたのでは接触を判断することができない。そこ
で、本システムでは、ＭＲ空間に融合したい現実空間物
体、仮想空間物体の座標をＭＲ空間座標系に変換し、こ
の上ですべての物体を扱う。
【００５５】現実空間物体１１０に関しては、ＭＲ空間
に融合する観察者の視点位置、視線方向、手の位置方向
（位置方向センサの測定値）、現実空間物体１１０の位
置形状情報、他の観察者の位置形状情報を、ＭＲ座標系
に変換する。同様に、仮想空間物体に関しては、ＭＲ空
間に融合する仮想空間物体の位置形状情報を、ＭＲ座標
系に変換する。このようにＭＲ空間座標系を導入し、現
実空間座標系と仮想空間座標系をＭＲ空間座標系へ変換
することによって、現実空間物体と仮想空間物体の位置
関係や距離を統一的に扱うことができ、インタラクショ
ンを実現することが可能になる。
【００５６】次に、重なり時の問題について説明する。
【００５７】ＭＲ空間映像は、図３に示すように、現実
空間映像と仮想空間映像を重畳することによって生成さ
れる。図３の場合、ＭＲ空間座標においては、視点から
見て、現実空間物体よりすべての仮想空間物体が手前に
存在するため、問題はない。しかし、仮想空間物体が現
実空間物体より奥行き方向に存在する場合は、図４に示
すように、現実空間物体の手前に仮想空間物体が表示さ
れるという現象が発生する。このため、重畳を行う前に
現実物体と仮想物体のＭＲ空間中での座標を比較して、
視点からさらに奥行き方向にあるものについては、手前
にあるものに隠されるための処理を行う必要がある。
【００５８】上記処理を行うため、ＭＲ空間に融合する
現実空間物体がある場合、同じ形状、位置および方向を
持つ背景が透過される仮想空間物体が予め仮想空間に定
義される。例えば、図５に示すように、現実空間の３つ
の物体と同じ形状を持ち透過仮想物体が仮想空間に定義
される。このように透過仮想空間物体を用いることで、
現実映像合成時に現実映像が上書きされることなく、背
後の仮想物体のみ消去することができる。
【００５９】次に、現実空間座標と仮想空間座標のズレ
について説明する。
【００６０】仮想空間物体の位置、方向は計算により算
出されるものであるが、現実空間物体は位置方向センサ
で測定しているため、この測定値には何らかの誤差が生
じる。この誤差が、ＭＲ空間映像を生成したときに、現
実空間物体と仮想空間物体のＭＲ空間内での位置ズレを
発生させることになる。
【００６１】そこで、上記マーカ１２０がこのようなズ
レを補正するために利用される。マーカ１２０はＭＲ空
間に融合する現実空間において、その現実空間中に存在
しない特定の色、もしくは特定の色の組み合わせをもっ
た２〜５cm四方程度の小片である。
【００６２】このマーカ１２０を利用して現実空間と仮
想空間の位置ズレを補正する手順について図６を参照し
ながら説明する。なお、予め補正に利用するマーカ１２
０のＭＲ空間上での座標はシステムに定義されているも
のとする。
【００６３】図６に示すように、まず、頭部位置方向セ
ンサ受信機１０２で計測された視点位置、視線方向をＭ
Ｒ座標系に変換し、ＭＲ座標系における視点位置、視線
方向から予測されるマーカの映像を作成する（Ｆ１
０）。一方、現実空間映像からはマーカ位置を抽出した
映像を作成する（Ｆ８，Ｆ１２）。
【００６４】そして、この２つの映像を比較し、ＭＲ空
間中での視点位置は正しいものと仮定し、ＭＲ空間中で
の視線方向のずれ量を計算する（Ｆ１４）。この算出し
たずれ量をＭＲ空間中の視線方向に適用することによっ
て、ＭＲ空間中における仮想空間物体の現実空間物体の
間に生ずる誤差を補正することができる（Ｆ１５，Ｆ１
６）。なお、参考までに、上記例において、マーカ１２
０によるずれ補正を行わなかった場合の例を図中のＦ１
７に示す。
【００６５】次に、本システムの処理を行うコンピュー
タ１０７のハードウェア構成、ソフトウェア構成、およ
びそれぞれのソフトウェアの動作について説明する。
【００６６】まず、コンピュータ１０７のハードウェア
構成について図７を参照しながら説明する。図７は図１
の画像生成システムにおけるコンピュータ１０７のハー
ドウェア構成図である。観察者を増やす場合、観察者数
に応じてこの構成を追加すればよい。
【００６７】コンピュータ１０７は、図１に示すよう
に、各観察者１００ａ，１００ｂ，１００ｃ毎に設けら
れ、対応するＭＲ空間映像を生成する装置である。コン
ピュータ１０７には、右目用ビデオキャプチャボード１
５０、左目用ビデオキャプチャボード１５１、右目用グ
ラフィックボード１５２、左目用グラフィックボード１
５３、サウンドボード１５８、ネットワークインターフ
ェース１５９およびシリアルインターフェース１５４が
搭載されている。各機器はコンピュータ内部において、
バスを介してＣＰＵ１５６、ＨＤＤ（ハードディスク）
１５５およびメモリ１５７と接続されている。
【００６８】右目用ビデオキャプチャボード１５０には
ＨＭＤ１０１の右目用ビデオカメラ２０３が、左目用ビ
デオキャプチャボード１５１には左目用ビデオカメラ２
０４がそれぞれ接続されている。右目用グラフィックボ
ード１５２にはＨＭＤ１０１の右目用表示装置２０１、
左目用グラフィックボード１５３には左目用表示装置２
０２がそれぞれ接続されている。サウンドボード１５８
にはスピーカ１０５が接続され、ネットワークインター
フェース１５９は、ＬＡＮ（Local Area Network）など
のネットワーク１３０に接続されている。シリアルイン
ターフェース１５４には、位置方向センサ本体１０６が
接続され、位置方向センサ本体１０６には、ＨＭＤ１０
１の頭部位置方向センサ受信機１０２、手部位置方向セ
ンサ１０３および位置方向センサ送信機１０４が接続さ
れている。
【００６９】右目用、左目用ビデオキャプチャボード１
５０，１５１は、右目用、左目用ビデオカメラ２０３，
２０４からの映像信号をデジタル化しコンピュータ１０
７のメモリに１５７に３０フレーム／秒で取り込む。取
り込まれた現実空間映像は、コンピュータ１０７で生成
された仮想空間映像と重畳されて右目用、左目用グラフ
ィックボード１５２，１５３へ出力され、右目用、左目
用表示装置２０１，２０２に表示される。
【００７０】位置方向センサ本体１０６は、頭部位置方
向センサ受信機１０２、手部位置方向センサ受信機１０
３が受信した電磁波の強度や位相などによって、各位置
方向センサ受信機１０２，１０３の位置方向を算出し、
この算出された位置方向はシリアルインターフェース１
５４を介してコンピュータ１０７に通知される。
【００７１】ネットワークインターフェース１５９に接
続されるネットワーク１３０には、各観察者１００ａ，
１００ｂ，１００ｃのコンピュータ１０７および後述す
るＭＲ空間状態管理を行うためのコンピュータ１０８
（図８に示す）が接続されている。
【００７２】各観察者１００ａ，１００ｂ，１００ｃに
対応するコンピュータ１０７は、コンピュータ１０８に
より、ネットワーク１３０を介して、各観察者１００
ａ，１００ｂ，１００ｃ毎に検出された視点位置、視線
方向、仮想空間物体の位置、方向を共有する。これによ
り、各コンピュータ１０７が独立して各観察者１００
ａ，１００ｂ，１００ｃに対するＭＲ空間映像を生成す
ることができる。
【００７３】また、ＭＲ空間で演奏イベントが起こった
場合、演奏イベントの発生したＭＲ空間座標近傍に設置
されたスピーカ１０５から音が発せられるが、どのコン
ピュータが演奏するかという命令もネットワーク１３０
を介して通信される。
【００７４】なお、本実施の形態では、三次元コンバー
タなどの特殊な映像機器を利用せず、かつ被験者１人に
対して１台のコンピュータを利用するように構成してい
るが、入力系を三次元コンバータによるPage Flip映像
を生成する１枚のキャプチャボードにしたり、出力系を
２出力持つ１枚のグラフィックボードにしたり、また、
１枚のグラフィックボードでAbove & Below出力後ダウ
ンコンバータで画像の切り出しを行う構成にしても構わ
ない。
【００７５】次に、本システムの処理を行うコンピュー
タ１０７のソフトウェア構成とそれぞれの動作について
図８を参照しながら説明する。図８は図１の画像生成シ
ステムのコンピュータに搭載されたソフトウェア構成図
である。
【００７６】コンピュータ１０７においては、図８に示
すように、位置方向計測ソフト３２０、位置補正マーカ
検出ソフト３３０、視線方向補正ソフト３５０、効果音
出力ソフト３４０、ＭＲ空間映像生成ソフト３１０の各
ソフトウェアが動作する。各ソフトウェアは、ＨＤＤ１
５５に格納されており、ＣＰＵ１５６によりＨＤＤ１５
５から読み出されて実行される。
【００７７】各観察者１００ａ，１００ｂ，１００ｃの
コンピュータ１０７は、ネットワーク１３０を介してコ
ンピュータ１０８に接続され、コンピュータ１０８にお
いては、ＭＲ空間状態管理ソフト４００が動作する。
【００７８】なお、本実施の形態では、各観察者に対し
て設けられているＭＲ空間映像生成用のコンピュータ１
０７とは別のコンピュータ１０８上で、ＭＲ空間状態管
理ソフト４００を動作させているが、処理能力に問題が
なければ、ＭＲ空間状態管理ソフト４００をコンピュー
タ１０７で動作させるように構成することもできる。
【００７９】位置方向計測ソフト３２０は、位置方向セ
ンサ本体１０５と通信を行い、各位置方向センサ受信機
１０２，１０３の位置、方向を計測する。そして、その
計測値からＭＲ空間座標での観察者の視線位置、視線方
向が計算され、この計算値は、手部位置方向センサ１０
３の位置方向とともに、視線方向補正ソフト３５０に通
知される。
【００８０】位置方向計測ソフト３２０内のジェスチャ
検出部３２１は、各位置方向センサ１０２，１０３の位
置方向および各位置方向センサ１０２，１０３の位置方
向関係、時間的推移から推測される観察者の動作（ジェ
スチャ）を検出する。この検出されジェスチャは、必要
に応じて視線方向補正ソフト３５０に通知される。
【００８１】位置補正マーカ検出ソフト３３０は、ＭＲ
映像生成ソフト３１０の現実映像取得部３１２から送信
される現実空間静止画から画像上にあるマーカ１２０を
検出し、その画像上での位置を視線方向補正ソフト３５
０に通知する。
【００８２】視線方向補正ソフト３５０は、位置方向計
測ソフト３２０から得られる観察者の視点位置、視線方
向から、観察者の視点位置、視線方向で表示されるＭＲ
空間映像におけるマーカ１２０の位置を計算する。この
マーカの予測位置は、位置補正マーカ検出ソフト３３０
で検出された実際のマーカの画像中での位置と比較さ
れ、この比較により得られた画像中での位置ずれが発生
するように視線方向が補正される。このようにして補正
されたＭＲ空間座標中での視線方向、および視点位置、
手部位置センサ受信機１０３の位置方向、また必要なら
検出されたジェスチャはＭＲ映像生成ソフト３１０に通
知される。
【００８３】効果音出力ソフト３４０は、ＭＲ映像生成
ソフト３１０またはＭＲ空間状態管理ソフト４００から
の演奏命令に従って、所定の効果音、バックグランドミ
ュージック（ＢＧＭ）を鳴らす。ＭＲ映像生成ソフト３
１０およびＭＲ状態管理ソフト４００は、スピーカ１０
５のＭＲ空間中の設置位置およびスピーカ１０５が接続
されているコンピュータ１０７を予め認識しており、Ｍ
Ｒ空間上で何らかの演奏イベントが発生した場合、演奏
イベントの起こったＭＲ空間上の位置の近傍にあるスピ
ーカ１０５で音が鳴らすことが可能である。
【００８４】ＭＲ空間状態管理ソフト４００は、全ての
現実空間物体の位置方向および状態、全ての仮想空間物
体の位置方向および状態を管理する。現実空間物体の位
置方向および状態については、ＭＲ映像生成ソフト３１
０から当該観察者の視点位置、視線方向、手部位置方向
センサ受信機１０３の位置、方向、およびジェスチャが
定期的に通知される。これらの情報の受信は随時行わ
れ、特にタイミングを考慮する必要はない。仮想空間物
体の位置方向および状態については、ＭＲ空間状態管理
ソフト４００内の仮想空間状態管理部４０１が定期的に
通知する。
【００８５】このＭＲ空間状態管理ソフト４００は、こ
れらの情報を定期的に全ての観察者のコンピュータ１０
７で動作しているＭＲ映像生成ソフト３１０に通知す
る。
【００８６】仮想空間状態管理部４０１は仮想空間の全
てに関する事項を管理、制御する。具体的には、仮想空
間の時間を経過させ、予め設定されたシナリオに従って
仮想空間物体を動作させるなどの処理を行う。また、仮
想空間状態管理部４０１は、観察者すなわち現実空間物
体と仮想空間物体とのインタラクション（例えば座標一
致したときに、仮想空間物体を爆発させるなど）やジェ
スチャ入力があった場合、それに対応してシナリオを進
行していく役割を担う。
【００８７】ＭＲ映像生成ソフト３１０は、当該観察者
用のＭＲ空間映像を生成し、当該観察者のＨＭＤ１０１
の各表示装置２０１，２０２に出力する。この出力関す
る処理は、その内部で、状態送受信部３１３、仮想映像
生成部３１１、現実映像取得部３１２、画像合成部３１
４により分業されている。
【００８８】状態送受信部３１３は、視線方向補正ソフ
ト３５０から通知された当該観察者の視点位置、視線方
向、手部位置方向センサ受信機１０３の位置、方向、お
よびジェスチャを定期的にＭＲ空間状態管理ソフト４０
０に通知する。また、ＭＲ空間状態管理ソフト４００か
ら全てのＭＲ空間内に存在する物体の位置方向および状
態が定期的に通知される。すなわち、現実空間物体につ
いては自分以外の観察者の視点位置、視線方向、手部位
置センサ受信機１０３の位置、方向、およびジェスチャ
が通知される。仮想空間物体については、仮想空間状態
管理部４０１が管理する仮想空間物体の位置方向および
状態が通知される。なお、状態情報の受信はいつでも可
能であり、特にタイミングを考慮する必要はない。
【００８９】仮想映像生成部３１１は、ＭＲ空間状態管
理ソフト４００から通知された仮想空間物体の位置方向
および状態、そして、視線方向補正ソフト３５０から通
知される当該観察者の視点位置、視線方向から見た、背
景の透明な仮想空間映像を生成する。
【００９０】現実映像取得部３１２は、右目用、左目用
ビデオキャプチャボード１５０，１５１から現実空間映
像を取り込み、メモリ１５７またはＨＤＤ１５５（図７
に示す）の所定領域に格納して更新し続ける。
【００９１】画像合成部３１４は、上記部分が生成した
現実空間映像をメモリ１５７またはＨＤＤ１５５から読
み出し、仮想空間映像と重畳して当該観察者の表示装置
２０１，２０２に出力する。
【００９２】以上説明したハードウェアとソフトウェア
とによりＭＲ空間映像を各観察者に提供することができ
る。
【００９３】各観察者が見るＭＲ空間映像は、その状態
がＭＲ空間状態管理ソフト４００により一元管理されて
いるため、時間的に同期させることが可能である。
【００９４】次に、現実空間映像と仮想空間映像の時間
的ずれを軽減するための、ＭＲ映像生成ソフトの動作の
詳細について図９ないし図１１を参照しながら説明す
る。
【００９５】図９は図１の画像生成システムのＭＲ空間
映像の生成に関連するハードウェアおよびソフトウェア
と、その情報の流れとを模式的に示す図、図１０は図９
のＭＲ映像生成ソフトの動作タイミングを示すタイムチ
ャート、図１１は図９のＭＲ映像生成ソフトの動作を示
すフローチャートである。
【００９６】ＭＲ映像生成ソフト３１０では、図９およ
び図１１に示すように、ＭＲ空間状態管理ソフト４００
から状態送受信部３１３にＭＲ空間状態が通知されると
（ステップＳ１００）、画像合成部３１４に現実空間映
像描画の指令を、仮想映像生成部３１２に仮想空間映像
生成の指令をそれぞれ発行する（図１０に示すＡ１，Ａ
１０）。
【００９７】画像合成部３１４は、指令を受けて現実映
像取得部３１２から最新の現実映像データをコピーし
（図１０のＡ２）、コンピュータ１０７のメモリ１５７
上に描画を開始する（ステップＳ１０２）。
【００９８】仮想映像生成部３１１は、状態受信部３１
３に存在する情報に基づき、仮想空間における仮想物体
の位置、方向、状態、視点位置、視線方向をシーングラ
フと呼ばれる状態記述形式の形で作成することを開始す
る（図１０のＡ１１；ステップＳ１０４）。
【００９９】なお、本実施の形態では、ステップＳ１０
２とＳ１０４を、順番に処理するようにしているが、マ
ルチスレッド技術を利用して並列に処理するようにして
もよい。
【０１００】そして、ＭＲ映像生成ソフト３１０は、画
像合成部３１４の現実空間映像描画処理と仮想映像生成
部３１２の仮想空間映像生成処理が終了（Ａ１２）する
のを待ち（ステップＳ１０６）、この画像合成部３１４
の現実空間映像描画処理および仮想映像生成部３１２の
仮想空間映像生成処理が終了すると、画像合成部３１４
に仮想空間映像描画の指令を発効する。
【０１０１】画像合成部３１４は、観察者の視点位置、
視線方向が更新されているか否かを調べる（ステップＳ
１０７）。ここで、上記情報の更新が行われていた場合
は、最新の視点位置、視線方向を取得し（ステップＳ１
０８）、この最新の視点位置、視線方向から見える仮想
空間映像の描画を行う（ステップＳ１１０）。この視点
位置、視線方向を変更して描画する処理は、描画時間全
体に比べて無視できるほど小さく、問題になることはな
い。上記情報が更新されてない場合は、上記ステップＳ
１０８，Ｓ１１０をスキップしてそのまま仮想空間映像
の描画を続行する。
【０１０２】そして、画像合成部３１４は描画した現実
空間映像と仮想空間映像を合成し、表示装置１０に出力
する。（ステップＳ１１２） 以上で一連のＭＲ空間映像生成処理が終了する。ここ
で、終了命令を受けたか否かを調べ、受けていれば本処
理を終了する。受けていなければ以上の処理を繰り返す
（ステップＳ１１４）。
【０１０３】上記一連の処理の最中に、状態送受信部３
１４がＭＲ空間状態管理ソフト４００から新しい状態を
受信する場合がある。この場合、図１０に示すように、
Ａ１’、Ａ１０’、Ａ１’’、Ａ１０’’のようにその
旨が通知されるが、これらは画像合成部３１４が上記ス
テップＳ１００で通知があったか否かを調べるまで無視
される。
【０１０４】このように、各観察者が見るＭＲ空間映像
の状態がＭＲ空間状態管理ソフト４００により一元管理
されるので、現実空間映像と仮想空間映像とを時間的に
同期させることができる。これにより複数の観察者が同
時に本システムを利用する場合、各観察者が同じ時間の
映像を見ることが可能となる。また、観察者の最新の位
置方向情報を利用することが可能になり、現実空間映像
と仮想空間映像の時間的ズレを軽減することができる。
特に、ＭＲ空間映像を観察者に提供する表示装置とし
て、ＨＭＤ１０１を利用したときには、観察者が首を左
右に振ったときの応答性が向上する。
【０１０５】以上より、本システムでは、現実空間映像
と仮想空間映像の時間的ずれを軽減し、より没入感があ
るＭＲ空間映像を観察者に提供することができる。
【０１０６】なお、上述の実施形態の機能（図１１に示
すフローチャートを含む）を実現するソフトウェアのプ
ログラムコードを記録した記憶媒体を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納された
プログラムコードを読出し実行することによっても、達
成されることはいうまでもない。
【０１０７】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【０１０８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，
ＤＶＤ−ＲＯＭなどを用いることができる。
【０１０９】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることはいうまでもない。
【０１１０】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることはいうまでもない。
【０１１１】
【発明の効果】以上説明したように、本発明の画像生成
システムによれば、観察者の視点位置でその視線方向に
おける現実空間を撮像する撮像手段と、観察者の視点位
置および視線方向を検出する検出手段と、検出手段によ
って検出された観察者の視点位置および視線方向におけ
る仮想空間映像を生成する仮想空間映像生成手段と、仮
想空間映像生成手段によって生成された仮想空間映像
と、撮像手段より出力された現実空間映像とを合成した
複合映像を生成する複合映像生成手段と、複合映像生成
手段によって生成された複合映像を表示する表示手段
と、現実空間と仮想空間に対して、それぞれに存在する
物体およびその位置、方向の情報を共通に管理する管理
手段とを有するので、現実空間映像と仮想空間映像の時
間的ずれを軽減し、より没入感がある複合映像を観察者
に提供することができる。
【０１１２】本発明の画像生成生成方法によれば、観察
者の視点位置および視線位置を検出する工程と、観察者
の視点位置および視線方向における現実空間映像を得る
工程と、現実空間と仮想空間とのそれぞれに存在する物
体およびその位置、方向を含む管理情報を得る工程と、
管理情報に応じて、観察者の視点位置および視線方向に
おける仮想空間映像を生成する工程と、管理情報に応じ
て、仮想空間映像と現実空間映像とを合成した複合映像
を生成する工程とを有するので、現実空間映像と仮想空
間映像の時間的ずれを軽減し、より没入感がある複合映
像を観察者に提供することができる。
【０１１３】本発明の記憶媒体によれば、プログラム
は、検出手段によって検出された観察者の視点位置およ
び視線方向を検出する検出モジュールと、検出モジュー
ルによって検出された観察者の視点位置および視線方向
からの仮想空間映像を生成するための仮想空間映像生成
モジュールと、仮想空間映像生成モジュールによって生
成された仮想空間映像と現実空間映像とから複合映像を
生成するための複合映像生成モジュールと、現実空間と
仮想空間のそれぞれに存在する物体およびその位置、方
向を管理するための管理モジュールとを有するので、現
実空間映像と仮想空間映像の時間的ずれを軽減し、より
没入感がある複合映像を観察者に提供することができ
る。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像生成システム
の外観構成図である。
【図２】図１の観察者の頭部に装着されるＨＭＤの構成
を示す斜視図である。
【図３】全ての仮想空間物体が手前にある場合のＭＲ空
間映像生成例を示す図である。
【図４】透過仮想空間物体を使用しない場合のＭＲ空間
映像生成例を示す図である。
【図５】透過仮想空間物体を使用する場合のＭＲ空間映
像生成例を示す図である。
【図６】図１の画像生成システムにおけるマーカによる
ずれ補正の例を示す図である。
【図７】図１の画像生成システムにおけるコンピュータ
１０７のハードウェア構成図である。
【図８】図１の画像生成システムのコンピュータに搭載
されたソフトウェア構成図である。
【図９】図１の画像生成システムのＭＲ空間映像の生成
に関連するハードウェアおよびソフトウェアと、その情
報の流れとを模式的に示す図である。
【図１０】図９のＭＲ映像生成ソフトの動作タイミング
を示すタイムチャートである。
【図１１】図９のＭＲ映像生成ソフトの動作を示すフロ
ーチャートである。
【符号の説明】
１００ａ，１００ｂ，１００ｃ 観察者 １０１ ＨＭＤ １０２ 頭部位置方向センサ受信機 １０３ 手部位置方向センサ受信機 １０４ 位置方向センサ送信機 １０５ スピーカ １０６ 位置方向センサ本体 １０７，１０８ コンピュータ １１０ 現実空間物体 １２０ マーカ １３０ ネットワーク １５０，１５１ ビデオキャプチャボード １５２，１５３ グラフィックボード １５４ シリアルインターフェース １５５ ＨＤＤ １５６ ＣＰＵ １５７ メモリ １５８ サウンドボード １５９ ネットワークインターフェース ２０１ 右目用表示装置 ２０２ 左目用表示装置 ２０３ 右目用ビデオカメラ ２０４ 左目用ビデオカメラ ３１０ ＭＲ空間映像生成ソフト ３１１ 仮想映像生成部 ３１２ 現実映像取得部 ３１３ 状態送受信部 ３２０ 位置方向計測ソフト ３２１ ジェスチャ検出部 ３３０ 位置補正マーカ検出ソフト ３４０ 効果音出力ソフト ３５０ 視線方向補正ソフト ４００ ＭＲ空間状態管理ソフト ４０１ 仮想空間状態管理部
フロントページの続き Ｆターム(参考） 5B050 AA00 AA08 BA06 BA08 BA09 BA11 CA07 CA08 DA07 EA07 EA13 EA19 EA24 FA02 FA06 FA09 FA10 5B057 AA20 BA02 CA12 CA16 CB13 CB16 CE08 CE12 DA07 DA16 DB02 DB08 DC33 DC36 5B087 AA01 AE00 BC05 BC26 BC32 DE00

Claims (33)

    【特許請求の範囲】
  1. 【請求項１】 観察者の視点位置でその視線方向におけ
    る現実空間を撮像する撮像手段と、 前記観察者の視点位置および視線方向を検出する検出手
    段と、 前記検出手段によって検出された観察者の視点位置およ
    び視線方向における仮想空間映像を生成する仮想空間映
    像生成手段と、 前記仮想空間映像生成手段によって生成された仮想空間
    映像と、前記撮像手段より出力された現実空間映像とを
    合成した複合映像を生成する複合映像生成手段と、 前記複合映像生成手段によって生成された複合映像を表
    示する表示手段と、 現実空間と仮想空間に対して、それぞれに存在する物体
    およびその位置、方向の情報を共通に管理する管理手段
    とを有することを特徴とする画像生成システム。
  2. 【請求項２】 前記管理手段は、前記現実空間と前記仮
    想空間のそれぞれの物体、その位置、方向および状態の
    情報の更新を行うことが可能であることを特徴とする請
    求項１記載の画像生成システム。
  3. 【請求項３】 前記管理手段は、所定の時間毎に前記現
    実空間と前記仮想空間とのそれぞれの物体、その位置、
    方向および状態の情報を前記複合映像生成手段に通知す
    ることを特徴とする請求項２記載の画像生成システム。
  4. 【請求項４】 前記仮想映像生成手段は、前記管理手段
    からの情報更新に応じてとして、前記現実空間と前記仮
    想空間とのそれぞれの物体、その位置および方向に基づ
    いた仮想空間映像を生成することを特徴とする請求項３
    記載の画像生成システム。
  5. 【請求項５】 前記複合映像生成手段は、前記管理手段
    からの情報更新に応じて、前記現実空間映像の描画を開
    始することを特徴とする請求項３または４記載の画像生
    成システム。
  6. 【請求項６】 前記複合映像生成手段は、前記現実空間
    映像の描画を終了しかつ前記仮想空間映像生成手段によ
    り仮想空間映像が生成された後に、前記現実空間映像と
    前記仮想空間映像との合成を行うことを特徴とする請求
    項５記載の画像生成システム。
  7. 【請求項７】 前記複合映像生成手段は、前記現実空間
    映像と前記仮想空間映像の合成を行う直前に、前記検出
    手段によって検出された観察者の視点位置および視線方
    向に基づき前記仮想空間映像の再生成を行うことを特徴
    とする請求項６記載の画像生成システム。
  8. 【請求項８】 前記仮想空間映像生成手段は、前記管理
    手段からの情報更新に応じて、前記現実空間と前記仮想
    空間のそれぞれの物体、その位置および方向に基づいた
    仮想空間映像を生成する処理を行い、前記複合映像生成
    手段は、前記管理手段からの情報通知に応じて、前記現
    実空間映像の描画を開始する処理を、前記仮想空間映像
    生成手段による前記仮想空間映像の生成処理と並列して
    行うことを特徴とする請求項３記載の画像生成システ
    ム。
  9. 【請求項９】 前記観察者の数は複数であることを特徴
    とする請求項１ないし８のいずれか１つに記載の画像生
    成システム。
  10. 【請求項１０】 前記検出手段の検出結果に基づき、検
    出対象としている観察者の身振り、状態などを含む動作
    を検出する動作検出手段を有することを特徴とする請求
    項１ないし９のいずれか１つに記載の画像生成システ
    ム。
  11. 【請求項１１】 前記動作検出手段によって検出された
    観察者の動作を前記複合現実空間および該複合現実空間
    に存在する物体への働きかけ入力として利用することが
    可能であることを特徴とする請求項１０記載の画像生成
    システム。
  12. 【請求項１２】 観察者の視点位置でその視線方向にお
    ける現実空間映像に、仮想空間映像を合成して複合映像
    を生成するための画像生成方法であって、 前記観察者の視点位置および視線位置を検出する工程
    と、 前記観察者の視点位置および視線方向における現実空間
    映像を得る工程と、 現実空間と仮想空間とのそれぞれに存在する物体および
    その位置、方向を含む管理情報を得る工程と、 前記管理情報に応じて、前記観察者の視点位置および視
    線方向における仮想空間映像を生成する工程と、 前記管理情報に応じて、前記仮想空間映像と前記現実空
    間映像とを合成した複合映像を生成する工程とを有する
    ことを特徴とする画像生成方法。
  13. 【請求項１３】 前記管理情報を更新する工程を有する
    ことを特徴とする請求項１２記載の画像生成方法。
  14. 【請求項１４】 前記管理情報は、所定の時間毎に前記
    複合映像を生成する工程に通知されることを特徴とする
    請求項１２または１３記載の画像生成方法。
  15. 【請求項１５】 前記仮想空間映像の生成は、前記管理
    情報の更新に応じて、前記現実空間と前記仮想空間との
    それぞれの物体、その位置および方向に基づき生成され
    ることを特徴とする請求項１４記載の画像生成方法。
  16. 【請求項１６】 前記複合映像の生成時には、前記管理
    情報の更新を契機として、前記取得された現実空間映像
    の描画が開始されることを特徴とする請求項１４または
    １５記載の画像生成方法。
  17. 【請求項１７】 前記複合映像の生成は、前記現実空間
    映像の描画が終了しかつ前記仮想空間映像生成工程によ
    り仮想空間映像が生成された後に、前記現実空間映像と
    前記仮想空間映像とを合成することによって行われるこ
    とを特徴とする請求項１６記載の画像生成方法。
  18. 【請求項１８】 前記現実空間映像と前記仮想空間映像
    の合成を行う直前に、前記検出された観察者の視点位置
    および視線方向に基づき前記仮想空間映像の再生成が行
    われることを特徴とする請求項１７記載の画像生成方
    法。
  19. 【請求項１９】 前記管理情報の更新に応じて、前記管
    理情報に基づいた仮想空間映像の生成が開始され、前記
    複合映像の生成に伴う前記取得された現実空間映像の描
    画が開始され、前記仮想空間映像の生成と前記現実空間
    映像の描画とが並列して行われることを特徴とする請求
    項１４記載の画像生成方法。
  20. 【請求項２０】 前記観察者の数は複数であることを特
    徴とする請求項１２ないし１９のいずれか１つに記載の
    画像生成方法。
  21. 【請求項２１】 前記観察者の視点位置および視線位置
    に基づき検出対象としている観察者の身振り、状態など
    を含む動作を検出する工程を有することを特徴とする請
    求項２０記載の画像生成方法。
  22. 【請求項２２】 前記検出された観察者の動作を前記複
    合映像の空間および該複合映像の空間に存在する物体へ
    の働きかけ入力として利用することが可能であることを
    特徴とする請求項２１記載の画像生成方法。
  23. 【請求項２３】 観察者の視点位置でその視線方向にお
    ける現実空間映像を撮像する撮像手段と、前記観察者の
    視点位置および視線方向を検出する検出手段と、前記現
    実空間映像に対して、前記観察者の視点位置および視線
    方向における仮想空間映像を合成した複合映像を表示す
    るための表示手段とを備える画像生成システムにおい
    て、前記複合映像を生成するためのプログラムを格納し
    たコンピュータ読取り可能な記憶媒体であって、 前記プログラムは、 前記検出手段によって検出された観察者の視点位置およ
    び視線方向を検出する検出モジュールと、 前記検出モジュールによって検出された観察者の視点位
    置および視線方向からの仮想空間映像を生成するための
    仮想空間映像生成モジュールと、 前記仮想空間映像生成モジュールによって生成された仮
    想空間映像と前記現実空間映像とから前記複合映像を生
    成するための複合映像生成モジュールと、 現実空間と仮想空間のそれぞれに存在する物体およびそ
    の位置、方向を管理するための管理モジュールとを有す
    ることを特徴とする記憶媒体。
  24. 【請求項２４】 前記管理モジュールは、前記現実空間
    と前記仮想空間とのそれぞれの物体、その位置、方向お
    よび状態の更新を行うことが可能であることを特徴とす
    る請求項２３記載の記憶媒体。
  25. 【請求項２５】 前記管理モジュールは、所定の時間毎
    に前記現実空間と前記仮想空間とのそれぞれの物体、そ
    の位置、方向および状態を前記複合映像生成手段に通知
    することを特徴とする請求項２４記載の記憶媒体。
  26. 【請求項２６】 前記仮想空間映像生成モジュールは、
    前記管理モジュールからの情報更新を契機として、前記
    現実空間と前記仮想空間とのそれぞれの物体、その位置
    および方向に基づいた仮想空間映像を生成することを特
    徴とする請求項２５記載の記憶媒体。
  27. 【請求項２７】 前記複合映像生成モジュールは、前記
    管理モジュールからの情報更新を契機として、前記現実
    空間映像の描画を開始することを特徴とする請求項２５
    または２６記載の記憶媒体。
  28. 【請求項２８】 前記複合映像生成モジュールは、前記
    現実空間映像の描画を終了しかつ前記仮想空間映像生成
    モジュールにより仮想空間映像が生成された後に、前記
    現実空間映像と前記仮想空間映像との合成を行うことを
    特徴とする請求項２７記載の記憶媒体。
  29. 【請求項２９】 前記複合映像生成モジュールは、前記
    現実空間映像と前記仮想空間映像の合成を行う直前に、
    前記検出モジュールによって検出された観察者の視点位
    置および視線方向に基づき前記仮想空間映像の再生成を
    行うことを特徴とする請求項２８記載の記憶媒体。
  30. 【請求項３０】 前記仮想空間映像生成モジュールは、
    前記管理モジュールからの情報更新を契機として、前記
    現実空間と前記仮想空間とのそれぞれの物体、その位置
    および方向に基づいた仮想空間映像を生成する処理を行
    い、前記複合映像生成モジュールは、前記管理モジュー
    ルからの情報通知に応じて、前記現実空間映像の描画を
    開始する処理を前記仮想空間映像生成モジュールによる
    前記仮想空間映像の生成処理と並列して行うことを特徴
    とする請求項２５記載の記憶媒体。
  31. 【請求項３１】 前記観察者の数は複数であることを特
    徴とする請求項２３ないし３０のいずれか１つに記載の
    記憶媒体。
  32. 【請求項３２】 前記プログラムは、前記検出モジュー
    ルの検出結果に基づき検出対象としている観察者の身振
    り、状態などを含む動作を検出する動作検出モジュール
    を有することを特徴とする請求項２３ないし３１のいず
    れか１つに記載の記憶媒体。
  33. 【請求項３３】 前記動作検出モジュールによって検出
    された観察者の動作を前記複合映像空間および該複合映
    像空間に存在する物体への働きかけとして利用すること
    が可能であることを特徴とする請求項３２記載の記憶媒
    体。
JP2000351995A 2000-11-17 2000-11-17 画像生成システム、画像生成方法および記憶媒体 Pending JP2002157607A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000351995A JP2002157607A (ja) 2000-11-17 2000-11-17 画像生成システム、画像生成方法および記憶媒体
US10/000,668 US20020075286A1 (en) 2000-11-17 2001-11-15 Image generating system and method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000351995A JP2002157607A (ja) 2000-11-17 2000-11-17 画像生成システム、画像生成方法および記憶媒体

Publications (1)

Publication Number Publication Date
JP2002157607A true JP2002157607A (ja) 2002-05-31

Family

ID=18824956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000351995A Pending JP2002157607A (ja) 2000-11-17 2000-11-17 画像生成システム、画像生成方法および記憶媒体

Country Status (2)

Country Link
US (1) US20020075286A1 (ja)
JP (1) JP2002157607A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004139231A (ja) * 2002-10-16 2004-05-13 Canon Inc 画像処理装置、画像処理方法
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005100134A (ja) * 2003-09-25 2005-04-14 Canon Inc 複合現実感装置
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
JP2007537610A (ja) * 2004-05-11 2007-12-20 エルビット・システムズ・リミテッド オーディオビジュアル通信向上方法及びシステム
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2009037487A (ja) * 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法
JP2009076060A (ja) * 2007-08-29 2009-04-09 Casio Comput Co Ltd 画像合成装置および画像合成処理プログラム
WO2009060981A1 (en) * 2007-11-07 2009-05-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009135668A (ja) * 2007-11-29 2009-06-18 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
US7558403B2 (en) 2005-04-01 2009-07-07 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2010066898A (ja) * 2008-09-09 2010-03-25 Canon Inc 三次元ｃａｄシステム
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー．フェー． インタラクティブな仮想現実画像生成システム
JP2012505471A (ja) * 2008-10-08 2012-03-01 ストライダー ラブス，インコーポレイテッド 画像から３ｄシーン・モデルを構築するシステムおよび方法
US8189864B2 (en) 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
JP2012108923A (ja) * 2011-12-22 2012-06-07 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
JP2012178067A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
JP2015149633A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 撮像装置および方法
JPWO2018168418A1 (ja) * 2017-03-14 2020-01-09 パイオニア株式会社 表示装置、表示方法及びプログラム
JP2020507136A (ja) * 2018-01-12 2020-03-05 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体
JPWO2021019723A1 (ja) * 2019-07-31 2021-02-04
JP7348261B2 (ja) 2011-10-28 2023-09-20 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
CN1463374A (zh) * 2001-03-30 2003-12-24 皇家菲利浦电子有限公司 用于实景增补的方法、系统和装置
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
CA2386702A1 (en) * 2002-05-17 2003-11-17 Idelix Software Inc. Computing the inverse of a pdt distortion
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8686939B2 (en) * 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
JP2004151085A (ja) * 2002-09-27 2004-05-27 Canon Inc 情報処理方法及び情報処理装置
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP4497820B2 (ja) * 2003-02-21 2010-07-07 キヤノン株式会社 情報処理方法、情報処理装置並びに分散処理システム
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
WO2004084054A2 (en) * 2003-03-21 2004-09-30 Queen's University At Kingston Method and apparatus for communication between humans and devices
ES2333528T3 (es) * 2003-05-12 2010-02-23 Elbit Systems Ltd. Procedimiento y sistema de comunicacion audiovisual.
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
ITTO20030640A1 (it) * 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
JP2005107247A (ja) * 2003-09-30 2005-04-21 Canon Inc 位置姿勢推定方法および装置
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
JP4218952B2 (ja) * 2003-09-30 2009-02-04 キヤノン株式会社 データ変換方法及び装置
EP1727093A1 (en) 2003-12-19 2006-11-29 Tdvision Corporation S.A. DE C.V. 3d videogame system
US7248270B1 (en) * 2004-01-22 2007-07-24 Pacific Data Images Llc Stroke-based posing of three-dimensional models
JP3904562B2 (ja) * 2004-02-18 2007-04-11 株式会社ソニー・コンピュータエンタテインメント 画像表示システム、記録媒体及びプログラム
JP3851907B2 (ja) * 2004-02-18 2006-11-29 株式会社ソニー・コンピュータエンタテインメント 画像表示システム及びビデオゲームシステム
DE102004016331B4 (de) * 2004-04-02 2007-07-05 Siemens Ag Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen
US20050288078A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Game
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7474318B2 (en) 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
JP4677273B2 (ja) * 2004-06-29 2011-04-27 キヤノン株式会社 情報処理方法および情報処理装置
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
FR2875989B1 (fr) * 2004-09-24 2007-02-23 Renault Sas Dispositif video d'augmentation de realite augmentee et procede de comparaison de deux environnements
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US8585476B2 (en) * 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
JP4832013B2 (ja) * 2005-07-05 2011-12-07 富士フイルム株式会社 像振れ補正装置
JP4717728B2 (ja) * 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
IL172797A (en) * 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US7978364B2 (en) * 2007-06-18 2011-07-12 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US8339418B1 (en) * 2007-06-25 2012-12-25 Pacific Arts Corporation Embedding a real time video into a virtual environment
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US9058764B1 (en) * 2007-11-30 2015-06-16 Sprint Communications Company L.P. Markers to implement augmented reality
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8542906B1 (en) 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
US7954953B2 (en) * 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
FR2951293A1 (fr) * 2009-10-13 2011-04-15 Peugeot Citroen Automobiles Sa Dispositif et procede d'aide a l'intervenvion sur un vehicule
CN102959938B (zh) * 2010-06-30 2016-06-22 富士胶片株式会社 图像处理方法和设备
JP5769392B2 (ja) * 2010-08-26 2015-08-26 キヤノン株式会社 情報処理装置およびその方法
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
KR101269773B1 (ko) * 2010-12-13 2013-05-30 주식회사 팬택 증강 현실 제공 단말기 및 방법
WO2012101286A1 (en) 2011-01-28 2012-08-02 Virtual Proteins B.V. Insertion procedures in augmented reality
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
JP5145444B2 (ja) * 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP5838747B2 (ja) * 2011-11-11 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
DE102011122206A1 (de) * 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
EP2974304A1 (en) * 2013-03-14 2016-01-20 Brainlab AG 3d-volume viewing by controlling sight depth
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US9317125B2 (en) * 2013-04-24 2016-04-19 Microsoft Technology Licensing, Llc Searching of line pattern representations using gestures
US9721362B2 (en) 2013-04-24 2017-08-01 Microsoft Technology Licensing, Llc Auto-completion of partial line pattern
US9275480B2 (en) 2013-04-24 2016-03-01 Microsoft Technology Licensing, Llc Encoding of line pattern representation
GB201310374D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems
JP6337433B2 (ja) * 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US10146299B2 (en) * 2013-11-08 2018-12-04 Qualcomm Technologies, Inc. Face tracking for additional modalities in spatial interaction
US9191620B1 (en) 2013-12-20 2015-11-17 Sprint Communications Company L.P. Voice call using augmented reality
DE102014003178B4 (de) * 2014-03-01 2021-09-16 Audi Ag Vorrichtungen und Verfahren zum Anzeigen eines Bildes mittels eines am Kopf eines Nutzers tragbaren Anzeigegeräts
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
EP3117263B1 (en) * 2014-03-14 2018-05-09 Sony Interactive Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
US9665985B2 (en) * 2014-08-15 2017-05-30 Daqri, Llc Remote expert system
CN107209561A (zh) 2014-12-18 2017-09-26 脸谱公司 用于在虚拟现实环境中导航的方法、系统及设备
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
CN104598037B (zh) * 2015-03-02 2018-08-31 联想(北京)有限公司 信息处理方法及装置
JP6614835B2 (ja) * 2015-07-15 2019-12-04 キヤノン株式会社 通信装置、ヘッドマウントディスプレイ、画像処理システム、通信方法及びプログラム
JP6298432B2 (ja) * 2015-10-19 2018-03-20 株式会社コロプラ 画像生成装置、画像生成方法、及び画像生成プログラム
JP6689694B2 (ja) * 2016-07-13 2020-04-28 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US20190088030A1 (en) * 2017-09-20 2019-03-21 Microsoft Technology Licensing, Llc Rendering virtual objects based on location data and image data
CN108014490A (zh) * 2017-12-29 2018-05-11 安徽创视纪科技有限公司 一种基于mr混合现实技术的实景密室
GB2572786B (en) * 2018-04-10 2022-03-09 Advanced Risc Mach Ltd Image processing for augmented reality
CN108924529B (zh) * 2018-07-25 2020-03-17 北京小米移动软件有限公司 图像显示的控制方法及装置
US11593539B2 (en) 2018-11-30 2023-02-28 BlueOwl, LLC Systems and methods for facilitating virtual vehicle operation based on real-world vehicle operation data
WO2021150494A1 (en) 2020-01-20 2021-07-29 BlueOwl, LLC Training and applying virtual occurrences to a virtual character using telematics data of real trips
US11697069B1 (en) 2021-08-17 2023-07-11 BlueOwl, LLC Systems and methods for presenting shared in-game objectives in virtual games
US11896903B2 (en) 2021-08-17 2024-02-13 BlueOwl, LLC Systems and methods for generating virtual experiences for a virtual game
US11504622B1 (en) * 2021-08-17 2022-11-22 BlueOwl, LLC Systems and methods for generating virtual encounters in virtual games
US11684848B2 (en) * 2021-09-28 2023-06-27 Sony Group Corporation Method to improve user understanding of XR spaces based in part on mesh analysis of physical surfaces

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1136906A3 (en) * 1990-11-30 2001-11-14 Sun Microsystems, Inc. Improved method and apparatus for creating virtual worlds
JPH0824358B2 (ja) * 1993-08-16 1996-03-06 工業技術院長 画像ディスプレー装置
US5742264A (en) * 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
JP2000350865A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7427996B2 (en) 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004139231A (ja) * 2002-10-16 2004-05-13 Canon Inc 画像処理装置、画像処理方法
JP2004264907A (ja) * 2003-02-17 2004-09-24 Sony Computer Entertainment Inc 画像生成システム、画像生成装置、画像生成方法
JP2005100134A (ja) * 2003-09-25 2005-04-14 Canon Inc 複合現実感装置
JP2005293142A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像処理方法および画像処理装置
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US7728852B2 (en) 2004-03-31 2010-06-01 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2007537610A (ja) * 2004-05-11 2007-12-20 エルビット・システムズ・リミテッド オーディオビジュアル通信向上方法及びシステム
JP4649400B2 (ja) * 2004-05-11 2011-03-09 エルビット・システムズ・リミテッド オーディオビジュアル通信向上方法及びシステム
JP2005339127A (ja) * 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
US7558403B2 (en) 2005-04-01 2009-07-07 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2008299669A (ja) * 2007-05-31 2008-12-11 Canon Inc 頭部装着型表示装置、及びその制御方法
JP2009037487A (ja) * 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法
US8189864B2 (en) 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
JP2009076060A (ja) * 2007-08-29 2009-04-09 Casio Comput Co Ltd 画像合成装置および画像合成処理プログラム
JP2009116690A (ja) * 2007-11-07 2009-05-28 Canon Inc 画像処理装置、画像処理方法
WO2009060981A1 (en) * 2007-11-07 2009-05-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009135668A (ja) * 2007-11-29 2009-06-18 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
JP2011521318A (ja) * 2008-04-16 2011-07-21 バーチュアル プロテインズ ベー．フェー． インタラクティブな仮想現実画像生成システム
US8643676B2 (en) 2008-09-09 2014-02-04 Canon Kabushiki Kaisha Mixed reality space image providing apparatus
JP2010066898A (ja) * 2008-09-09 2010-03-25 Canon Inc 三次元ｃａｄシステム
JP2012505471A (ja) * 2008-10-08 2012-03-01 ストライダー ラブス，インコーポレイテッド 画像から３ｄシーン・モデルを構築するシステムおよび方法
JP2012178067A (ja) * 2011-02-25 2012-09-13 Nintendo Co Ltd 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム
JP7348261B2 (ja) 2011-10-28 2023-09-20 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
JP2012108923A (ja) * 2011-12-22 2012-06-07 Casio Comput Co Ltd 合成画像出力装置および合成画像出力処理プログラム
JP2015149633A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 撮像装置および方法
US10142618B2 (en) 2014-02-07 2018-11-27 Sony Corporation Imaging apparatus and imaging method
JPWO2018168418A1 (ja) * 2017-03-14 2020-01-09 パイオニア株式会社 表示装置、表示方法及びプログラム
US11636653B2 (en) 2018-01-12 2023-04-25 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for synthesizing virtual and real objects
JP2020507136A (ja) * 2018-01-12 2020-03-05 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． Ｖｒオブジェクトの合成方法、装置、プログラム及び記録媒体
JPWO2021019723A1 (ja) * 2019-07-31 2021-02-04
WO2021019723A1 (ja) * 2019-07-31 2021-02-04 日本電信電話株式会社 複合現実空間共有システム、共有情報管理サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
JP7207549B2 (ja) 2019-07-31 2023-01-18 日本電信電話株式会社 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム

Also Published As

Publication number Publication date
US20020075286A1 (en) 2002-06-20

Similar Documents

Publication Publication Date Title
JP2002157607A (ja) 画像生成システム、画像生成方法および記憶媒体
JP7068562B2 (ja) 拡張現実データを記録するための手法
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
JP2005165776A (ja) 画像処理方法、画像処理装置
JP2009123018A (ja) 画像処理装置、画像処理方法
WO2018113759A1 (zh) 基于定位系统和ar/mr的探测系统及探测方法
JP6126271B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US10803652B2 (en) Image generating apparatus, image generating method, and program for displaying fixation point objects in a virtual space
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US20190324708A1 (en) Sound outputting apparatus, head-mounted display, sound outputting method, and program
JP3848092B2 (ja) 画像処理装置及び方法、並びにプログラム
JP2005128877A (ja) 複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラム
EP3623908A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
JP2004013309A (ja) 情報処理方法および複合現実感提示装置
JP2006277618A (ja) 画像生成装置及び方法
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2004126870A (ja) 複合現実感提示装置、システムおよびそれらの方法
JP2003296758A (ja) 情報処理方法および装置
JP2002269585A (ja) 画像処理方法、画像処理装置、記憶媒体及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060407

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626