JP2023183684A - 表示システムおよび撮像装置 - Google Patents

表示システムおよび撮像装置 Download PDF

Info

Publication number
JP2023183684A
JP2023183684A JP2022097330A JP2022097330A JP2023183684A JP 2023183684 A JP2023183684 A JP 2023183684A JP 2022097330 A JP2022097330 A JP 2022097330A JP 2022097330 A JP2022097330 A JP 2022097330A JP 2023183684 A JP2023183684 A JP 2023183684A
Authority
JP
Japan
Prior art keywords
frame
image
video
real space
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022097330A
Other languages
English (en)
Inventor
俊介 池西
Shunsuke Ikenishi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022097330A priority Critical patent/JP2023183684A/ja
Priority to US18/334,064 priority patent/US20230410444A1/en
Priority to CN202310702367.7A priority patent/CN117255187A/zh
Publication of JP2023183684A publication Critical patent/JP2023183684A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】撮像装置は現実空間の映像の遅延量が小さい複合現実空間の映像を表示し、表示装置は現実空間の映像と仮想空間の映像の遅延量が一致した複合現実空間の映像を表示できるようにする。【解決手段】撮像装置は、現実空間の映像のうちの第１のフレームに基づく撮像装置の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成し、現実空間の映像のうちの第１のフレームとは異なるフレームと、第１の仮想空間の映像のうちの第１のフレームとを合成する。表示装置は、現実空間の映像のうちの第１のフレームに基づく撮像装置の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成し、現実空間の映像のうちの第１のフレームと、第２の仮想空間の映像のうちの第１のフレームとを合成する。【選択図】図５

Description

本開示は、表示システム、撮像装置、表示システムの処理方法および撮像装置の処理方法に関する。
近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムがある。複合現実システムによれば、オブジェクトをＣＧ（コンピュータグラフィックス）映像として現実世界に重畳表示できる。そして、自由な視点から確認することができる。
複合現実システムでは、映像表示装置のひとつとして、ビデオカメラ等の撮像装置とディスプレイとが一体化された頭部装着型ディスプレイ（以後、ＨＭＤ：ヘッドマウントディスプレイと表記）が用いられる。ＨＭＤの一形態として、ビデオシースルー方式がある。これは、ＨＭＤに搭載された撮像装置が撮像した現実空間の画像上に、ＨＭＤの位置姿勢に応じて生成した仮想空間の画像を重畳して表示する方式である。仮想空間の画像の例としては、例えば、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により描画された仮想物体や文字情報等がある。
製造業の設計工程では、多人数が参加したレビューがしばしば開催される。複合現実システムを用いたレビューでは、多人数が複合現実空間（仮想空間と現実空間とを合成した空間）を体験するために、ＨＭＤに加えて、タブレットなどの手持ち型情報端末を組み合わせてシステムが構成される。このシステムは、ＨＭＤの装着者が見ている複合現実空間の映像を、他のＨＭＤや、複数のタブレット画面にも同時に配信して表示する。これにより、ＨＭＤの装着者の視界を複数人が同時に共有し、設計と検討に参加できる。
仮想空間の画像の生成においては、ＨＭＤの位置姿勢の算出、その位置姿勢に応じたＣＧのレンダリング等により、現在のＨＭＤの位置姿勢を反映した画像を表示するまで遅延が生じてしまう。ＭＲにおいて遅延が大きいと、ユーザは自身の動作と表示がずれていることによる違和感を感じ、酔いを引き起こす要因となってしまう。そのため、仮想空間の画像の遅延量と異なることになっても、現実空間の画像は、可能な限り、遅延を少ない状態で表示することがある。
特許文献１には、仮想空間の画像を生成後にＨＭＤの位置姿勢を再取得し、仮想空間の画像生成時に用いた位置姿勢との差分に応じて生成した仮想空間の画像をずらして表示することで、仮想空間の画像の遅延を小さく見せる技術が開示されている。
特開２００８－２９９６６９号公報
しかしながら、ＨＭＤの装着者が見ている複合現実空間の映像を配信して表示している場合、その映像の共有先では、共有している映像の動きは、視聴者自身の動作を反映しているわけではない。したがって、ＨＭＤの装着者の動作が反映されるまでの遅延に対する違和感は小さく、現実空間の映像と仮想空間の映像の遅延が異なることによる違和感の方が大きく感じてしまう。
本開示の目的は、撮像装置は現実空間の映像の遅延量が小さい複合現実空間の映像を表示し、表示装置は現実空間の映像と仮想空間の映像の遅延量が一致した複合現実空間の映像を表示できるようにすることである。
表示システムは、撮像装置と、表示装置とを有する表示システムであって、前記撮像装置は、現実空間の映像を撮像する撮像手段と、前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する第１の位置姿勢算出手段と、前記撮像装置の位置姿勢を基に、第１の仮想空間の映像を生成する第１の生成手段と、前記撮像手段により撮像された現実空間の映像と、前記第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、前記第１の複合現実空間の映像を表示する第１の映像合成手段と、少なくとも前記撮像手段により撮像された現実空間の映像を前記表示装置に送信する第１の通信手段とを有し、前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出し、前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、前記表示装置は、前記撮像装置から前記現実空間の映像を受信する第２の通信手段と、前記撮像装置の位置姿勢を基に、第２の仮想空間の映像を生成する第２の生成手段と、前記第２の通信手段が受信した現実空間の映像と、前記第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、前記第２の複合現実空間の映像を表示する第２の映像合成手段とを有し、前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成し、前記第２の映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成する。
本開示によれば、撮像装置は現実空間の映像の遅延量が小さい複合現実空間の映像を表示し、表示装置は現実空間の映像と仮想空間の映像の遅延量が一致した複合現実空間の映像を表示することができる。
表示システムの構成例を示す図である。 表示システムの機能構成例を示すブロック図である。 ＨＭＤの処理例を示すフローチャートである。 表示装置の処理例を示すフローチャートである。 映像の遅延を表す図である。 ＨＭＤの機能構成例を示すブロック図である。 ＨＭＤの処理例を示すフローチャートである。
（第１の実施形態）
以下に、実施の形態を、図面に基づいて詳細に説明する。図１は、第１の実施形態に係る表示システム５００の構成例を示す図である。表示システム５００は、ＨＭＤ（ヘッドマウントディスプレイ）１００と、表示装置２００と、ＣＧ（コンピュータグラフィックス）データ管理サーバ３００を有する。ＨＭＤ１００は、頭部装着型表示装置の一例であり、現実空間の映像と仮想空間の映像とを合成した複合現実空間の映像を、ＨＭＤ１００を頭部に装着したユーザの眼前に提示する装置である。ＣＧデータ管理サーバ３００は、仮想空間を構築するために必要なＣＧデータを保持する装置である。ＨＭＤ１００と表示装置２００は、ＣＧデータ管理サーバ３００に対して、ネットワーク経由でアクセスし、仮想現実空間のＣＧデータを取得し、仮想現実空間の映像を生成し、それを現実空間の映像と合成した仮想現実空間の映像を表示する。
ＨＭＤ１００と表示装置２００は、相互にネットワーク経由で通信し、ＨＭＤ１００で撮像した現実空間の映像と仮想空間を生成するための情報をＨＭＤ１００から表示装置２００に転送することができる。表示装置２００は、転送された情報を使用し、複合現実空間の映像を生成することで、ＨＭＤ１００の装着者の視界を表示装置２００に共有して表示することができる。
なお、ＨＭＤ１００は、頭部装着型の部位とパーソナルコンピュータ（ＰＣ）などの画像処理装置とに分離したシステムであってもよい。また、ＨＭＤ１００は、スマートフォンのような手にもって撮像した現実空間の映像をディスプレイに表示するような装置でもよい。
表示装置２００は、ＨＭＤでもよいし、現実空間の映像と仮想空間の映像を合成して表示することができるＰＣ（パーソナルコンピュータ）やタブレットなどの端末でもよい。また、表示装置２００が複数存在し、そのすべてにＨＭＤ１００から映像が共有されてもよい。
ＨＭＤ１００と表示装置２００は、それぞれのユーザがお互いを直接見ることができる一つの空間に配置されていてもよいし、お互いを直接見ることができない遠方に配置されていてもよい。また、ＣＧデータ管理サーバ３００は、ＨＭＤ１００と一体となっていてもよい。
本実施形態では、ＨＭＤ１００は、現実空間の映像を撮像し、ＨＭＤ１００の位置姿勢を算出する。そして、ＨＭＤ１００は、ＣＧデータ管理サーバ３００から取得したＣＧデータを用いて、算出した位置姿勢から見た映像となるように仮想空間の映像を生成し、撮像した現実空間の映像と生成した仮想空間の映像とを合成した複合現実空間の映像を生成する。そして、ＨＭＤ１００は、生成した複合現実空間の映像をＨＭＤ１００の表示部に表示すると共に、撮像した現実空間の映像と、ＨＭＤ１００の位置姿勢とを表示装置２００に送信する。
表示装置２００は、ＣＧデータ管理サーバ３００から取得したＣＧデータを用いて、受信したＨＭＤ１００の位置姿勢から見た映像となるように仮想空間の映像を生成し、仮想空間の映像と受信した現実空間の映像とを合成して表示する。このように、ＨＭＤ１００と表示装置２００が複合現実空間の映像を共有することができる。
図２は、表示システム５００の機能構成例を示すブロック図である。表示システム５００は、ＨＭＤ１００と、表示装置２００と、ＣＧデータ管理サーバ３００を有する。
ＨＭＤ１００は、撮像部１０１と、位置姿勢算出部１０２と、ＣＧデータ取得部１０３と、ＣＧレンダリング部１０４と、映像合成部１０５と、映像表示部１０６と、通信部１０７を有する。
撮像部１０１は、フレーム毎に、ＨＭＤ１００に装着されたカメラにより現実空間の映像を撮像する。カメラは、ＨＭＤ１００の装着者の目の位置に対応する映像を撮像することができ、右目用の映像と左目用の映像をそれぞれ撮像することができる。なお、以下で生成する映像や位置姿勢は、右目用と左目用のそれぞれについて生成される。撮像部１０１は、右目用と左目用の現実空間の映像を撮像する。
位置姿勢算出部１０２は、フレーム毎に、ＨＭＤ１００の右目用と左目用の位置姿勢を算出する。ここで、位置姿勢とは、３次元上の位置と３次元上の向きである。位置姿勢の算出方法は、種々の方法があり、どの方法を採用してもよい。本実施形態では、位置姿勢算出部１０２は、撮像部１０１で撮像された右目用と左目用の現実空間の映像から、ＶＩＳＵＡＬ ＳＬＡＭと呼ばれる技術により、フレーム毎に、右目用と左目用の位置姿勢を算出する。ＶＩＳＵＡＬ ＳＬＡＭは、現実空間の映像から特徴となる点を検出し、その点の時系列の変化を追跡することにより、カメラの位置姿勢を算出する技術である。
ＣＧデータ取得部１０３は、仮想空間を構築するためのＣＧデータを外部のＣＧデータ管理サーバ３００から取得する。
ＣＧレンダリング部１０４は、ＣＧデータ取得部１０３により取得されたＣＧデータを入力する。そして、ＣＧレンダリング部１０４は、フレーム毎に、位置姿勢算出部１０２で算出した右目用と左目用の位置姿勢を視点として、ＣＧデータをレンダリングし、右目用と左目用の仮想空間の映像を生成する。なお、レンダリング時の視野角は、撮像部１０１が撮像する映像の視野角と一致させる。
映像合成部１０５は、フレーム毎に、撮像部１０１により撮像された右目用と左目用の現実空間の映像と、ＣＧレンダリング部１０４により生成された右目用と左目用の仮想空間の映像とを合成して、右目用と左目用の複合現実空間の映像を生成する。
映像表示部１０６は、フレーム毎に、映像合成部１０５により生成された右目用と左目用の複合現実空間の映像を、ＨＭＤ１００の右目と左目の前のスクリーンに表示する。
通信部１０７は、フレーム毎に、撮像部１０１により撮像された右目用と左目用の現実空間の映像と、位置姿勢算出部１０２により算出された右目用と左目用の位置姿勢とを表示装置２００へ送信する。ＨＭＤ１００は共有元であり、表示装置２００は共有先である。
表示装置２００は、通信部２０１と、映像遅延部２０２と、ＣＧデータ取得部２０３と、ＣＧレンダリング部２０４と、映像合成部２０５と、映像表示部２０６を有する。
通信部２０１は、フレーム毎に、ＨＭＤ１００から送信された右目用と左目用の現実空間の映像と、右目用と左目用の位置姿勢を受信する。
映像遅延部２０２は、フレーム毎に、通信部２０１が受信した右目用と左目用の現実空間の映像をバッファリングし、現在までの現実空間の映像のフレームを保持する。映像遅延部２０２は、後述する映像合成部２０５が遅延させたいフレーム数に応じて、合成に用いる現実空間の映像のフレームを選択することで、現実空間の映像の遅延量を調整することができる。
ＣＧデータ取得部２０３は、仮想空間を構築するためのＣＧデータを外部のＣＧデータ管理サーバ３００から取得する。
ＣＧレンダリング部２０４は、フレーム毎に、通信部２０１が受信した右目用と左目用の位置姿勢を視点として、ＣＧデータ取得部２０３により取得されたＣＧデータをレンダリングし、右目用と左目用の仮想空間の映像を生成する。なお、レンダリング時の視野角は、ＨＭＤ１００の撮像部１０１が撮像する映像の視野角と一致させる。
映像合成部２０５は、フレーム毎に、映像遅延部２０２が保持している右目用と左目用の現実空間の映像と、ＣＧレンダリング部２０４により生成された右目用と左目用の仮想空間の映像とを合成し、右目用と左目用の複合現実空間の映像を生成する。
映像表示部２０６は、映像合成部２０５により生成された右目用と左目用の複合現実空間の映像を、表示装置２００の右目と左目の前のスクリーンに表示する。
図３は、ＨＭＤ１００の処理方法を示すフローチャートであり、ＨＭＤ１００の毎フレームの処理例を示す。図４は、表示装置２００の処理方法を示すフローチャートであり、表示装置２００の毎フレームの処理例を示す。図５は、ＨＭＤ１００および表示装置２００での各処理段階での遅延の様子を表す図である。以下、図３および図４のフローチャートに従って、ＨＭＤ１００および表示装置２００の処理の流れと、各処理段階での遅延について説明する。ＨＭＤ１００は、毎フレームの所定のタイミングで、図３のフローチャートの処理を開始する。表示装置２００は、毎フレームの所定のタイミングで、図４のフローチャートの処理を開始する。
ここで、遅延とは、カメラが動いたり、現実空間の被写体に変化があったときにその変化が映像に反映されるまでの時間のことである。現実空間の映像の場合には、遅延は、撮像した映像のフレームが表示されるまでの時間である。仮想空間の映像の場合には、遅延は、算出した位置姿勢の時刻から、その位置姿勢を反映した仮想空間の映像が表示されるまでの時間である。
図５の横軸は、時刻（フレーム）である。図５の上段は、ＨＭＤ１００が撮像した現実空間の映像と、ＨＭＤ１００が算出した位置姿勢と、ＨＭＤ１００が生成した仮想空間の映像と、ＨＭＤ１００が生成した複合現実空間の映像を示す。図５の下段は、表示装置２００が受信した現実空間の映像と、表示装置２００が受信した位置姿勢と、表示装置２００が生成した仮想空間の映像と、表示装置２００が生成した複合現実空間の映像を示す。
ＨＭＤ１００および表示装置２００での現実空間の映像と、位置姿勢と、仮想空間の映像と、複合現実空間の映像に記載の時刻は、どの時刻の撮像フレームに対応するものを生成しているかを示している。
ここで、ＨＭＤ１００が現実空間の映像から位置姿勢を算出するのにかかる時間をｔｓとする。また、ＣＧレンダリング部１０４および２０４のそれぞれのレンダリングにかかる時間をｔｒとする。また、ＨＭＤ１００から表示装置２００に現実空間の映像および位置姿勢を送信するのにかかる時間をｔｎとする。図５は、ｔｓ＝１フレーム、ｔｒ＝２フレーム、ｔｎ＝１フレームの例である。
図３のステップＳ１０１では、撮像部１０１は、フレーム毎に、右目用と左目用の現実空間の映像を撮像する。図５の時刻ｔでは、時刻ｔの現実空間の映像のフレームが撮像される。
ステップＳ１０２では、位置姿勢算出部１０２は、フレーム毎に、撮像部１０１により撮像された右目用と左目用の現実空間の映像を基に、ＨＭＤ１００の右目用と左目用の位置姿勢を算出する。例えば、位置姿勢算出部１０２は、時刻ｔの現実空間の映像のフレームを基に、時刻ｔの位置姿勢を算出する。位置姿勢の算出には、ｔｓの時間がかかるので、時刻ｔ＋ｔｓにおいて、時刻ｔの位置姿勢が算出される。ここで、ｔｓ＝１フレームである。
ステップＳ１０３では、通信部１０７は、時刻ｔの現実空間の映像のフレームと時刻ｔの位置姿勢とを表示装置２００へ送信する。送信には、ｔｎの時間がかかる。図５の時刻ｔ＋ｔｓにおいて、通信部１０７は、時刻ｔの現実空間の映像のフレームと時刻ｔの位置姿勢とを表示装置２００へ送信する。時刻ｔ＋ｔｓ＋ｔｎにおいて、表示装置２００の通信部２０１は、時刻ｔの現実空間の映像のフレームと時刻ｔの位置姿勢とを受信する。ここで、ｔｎ＝１フレームである。
ステップＳ１０４では、ＣＧデータ取得部１０３は、ＣＧデータ管理サーバ３００からＣＧデータを取得する。
ステップＳ１０５では、ＣＧレンダリング部１０４は、フレーム毎に、位置姿勢算出部１０２で算出した右目用と左目用の位置姿勢を視点として、ＣＧデータ取得部１０３で取得したＣＧデータをレンダリングし、右目用と左目用の仮想空間の映像を生成する。例えば、ＣＧレンダリング部１０４は、時刻ｔの位置姿勢を視点として、ＣＧデータをレンダリングし、時刻ｔの仮想空間の映像を生成する。レンダリングには、ｔｒの時間がかかるので、時刻ｔ＋ｔｓ＋ｔｒにおいて、時刻ｔの仮想空間の映像のフレームが生成される。ここで、ｔｒ＝２フレームである。
ステップＳ１０６では、映像合成部１０５は、フレーム毎に、撮像部１０１により撮像された右目用と左目用の現実空間の映像と、ＣＧレンダリング部１０４により生成された右目用と左目用の仮想空間の映像とを合成する。映像合成部１０５は、フレーム毎の合成により、右目用と左目用の複合現実空間の映像を生成する。映像表示部１０６は、フレーム毎に、映像合成部１０５により生成された右目用と左目用の複合現実空間の映像を、ＨＭＤ１００の右目と左目の前のスクリーンに表示する。
例えば、映像合成部１０５は、時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。映像表示部１０６は、時刻ｔの複合現実空間の映像のフレームを、ＨＭＤ１００の右目と左目の前のスクリーンに表示する。
時刻ｔ＋ｔｓ＋ｔｒでは、撮像部１０１は、時刻ｔ＋３の現実空間の映像のフレームを撮像し、ＣＧレンダリング部１０４は、時刻ｔの仮想空間の映像のフレームを生成する。時刻ｔ＋ｔｓ＋ｔｒ＋１では、映像合成部１０５は、時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。ここで、映像合成部１０５は、現実空間の映像の遅延を小さくするために、時刻ｔ＋３の最新の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成する。
図４のステップＳ２０１では、通信部２０１は、フレーム毎に、ＨＭＤ１００から、右目用と左目用の現実空間の映像と、右目用と左目用の位置姿勢を受信する。時刻ｔ＋ｔｓ＋ｔｎにおいて、通信部２０１は、時刻ｔの現実空間の映像のフレームと、時刻ｔの位置姿勢を受信する。
ステップＳ２０２では、映像遅延部２０２は、フレーム毎に、通信部２０１が受信した右目用と左目用の現実空間の映像をバッファリングし、現在までの右目用と左目用の現実空間の映像のフレームを保持する。
ステップＳ２０３では、ＣＧデータ取得部２０３は、ＣＧデータ管理サーバ３００からＣＧデータを取得する。
ステップＳ２０４では、ＣＧレンダリング部２０４は、フレーム毎に、通信部２０１が受信した右目用と左目用の位置姿勢を視点として、ＣＧデータ取得部２０３により取得されたＣＧデータをレンダリングし、右目用と左目用の仮想空間の映像を生成する。例えば、ＣＧレンダリング部２０４は、時刻ｔの位置姿勢を視点として、ＣＧデータをレンダリングし、時刻ｔの仮想空間の映像を生成する。レンダリングには、ｔｒの時間がかかるので、時刻ｔ＋ｔｓ＋ｔｒ＋ｔｎにおいて、時刻ｔの仮想空間の映像のフレームが生成される。
ステップＳ２０５では、映像合成部２０５は、フレーム毎に、映像遅延部２０２が保持している右目用と左目用の現実空間の映像と、ＣＧレンダリング部２０４により生成された右目用と左目用の仮想空間の映像とを合成する。映像合成部２０５は、フレーム毎の合成により、右目用と左目用の複合現実空間の映像を生成する。映像表示部２０６は、フレーム毎に、映像合成部２０５により生成された右目用と左目用の複合現実空間の映像を、表示装置２００の右目と左目の前のスクリーンに表示する。
時刻ｔ＋ｔｓ＋ｔｒ＋ｔｎにおいて、映像合成部２０５は、時刻ｔの現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。映像表示部２０６は、時刻ｔの複合現実空間の映像のフレームを、表示装置２００の右目と左目の前のスクリーンに表示する。
映像表示部２０６が表示する映像の動きは、表示装置２００の視聴者自身の動作を反映しているわけではない。したがって、表示装置２００の視聴者にとって、ＨＭＤ１００の装着者の動作が反映されるまでの遅延に対する違和感は小さく、現実空間の映像と仮想空間の映像との遅延量が異なることによる違和感の方が大きく感じてしまう。そこで、映像合成部２０５は、時刻ｔの現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成する。これにより、映像表示部２０６は、現実空間の映像と仮想空間の映像の遅延量が一致した映像を表示することができる。
以上のように、ＨＭＤ１００の映像合成部１０５は、時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。その結果、ＨＭＤ１００での複合現実空間の映像は、ＨＭＤ１００の装着者の動きによる現実空間の画像の遅延量を小さくし、ＨＭＤ１００の装着者の違和感を低減することができる。
また、表示装置２００の映像合成部２０５は、時刻ｔの現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。その結果、表示装置２００での複合現実空間の映像は、現実空間の映像のフレームと仮想空間の映像のフレームの遅延量が揃った映像になり、表示装置２００の視聴者の違和感を低減することができる。
なお、ステップＳ１０２では、位置姿勢算出部１０２は、表示までの時間を考慮し、時刻ｔ＋３の位置姿勢を予測して算出してもよい。その場合、ステップＳ１０５では、ＣＧレンダリング部１０４は、時刻ｔ＋３の位置姿勢を視点として、ＣＧデータをレンダリングし、時刻ｔ＋３の仮想空間の映像を生成する。この場合においても、ステップＳ１０２では、位置姿勢算出部１０２は、時刻ｔの位置姿勢も算出する。そして、ステップＳ１０３では、通信部１０７は、時刻ｔの位置姿勢を表示装置２００へ送信する。このようにすることで、ＨＭＤ１００は、上記の予測が当たった場合には、仮想空間の映像の遅延量が小さいように見せかける複合現実空間の映像を生成することが可能である。表示装置２００は、未来の予測に基づかないＨＭＤ１００の位置姿勢に基づいた複合現実空間の映像を生成することができる。
また、ステップＳ１０５の時刻ｔ＋３では、ＣＧレンダリング部１０４は、時刻ｔの仮想空間の映像のフレームを生成する。その後、位置姿勢算出部１０２は、現在の時刻ｔ＋３の位置姿勢を再算出してもよい。その後、ＣＧレンダリング部１０４は、時刻ｔの位置姿勢と時刻ｔ＋３の位置姿勢との差分を基に、上記の時刻ｔの仮想空間の映像のフレームを変形し、時刻ｔ＋３の仮想空間の映像のフレームを生成する。ステップＳ１０６では、映像合成部１０５は、時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔ＋３の仮想空間の映像のフレームとを合成する。このようにすることで、ＨＭＤ１００は、仮想空間の映像を生成した後の変形により、可能な範囲で遅延量を小さく見せる複合現実空間の映像を生成することが可能である。
また、映像合成部２０５は、現実空間の映像のフレームの中で、あらかじめ決めておいた遅延量となるフレームを選択してもよい。また、ＨＭＤ１００は、フレーム毎に、現実空間の映像と位置姿勢に対してタイムスタンプを付与して、表示装置２００に送信してもよい。その場合、表示装置２００は、タイムスタンプが一致する現実空間の映像のフレームと位置姿勢を用いて、現実空間の映像のフレームを選択し、仮想空間の映像のフレームを生成し、現実空間と仮想空間の映像のフレームを合成することができる。
また、表示装置２００は、通信部２０１が受信した現実空間の映像のフレームを基に、ＨＭＤ１００の位置姿勢を算出する位置姿勢算出部を設けてもよい。その場合、ＣＧレンダリング部２０４は、その算出された位置姿勢を基に、仮想空間の映像のフレームを生成することができる。
以上のように、表示システム５００は、ＨＭＤ１００と、表示装置２００を有する。ＨＭＤ１００は、撮像装置であり、撮像部１０１と、位置姿勢算出部１０２と、ＣＧデータ取得部１０３と、ＣＧレンダリング部１０４と、映像合成部１０５と、映像表示部１０６と、通信部１０７を有する。
撮像部１０１は、現実空間の映像を撮像する。位置姿勢算出部１０２は、上記の現実空間の映像を基に、ＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、生成部であり、ＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像を生成する。映像合成部１０５は、撮像部１０１により撮像された現実空間の映像と、上記の第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、その第１の複合現実空間の映像を映像表示部１０６に表示する。通信部１０７は、少なくとも撮像部１０１により撮像された現実空間の映像を表示装置２００に送信する。
位置姿勢算出部１０２は、上記の現実空間の映像のうちの第１のフレーム（例えば、時刻ｔのフレーム）に基づくＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、上記の現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成する。映像合成部１０５は、上記の現実空間の映像のうちの第１のフレームとは異なるフレーム（例えば、時刻ｔ＋３のフレーム）と、上記の第１の仮想空間の映像のうちの第１のフレームとを合成する。
表示装置２００は、通信部２０１と、映像遅延部２０２と、ＣＧデータ取得部２０３と、ＣＧレンダリング部２０４と、映像合成部２０５と、映像表示部２０６を有する。通信部２０１は、ＨＭＤ１００から現実空間の映像を受信する。ＣＧレンダリング部２０４は、生成部であり、ＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像を生成する。映像合成部２０５は、通信部２０１が受信した現実空間の映像と、上記の第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、その第２の複合現実空間の映像を映像表示部２０６に表示する。
ＣＧレンダリング部２０４は、上記の現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。映像合成部２０５は、上記の現実空間の映像のうちの第１のフレームと、上記の第２の仮想空間の映像のうちの第１のフレームとを合成する。
例えば、通信部１０７は、撮像部１０１により撮像された現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢とを表示装置２００に送信する。通信部２０１は、ＨＭＤ１００から現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢とを受信する。ＣＧレンダリング部２０４は、通信部２０１が受信した現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
なお、表示装置２００は、通信部２０１が受信した現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を算出する第２の位置姿勢算出部を有していてもよい。その場合、ＣＧレンダリング部２０４は、第２の位置姿勢算出部により算出された現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
例えば、映像合成部１０５は、現実空間の映像のうちの第１のフレームより後の第２のフレーム（例えば、時刻ｔ＋３のフレーム）と、上記の第１の仮想空間の映像のうちの第１のフレームとを合成する。例えば、現実空間の映像のうちの第２のフレームは、現実空間の映像のうちの最新のフレームである。
例えば、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成する。ＣＧレンダリング部２０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
通信部１０７は、撮像部１０１により撮像された現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを表示装置２００に送信する。通信部２０１は、ＨＭＤ１００から現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを受信する。ＣＧレンダリング部２０４は、通信部２０１が受信した現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
上記のように、表示装置２００は、第２の位置姿勢算出部を設けることができる。その場合、第２の位置姿勢算出部は、通信部２０１が受信した現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部２０４は、第２の位置姿勢算出部により算出された現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
上記のように、映像合成部１０５は、現実空間の映像のうちの第１のフレームより後の第２のフレーム（例えば、時刻ｔ＋３のフレーム）と、第１の仮想空間の映像のうちの第１のフレームとを合成する。位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を予測する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成する。ＣＧレンダリング部２０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
具体的には、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。そして、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を予測する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成する。通信部１０７は、撮像部１０１により撮像された現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを表示装置２００に送信する。
通信部２０１は、ＨＭＤ１００から現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを受信する。ＣＧレンダリング部２０４は、通信部２０１が受信した現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
上記のように、表示装置２００は、第２の位置姿勢算出部を設けることができる。その場合、第２の位置姿勢算出部は、通信部２０１が受信した現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部２０４は、第２の位置姿勢算出部により算出された現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
また、映像合成部１０５は、現実空間の映像のうちの第１のフレームより後の第２のフレーム（例えば、時刻ｔ＋３のフレーム）と、第１の仮想空間の映像のうちの第１のフレームとを合成する。その場合、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、現実空間の映像のうちの第１のフレームの撮像時における第１の仮想空間の映像の仮のフレームを生成する。位置姿勢算出部１０２は、現実空間の映像のうちの第２のフレームを基に、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢と、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢との差分と、第１の仮想空間の映像の仮のフレームとを基に、現実空間の映像のうちの第２のフレームの撮像時における第１の仮想空間の映像のうちの第１のフレームを生成する。
また、通信部１０７は、撮像部１０１により撮像された現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを表示装置２００に送信する。通信部２０１は、ＨＭＤ１００から現実空間の映像のうちの第１のフレームと、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢とを受信する。ＣＧレンダリング部２０４は、通信部２０１が受信した現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
上記のように、表示装置２００は、第２の位置姿勢算出部を設けることができる。その場合、第２の位置姿勢算出部は、通信部２０１が受信した現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部２０４は、第２の位置姿勢算出部により算出された現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。
以上のように、本実施形態によれば、ＨＭＤ１００は、ＨＭＤ１００の装着者自身が見る複合現実空間の映像のうちの現実空間の映像については遅延量を小さくし、現実空間の映像の遅延量が小さい複合現実空間の映像を表示することができる。表示装置２００は、現実空間の映像と仮想空間の映像の遅延量が一致した複合現実空間の映像を表示することができる。
（第２の実施形態）
次に、第２の実施形態を説明する。第２の実施形態では、ＨＭＤ１００は、自身の映像表示部１０６に表示する複合現実空間の映像に対して、遅延量が異なる複合現実空間の映像を生成して表示装置２００に送信する例を説明する。このように、ＨＭＤ１００が、表示装置２００で表示する複合現実空間の映像を生成することで、表示装置２００は、一般的なストリーミング形式の映像を再生および表示できる機能を持つ装置であればよい。
以下、第２の実施形態に係る説明は、第１の実施形態との相違点についてのみ説明する。第２の実施形態は、第１の実施形態に対して、同一の構成、または、同一のステップには、第１の実施形態で説明したものと同一の符号を付与してこれを表すものとする。
図６は、第２の実施形態に係るＨＭＤ１００の機能構成例を示すブロック図である。図６のＨＭＤ１００は、図２のＨＭＤ１００に対して、映像遅延部４０１を追加したものである。ＨＭＤ１００は、撮像部１０１と、位置姿勢算出部１０２と、ＣＧデータ取得部１０３と、ＣＧレンダリング部１０４と、映像合成部１０５と、映像表示部１０６と、通信部１０７と、映像遅延部４０１を有する。
図７は、図６のＨＭＤ１００の処理方法を示すフローチャートであり、ＨＭＤ１００の毎フレームの処理例を示す。図７は、図３に対して、ステップＳ１０３を削除し、ステップＳ４０１およびＳ４０２を追加したものである。ＨＭＤ１００は、毎フレームの所定のタイミングで、図７のフローチャートの処理を開始する。ＨＭＤ１００は、図３と同様に、ステップＳ１０１、Ｓ１０２、Ｓ１０４～Ｓ１０６の処理を行う。
なお、ステップＳ１０１では、映像遅延部２０２は、フレーム毎に、撮像部１０１が撮像した右目用と左目用の現実空間の映像をバッファリングし、現在までの右目用と左目用の現実空間の映像のフレームを保持する。
また、ステップＳ１０６では、ＨＭＤ１００は、最新の時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、ＨＭＤ１００で表示するための複合現実空間の映像を生成する。
その後、ステップＳ４０１では、映像合成部１０５は、フレーム毎に、映像遅延部４０１が保持している右目用と左目用の現実空間の映像と、ＣＧレンダリング部１０４により生成された右目用と左目用の仮想空間の映像とを合成する。映像合成部１０５は、フレーム毎の合成により、右目用と左目用の複合現実空間の映像を生成する。具体的には、映像合成部１０５は、時刻ｔの現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成し、時刻ｔの複合現実空間の映像のフレームを生成する。
ステップＳ４０２では、通信部１０７は、フレーム毎に、ステップＳ４０１で生成された右目用と左目用の複合現実空間の映像を一般的なストリーミング形式で表示装置２００に送信する。
表示装置２００において、通信部２０１は、ＨＭＤ１００から、右目用と左目用の複合現実空間の映像を受信する。映像表示部２０６は、通信部２０１が受信した右目用と左目用の複合現実空間の映像を、表示装置２００の右目と左目の前のスクリーンに表示する。
以上のように、ＨＭＤ１００は、ＨＭＤ１００で表示するための複合現実空間の映像と、表示装置２００で表示するための複合現実空間の映像を生成する。
ＨＭＤ１００は、時刻ｔ＋３の現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成した複合現実空間の映像のフレームを表示する。その結果、ＨＭＤ１００で表示される複合現実空間の映像は、ＨＭＤ１００の装着者の動きによる現実空間の画像の遅延量を小さくし、ＨＭＤ１００の装着者の違和感を低減することができる。
また、表示装置２００は、時刻ｔの現実空間の映像のフレームと、時刻ｔの仮想空間の映像のフレームとを合成した複合現実空間の映像のフレームを表示する。その結果、表示装置２００で表示される複合現実空間の映像は、現実空間の映像のフレームと仮想空間の映像のフレームの遅延量が揃った映像になり、表示装置２００の視聴者の違和感を低減することができる。
以上のように、ＨＭＤ１００は、撮像装置であって、撮像部１０１と、位置姿勢算出部１０２と、ＣＧデータ取得部１０３と、ＣＧレンダリング部１０４と、映像合成部１０５と、映像表示部１０６と、通信部１０７と、映像遅延部４０１を有する。
撮像部１０１は、現実空間の映像を撮像する。位置姿勢算出部１０２は、現実空間の映像を基に、ＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、ＨＭＤ１００の位置姿勢を基に、仮想空間の映像を生成する。映像合成部１０５は、撮像部１０１により撮像された現実空間の映像と、ＣＧレンダリング部１０４により生成された仮想空間の映像とを合成することにより、複合現実空間の映像を生成する。通信部１０７は、複合現実空間の映像を表示装置２００に送信する。
位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレーム（例えば、時刻ｔのフレーム）に基づくＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームに基づくＨＭＤ１００の位置姿勢を基に、仮想空間の映像のうちの第１のフレームを生成する。映像合成部１０５は、現実空間の映像のうちの第１のフレームとは異なるフレーム（例えば、時刻ｔ＋３のフレーム）と、仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成する。そして、映像合成部１０５は、第１の複合現実空間の映像のうちの第１のフレームを映像表示部１０６に表示する。
また、映像合成部１０５は、現実空間の映像のうちの第１のフレームと、仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成する。通信部１０７は、第２の複合現実空間の映像のうちの第１のフレームを表示装置２００に送信する。
具体的には、映像合成部１０５は、現実空間の映像のうちの第１のフレームより後の第２のフレーム（例えば、時刻ｔ＋３のフレーム）と、第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成する。上記の現実空間の映像のうちの第２のフレームは、例えば、現実空間の映像のうちの最新のフレームである。
位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、仮想空間の映像のうちの第１のフレームを生成する。
なお、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を予測することができる。その場合、ＣＧレンダリング部１０４は、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成する。映像合成部１０５は、現実空間の映像のうちの第２のフレームと、第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成する。映像合成部１０５は、現実空間の映像のうちの第１のフレームと、第２の仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成する。
また、位置姿勢算出部１０２は、現実空間の映像のうちの第１のフレームを基に、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出することができる。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢を基に、現実空間の映像のうちの第１のフレームの撮像時における第１の仮想空間の映像の仮のフレームを生成する。位置姿勢算出部１０２は、現実空間の映像のうちの第２のフレームを基に、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢を算出する。ＣＧレンダリング部１０４は、現実空間の映像のうちの第１のフレームの撮像時におけるＨＭＤ１００の位置姿勢と、現実空間の映像のうちの第２のフレームの撮像時におけるＨＭＤ１００の位置姿勢との差分と、上記の第１の仮想空間の映像の仮のフレームとを基に、現実空間の映像のうちの第２のフレームの撮像時における第１の仮想空間の映像のうちの第１のフレームを生成する。
以上のように、本実施形態によれば、ＨＭＤ１００は、ＨＭＤ１００の装着者自身が見る複合現実空間の映像のうちの現実空間の映像については遅延量を小さくし、現実空間の映像の遅延量が小さい複合現実空間の映像を表示することができる。表示装置２００は、現実空間の映像と仮想空間の映像の遅延量が一致した複合現実空間の映像を表示することができる。
（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
なお、上述の実施形態は、何れも本開示を実施するにあたっての具体例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されない。すなわち、本開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
本実施形態の開示は、以下の構成および方法を含む。
（構成１）
撮像装置と、
表示装置とを有する表示システムであって、
前記撮像装置は、
現実空間の映像を撮像する撮像手段と、
前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する第１の位置姿勢算出手段と、
前記撮像装置の位置姿勢を基に、第１の仮想空間の映像を生成する第１の生成手段と、
前記撮像手段により撮像された現実空間の映像と、前記第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、前記第１の複合現実空間の映像を表示する第１の映像合成手段と、
少なくとも前記撮像手段により撮像された現実空間の映像を前記表示装置に送信する第１の通信手段とを有し、
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
前記表示装置は、
前記撮像装置から前記現実空間の映像を受信する第２の通信手段と、
前記撮像装置の位置姿勢を基に、第２の仮想空間の映像を生成する第２の生成手段と、
前記第２の通信手段が受信した現実空間の映像と、前記第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、前記第２の複合現実空間の映像を表示する第２の映像合成手段とを有し、
前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成し、
前記第２の映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成することを特徴とする表示システム。
（構成２）
前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢とを前記表示装置に送信し、
前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢とを受信し、
前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１に記載の表示システム。
（構成３）
前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１に記載の表示システム。
（構成４）
前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することを特徴とする構成１～３のいずれか１項に記載の表示システム。
（構成５）
前記現実空間の映像のうちの第２のフレームは、前記現実空間の映像のうちの最新のフレームであることを特徴とする構成４に記載の表示システム。
（構成６）
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１～５のいずれか１項に記載の表示システム。
（構成７）
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成２に記載の表示システム。
（構成８）
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第２の位置姿勢算出手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成３に記載の表示システム。
（構成９）
前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
前記第１の生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１に記載の表示システム。
（構成１０）
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
前記第１の生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成９に記載の表示システム。
（構成１１）
前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成９に記載の表示システム。
（構成１２）
前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記第１の仮想空間の映像の仮のフレームを生成し、
前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第２のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢と、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢との差分と、前記第１の仮想空間の映像の仮のフレームとを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記第１の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１に記載の表示システム。
（構成１３）
前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１２に記載の表示システム。
（構成１４）
前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１２に記載の表示システム。
（構成１５）
撮像装置であって、
現実空間の映像を撮像する撮像手段と、
前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する位置姿勢算出手段と、
前記撮像装置の位置姿勢を基に、仮想空間の映像を生成する生成手段と、
前記撮像手段により撮像された現実空間の映像と、前記生成手段により生成された仮想空間の映像とを合成することにより、複合現実空間の映像を生成する映像合成手段と、
前記複合現実空間の映像を表示装置に送信する通信手段とを有し、
前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出し、
前記生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成し、
前記映像合成手段は、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、前記第１の複合現実空間の映像のうちの第１のフレームを表示し、
前記映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成し、
前記通信手段は、前記第２の複合現実空間の映像のうちの第１のフレームを前記表示装置に送信することを特徴とする撮像装置。
（構成１６）
前記映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成することを特徴とする構成１５に記載の撮像装置。
（構成１７）
前記現実空間の映像のうちの第２のフレームは、前記現実空間の映像のうちの最新のフレームであることを特徴とする構成１６に記載の撮像装置。
（構成１８）
前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１５～１７のいずれか１項に記載の撮像装置。
（構成１９）
前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
前記生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成し、
前記映像合成手段は、前記現実空間の映像のうちの第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、
前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成し、
前記映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成することを特徴とする構成１６または１７に記載の撮像装置。
（構成２０）
前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記第１の仮想空間の映像の仮のフレームを生成し、
前記位置姿勢算出手段は、前記現実空間の映像のうちの第２のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢と、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢との差分と、前記第１の仮想空間の映像の仮のフレームとを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記第１の仮想空間の映像のうちの第１のフレームを生成することを特徴とする構成１６または１７に記載の撮像装置。
（方法１）
撮像装置と、
表示装置とを有する表示システムの処理方法であって、
前記撮像装置は、
現実空間の映像を撮像する撮像手段と、
前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する第１の位置姿勢算出手段と、
前記撮像装置の位置姿勢を基に、第１の仮想空間の映像を生成する第１の生成手段と、
前記撮像手段により撮像された現実空間の映像と、前記第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、前記第１の複合現実空間の映像を表示する第１の映像合成手段と、
少なくとも前記撮像手段により撮像された現実空間の映像を前記表示装置に送信する第１の通信手段とを有し、
前記表示装置は、
前記撮像装置から前記現実空間の映像を受信する第２の通信手段と、
前記撮像装置の位置姿勢を基に、第２の仮想空間の映像を生成する第２の生成手段と、
前記第２の通信手段が受信した現実空間の映像と、前記第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、前記第２の複合現実空間の映像を表示する第２の映像合成手段とを有し、
前記表示システムの処理方法は、
前記第１の位置姿勢算出手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出するステップと、
前記第１の生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成するステップと、
前記第１の映像合成手段が、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成するステップと、
前記第２の生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成するステップと、
前記第２の映像合成手段が、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成するステップと
を有することを特徴とする表示システムの処理方法。
（方法２）
撮像装置の処理方法であって、
前記撮像装置は、
現実空間の映像を撮像する撮像手段と、
前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する位置姿勢算出手段と、
前記撮像装置の位置姿勢を基に、仮想空間の映像を生成する生成手段と、
前記撮像手段により撮像された現実空間の映像と、前記生成手段により生成された仮想空間の映像とを合成することにより、複合現実空間の映像を生成する映像合成手段と、
前記複合現実空間の映像を表示装置に送信する通信手段とを有し、
前記撮像装置の処理方法は、
前記位置姿勢算出手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出するステップと、
前記生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成するステップと、
前記映像合成手段が、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、前記第１の複合現実空間の映像のうちの第１のフレームを表示するステップと、
前記映像合成手段が、前記現実空間の映像のうちの第１のフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成するステップと、
前記通信手段が、前記第２の複合現実空間の映像のうちの第１のフレームを前記表示装置に送信するステップと
を有することを特徴とする撮像装置の処理方法。
１０１ 撮像部、１０２ 位置姿勢算出部、１０３ ＣＧデータ取得部、１０４ ＣＧレンダリング部、１０５ 映像合成部、１０６ 映像表示部、１０７ 通信部、２０１ 通信部、２０２ 映像遅延部、２０３ ＣＧデータ取得部、２０４ ＣＧレンダリング部、２０５ 映像合成部、２０６ 映像表示部

Claims (22)

  1. 撮像装置と、
    表示装置とを有する表示システムであって、
    前記撮像装置は、
    現実空間の映像を撮像する撮像手段と、
    前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する第１の位置姿勢算出手段と、
    前記撮像装置の位置姿勢を基に、第１の仮想空間の映像を生成する第１の生成手段と、
    前記撮像手段により撮像された現実空間の映像と、前記第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、前記第１の複合現実空間の映像を表示する第１の映像合成手段と、
    少なくとも前記撮像手段により撮像された現実空間の映像を前記表示装置に送信する第１の通信手段とを有し、
    前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
    前記表示装置は、
    前記撮像装置から前記現実空間の映像を受信する第２の通信手段と、
    前記撮像装置の位置姿勢を基に、第２の仮想空間の映像を生成する第２の生成手段と、
    前記第２の通信手段が受信した現実空間の映像と、前記第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、前記第２の複合現実空間の映像を表示する第２の映像合成手段とを有し、
    前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成し、
    前記第２の映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成することを特徴とする表示システム。
  2. 前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢とを前記表示装置に送信し、
    前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢とを受信し、
    前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１に記載の表示システム。
  3. 前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
    前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１に記載の表示システム。
  4. 前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することを特徴とする請求項１に記載の表示システム。
  5. 前記現実空間の映像のうちの第２のフレームは、前記現実空間の映像のうちの最新のフレームであることを特徴とする請求項４に記載の表示システム。
  6. 前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１に記載の表示システム。
  7. 前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
    前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
    前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項２に記載の表示システム。
  8. 前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第２の位置姿勢算出手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項３に記載の表示システム。
  9. 前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
    前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
    前記第１の生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第２の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１に記載の表示システム。
  10. 前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
    前記第１の生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
    前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
    前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項９に記載の表示システム。
  11. 前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
    前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項９に記載の表示システム。
  12. 前記第１の映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成し、
    前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記第１の仮想空間の映像の仮のフレームを生成し、
    前記第１の位置姿勢算出手段は、前記現実空間の映像のうちの第２のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記第１の生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢と、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢との差分と、前記第１の仮想空間の映像の仮のフレームとを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記第１の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１に記載の表示システム。
  13. 前記第１の通信手段は、前記撮像手段により撮像された現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを前記表示装置に送信し、
    前記第２の通信手段は、前記撮像装置から前記現実空間の映像のうちの第１のフレームと、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢とを受信し、
    前記第２の生成手段は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１２に記載の表示システム。
  14. 前記表示装置は、前記第２の通信手段が受信した前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出する第２の位置姿勢算出手段を有し、
    前記第２の生成手段は、前記第２の位置姿勢算出手段により算出された前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１２に記載の表示システム。
  15. 撮像装置であって、
    現実空間の映像を撮像する撮像手段と、
    前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する位置姿勢算出手段と、
    前記撮像装置の位置姿勢を基に、仮想空間の映像を生成する生成手段と、
    前記撮像手段により撮像された現実空間の映像と、前記生成手段により生成された仮想空間の映像とを合成することにより、複合現実空間の映像を生成する映像合成手段と、
    前記複合現実空間の映像を表示装置に送信する通信手段とを有し、
    前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出し、
    前記生成手段は、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成し、
    前記映像合成手段は、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、前記第１の複合現実空間の映像のうちの第１のフレームを表示し、
    前記映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成し、
    前記通信手段は、前記第２の複合現実空間の映像のうちの第１のフレームを前記表示装置に送信することを特徴とする撮像装置。
  16. 前記映像合成手段は、前記現実空間の映像のうちの第１のフレームより後の第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成することを特徴とする請求項１５に記載の撮像装置。
  17. 前記現実空間の映像のうちの第２のフレームは、前記現実空間の映像のうちの最新のフレームであることを特徴とする請求項１６に記載の撮像装置。
  18. 前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１５に記載の撮像装置。
  19. 前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を予測し、
    前記生成手段は、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を基に、第１の仮想空間の映像のうちの第１のフレームを生成し、
    前記映像合成手段は、前記現実空間の映像のうちの第２のフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、
    前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、第２の仮想空間の映像のうちの第１のフレームを生成し、
    前記映像合成手段は、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成することを特徴とする請求項１６に記載の撮像装置。
  20. 前記位置姿勢算出手段は、前記現実空間の映像のうちの第１のフレームを基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢を基に、前記現実空間の映像のうちの第１のフレームの撮像時における前記第１の仮想空間の映像の仮のフレームを生成し、
    前記位置姿勢算出手段は、前記現実空間の映像のうちの第２のフレームを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢を算出し、
    前記生成手段は、前記現実空間の映像のうちの第１のフレームの撮像時における前記撮像装置の位置姿勢と、前記現実空間の映像のうちの第２のフレームの撮像時における前記撮像装置の位置姿勢との差分と、前記第１の仮想空間の映像の仮のフレームとを基に、前記現実空間の映像のうちの第２のフレームの撮像時における前記第１の仮想空間の映像のうちの第１のフレームを生成することを特徴とする請求項１６に記載の撮像装置。
  21. 撮像装置と、
    表示装置とを有する表示システムの処理方法であって、
    前記撮像装置は、
    現実空間の映像を撮像する撮像手段と、
    前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する第１の位置姿勢算出手段と、
    前記撮像装置の位置姿勢を基に、第１の仮想空間の映像を生成する第１の生成手段と、
    前記撮像手段により撮像された現実空間の映像と、前記第１の仮想空間の映像とを合成することにより、第１の複合現実空間の映像を生成し、前記第１の複合現実空間の映像を表示する第１の映像合成手段と、
    少なくとも前記撮像手段により撮像された現実空間の映像を前記表示装置に送信する第１の通信手段とを有し、
    前記表示装置は、
    前記撮像装置から前記現実空間の映像を受信する第２の通信手段と、
    前記撮像装置の位置姿勢を基に、第２の仮想空間の映像を生成する第２の生成手段と、
    前記第２の通信手段が受信した現実空間の映像と、前記第２の仮想空間の映像とを合成することにより、第２の複合現実空間の映像を生成し、前記第２の複合現実空間の映像を表示する第２の映像合成手段とを有し、
    前記表示システムの処理方法は、
    前記第１の位置姿勢算出手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出するステップと、
    前記第１の生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第１の仮想空間の映像のうちの第１のフレームを生成するステップと、
    前記第１の映像合成手段が、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記第１の仮想空間の映像のうちの第１のフレームとを合成するステップと、
    前記第２の生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記第２の仮想空間の映像のうちの第１のフレームを生成するステップと、
    前記第２の映像合成手段が、前記現実空間の映像のうちの第１のフレームと、前記第２の仮想空間の映像のうちの第１のフレームとを合成するステップと
    を有することを特徴とする表示システムの処理方法。
  22. 撮像装置の処理方法であって、
    前記撮像装置は、
    現実空間の映像を撮像する撮像手段と、
    前記現実空間の映像を基に、前記撮像装置の位置姿勢を算出する位置姿勢算出手段と、
    前記撮像装置の位置姿勢を基に、仮想空間の映像を生成する生成手段と、
    前記撮像手段により撮像された現実空間の映像と、前記生成手段により生成された仮想空間の映像とを合成することにより、複合現実空間の映像を生成する映像合成手段と、
    前記複合現実空間の映像を表示装置に送信する通信手段とを有し、
    前記撮像装置の処理方法は、
    前記位置姿勢算出手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を算出するステップと、
    前記生成手段が、前記現実空間の映像のうちの第１のフレームに基づく前記撮像装置の位置姿勢を基に、前記仮想空間の映像のうちの第１のフレームを生成するステップと、
    前記映像合成手段が、前記現実空間の映像のうちの第１のフレームとは異なるフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第１の複合現実空間の映像のうちの第１のフレームを生成し、前記第１の複合現実空間の映像のうちの第１のフレームを表示するステップと、
    前記映像合成手段が、前記現実空間の映像のうちの第１のフレームと、前記仮想空間の映像のうちの第１のフレームとを合成することにより、第２の複合現実空間の映像のうちの第１のフレームを生成するステップと、
    前記通信手段が、前記第２の複合現実空間の映像のうちの第１のフレームを前記表示装置に送信するステップと
    を有することを特徴とする撮像装置の処理方法。
JP2022097330A 2022-06-16 2022-06-16 表示システムおよび撮像装置 Pending JP2023183684A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022097330A JP2023183684A (ja) 2022-06-16 2022-06-16 表示システムおよび撮像装置
US18/334,064 US20230410444A1 (en) 2022-06-16 2023-06-13 Display system for displaying mixed reality space image andprocessing method for use of display system
CN202310702367.7A CN117255187A (zh) 2022-06-16 2023-06-14 显示系统、用于显示系统的处理方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022097330A JP2023183684A (ja) 2022-06-16 2022-06-16 表示システムおよび撮像装置

Publications (1)

Publication Number Publication Date
JP2023183684A true JP2023183684A (ja) 2023-12-28

Family

ID=89125382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022097330A Pending JP2023183684A (ja) 2022-06-16 2022-06-16 表示システムおよび撮像装置

Country Status (3)

Country Link
US (1) US20230410444A1 (ja)
JP (1) JP2023183684A (ja)
CN (1) CN117255187A (ja)

Also Published As

Publication number Publication date
CN117255187A (zh) 2023-12-19
US20230410444A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
EP3358835B1 (en) Improved method and system for video conferences with hmds
Kasahara et al. JackIn head: immersive visual telepresence system with omnidirectional wearable camera for remote collaboration
US8072479B2 (en) Method system and apparatus for telepresence communications utilizing video avatars
JP2008146109A (ja) 画像処理方法、画像処理装置
Müller et al. PanoVC: Pervasive telepresence using mobile phones
KR101769118B1 (ko) 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치
US10154247B2 (en) Virtual reality communication systems and methods thereof
JP3488096B2 (ja) ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体
US20230231983A1 (en) System and method for determining directionality of imagery using head tracking
JP2009239459A (ja) 映像合成システム、映像合成装置およびプログラム
WO2020137877A1 (ja) 三次元データ再生装置
JP2023183684A (ja) 表示システムおよび撮像装置
WO2021147749A1 (zh) 实现3d显示的方法、装置及3d显示系统
CN116530078A (zh) 用于显示从多个视角采集的经立体渲染的图像数据的3d视频会议系统和方法
JP3913076B2 (ja) 画像合成処理装置
WO2022181379A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2023079987A1 (ja) 配信装置、配信方法、およびプログラム
JP5200141B2 (ja) 映像提示システム、映像提示方法、プログラム及び記録媒体
KR102380178B1 (ko) 가상현실 기술 기반의 온라인 스토어를 운용하는 장치
JP7370305B2 (ja) 提示システム、サーバ、第２端末及びプログラム
Lei et al. Middle view stereo representation-an efficient architecture for teleconference with handling occlusions
JP2010283550A (ja) コミュニケーションシステム、コミュニケーション装置
Kaynar et al. AR IN VR: OMNISTEREOSCOPIC TELEPRESENCE WITH HOLOGRAMS FOR REMOTE MAINTENANCE AND COLLABORATION.
CN116560511A (zh) 画面展示方法、装置、计算机设备和存储介质
JP2021086287A (ja) 情報処理システム、情報処理装置、及び情報処理方法