JP2020171031A - ヘッドマウントディスプレイコンテンツの撮影および共有 - Google Patents

ヘッドマウントディスプレイコンテンツの撮影および共有 Download PDF

Info

Publication number
JP2020171031A
JP2020171031A JP2020107844A JP2020107844A JP2020171031A JP 2020171031 A JP2020171031 A JP 2020171031A JP 2020107844 A JP2020107844 A JP 2020107844A JP 2020107844 A JP2020107844 A JP 2020107844A JP 2020171031 A JP2020171031 A JP 2020171031A
Authority
JP
Japan
Prior art keywords
virtual reality
video
stereoscopic
goggles
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020107844A
Other languages
English (en)
Other versions
JP6966603B2 (ja
Inventor
ティアン・シェン
Tian Shen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2020171031A publication Critical patent/JP2020171031A/ja
Priority to JP2021172371A priority Critical patent/JP2022009355A/ja
Application granted granted Critical
Publication of JP6966603B2 publication Critical patent/JP6966603B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】仮想現実ゴーグルを提供する。【解決手段】仮想現実ゴーグルが、複数のカメラを搭載するゴーグル型の本体を含む。ディスプレイが、ゴーグル型の本体によって支持される。支持体が、ゴーグル型の本体の側面の間に伸び、複数のカメラを含む。回路が、複数のカメラから映像を受信するために結合され、映像は、ゴーグルの周りのおよそ360度の合成された視野を含み、回路は、受信された映像をネットワークに接続された処理サービスに送信し、継ぎ合わされた立体視3次元仮想現実映像をネットワークに接続された処理サービスから受信するためにワイヤレス通信デバイスに結合し、回路は、表示するために受信された継ぎ合わされた立体視3次元仮想現実映像を提供するためにさらに結合される。【選択図】図１

Description

相互参照
本出願は、2016年5月2日に出願した、「Head Mounted Display Content Capture and Sharing」と題した米国非仮特許出願第15/144,112号の優先権を主張するものであり、この米国非仮特許出願は、その全体が転載されているかのような参照により本明細書に組み込まれる。
本開示は、コンテンツの撮影（capture）およびコンテンツの共有に関し、特に、仮想現実コンテンツを撮影し、共有するためのヘッドマウントディスプレイに関する。
360度の仮想現実の視界(view)のための十分な映像を撮影するために複数方向から映像を撮影するために現在利用可能な多くのスタンドアロンの製品が、存在する。撮影された映像は、別個のコンピュータまたはクラウドに基づくアプリケーションによって1つに継ぎ合わされ、結果として得られる仮想現実映像を閲覧するための仮想現実ヘッドマウントディスプレイで利用できるようにされ得る。撮影し、感知し、それから閲覧するプロセスは、面倒であり、いくつかの異なるデバイスを使用することをともなう可能性がある。
仮想現実ゴーグルが、複数のカメラを搭載するゴーグル型の本体を含む。ディスプレイが、ゴーグル型の本体によって支持される。支持体が、ゴーグル型の本体の側面の間に伸び、複数のカメラを含む。回路が、複数のカメラから映像を受信するために結合され、映像は、ゴーグルの周りのおよそ360度の合成された視野(field of view)を含み、回路は、受信された映像をネットワークに接続された処理サービスに送信し、継ぎ合わされた立体視3次元仮想現実映像をネットワークに接続された処理サービスから受信するためにワイヤレス通信デバイスに結合し、回路は、表示するために受信された継ぎ合わされた立体視3次元仮想現実映像を提供するためにさらに結合される。
方法が、ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影するステップであって、映像が、ユーザの周りのおよそ360度の合成された視野を含む、ステップと、受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに受信された映像を送信するステップと、ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信するステップと、仮想現実ゴーグルのディスプレイにおいて受信された継ぎ合わされた立体視3次元仮想現実映像を表示するステップとを含む。
コンピュータ可読ストレージデバイスが、動作を実行するための回路による実行のために命令を記憶する。動作は、ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影する動作であって、映像が、ユーザの周りのおよそ360度の合成された視野を含む、動作と、受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに受信された映像を送信する動作と、ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信する動作と、仮想現実ゴーグルのディスプレイにおいて受信された継ぎ合わされた立体視3次元仮想現実映像を表示する動作とを含む。
例示的な実施形態による仮想現実ヘッドマウントディスプレイシステムのブロック透視図である。 例示的な実施形態によるヘッドマウント仮想現実(VR)撮影、閲覧、および共有システムのブロック概略図である。 例示的な実施形態によるヘッドマウントディスプレイシステムの正面透視ブロック図である。 例示的な実施形態によるヘッドマウントディスプレイシステムの背面透視ブロック図である。 例示的な実施形態によるストラップ内またはストラップ上に支持されるカメラおよびCSIリボンケーブルを示す、ヘッドマウントディスプレイストラップの部分的な長手方向のブロック図である。 例示的な実施形態による、コネクタ上の留め具によってステム(stem)に結合されたCSIリボンケーブルを含むストラップを示す詳細なブロック図である。 例示的な実施形態によるヘッドマウントディスプレイシステムのデバイスおよび回路を示すブロック概略図である。 例示的な実施形態による、ユーザによるVRシステムの操作に使用するための例示的なグラフィカルユーザインターフェースの図である。 例示的な実施形態によるソーシャルメディアの共有メカニズムを選択するためのチェックボックスを提供する例示的な設定画面の図である。 例示的な実施形態による3D VR映像を撮影し、アップロードし、閲覧し、共有する方法を示すブロック流れ図である。 例示的な実施形態によるアルゴリズムを実施し、方法を実行するための回路を示すブロック図である。
以下の説明においては、その説明の一部を形成し、実施され得る特定の実施形態が例示のために示される添付の図面が参照される。これらの実施形態は、当業者が本発明を実施することを可能にするのに十分なだけ詳細に説明され、その他の実施形態が利用される可能性があり、構造的、論理的、および電気的変更が本発明の範囲を逸脱することなくなされ得ることを理解されたい。例示的な実施形態の以下の説明は、したがって、限定的な意味で受け取られるべきでなく、本発明の範囲は、添付の請求項によって定義される。
本明細書において説明される機能またはアルゴリズムは、一実施形態においてはソフトウェアにおいて実施される可能性がある。ソフトウェアは、ローカルにあるかまたはネットワークによって接続されるかのどちらかの1つまたは複数の非一時的メモリまたはその他の種類のハードウェアに基づくストレージデバイスなどのコンピュータ可読媒体またはコンピュータ可読ストレージデバイスに記憶されたコンピュータが実行可能な命令からなる可能性がある。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せである可能性があるモジュールに対応する。複数の機能が、望み通りに1つまたは複数のモジュールにおいて実行される可能性があり、説明される実施形態は、例であるに過ぎない。ソフトウェアは、スマートフォンもしくはポータブルコンピュータ、パーソナルコンピュータ、サーバ、またはその他のコンピュータシステムなどのコンピュータシステム上で動作するデジタル信号プロセッサ、ASIC、マイクロプロセッサ、またはその他の種類のプロセッサ上で実行され、そのようなコンピュータシステムを特定的にプログラミングされたマシンに変え得る。
図1は、仮想現実ヘッドマウントディスプレイ(HMD)システム100のブロック透視図である。システム100は、ゴーグル型の本体110内の、システム100を身につけるユーザによって閲覧され得る場所に搭載されたディスプレイ115を含む本体110を含む。ディスプレイ115は、図1においては見えないが、図2にブロックの形態で示される。本体110は、1対のゴーグルのようにユーザに合うように形状を決められる可能性があり、ユーザの鼻梁によって支持され、ディスプレイ115がユーザによって閲覧され得るように本体110内でユーザの目から距離をあけてディスプレイ115を配置するための好適な外形を有する。3次元仮想現実の視界を提供する能力を提供するために、それぞれの目のために別個のディスプレイが使用される可能性がある。制御インターフェースのための任意の投影画像を有するシースルーディスプレイを含む好適なディスプレイが、現在利用可能であり、システム100に組み込まれ得る。
システム100は、システム100を身につけるユーザの頭の周りの複数の視野を撮影（capture）するために配置された複数のカメラも含む。サイドステム120、122が、本体110に結合され、眼鏡のステムと同様の方法でさらなる支持を行うためにユーザの顔の前からユーザの耳まで伸びるように位置付けられる。ステム120および122は、任意選択で、123のヒンジによって本体に結合され、より小さな持ち運び面積(carrying footprint)へとシステム100を折りたたむことを容易にする可能性がある。ヒンジ123は、単にステムのより薄い部分であり、ヒンジ123におけるステムの曲げを可能にする可能性がある。本体110の側面が、折りたたみを容易にするためのヒンジを含む可能性もある。システム100がユーザによって身につけられるとき、ストラップ125が、ステムの端からユーザの頭の後ろの周りに伸びる可能性がある。
一実施形態において、カメラは、ユーザの左側の視野を有する本体110の左側に搭載されたカメラ130を含み得る。カメラ132 (図1においては見えない)が、同様に、ユーザの右側の視野を提供するために本体の右側に搭載され得る。134および136において示された2つのカメラが、着用者または本体110自体に対する後方視界と呼ばれるユーザの後ろの視野を提供するためにストラップ125に搭載され得る。1つまたは複数のさらなるカメラ137、138が、ユーザの頭の上の視野を提供するために本体110の上部に搭載され得る。各カメラは、音声をキャプチャするための1つまたは複数のマイクロフォンも含む可能性がある。1つの第6のカメラまたは複数の第6のカメラ139が、着用者または本体110自体に対する前方視界と呼ばれるシステム100を身につけるユーザの前の視野によって映像を撮影するために本体110の前面上に支持される可能性がある。
一実施形態において、ストラップ125と組み合わされたステム120および122は、ゴーグル型の本体110を着用者に対して保持し、かつ側方および後方視野を提供する複数のカメラを支持するための構造を提供する支持体を含む。支持体は、後方視野を提供するためのステムの端の後ろ向きのカメラを支持し得るより長いステムなどのその他の構造を含む可能性がある。一実施形態において、支持体は、側方および後方視野を提供するために支持された複数のカメラを有する、ゴーグル型の本体からユーザの頭の周りに伸びる単一のストラップである可能性がある。ゴーグルを着用者に対して保持し、所望の視野を提供するのに役立つその他の構造も、利用され得る可能性がある。
一部の実施形態において、カメラの様々な視野は、通常の三角測量技術によって撮影された映像から深度情報を抽出することを可能にするためにある程度重なり合う。重なり合わないエリアは、外挿およびその他の技術を使用する継ぎ合わせ機能(stitching function)によって推定され得る。スティッチングは、重なり合う視野を有する画像を組み合わせて任意の単一の画像よりも広い視野を有する視界を生成する知られているプロセスである。いくつかのクラウドに基づくサービスが、下でさらに説明されるようにスティッチングサービスを実行するために利用され得る。
ユーザの頭の周りの360度の横方向の視界のすべてではないとしても多くの部分のさらなる重なり合う視野を提供するために、追加的なカメラが本体110、ステム120、122、およびストラップ125に位置付けられ、ユーザの視点からのよりしっかりした3D仮想現実(VR)の視界の生成を容易にし得る。一実施形態において、複数のカメラによって撮影される映像は、システム100の着用者の周りのおよそ360度の合成された視野を含む。上で示されたように、推定され得るおよそ360度の視界内において空所がある可能性がある。空所が推定するのに大きすぎる場合、合成された視野は、もはやおよそ360度であるとは考えられない。サイドステム120は、ステム120上の147および148において示される1つまたは複数のカメラを含む可能性がある。サイドステム122も、同様のカメラを含む可能性がある。
一実施形態におけるシステム100は、任意選択で音声を含む映像を各カメラから受け取る回路140を含み得る。Wi-Fi、セルラ、またはその他のネットワークデバイス142が、クラウドに基づくリソースなどのネットワークに結合された処理リソース145に撮影された映像をアップロードするために回路140によって使用され得る。回路140およびネットワークデバイス142は、一部の実施形態においては本体110に組み込まれ、本体110によって支持される可能性がある。
一実施形態において、ディスプレイは、システム100の本体110内に設計される。カメラからの映像は、回路140によって受信され、回路140は、ネットワークデバイス142を使用してセルラまたはWi-Fi接続を介して映像を処理デバイス145に提供し得る。処理デバイス145は、映像を継ぎ合わせるためのJUMPアセンブラのようなサービスを実行する。継ぎ合わされた3D映像は、回路140によって駆動される組み込みディスプレイによって表示されるためにシステム100に送り返される。
一部の実施形態において、カメラからの映像は、回路140によってマイクロUSBインターフェースを介してスマートフォン143に送信される可能性がある。スマートフォン143は、処理デバイス145に表示と接続との両方を提供し得る。処理デバイス145からの受信された継ぎ合わされた映像は、ゴーグル型の本体110を通して見えるスマートフォン143のディスプレイ上の分割された画面によって表示され得る。画面は、継ぎ合わされた3D仮想現実映像の立体視を提供するためにゴーグル本体110の着用者のそれぞれの目のために別個の表示を提供するために2つに分割され得る。
さらなる実施形態において、ディスプレイは、システム100の本体110内に設計される可能性がある。カメラからの映像は、ユーザのポケットの中など、本体110に近いがそれとは別に持ち運ばれるポータブルコンピューティングデバイスにwirelessHD (高精細映像コンテンツワイヤレスプロトコル)接続を介してネットワークデバイス142によって送信される可能性がある。コンピューティングデバイスは、スティッチングを実行し、継ぎ合わされた立体視映像を、本体110の内部ディスプレイを駆動するために回路140に返す可能性がある。
一実施形態において、スマートフォン143は、示されるように本体110の正面外面上か、またはシースルーディスプレイ115を通したユーザの見通しを遮らない本体110の側部または底部の上もしくは中かのどちらかに、システム110の本体110によって支持される可能性がある。示されたように搭載されるとき、スマートフォンは、前方視界を提供するカメラ139を含み得る。カメラ139は、スマートフォンと別れており、本体110によって直接支持される可能性もある。さらなる実施形態において、スマートフォン143は、本体110と別れており、有線または近距離ワイヤレスメカニズムによって回路140に結合される可能性がある。スマートフォンは、ワイヤレス通信デバイス142の通信機能を提供する可能性がある。
スマートフォン143は、撮影、および処理リソース145への映像の送信、ならびに継ぎ合わされた立体視仮想現実3D映像の受信を制御するためのシステム100にすべて組み込まれた1つまたは複数のアプリによってアイコンに基づくタッチインターフェースを提供するためのタッチインターフェースを有する可能性がある。用語「立体視(の)」は、わずかに異なる角度で撮られ、一緒に閲覧されるときに奥行きおよび立体感の印象を生み出す物体またはシーンの2枚の画像の使用を指す。そして、回路140は、それぞれの目のための別々のディスプレイ115の各々に立体視画像を提供することによって仮想現実体験をユーザに提供するようにディスプレイ115を駆動し得る。
立体視画像は、回路140に結びつけられたスマートフォンのタッチスクリーンまたはヘッドマウントディスプレイシステム100のタッチパネルである可能性があるタッチインターフェースによって提供されるユーザインターフェースを介して他者と共有される可能性もある。一部の実施形態において、タッチインターフェース機能は、仮想現実の視線入力、音声、または何らかのその他の入力方法によって実施される可能性がある。したがって、映像の撮影、アップロード、閲覧、および共有のすべての機能が、単一の統合されたユニットによって実行され得る。
さらなる実施形態において、回路140は、シースルーディスプレイ115と干渉しないように本体110の側面に配置される。回路140は、カメラによる映像の撮影、アップロード、閲覧、および共有を制御するための本体110上の集積回路および機械的な視線追跡カメラ、マイクロフォン、またはタッチセンサー153によってトランシーバ機能およびユーザインターフェース機能を実施するために使用される可能性がある。
さらなる実施形態においては、ユーザインターフェースが、ディスプレイ115によって提供され、カメラによって撮影され、回路140に提供されるユーザの動きによってインタラクションされる可能性がある。撮影の典型的なコントロールは、「録画」および「停止」を含み得る。編集コントロールも、映像の一部分を切り取るために提供される可能性がある。それぞれの撮影された映像フィードは、同期された時間情報を含み、任意選択で、映像を撮影したカメラの識別情報を含む可能性がある。アップロードするための典型的なコントロールは、ユーザによって名前を付けられるかまたは単にタイムスタンプを付けられる可能性がある撮影された映像のディレクトリからの映像の選択、およびアップロードアイコンまたはその他の選択メカニズムとを含む可能性がある。共有は、ユーザの連絡先情報を入力すること、または既存のリストから映像を共有するユーザを選択することによって行われる可能性がある。
一実施形態において、撮影された映像および継ぎ合わされた立体視3D VR映像のアップロード、共有、および閲覧は、その映像が撮影されるときに行われ、ユーザにリアルタイムに近い体験を提供する可能性があり、ユーザにとって、継ぎ合わされた映像は、ネットワーク遅延および処理遅延によってのみ遅延されて共有され、それらの遅延は、改善された性能によって小さくなる可能性がある。一部の実施形態において、撮影、アップロード、および共有は、活動の始めの1回の作動のために設定される可能性がある。共有は、任意のソーシャルメディアメカニズムによる可能性があり、または単純に、処理リソース145によって提供される継ぎ合わされた3D VR映像へのリンクをテキストメッセージで送ることまたは電子メールで送ることをともなう可能性がある。
システム100の1つの例示的な使用において、ユーザは、スカイダイビングまたは任意のその他の活動の間、システム100を身につける可能性がある。映像の撮影を開始することは、単純にスカイダイビングの任意の時点において録画および共有の特徴を単純に選択することによって達成される可能性がある。録画および共有の特徴の選択が、映像の撮影と、継ぎ合わせるためのクラウドへのその映像のアップロードと、自身のヘッドマウント3D VRディスプレイを閲覧する可能性がある他者とのその映像の共有とを開始し、他者のヘッドマウント3D VRディスプレイは、同様の統合された撮影、アップロード、閲覧、および共有機能を提供する可能性があり、または提供しない可能性がある。ジップライン、スキー、ハイキング、クライミング、サイクリングなどの多くのその他の活動は、すべて、速やかに3D体験を撮影し、3D VRバージョンを他者と共有するための候補である。
まず映像を撮影すること、Wi-Fiホットスポットを探すこと、アップロードすることをすべてソーシャルメディアなどの複数のデバイスおよびアプリを切り替えながら行うために別々のアプリケーションおよびデバイスを必要とする可能性がある従来の映像撮影メカニズムを使用してスカイダイビング中に3D VRを共有するために必要な機能を実行しようと試みることは、ほぼ不可能であり、可能であったとして極めて不便である。
図2は、システム100の実施において使用され得る構成要素を示すヘッドマウントVR撮影、閲覧、および共有システム200のブロック概略図である。図は、ユーザに3Dコンテンツを提供するための左ディスプレイ225および右ディスプレイ230を駆動する回路220に結合された複数のカメラ210を示す。回路は、撮影された映像を送信し、閲覧および何らかの編集機能のために継ぎ合わされた映像を受信するための235に示されたワイヤレス接続も提供する。回路は、ウェブに基づくインターフェースを介して遠隔のリソースとともにインターフェースを取るためのブラウザも実行する可能性があり、遠隔のリソースは、ユーザによって閲覧され、テキスト、電子メール、ソーシャルメディア、およびその他の方法によるなどしてその他のユーザと共有され得る3D VRコンテンツおよびそのコンテンツへのリンクを生成するための映像スティッチングなどのサービスを提供するウェブサイトを含む可能性がある。回路220は、ディスプレイ225および230による表示のためにグラフィカルユーザインターフェースを生成する可能性もある。
上述のように、一部の実施形態において、ディスプレイは、ディスプレイによって提供される視野の異なる部分にグラフィカルユーザインターフェースを投影する能力を有するシースルーディスプレイである可能性がある。回路200は、処理リソースおよびトランシーバを有するスマートフォンまたはその他の回路を含む可能性があり、活動に参加している間、ユーザの視界を遮らないように視野の外に本体110によって支持される可能性がある。さらなる実施形態において、典型的な視野は、シースルーではない不透明なディスプレイに表示される可能性があり、したがって、ユーザは、それらの実際の環境を観察し得る。
図3Aおよび図3Bは、仮想現実ヘッドマウントディスプレイシステム300の正面透視図および背面透視図である。システム300は、ヘッドマウントディスプレイ310をユーザの頭の上に支持するようなヘッドマウントディスプレイ310の側面に結合された2つのステム315および320によって支持されたヘッドマウントディスプレイ310を含む。ヘッドマウントディスプレイストラップ325が、身につけられるときにユーザの頭の周りに伸びるようにステム315および320の端に結合される可能性もある。
加えて、ヘッドマウントディスプレイストラップ325は、ヘッドマウントディスプレイシステム300を身につけているときにユーザの後ろ側からの画像および音を提供するために搭載された複数のカメラ330、332およびマイクロフォン335、337を含み得る。ストラップ325上またはストラップ325内に搭載された1対のCSI (mipi (登録商標)アライアンス(mipi(R)alliance)によるカメラインターフェース仕様)リボンケーブルが、340、342において示される。ケーブル340および342は、ステム315、320の端に位置付けられたリボンケーブルソケット345、347上の留め具によって、ヘッドマウントディスプレイに信号を提供するためのカメラ330、332に結合される。マイクロフォン335、337は、ステムに信号を運ぶためにI2S (集積チップ間音声(integrated interchip sound)--デジタルデータを運ぶように設計された通信プロトコル)バスを利用する可能性がある。
一実施形態において、ステムは、ステム315、332内に搭載され得る、回路220にカメラおよびマイクロフォン信号を提供するための導体を含む。さらなる実施形態においては、1つまたは複数の追加的なカメラ350、352が、ヘッドマウントディスプレイ310の上部353に搭載されるかまたはそうでなければヘッドマウントディスプレイ310の上部353によって支持される可能性があり、カメラ354、356、358、360が、ステム310、320によって支持される可能性がある。ディスプレイがシースルーディスプレイである場合、実施形態において、1つまたは複数の前方を向いたカメラ361、362が、ヘッドマウントディスプレイを通したユーザの視野に大きな影響を与えないヘッドマウントディスプレイ310の周辺またはその他の部分の近くなどにヘッドマウントディスプレイの前部363によって支持される可能性もある。
一実施形態において、ステム320および322は、システム300のコンパクトな収納を提供するためにステム320および322が367において示されるように内側に折りたたまれることを可能にするヒンジ364および365によってヘッドマウントディスプレイ310に結合される。ストラップ325は、ケーブル340、342と同様に柔軟である。ヘッドマウントディスプレイ310の上部353も、上部353をヘッドマウントディスプレイ310の前部363に結合するヒンジ式の部分372を使用することによって矢印370により示されるように下向きに折りたたまれる可能性がある。
図4は、ストラップ400内またはストラップ400上に支持されるカメラ410およびCSIリボンケーブル415を示す、ヘッドマウントディスプレイストラップ400の部分的な長手方向のブロック図である。マイクロフォン420も、ストラップ400内またはストラップ400上にサポートされ、I2Sインターフェースケーブル425に結合される。CSIリボンケーブル415とI2Sインターフェースケーブル425との両方が、矢印430によって示されるようにステムのうちの1つに向かってストラップ400を通して伸びるところが示される。
図5は、コネクタ515上の留め具によってステム510に結合されたCSIリボンケーブル505を含むストラップ500を示す詳細なブロック図である。1つまたは複数の締め具520が、ケーブル505をステム510に固定し、それによってストラップ500をステム510に固定するために使用され得る。I2Sオーディオケーブルが、コネクタ515上の留め具によって同様に接続され得る。
図6は、600にデバイスおよび回路を一般的に示すブロック図である。630、632において示されるプロセッサにCSIおよびI2Sケーブルによって結合された複数のカメラ610、612、614、616およびマイクロフォン620、622、624、626が、示される。一実施形態においては、プロセッサ630、632の各々のうちの1つが、ヘッドマウントディスプレイシステムのそれぞれのステムにあり、映像および音声をキャプチャすることおよび処理することに関連する機能を実行する。プロセッサ630および632は、USB (ユニバーサルシリアルバス)ケーブル634、636を介してUSBハブ640に結合され得る。ヘッドマウントディスプレイ310によって支持され得るUSBハブ640は、ケーブル634、636からの信号を合成し、スティッチングのためにワイヤレスで送信するなど、さらなる処理のためにそれらの信号を通信接続642上でスマートフォン645に提供する。スマートフォンは、図1に示されるようにヘッドマウントディスプレイによって支持される可能性があり、またはステムのうちの1つもしくは複数によって支持される可能性があり、またはヘッドマウントディスプレイシステム100の着用者などのユーザによってその他の方法で支持される可能性がある。通信接続642は、様々な実施形態において、映像および音声情報を転送するために十分な帯域幅を有する有線またはワイヤレス接続である可能性がある。
図7は、システム100、200、および300を動作させる際のユーザによる使用のための例示的なグラフィカルユーザインターフェース700である。システム100、200、および300によって実行される機能を呼び出すためのいくつかのアイコンが、含まれる。録画アイコン710は、録画を開始するために選択される可能性があり、停止アイコン715は、録画を停止するために選択される可能性がある。視線に基づくか、外部ナビゲーションおよび選択ボタンか、もしくは本体110上に支持されるタッチスクリーンか、またはその他の方法は多くの異なる方法が、アイコンを選択するために使用され得る。
一実施形態において、スティッチングアイコン720は、録画されたばかりの映像の継ぎ合わせを開始するために選択される可能性がある。スティッチングアイコン720は、リストの形態で示される可能性がある異なる時間の録画をスティッチングのために選択するためのさらなる画面を提示する可能性もあり、スティッチングリソースを設定するためのインターフェースをさらに提供する可能性がある。一部の実施形態において、映像は、撮影されているときにネットワーク接続を介してスティッチングリソースに提供される可能性があることに留意されたい。
ビューアイコン725は、継ぎ合わされたばかりの3D VRコンテンツを自動的に点検するために使用される可能性があり、または利用可能なコンテンツのリストからコンテンツを選択するために使用される可能性もある。3D VRコンテンツは、スティッチングサービスによって提供されたリンクを介して閲覧のために取得され得る。一部の実施形態において、インターフェース700は、スティッチングリソースによって提供され、システム100上で実行されるブラウザまたはブラウザアプリを介して閲覧される可能性がある。コンテンツは、回路上で実行されるブラウザを介して、または3D VRコンテンツを閲覧するために設計されたアプリによって閲覧される可能性がある。アプリ、または遠隔のサーバ、もしくはスティッチングを提供するリソースなどが、共有される3D VRコンテンツを短くするための切り取りまたはさらにはコンテンツの削除などのいくつかの基本的な編集機能を提供する可能性がある。
システム100、200、300のいくつかの使用において、ユーザは、アクティビティが行われているときに3D VRコンテンツを共有したい可能性がある。ユーザがシステムに映像を録画させ、スティッチングのために映像を送信させ、立体視3D VRコンテンツを継ぎ合わされ閲覧のために利用可能になるやいなや共有させることを可能にするために、自動録画機能が利用可能である。そのようなシーケンスは、735において示される自動録画設定アイコンの選択によって制御され得る。アイコンの選択は、録画を開始する前のスティッチングリソースおよび共有メカニズムの選択を可能にする。それらの選択がなされると、自動録画および共有アイコン740が選択される可能性があり、既に指定されたように映像の録画が始まり、スティッチングリソースに伝達され、自動的に共有される。
図8は、Facebook、LinkedIn、またはTwitterなどのソーシャルメディアの共有メカニズムを選択するためのチェックボックス815、817を提供する例示的な設定画面800である。チェックボックス819、821は、1つもしくは複数の電子メールもしくはテキストに基づくアドレスまたはその他の共有メカニズムによって共有するためにユーザを選択するために使用され得る。アイコン825が、ユーザを追加するために提供され得る。一実施形態において、選択は、回路による実行のための録画および自動共有スクリプトの生成をもたらす。一実施形態において、スティッチングサービスへの映像のアップロードを制御するためのスクリプトを含むスクリプトが、選択に対応する変数を用いて予め記述され、そのようなサービスの使用のための資格証明情報を提供する。変数は、設定画面800を介してチェックされるボックスに対応する値を与えられる。
継続アイコンは、ユーザを画面700に戻す可能性があり、単一の録画および自動共有アイコン740を押すことによって、録画および自動共有スクリプトが実行され、ユーザによって必要とされるさらなるアクションなしに録画、送信、および共有の開始および実行を引き起こす。共有は、提供され得る範囲で立体視3D VRコンテンツがリアルタイムに近く閲覧され得るスティッチングリソースからリンクを取得し、そのリンクを与えられた共有メカニズムおよびアドレスに提供することによって、回路200を介してスティッチングリソースと連携する。
図9は、例示的な実施形態による3D VR映像を撮影し、アップロードし、閲覧し、共有する方法900を示すブロック流れ図である。910において、ユーザが、それらのユーザが360度の3D映像を撮影したいと決め、任意のスマートフォンまたは回路140、200、300をともなう仮想現実ヘッドマウントディスプレイシステム100を身につける。920において、ユーザが、グラフィカルユーザインターフェース700を使用して、映像の撮影を開始するようにシステム100に命じる可能性がある。一実施形態において、ユーザは、カメラおよびマイクロフォンが映像および音声を記録するとき、925において示されるようにじっとしている可能性がある。一部の実施形態において、ユーザは、記録している間、動き回る可能性がある。一部の実施形態において、映像および音声は、830においてWi-Fiまたはセルラネットワークを通じてリアルタイムでアップロードされる可能性がある。535において、ユーザが、グラフィカルユーザインターフェース700を使用して、映像の撮影を停止するようにシステム100に命じる可能性がある。
ユーザが、940において、立体視3D VRコンテンツを含む1つに継ぎ合わされた映像を受信し、その映像を点検し、任意選択で、その映像を切り取ることなどによってその映像を編集する可能性がある。ユーザが、映像のスティッチングを実行するリソースによってホストされる可能性があるVRの中の共有ページを945において開く可能性があり、そのような共有ページを通じて950において共有のための受信者を選択する可能性がある。955において、ユーザが、受信者にそれらの受信者の閲覧の楽しみのために立体視3D VRのリンクを送信する可能性がある。
図10は、例示的な実施形態によるアルゴリズムを実施し、方法を実行するための回路を示すブロック図である。様々な実施形態において、すべての構成要素が使用される必要があるとは限らず、上述のように、回路は、ディスプレイを駆動し、ネットワーク通信を提供し、ブラウザの機能を実行し、インターフェースを提供するための回路を含め、一緒に動作する異なる構成要素へと分割される可能性がある。図10は、回路によって実行される機能のうちの1つまたは複数のために使用され得るモバイル電話などのスマートフォンも示す。
コンピュータ1000の形態の1つの例示的なコンピューティングデバイスは、処理ユニット1002、メモリ1003、SDカードまたは同様のストレージデバイスなどの取り外し可能なストレージ1010、および取り外し不可能なストレージ1012を含み得る。例示的なコンピューティングデバイスがコンピュータ1000として示され、説明されるが、コンピューティングデバイスは、異なる実施形態においては異なる形態である可能性がある。たとえば、コンピューティングデバイスは、図10に関連して示され、説明されるように1つまたは複数の要素を利用するスマートフォンまたは回路である可能性がある。
メモリ1003は、揮発性メモリ1014および不揮発性メモリ1008を含み得る。コンピュータ1000は、揮発性メモリ1014および不揮発性メモリ1008、取り外し可能なストレージ1010および取り外し不可能なストレージ1012などの様々なコンピュータ可読媒体を含む--または含むコンピューティング環境にアクセスすることができる--可能性を含む。コンピュータストレージは、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)および電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、フラッシュメモリもしくはその他のメモリテクノロジー、またはコンピュータ可読命令を記憶することができる任意のその他の媒体を含む。
コンピュータ1000は、入力1006、出力1004、および通信接続1016を含むかまたは含むコンピューティング環境にアクセスすることができる可能性がある。出力1004は、入力デバイスとして働く可能性もあるタッチスクリーンなどのディスプレイデバイスを含み得る。入力1006は、タッチスクリーン、タッチパッド、マイクロフォン、カメラ、1つまたは複数のデバイスに固有のボタン、コンピュータ1000への有線またはワイヤレスデータ接続内に統合されたまたはコンピュータ1000への有線またはワイヤレスデータ接続を介して結合された1つまたは複数のセンサー、およびその他の入力デバイスのうちの1つまたは複数を含み得る。一実施形態のコンピュータ1000は、データベースサーバおよび映像スティッチングサービスなどの1つまたは複数の遠隔のコンピュータに接続するための通信接続を使用してネットワークに接続された環境内で動作する。
コンピュータ可読媒体に記憶されたコンピュータ可読命令は、コンピュータ1000の処理ユニット1002によって実行され得る。RAMおよびROMは、ストレージデバイスなどの非一時的コンピュータ可読媒体を含む製品のいくつかの例である。コンピュータ可読媒体およびストレージデバイスという用語は、搬送波が一時的過ぎるとみなされる場合、搬送波を含まない。
例:
1. 例1においては、仮想現実ゴーグルが、複数のカメラ130、132、137、138を搭載するゴーグル型の本体110を含む。ディスプレイ225、230が、ゴーグル型の本体110の着用者によって閲覧され得る位置にゴーグル型の本体110によって支持される。支持体120、122、125が、ゴーグル型の本体110の側面の間に伸び、複数のカメラ134、136、147、148を含む。回路140が、複数のカメラから映像を受信するために結合され、映像は、ゴーグルの周りのおよそ360度の合成された視野を含み、回路140は、受信された映像をネットワークに接続された処理サービス145に送信し、継ぎ合わされた立体視3次元仮想現実映像をネットワークに接続された処理サービス145から受信するためにワイヤレス通信デバイス142に結合し、回路140は、ディスプレイ225、230上で受信された継ぎ合わされた立体視3次元仮想現実映像を提供するためにさらに結合される。
2. ゴーグル型の本体110が、左向きの視野および右向きの視野を提供する本体の左側に支持された第1の本体カメラ130および本体の右側に支持された第2の本体カメラ132を有する例1の仮想現実ゴーグル。
3. ゴーグル型の本体110が、前向きの視野を提供する本体の正面に支持された第3の本体カメラ139を有する例2の仮想現実ゴーグル。
4. ゴーグル型の本体110が、上向きの視野を提供する本体の上面に支持された第4の本体カメラ137、138を有する例3の仮想現実ゴーグル。
5. 支持体が、2つのステム120、122を含み、各ステムが、各ステムの一方の端においてゴーグル型の本体110の異なる側面に結合され、ストラップ125が、各ステムの他方の端を互いに結合し、支持体に含まれる複数のカメラ134、136が、ストラップ125によって支持され、後ろ向きの視野を提供する例4の仮想現実ゴーグル。
6. ワイヤレス通信デバイス142が、セルラトランシーバを含む例1〜5のいずれかの仮想現実ゴーグル。
7. セルラトランシーバが、ゴーグル型の本体110によって支持されるスマートフォン143を含む例6の仮想現実ゴーグル。
8. 回路140が、録画オプションセレクタ710と、立体視3次元仮想現実映像を共有するためのオプション730とを含むユーザインターフェース700を提供するように構成される例1〜7のいずれかの仮想現実ゴーグル。
9. ユーザインターフェース700、800が、立体視3次元仮想現実映像を共有するネットワークに接続された処理サービスおよびユーザ815、817、819、821、815を特定するための設定オプション735を含む例8の仮想現実ゴーグル。
10. ユーザインターフェース700が、選択されるとき、ゴーグルに映像の録画を開始させ、映像をネットワークに接続された処理サービス145に自動的に送信させ、映像を選択されたユーザ819、821と共有させる録画および自動共有オプション740を含む例8〜9のいずれかの仮想現実ゴーグル。
11. 例11においては、方法900が、ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影するステップ920であって、映像が、およそ360度の合成された視野を含む、ステップ920と、受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに受信された映像を送信するステップ930と、ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信するステップ940と、仮想現実ゴーグルのディスプレイに受信された継ぎ合わされた立体視3次元仮想現実映像を表示するステップ945とを含む。
12. ディスプレイ上にユーザインターフェース700を提供するステップであって、ユーザインターフェースが、録画オプションセレクタ710と、立体視3次元仮想現実映像を共有するためのオプション730とを含む、ステップをさらに含む例11の方法。
13. ユーザインターフェース700が、立体視3次元仮想現実映像を共有するネットワークに接続された処理サービスおよびユーザ815、817、819、821、および825を特定するための設定オプション735を含む例12の方法。
14. ユーザインターフェース700が、選択されるとき、ゴーグルに映像の録画を開始させ(920)、映像をネットワークに接続された処理サービスに自動的に送信させ(930)、映像を選択されたユーザと共有させる(955)録画および自動共有オプション740を含む例13の方法。
15. 仮想現実ゴーグルが、本体を着用者に対して保持するための支持体を有するゴーグル型の本体110を含み、ゴーグル型の本体の周りのおよそ360度の合成された視野を含む映像が、左向きの視野および右向きの視野を提供する本体の左側に支持される第1の本体カメラ130および本体の右側に支持される第2の本体カメラ132、前向きの視野を提供する本体の正面に支持される第3の本体カメラ139、上向きの視野を提供する本体の上面に支持される第4の本体カメラ137、138を含む複数のカメラによって提供され、支持体が、2つのステム120、122を含み、各ステムが、各ステムの一方の端において本体の異なる側面に結合され、ストラップ125が、各ステムの他方の端を互いに結合し、支持体に含まれる複数のカメラ134、136が、ストラップ125によって支持され、後ろ向きの視野を提供する例11〜14のいずれかの方法。
16. 例16においては、コンピュータ可読ストレージデバイス1003が、動作を実行するための回路1002による実行のために命令を記憶する。動作は、ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影する動作920であって、映像が、およそ360度の合成された視野を含む、動作920と、受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに受信された映像を送信する動作930と、ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信する動作940と、仮想現実ゴーグルのディスプレイに受信された継ぎ合わされた立体視3次元仮想現実映像を表示する動作940とを含む。
17. 動作が、ディスプレイ上にユーザインターフェース700、945を提供する動作であって、ユーザインターフェースが、録画オプションセレクタ710と、立体視3次元仮想現実映像を共有するためのオプション730とを含む、動作をさらに含む例16のコンピュータ可読ストレージデバイス。
18. ユーザインターフェースが、立体視3次元仮想現実映像を共有するネットワークに接続された処理サービスおよびユーザ815、817、819、821、825を特定するための設定オプション735を含む例16〜17のいずれかのコンピュータ可読ストレージデバイス。
19. ユーザインターフェース700が、選択されるとき、ゴーグルに映像の録画を開始させ、映像をネットワークに接続された処理サービスに自動的に送信させ、映像を選択されたユーザと共有させる録画および自動共有オプション740を含む例18のコンピュータ可読ストレージデバイス。
20. 回路が、スマートフォン140を含む例16〜19のいずれかのコンピュータ可読ストレージデバイス。
数個の実施形態が上で詳細に説明されたが、その他の修正が可能である。たとえば、図面に示された論理フローは、所望の結果を達成するために、示された特定の順序または逐次的順序である必要はない。その他のステップが設けられる可能性があり、またはステップが説明されたフローから削除される可能性があり、その他の構成要素が説明されたシステムに追加されるか、もしくは説明されたシステムから削除される可能性がある。その他の実施形態は、添付の請求項の範囲内にあり得る。
100 仮想現実ヘッドマウントディスプレイ(HMD)システム
110 本体
115 ディスプレイ
120 サイドステム
122 サイドステム
123 ヒンジ
125 ストラップ
130 カメラ
132 カメラ
134 カメラ
136 カメラ
137 カメラ
138 カメラ
139 カメラ
140 回路
142 ネットワークデバイス、ワイヤレス通信デバイス
143 スマートフォン
145 処理リソース
147 カメラ
148 カメラ
153 タッチセンサー
200 システム、回路
210 カメラ
220 回路
225 左ディスプレイ
230 右ディスプレイ
235 ワイヤレス接続
300 システム
310 ヘッドマウントディスプレイ
315 ステム
320 ステム
322 ステム
325 ヘッドマウントディスプレイストラップ
330 カメラ
332 カメラ
335 マイクロフォン
337 マイクロフォン
340 CSIリボンケーブル
342 CSIリボンケーブル
345 リボンケーブルソケット
347 リボンケーブルソケット
350 カメラ
352 カメラ
353 上部
354 カメラ
356 カメラ
358 カメラ
360 カメラ
361 カメラ
362 カメラ
363 前部
364 ヒンジ
365 ヒンジ
370 矢印
372 ヒンジで結合された部分
400 ストラップ
410 カメラ
415 CSIリボンケーブル
420 マイクロフォン
425 I2Sインターフェースケーブル
430 矢印
500 ストラップ
505 CSIリボンケーブル
510 ステム
515 コネクタ
520 締め具
610 カメラ
612 カメラ
614 カメラ
616 カメラ
620 マイクロフォン
622 マイクロフォン
624 マイクロフォン
626 マイクロフォン
630 プロセッサ
632 プロセッサ
634 USBケーブル
636 USBケーブル
640 USBハブ
642 通信接続
645 スマートフォン
700 グラフィカルユーザインターフェース
710 録画アイコン
715 停止アイコン
720 スティッチングアイコン
725 ビューアイコン
730 共有するためのオプション
735 自動録画設定、設定オプション
740 自動録画および共有アイコン、録画および自動共有オプション
800 設定画面
815 チェックボックス
817 チェックボックス
819 チェックボックス
821 チェックボックス
825 アイコン
900 方法
1000 コンピュータ
1002 処理ユニット
1003 メモリ
1004 出力
1006 入力
1008 不揮発性メモリ
1010 取り外し可能なストレージ
1012 取り外し不可能なストレージ
1014 揮発性メモリ
1016 通信接続

Claims (20)

  1. 複数のカメラを搭載するゴーグル型の本体と、
    前記ゴーグル型の本体の着用者によって閲覧され得る位置に前記ゴーグル型の本体によって支持されるディスプレイと、
    前記ゴーグル型の本体の側面の間に伸びる支持体であって、複数のカメラを含む、支持体と、
    前記複数のカメラから映像を受信するために結合された回路であって、前記映像が、ゴーグルの周りのおよそ360度の合成された視野を含み、回路が、受信された映像をネットワークに接続された処理サービスに送信し、継ぎ合わされた立体視3次元仮想現実映像を前記ネットワークに接続された処理サービスから受信するためにワイヤレス通信デバイスに結合し、回路が、前記ディスプレイ上に表示するために受信された継ぎ合わされた立体視3次元仮想現実映像を提供するためにさらに結合される、回路とを含む仮想現実ゴーグル。
  2. 前記ゴーグル型の本体が、左向きの視野および右向きの視野を提供する前記本体の左側に支持された第1の本体カメラおよび前記本体の右側に支持された第2の本体カメラを有する請求項1に記載の仮想現実ゴーグル。
  3. 前記ゴーグル型の本体が、前向きの視野を提供する前記本体の正面に支持された第3の本体カメラを有する請求項2に記載の仮想現実ゴーグル。
  4. 前記ゴーグル型の本体が、上向きの視野を提供する前記本体の上面に支持された第4の本体カメラを有する請求項3に記載の仮想現実ゴーグル。
  5. 前記支持体が、2つのステムを含み、各ステムが、各ステムの一方の端において前記ゴーグル型の本体の異なる側面に結合され、ストラップが、各ステムの他方の端を互いに結合し、前記支持体に含まれる前記複数のカメラが、前記ストラップによって支持され、後ろ向きの視野を提供する請求項4に記載の仮想現実ゴーグル。
  6. 前記ワイヤレス通信デバイスが、セルラトランシーバを含む請求項1に記載の仮想現実ゴーグル。
  7. 前記セルラトランシーバが、前記ゴーグル型の本体によって支持されるスマートフォンを含む請求項6に記載の仮想現実ゴーグル。
  8. 前記回路が、録画オプションセレクタと、前記立体視3次元仮想現実映像を共有するためのオプションとを含むユーザインターフェースを提供するように構成される請求項1に記載の仮想現実ゴーグル。
  9. 前記ユーザインターフェースが、前記立体視3次元仮想現実映像を共有する前記ネットワークに接続された処理サービスおよびユーザを特定するための設定オプションを含む請求項8に記載の仮想現実ゴーグル。
  10. 前記ユーザインターフェースが、選択されるとき、前記ゴーグルに映像の録画を開始させ、前記映像を前記ネットワークに接続された処理サービスに自動的に送信させ、前記映像を選択されたユーザと共有させる録画および自動共有オプションを含む請求項8に記載の仮想現実ゴーグル。
  11. ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影するステップであって、前記映像が、およそ360度の合成された視野を含む、ステップと、
    受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに前記受信された映像を送信するステップと、
    前記ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信するステップと、
    前記仮想現実ゴーグルのディスプレイに受信された継ぎ合わされた立体視3次元仮想現実映像を表示するステップとを含む方法。
  12. 前記ディスプレイ上にユーザインターフェースを提供するステップであって、前記ユーザインターフェースが、録画オプションセレクタと、前記立体視3次元仮想現実映像を共有するためのオプションとを含む、ステップをさらに含む請求項11に記載の方法。
  13. 前記ユーザインターフェースが、前記立体視3次元仮想現実映像を共有する前記ネットワークに接続された処理サービスおよびユーザを特定するための設定オプションを含む請求項12に記載の方法。
  14. 前記ユーザインターフェースが、選択されるとき、前記ゴーグルに映像の録画を開始させ、前記映像を前記ネットワークに接続された処理サービスに自動的に送信させ、前記映像を選択されたユーザと共有させる録画および自動共有オプションを含む請求項13に記載の方法。
  15. 前記仮想現実ゴーグルが、本体を着用者に対して保持するための支持体を有するゴーグル型の本体を含み、前記ゴーグル型の本体の周りのおよそ360度の合成された視野を含む前記映像が、左向きの視野および右向きの視野を提供する前記本体の左側に支持される第1の本体カメラおよび前記本体の右側に支持される第2の本体カメラ、前向きの視野を提供する前記本体の正面に支持される第3の本体カメラ、上向きの視野を提供する前記本体の上面に支持される第4の本体カメラを含む複数のカメラによって提供され、前記支持体が、2つのステムを含み、各ステムが、各ステムの一方の端において前記本体の異なる側面に結合され、ストラップが、各ステムの他方の端を互いに結合し、前記支持体に含まれる前記複数のカメラが、前記ストラップによって支持され、後ろ向きの視野を提供する請求項11に記載の方法。
  16. ユーザによって身につけられている間、仮想現実ゴーグルによって支持される複数のカメラから映像を撮影する動作であって、前記映像が、およそ360度の合成された視野を含む、動作と、
    受信された映像を立体視3次元仮想現実映像へと継ぎ合わせるためのネットワークに接続された処理サービスに前記受信された映像を送信する動作と、
    前記ネットワークに接続された処理サービスから継ぎ合わされた立体視3次元仮想現実映像を受信する動作と、
    前記仮想現実ゴーグルのディスプレイに受信された継ぎ合わされた立体視3次元仮想現実映像を表示する動作とを含む動作を実行するための回路による実行のために命令を記憶するコンピュータ可読ストレージデバイス。
  17. 前記動作が、前記ディスプレイ上にユーザインターフェースを提供する動作であって、前記ユーザインターフェースが、録画オプションセレクタと、前記立体視3次元仮想現実映像を共有するためのオプションとを含む、動作をさらに含む請求項16に記載のコンピュータ可読ストレージデバイス。
  18. 前記ユーザインターフェースが、前記立体視3次元仮想現実映像を共有する前記ネットワークに接続された処理サービスおよびユーザを特定するための設定オプションを含む請求項16に記載のコンピュータ可読ストレージデバイス。
  19. 前記ユーザインターフェースが、選択されるとき、前記ゴーグルに映像の録画を開始させ、前記映像を前記ネットワークに接続された処理サービスに自動的に送信させ、前記映像を選択されたユーザと共有させる録画および自動共有オプションを含む請求項18に記載のコンピュータ可読ストレージデバイス。
  20. 前記回路が、スマートフォンを含む請求項16に記載のコンピュータ可読ストレージデバイス。
JP2020107844A 2016-05-02 2020-06-23 ヘッドマウントディスプレイコンテンツの撮影および共有 Active JP6966603B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021172371A JP2022009355A (ja) 2016-05-02 2021-10-21 ヘッドマウントディスプレイコンテンツの撮影および共有

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/144,112 2016-05-02
US15/144,112 US9823477B1 (en) 2016-05-02 2016-05-02 Head mounted display content capture and sharing
JP2018557391A JP6724164B2 (ja) 2016-05-02 2017-04-28 ヘッドマウントディスプレイコンテンツの撮影および共有

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018557391A Division JP6724164B2 (ja) 2016-05-02 2017-04-28 ヘッドマウントディスプレイコンテンツの撮影および共有

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021172371A Division JP2022009355A (ja) 2016-05-02 2021-10-21 ヘッドマウントディスプレイコンテンツの撮影および共有

Publications (2)

Publication Number Publication Date
JP2020171031A true JP2020171031A (ja) 2020-10-15
JP6966603B2 JP6966603B2 (ja) 2021-11-17

Family

ID=60157458

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018557391A Active JP6724164B2 (ja) 2016-05-02 2017-04-28 ヘッドマウントディスプレイコンテンツの撮影および共有
JP2020107844A Active JP6966603B2 (ja) 2016-05-02 2020-06-23 ヘッドマウントディスプレイコンテンツの撮影および共有
JP2021172371A Pending JP2022009355A (ja) 2016-05-02 2021-10-21 ヘッドマウントディスプレイコンテンツの撮影および共有

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018557391A Active JP6724164B2 (ja) 2016-05-02 2017-04-28 ヘッドマウントディスプレイコンテンツの撮影および共有

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021172371A Pending JP2022009355A (ja) 2016-05-02 2021-10-21 ヘッドマウントディスプレイコンテンツの撮影および共有

Country Status (5)

Country Link
US (3) US9823477B1 (ja)
EP (2) EP3443738B1 (ja)
JP (3) JP6724164B2 (ja)
CN (2) CN109076165B (ja)
WO (1) WO2017190635A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10454579B1 (en) 2016-05-11 2019-10-22 Zephyr Photonics Inc. Active optical cable for helmet mounted displays
US10598871B2 (en) * 2016-05-11 2020-03-24 Inneos LLC Active optical cable for wearable device display
CN106933364B (zh) * 2017-03-15 2019-09-27 京东方科技集团股份有限公司 字符输入方法、字符输入设备以及可穿戴设备
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
US20200285056A1 (en) * 2019-03-05 2020-09-10 Facebook Technologies, Llc Apparatus, systems, and methods for wearable head-mounted displays
US11163333B2 (en) * 2019-03-29 2021-11-02 Htc Corporation Head-mounted display
US11800231B2 (en) * 2019-09-19 2023-10-24 Apple Inc. Head-mounted display
US11297224B2 (en) * 2019-09-30 2022-04-05 Snap Inc. Automated eyewear device sharing system
US11971542B2 (en) * 2020-05-26 2024-04-30 Magic Leap, Inc. Monovision display for wearable device
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
CN115474177A (zh) * 2022-03-03 2022-12-13 北京罗克维尔斯科技有限公司 车载vr设备的通信方法、装置、电子设备及存储介质
CN116320366A (zh) * 2023-05-18 2023-06-23 中数元宇数字科技(上海)有限公司 视频流数据推送方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2007097129A (ja) * 2005-08-29 2007-04-12 Canon Inc ステレオ表示装置及びその制御方法
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2015183621A1 (en) * 2014-05-30 2015-12-03 Sony Computer Entertainment America Llc Head mounted display (hmd) system having interface with mobile computing device for rendering virtual reality content
EP3007038A2 (en) * 2014-09-22 2016-04-13 Samsung Electronics Co., Ltd. Interaction with three-dimensional video

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20100259619A1 (en) 2009-04-10 2010-10-14 Nicholson Timothy J Hmd with elevated camera
JP5560600B2 (ja) * 2009-07-09 2014-07-30 株式会社島津製作所 ヘッドモーショントラッカ装置
JP2011197736A (ja) * 2010-03-17 2011-10-06 Mitsubishi Electric Corp 視界支援装置
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US20150105035A1 (en) * 2012-04-13 2015-04-16 Eduardo Soares de Oliveira Web-Connected Safety Helmet
JP5483761B2 (ja) * 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
CN103020983B (zh) 2012-09-12 2017-04-05 深圳先进技术研究院 一种用于目标跟踪的人机交互装置及方法
US9833031B2 (en) * 2013-05-23 2017-12-05 Accenture Global Services Limited Safety accessory with situational awareness and data retention
WO2014200779A2 (en) * 2013-06-09 2014-12-18 Sony Computer Entertainment Inc. Head mounted display
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN104473717A (zh) 2014-12-04 2015-04-01 上海交通大学 针对全盲人群的可穿戴式引导设备
US9766461B2 (en) * 2015-01-20 2017-09-19 Microsoft Technology Licensing, Llc Head-mounted display device with stress-resistant components
WO2016172125A1 (en) * 2015-04-19 2016-10-27 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
CN105404005A (zh) 2015-12-10 2016-03-16 合肥虔视光电科技有限公司 用于增强现实的头戴显示器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP2007097129A (ja) * 2005-08-29 2007-04-12 Canon Inc ステレオ表示装置及びその制御方法
WO2015048906A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
WO2015122108A1 (ja) * 2014-02-17 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2015183621A1 (en) * 2014-05-30 2015-12-03 Sony Computer Entertainment America Llc Head mounted display (hmd) system having interface with mobile computing device for rendering virtual reality content
EP3007038A2 (en) * 2014-09-22 2016-04-13 Samsung Electronics Co., Ltd. Interaction with three-dimensional video

Also Published As

Publication number Publication date
JP6966603B2 (ja) 2021-11-17
JP2019519968A (ja) 2019-07-11
CN113281905A (zh) 2021-08-20
US20170315365A1 (en) 2017-11-02
EP3443738B1 (en) 2021-08-25
CN109076165A (zh) 2018-12-21
WO2017190635A1 (en) 2017-11-09
US10473941B2 (en) 2019-11-12
EP3443738A4 (en) 2019-07-17
US20180052329A1 (en) 2018-02-22
EP3923124A2 (en) 2021-12-15
EP3443738A1 (en) 2019-02-20
JP6724164B2 (ja) 2020-07-15
JP2022009355A (ja) 2022-01-14
EP3923124A3 (en) 2022-03-16
US20200166761A1 (en) 2020-05-28
CN109076165B (zh) 2021-02-12
US9823477B1 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
JP6966603B2 (ja) ヘッドマウントディスプレイコンテンツの撮影および共有
US9948863B2 (en) Self-timer preview image presentation method and apparatus, and terminal
US8937667B2 (en) Image communication apparatus and imaging apparatus
CN111050072B (zh) 一种异地合拍方法、设备以及存储介质
KR102086510B1 (ko) 헤드 마운트 디스플레이 및 제어 방법
WO2017166360A1 (zh) 视频通话方法及装置
JP2023538958A (ja) 撮影方法、装置、電子機器及びコンピュータ可読記憶媒体
JP6445707B2 (ja) 画像処理方法及び装置
WO2016187947A1 (zh) 远程拍摄方法、主控拍摄终端、被控拍摄终端及拍摄系统
CN105554372A (zh) 一种拍摄方法以及装置
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
JP2014197802A (ja) 作業支援システムおよびプログラム
CN107197147A (zh) 一种全景相机的操作控制方法和装置
JP2016151975A (ja) 合成動画データ生成システムおよびプログラム
JP2016521471A (ja) マルチモーダルセンサからの混合メディア
JP2017017444A (ja) 撮像装置およびその制御方法、プログラムならびにシステム
KR102347265B1 (ko) 화상 합성 시스템 및 방법
KR102448855B1 (ko) 화상 합성 시스템 및 방법
WO2022181378A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114051722B (zh) 成像装置和捕获图像的方法
KR101254683B1 (ko) 3ｄ 영상 촬영용 거치대 및 3ｄ 영상의 촬영 제어 방법
KR102262019B1 (ko) 네트워크 속도 반응형 확장현실(xr) 커뮤니케이션 방법 및 시스템
TWI592894B (zh) 傳送排程人形玩偶圖像和信息的傳送端裝置、伺服器、系統和方法
JP2014197803A (ja) 撮影補助システムおよびプログラム
TWM532130U (zh) 傳送排程人形玩偶圖像和信息的傳送端裝置、伺服器和系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211021

R150 Certificate of patent or registration of utility model

Ref document number: 6966603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250