JP2021520668A - ヘッドマウントディスプレイおよびその方法 - Google Patents

ヘッドマウントディスプレイおよびその方法 Download PDF

Info

Publication number
JP2021520668A
JP2021520668A JP2020538671A JP2020538671A JP2021520668A JP 2021520668 A JP2021520668 A JP 2021520668A JP 2020538671 A JP2020538671 A JP 2020538671A JP 2020538671 A JP2020538671 A JP 2020538671A JP 2021520668 A JP2021520668 A JP 2021520668A
Authority
JP
Japan
Prior art keywords
hmd
camera
movement
display device
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538671A
Other languages
English (en)
Other versions
JP6993516B2 (ja
Inventor
ホセ アラウホ，
ホセ アラウホ，
ヴォロディヤ グランチャロフ，
ヴォロディヤ グランチャロフ，
グニラ ベルントソン，
グニラ ベルントソン，
アルヴィン ジュード ハリハラン，
アルヴィン ジュード ハリハラン，
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン（パブル）
テレフオンアクチーボラゲット エルエム エリクソン（パブル）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン（パブル）, テレフオンアクチーボラゲット エルエム エリクソン（パブル） filed Critical テレフオンアクチーボラゲット エルエム エリクソン（パブル）
Publication of JP2021520668A publication Critical patent/JP2021520668A/ja
Application granted granted Critical
Publication of JP6993516B2 publication Critical patent/JP6993516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

第１の視野（ＦｏＶ）（１１１）を有する現実世界のシーンの映像を撮影するように構成されたカメラ（１０１）と、映像を受信表装置（１４０）にストリーミングするように構成されたネットワークインタフェース回路（１０２）と、現実世界のシーンの３Ｄモデルを生成し、第１のＦｏＶ（１１１）よりも広い第２のＦｏＶを用いて３Ｄモデルから映像を生成するように動作する処理手段（１０３）とを有する、ヘッドマウントディスプレイ（ＨＭＤ）（１００）が提供される。処理手段（１０３）は、カメラ（１０１）の動きを推定し、カメラ（１０１）の推定された動きが急な動きを示す１つ以上の条件を満たす場合には生成された映像を受信表示装置（１４０）にストリーミングし、そうでない場合には、撮影された映像を受信表示装置（１４０）にストリーミングするようにさらに動作する。ＨＭＤによって実行される方法、対応するコンピュータプログラム、および対応するコンピュータ読み取り可能な記憶媒体がさらに提供される。【選択図】図１

Description

本発明は、ヘッドマウントディスプレイ（ＨＭＤ）、ＨＭＤによって実行される方法、対応するコンピュータプログラム、および対応するコンピュータ読み取り可能な記憶媒体に関する。
ヘッドマウントディスプレイ（ＨＭＤ）または類似の装置は、ビジュアルリモートガイダンスアプリケーションで用いることができる。例えば、無線基地局を整備するために現場を訪問しているサポートエンジニアは、無線基地局のキャビネットなど、サポートエンジニアが見ている現実世界のシーンの映像を撮影する正面向きのカメラを備えたＨＭＤを装着することができる。ＨＭＤは、撮影された映像を、サポートエンジニアを指導および／または支援している専門家が映像を視聴する遠隔地（例えばネットワークオペレーションセンタ（ＮＯＣ））にストリーミングしながら、サポートエンジニアに関連文書を表示するために用いられうる。
ＨＭＤが備えるカメラの視野（ＦｏＶ）は限られているため、ＨＭＤのカメラで撮影された映像の視聴者は、サポートエンジニアが訪問した現場について限られた視野のみを有することになる。これが特に当てはまるのは、整備対象の設備のクローズアップ像を提供するためにＨＭＤカメラをズームアップ拡大した場合である。
撮影された映像の視野が限定されることにより、撮影された映像を視聴している人は映像酔い(Visually Incuced Motion Sickness (VIMS))を起こす可能性がある。これが特に当てはまるのは、例えば、サポートエンジニアが首を振ったり急に位置を変えたりするなどして、ＨＭＤカメラの動きが速い場合である。一般に、映像酔いは、見えているのに感じられない動きによって引き起こされる。視野が制限されることで、現実世界のシーンの視覚的な基準点(reference points)のサブセットのみが映像によって撮影される。

本発明の目的は、上述の技術および従来技術の、改善された代替技術を提供することである。
より具体的には、ビジュアルリモートガイダンスアプリケーションのための改善された解決方法を提供することが本発明の１つの目的である。特に、映像酔いのリスクを軽減する、ビジュアルリモートコラボレーションのための解決方法を提供することが本発明の１つの目的である。
本発明のこれらの目的および他の目的は、独立請求項によって定義されるように、本発明の様々な態様によって達成される。本発明の実施形態は、従属請求項によって特徴付けられる。
本発明の第１の態様によれば、ＨＭＤが提供される。ＨＭＤは、第１の視野(FoV)を有する現実世界のシーンの映像を撮影するように構成されたカメラと、映像を受信表示装置にストリーミングするように構成されたネットワークインタフェース回路と、処理手段とを有する。処理手段は、現実世界の３Ｄモデルを生成し、３Ｄモデルから、第１の視野よりも広い第２の視野を用いて映像を生成するように動作する。処理手段はさらに、カメラの動きを推定し、カメラの推定された動きが急な動きを示す１つ以上の条件を満たす場合には、生成された映像をを受信表示装置にストリーミングし、そうでない場合には、撮影された映像を受信表示装置にストリーミングするように動作する。
本発明の第２の態様によれば、ＨＭＤによって実行される方法が提供される。方法は、ＨＭＤが備えるカメラを用い、現実世界のシーンの映像を第１の視野で撮影することと、現実世界のシーンの３Ｄモデルを生成することと、第１の視野よりも広い第２の視野で３Ｄモデルから映像を生成することとを有する。方法はさらに、カメラの動きを推定することと、カメラの推定された動きが急な動きを示す１つ以上の条件を満たしている場合には生成した映像をＨＭＤが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングし、それ以外の場合には撮影された映像をネットワークインタフェース回路を用いて受信表示装置にストリーミングすることを有する。
本発明の第３の態様によれば、コンピュータプログラムが提供される。コンピュータプログラムは、コンピュータ実行可能な命令がＨＭＤが備える処理ユニットで実行された場合に、本発明の第２の態様の実施形態に従った方法をＨＭＤに実行させるためのコンピュータ実行可能な命令を有する。
本発明の第４の態様によれば、コンピュータ読み取り可能な記憶媒体が提供される。コンピュータ読み取り可能な記憶媒体は、本発明の第３の側面に従ったコンピュータプログラムを格納している。
本発明は、ＨＭＤの実施形態によってストリーミングされる映像の視聴者が映像酔いを起こすリスクが、カメラの動きが速い場合には、撮影された映像ではなく、ズームアウトした生成映像をストリーミングすることによって軽減されるという知見を用いている。
本発明の利点は、本発明の第１の態様の実施形態に関して記載されている場合もあるが、同様の趣旨は本発明の他の態様の実施形態にも当てはまる。
本発明のさらなる目的、特徴、および利点は、以下の詳細な開示、図面、および添付の特許請求の範囲の検討を通じて明らかになるであろう。本発明の異なる特徴を組み合わせて、以下に説明されない実施形態を創作することが可能であることは、本技術分野に属する当業者が理解するところである。
本発明の、上述した目的、特徴、および利点ならびにさらなる目的、特徴および利点は、添付図面に関する、本発明の実施形態の以下の例示的かつ非限定的な詳細な説明によって、よりよく理解されるであろう。
本発明の実施形態に係る、リモートコラボレーションシナリオにおけるＨＭＤを示す図である。 本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。 本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。 本発明の実施形態に係る、ＨＭＤによるストリーミング映像を示す図である。 ＨＭＤが備える処理手段の一実施形態を示す図である。 ＨＭＤが備える処理手段の別の実施形態を示す図である。 本発明の実施形態に係る、ＨＭＤによって実行される方法を示す図である。
すべての図は模式的なものであり、必ずしも均一に縮尺されておらず、概して本発明を説明するために必要な部分のみを示しており、他の部分は省略もしくは単なる示唆に留まりうる。
以下、本発明の特定の実施形態を示す添付図面に関して本発明をより詳細に説明する。しかしながら、本発明は多くの異なる形態で具現化されてもよく、したがって本明細書に記載された実施形態に限定されるものと解釈されるべきではない。むしろ、これらの実施形態は、本開示が詳細かつ完全なものとなるように、また、本発明の範囲を本技術分野に属する当業者に十分伝わるように例示として提供されている。
本発明は、ビジュアルリモートガイダンスに関するものであり、現在の文脈では、第１の人物（例えば、ヘッドマウントディスプレイ（ＨＭＤ）を装着したサポートエンジニア）が装着したヘッドマウントカメラを用いて映像を撮影することおよび、撮影された映像を、異なる（離れているかもしれない）場所でその撮影された映像を視聴している第２の人物と（例えば、ストリーミングによって）共有することを包含する。第２の人物は、例えば、整備が必要な場所、例えば、電気通信ネットワークの無線基地局または他の装置を訪問しているサポートエンジニアを指導および／または支援する専門家であってよい。本発明の実施形態は、主に電気通信ネットワークの装置を整備することに関連して説明されるが、本発明の実施形態は、車両（例えば、自動車、トラック、列車、および飛行機）を整備すること、家電製品（例えば、食器洗い機、洗濯機、冷蔵庫、およびヒートポンプ）を整備すること、データセンター内のコンピュータおよびネットワーク機器を整備すること、（例えば、警備員または法執行者によって）建設工事を監視することなど、多くの異なるタイプのビジュアルリモートガイダンスアプリケーションにおいて用いることができる。
図１には、本発明の実施形態に係るＨＭＤ１００を示す。ＨＭＤ１００は、第１の視野（ＦｏＶ）１１１で現実世界のシーンの映像を撮影するように構成されたカメラ１０１を備えている。カメラ１０１は、例えば、ＨＭＤ１００を装着したユーザ１５１の前方のシーンを撮影する、正面向きのカメラであってよい。ＨＭＤ１００はさらに、映像を受信表示装置１４０にストリーミングするように構成されたネットワークインタフェース回路１０２を備える。映像は受信表示装置１４０でレンダリングされ、視聴者１５２へ表示されてもよい。図１に示すように、ＨＭＤ１００を装着している人物１５１（ここでは「ユーザ」と呼ぶ）と視聴者１５２とは、異なる（離れているかもしれない）場所に存在しうる。以下では、ユーザ１５１と視聴者１５２とが遠隔的に共同作業を行っているものとする。例えば、ユーザ１５１は、無線基地局キャビネット１２１が配置された通信ネットワークの無線基地局サイトを訪問しているサポートエンジニアであってもよい。カメラ１０１で撮影されたライブ映像ストリームを受信表示装置１４０を用いて視聴する視聴者１５２は、サポートエンジニア（視聴者）１５１を指導および／または支援する専門家であってよい。
ネットワークインタフェース回路１０２は、例えば、任意の既知の有線または無線通信技術に基づくものであってよい。例えば、ネットワークインタフェース回路１０２は、ワイヤレスローカルアリーナネットワーク（ＷＬＡＮ）／Ｗｉ-ＦｉまたはＢｌｕｅｔｏｏｏｔｈのような短距離無線技術、またはＧＳＭ(Gloval System for Mobile communications)、ＵＭＴＳ(Universal Telecommunicaiton System)、ＬＴＥ(Long Term Evolusion)、またはＮＲ／ＮＸに基づく５Ｇ技術のようなセルラ無線技術に基づくものであってよい。ＨＭＤ１００と受信表示装置１４０との間の通信、すなわちデータの交換、特に映像のストリーミングは、例えば、ＨＴＴＰ(HyperText Transfer Protocol)、ＣｏＡＰ(Constrained Application Protocol)、ＲＴＳＰ(Real-time Streaming Protocol)、ＲＴＰ(Real-time Transport Protocol)、ＲＴＣＰ(Real-time Transport Control Protocol)、ＤＡＳＨ(Dynamic Adaptive Streaming over HTTP)など、任意の適切なプロトコルを用いて開始することができる。図１に例示されるように、ＨＭＤ１００と受信表示装置１４０との間の通信は、有線または無線接続１３１、１３２と、１つ以上の通信ネットワーク１３０、例えばインターネットを介して伝送されうる。
ＨＭＤ１００は、ＨＭＤ１００を本明細書に記載された本発明の実施形態に従って機能させるように動作する処理手段１０３をさらに備えている。より具体的には、ＨＭＤ１００は、現実世界のシーンの３Ｄモデルを生成し、第１の視野１１１よりも広い第２の視野、すなわち現実世界のシーンの「ズームアウトされた」眺めを用いて３Ｄモデルから映像を生成するように動作する。３Ｄモデルは、例えば、カメラ１０１によって撮影された映像から（この目的のため、カメラ１０１はズームアウト、すなわち、その視野１１１を増加させる必要がある）、および／またはＨＭＤ１００に設けられた、例えば、ステレオカメラを形成する追加カメラから、生成されうる。あるいは、またはそれに加えて、３Ｄモデルは、例えばＬＩＤＡＲまたは類似のレーダー技術を用いる１つ以上の深度センサ、または他のタイプの３Ｄスキャナから生成されてもよい。ＬＩＤＡＲは、パルス状のレーザ光を対象物に照射し、反射パルスをセンサで検出することによって対象物までの距離を測定する。その後、レーザの戻り時間および波長の差を用いて、対象物の３次元表現、すなわち３Ｄモデルを生成することができ、したがって、複数の対象物を有する現実世界のシーンのモデルを生成することができる。
３Ｄモデルは、例えば、点群として、生成、保存、および処理することができる。一般的に点群とは、ある座標系におけるデータ点の集合である。コンピュータグラフィックス分野で知られている多くの方法論を用いることにより、点群に基づいて３次元表面を生成することができる。点群から表面を再構成するための方法についての概要は、M. Berger、A. Tagliasacchi、L. M. Seversky、P. Alliez、G. Guennebaud、J. A. Levine、A. Sharf、およびC. T. Silvaによる「A Survey of Surface Reconstruction from Point Clouds」、 Computer Graphics Forum, Volume 36, pages 301-329, Wiley, 2017に記載されている。一例として、移動する低コストのデプスカメラ（Microsoft Kinectセンサー）を用いた屋内シーンのリアルタイムマッピングが、R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges, およびA. Fitzgibbonによる「KinectFusion: Real-time dense surface mapping and tracking」, 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pages 127-136, IEEE, 2012に報告されているさらなる例として、ステレオデプスカメラを用いた、人、家具、オブジェクトを含む空間のリアルタイム３Ｄ再構成が、S. Orts-Escolanoらの「Holoportation.Virtual 3D Teleportation in Real-time」、Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST '16), pages 741-754, ACM, 2016に説明されている。
映像はその後、コンピュータグラフィックス分野で知られているように、例えば点群によって表される３Ｄモデルから生成されうる。これは、例えば、２Ｄ／３Ｄ画像および点群処理のためのフレームワークであるPoint Cloud Library (PCL)(http://pointclouds.org/）、２Ｄおよび３ＤベクタグラフィックスをレンダリングするためのライブラリであるOpen Graphics Library (OpenGL) (https://www.opengl.org/）、または２Ｄおよび３Ｄ映像をレンダリングするためのゲームエンジンであるUnity 3D（https://unity3d.com/）のような、容易に入手可能なソフトウェアを用いて実現されてもよい。
ＨＭＤ１００はさらに、カメラ１０１の動きを推定するように動作する。例えば、ＨＭＤ１００は、加速度計、ジャイロスコープ、地磁気計、全地球測位システム（ＧＰＳ）センサなど、ＨＭＤ１００の動きを感知するように構成された少なくとも１つの動きセンサ１０４をさらに備えてもよい。ＨＭＤ１００は、１つ以上の動きセンサ１０４から受信した測定データおよび／または信号を分析することにより感知されたＨＭＤ１００の動きと、ＨＭＤ１００の配置、特にはカメラ１０１と１つ以上の動きセンサ１０４との間の距離とに基づいて、カメラ１０１の動きを推定するように動作する。より具体的には、ＨＭＤ１００は、ＨＭＤ１００を装着しているユーザ１５１の頭部の動きによって生じるカメラ１０１の回転運動、傾斜運動、並進運動のうち少なくとも１つを推定するように動作してもよい。
代替構成として、ＨＭＤ１００は、カメラ１０１によって撮影された映像の続くフレームを分析することに基づいて、カメラ１０１の動きを推定するように動作してもよい。これは、例えば、映像の符号化／圧縮から知られている（グローバルな）動き推定によって実現することができる。動き推定は、ある画像から別の画像への変化、通常はカメラ１０１で撮影された映像のような映像シーケンスの隣接フレーム間での変化を表す動きベクトルを求める処理である。これは、例えば、当技術分野で知られているように、映像フレームシーケンスで合致するマクロブロックを見つけるためのブロックマッチングアルゴリズムを用いることによって実現することができる。
ＨＭＤ１００はさらに、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすか否かを判定し、満たす場合には、生成された映像、すなわち、第１の視野１１１よりも広い第２の視野を用いて３Ｄモデルから生成された映像を、受信表示装置１４０にストリーミングするように動作する。ＨＭＤ１００はさらに、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たさない場合には、撮影された映像、すなわち第１の視野１１１を用いてカメラ１０１で撮影された映像を、受信表示装置１４０にストリーミングするように動作する。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす可能性が高い動きのパターン(motion regime)を示すものである。
１つ以上の条件は、例えば、並進速度または速度、並進加速度、回転速度または速度、および回転加速度のうちの任意の１つまたは組み合わせについての閾値であってよい。この点において、ＨＭＤ１００は、カメラ１０１の推定された動きを１つ以上の閾値と比較することにより、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかを判定するように動作してもよい。例えば、ＨＭＤ１００は、推定された動きが１つ以上の閾値を超えた場合に、カメラ１０１の推定された動きが急な動きを示す１以上の条件を満たすと判定するように動作してもよい。これは、例えば、ＨＭＤ１００を装着したユーザ１５１が、並進（前後左右移動）、回転（左右回転）、または傾動（前後左右）により、頭を急に動かした場合に該当しうる。
一例として、ＨＭＤ１００は、所定の期間、例えば数分の１秒から数秒までの期間にわたり、カメラ１０１の推定された動きをいくつか平均し、場合によって重み付けすることにより、カメラ１０１の動きを追跡し続けるように動作してもよい。好ましくは、カメラ１０１の推定された動きの平均Ｖａｖｅの現在値は、例えば、カメラ１０１によって撮影された映像フレームごとに、すなわち撮影された映像のフレームレートで、定期的に計算される。あるいは、カメラ１０１の推定された動きの平均の現在値は、ｎ番目のフレームごとに（すなわち、フレームレートの１／ｎで）計算されてもよく、ここで、ｎは正の整数である。例えば、現在の時刻ｔ０において、カメラ１０１の推定された動きの平均値の現在の値は以下の様に計算されうる。
Figure 2021520668
 ここで、Ｖ（ｔ）は時刻ｔにおけるカメラ１０１の推定された動きであり、重み関数ｗ（ｔ）は以下の様に選択される。
Figure 2021520668
この特定例において、カメラ１０１の推定された動きＶ（ｔ）は、並進速度または回転速度成分、並進速度または回転速度の絶対値、またはそれらの組み合わせなど、任意の速度成分であってよい。
１つ以上の閾値は、例えば、ＨＭＤ１００の製造者であり、リモートコラボレーションに用いられる、処理手段１０３が実行可能なソフトウェアの提供者によって、あるいはユーザ１５１によって設定されてもよい。閾値は、絶対値もしくは相対値で表現されてよい。上記の例に関して、急な動きを示す条件は、例えば、カメラ１０１の推定された動きの現在の値Ｖ（ｔ０）が、カメラ１０１の推定された動きの現在の平均値Ｖａｖｅ（ｔ０）を所定量超えた場合、すなわち、
Figure 2021520668
 であれば、満たされていると見なすことができる。
ここで、ａ＞１である。例えば、ａ＝１．５の場合、カメラ１０１の推定された動きの現在の値が、カメラ１０１の動きの現在の平均値を少なくとも５０％上回っていれば、急激な動きを示す条件が満たされる。
場合によっては、１つ以上の閾値は、通常の動作中に学習され、調整されてもよい。例えば、受信表示装置１４０は、視聴者１５２がＶＩＭＳを起こしているかどうかを検出し、それを受けてＨＭＤ１００に通知するように動作してもよい。これに対応してＨＭＤ１００は、そのような通知を受信すると、並進／回転・速度／速度／加速度など、ＶＩＭＳを生じさせた推定された動きを記録するように動作してもよい。このような記録された推定動き値に基づいて、ＨＭＤ１００は、視聴者１５２がＶＩＭＳを起こすリスクを最小化するように選択される、１つ以上の閾値を決定するように動作してもよい。例えば、記録された推定動き値に基づいて、閾値を、映像酔いを引き起こす記録された推定動き値の下限値、または下限値より少し低い値に設定することができる。
本発明の実施形態は、（ユーザ１５１が装着するＨＭＤ１００が備えるカメラ１０１のような）非静止カメラで撮影され、そこから受信する映像ストリームを視聴する（視聴者１５２のような）のリスクを低減するという点で有利である。これは、受信表示装置１４０に対して、ＨＭＤ１００が急速に動いていない場合、すなわち、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たさない場合にカメラ１０１によって撮影された映像をストリーミングすることと、ＨＭＤ１００が急速に動いている場合に、カメラ１０１の第１の視野よりも広い第２の視野を用いて現実世界のシーンの３次元モデルから生成された映像をストリーミングすることとを切り替えることによって実現される。カメラ１０１の第１の視野１１１から、生成された映像の、より広い第２の視野にズームアウトすることにより、図１に示されたドア１２２のような現実世界シーンの新たな参照点(reference points)が、視聴者１５２に表示されるストリーミングされた（生成された）映像で視認可能になる。したがって、視聴者１５２が映像酔いを起こすリスクは低減もしくは緩和される。
場合によっては、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす場合にのみ、現実世界のシーンの３Ｄモデルを生成するように動作してもよい。これにより、撮影された映像から３Ｄモデルを生成するために必要な処理量、および／または追加のカメラおよび／または深度センサから受信するデータが削減され、ＨＭＤ１００の電池寿命が延長されるという利点がある。
場合によっては、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす場合にのみ、第１の視野よりも広い第２の視野を用いて３Ｄモデルから映像を生成するように動作してもよい。これにより、３Ｄモデルから映像を生成するために必要な処理量が削減され、ＨＭＤ１００の電池寿命が延長されるという利点がある。
本発明の実施形態にしたがって、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかに応じて、ＨＭＤ１００による映像表現を撮影された映像と生成された映像との間で切り替えることについて、図２にさらに示す。より具体的には、図２Ａは、図１に図示したようにＨＭＤ１００を装着したユーザ１５１が無線基地局キャビネット１２１を向いている場合に、カメラ１０１によって撮影された映像レーム２１０の例を示しており、撮影された映像フレーム２１０が受信表示装置１４０に表示されている。
図２Ｂには、ユーザ１５１が観察している現実世界のシーンの３Ｄモデルから生成されている映像フレーム２２０が例示されている。図２Ｂに示されたフレーム２２０は現実世界のシーンの３Ｄモデルから生成されており、図２Ａに示されるカメラ１０１で撮影されたフレームよりも典型的には詳細度が低いことが分かる。特に、細部、表面テクスチャなどに関しての詳細レベルは、典型的には、３Ｄモデルから映像を生成するために利用可能な処理リソースに依存する。フレーム２２０は、撮影されたフレーム２１０と実質的に同じ視野、すなわちカメラ１０１の第１の視野１１１を用いて生成されていることに留意されたい。これに対して、図２Ｃは、フレーム２１０を撮影するために用いられるカメラ１０１の第１の視野１１１よりも広い視野を有する現実世界のシーンの３次元モデルから生成されているフレーム２３０を示している。すなわち、フレーム２３０は、現実世界のシーンの３Ｄモデルから生成された、ＨＭＤ１００を装着したユーザ１５１の目の前にある現実世界のシーンをズームアウトした眺めを提供する。好都合なことに、フレーム２２０と比較して、フレーム２３０のズームアウトされた眺めは、現実世界のシーンにおける追加の基準点、すなわちドア１２２を含んでいる。この追加の基準点のおかげで、遠隔視聴者１５２が映像酔いを起こすリスクは低減されるか、緩和される。
さらに図１に関して、ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たし、第１の視野１１１が人間の視野を代表する閾値よりも狭い場合に、生成された映像を受信表示装置１４０にストリーミングするように動作してもよい。そうでなければ、ＨＭＤ１００は、撮影された映像を受信表示装置１４０にストリーミングするように動作する。なお、人間の視野を代表する閾値は、例えば、ＨＭＤ１００の製造者であり、リモートコラボレーションに使用される、処理手段１０３によって実行されるソフトウェアの提供者によって、またはユーザ１５１によって設定されてよく、人間の視野に関する汎用的な値を表すものであってもよいし、視聴者１５２の視野を表す特定の値であってもよい。
ＨＭＤ１００は、第１の視野１１１とカメラ１０１の推定された動きとに基づいて第２の視野を決定するようにさらに動作してもよい。例えば、第２の視野は、生成された映像に少なくとも１つの追加の基準点が視認できるように選択されうる。追加の基準点の存在、および追加の基準点のカメラ１０１の現在の第１の視野１１１における個々の位置は、現実世界のシーンの生成された３Ｄモデルおよびカメラ１０１の推定された動きに基づいて決定されてもよい。後者は、生成された映像で現実世界のシーンの基準点を見えるようにするために、視野をどの程度まで広げる必要があるかを決定するために用いられうる。これは特に、カメラ１０１の動きとそれに伴う第１の視野１１１の動きによって、生成された映像で見えるようになりそうな基準点について当てはまる。受信表示装置１４０にストリーミングされる生成された映像に追加の基準点が存在することにより、視聴者１５２が映像酔いを起こすリスクが低減される。あるいは、第２の視野は、ＨＭＤ１００の製造者であり、リモートコラボレーションに使用され、処理手段１０３によって実行されるソフトウェアの提供者によって、ユーザ１５１によって、または視聴者１５２によって事前に設定されうる。例えば、受信表示装置１４０は、受信表示装置１４０で設定を変更することによって視聴者１５２が第２の視野を調整することを可能にするように動作してもよく、その設定は、ＨＭＤ１００に通知される。
ＨＭＤ１００は、生成された映像を受信表示装置１４０にストリーミングすることに続き、生成された映像を所定期間ストリーミングしたこと、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たしていると判定したことの少なくとも一方に応答して、撮影された映像を受信表示装置１４０にストリーミングするようにさらに動作してもよい。すなわち、ＨＭＤ１００は、例えば、カメラ１０１の推定された動きが、例えば５秒といった所定期間の間、急な動きを示す１つ以上の条件を満たした場合に、撮影された映像のストリーミングに復帰するように動作する。この期間は、視聴者１５２の脳が、例えば、ズームアウトされた生成された映像で視認できる追加基準点によって、急な動きに適応することができるように選択される。ＨＭＤ１００は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たすかどうかを決定することに関連して本明細書で先に説明したことと同様に、１つ以上の閾値に基づいて、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たすことを判定するように動作してもよい。例えば、急な動きを示す１つ以上の条件が、ＨＭＤ１００またはカメラ１０１の並進または回転のいずれかについて測定された加速度に関する閾値を超えることとして表わされる場合、安定した動きを示す１つ以上の条件は、カメラ１０１の推定された動きが、測定された加速度の閾値を超えないこと、すなわち、対応する閾値よりも小さいことであると表されてよい。急な動きを検出するための１以上の閾値のセットおよび安定した動きを検出するための１以上の閾値のセットのそれぞれは同一であってもなくてもよい。ヒステリシス効果を与え、撮影された映像のストリーミングと、ズームアウトされた生成された映像のストリーミングとが高速で交互に切り替わることを防ぐために、異なる値を用いることが有利である。代替的に、ＨＭＤ１００がズームアウトされた生成された映像のストリーミングに切り替わる（または逆の切り替わり）前に、撮影された映像が所定期間ストリーミングされることを確実にするためにタイマを用いることができる。
本発明の実施形態を主にＨＭＤ１００に関して説明してきたが、本発明の実施形態はＨＭＤ以外のカメラ装置に基づくものであってもよいことが理解されよう。例えば、本発明の実施形態は、ユーザ１５１が手で持ったり、ユーザ１５１の身体に装着できたりすることができる、携帯電話、スマートフォン、タブレット、デジタルカメラなどで実施されてもよい。一例として、本発明の実施形態は、ユーザ１５１の頭部もしくはユーザ１５１が着用するヘルメットに装着されるヘッドマウントカメラ、例えばGoProカメラで実施されうる。
以下、図３及び図４を参照して、ＨＭＤ１００のようなＨＭＤの実施形態に含まれる処理手段１０３の実施形態について説明する。
図３に、処理手段１０３の第１実施形態３００を示す。処理手段３００は、汎用プロセッサなどの処理ユニット３０２と、ＲＡＭ（Random-Access Memory）やフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体３０３とを有する。さらに、処理手段３００は、カメラ１０１、ネットワークインタフェース回路１０２、１つ以上のモーションセンサ１０４など、ＨＭＤが備える他の構成要素を制御する、および／またはそれら構成要素から情報を受信するための１つ以上のインタフェース３０１（図３では「Ｉ／Ｏ」）を有する。メモリ３０３は、コンピュータが実行可能な命令３０４、すなわちコンピュータプログラムまたはソフトウェアを有する。コンピュータ実行可能な命令３０４は、処理ユニット３０２で実行されたときに、ＨＭＤが本明細書に記載された本発明の実施形態にしたがって機能するように動作させる。
処理手段１０３の代替的な実施形態４００を図４に示す。処理手段３００と同様に、処理手段４００は、カメラ１０１、ネットワークインタフェース回路１０２、および１つ以上のモーションセンサ１０４などのＨＭＤが備える他の構成要素を制御する、および／またはそれら構成要素から情報を受信するための１つ以上のインタフェース４０１（図４では「Ｉ／Ｏ」）を有する。処理手段４００はさらに、モデルモジュール４０２、映像モジュール４０３、動きモジュール４０４、およびストリーミングモジュール４０５を有し、これらは、本明細書に記載されているような本発明の実施形態にしたがってＨＭＤを機能させるように構成されている。
特に、モデルモジュール４０２は、現実世界のシーンの３Ｄモデルを生成するように構成され、映像モジュール４０３は、第１の視野１１１よりも広い第２の視野を用いて、３Ｄモデルから映像を生成するように構成されている。動きモジュール４０４は、カメラ１０１の動きを推定するように構成されている。ストリーミングモジュール４０５は、カメラの推定された動きが急な動きを示す１つ以上の条件を満たしている場合には、生成された映像を受信表示装置１４０にストリーミングし、そうでない場合には、撮影された映像を受信表示装置１４０にストリーミングするように構成されている。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
場合によっては、ストリーミングモジュール４０５は、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たし、第１の視野１１１が人間の視野を代表する閾値よりも小さい場合に、生成された映像を受信表示装置１４０にストリーミングし、そうでなければ、撮影された映像を受信表示装置１４０にストリーミングするように構成されてもよい。
場合によっては、動きモジュール４０４は、ＨＭＤ１００の感知された動きに基づいてカメラ１０１の動きを推定するように構成されてもよい。代わりに、動きモジュール４０４は、撮影された映像の続くフレームを分析することに基づいて、カメラ１０１の動きを推定するように構成されてもよい。
場合によっては、映像モジュール４０３は、第１の視野１１１とカメラ１０１の推定された動きとに基づいて第２の視野を決定するように構成されてもよい。
場合によっては、ストリーミングモジュール４０５は、生成された映像を受信表示装置１４０にストリーミングすることに続いて、生成された映像を所定期間ストリーミングしたことと、カメラ１０１の推定された動きが安定した動きを示す１つ以上の条件を満たすと判定されたことの少なくとも１つに応答して、撮影された映像を受信表示装置１４０にストリーミングするようにさらに構成されてもよい。
処理手段４００が有するモジュール４０２〜４０５は、本明細書に記載されているように、本発明の実施形態に従って追加的または代替的な動作を実行するようにさらに構成されてもよい。
インタフェース３０１および４０１、モジュール４０２〜４０５、ならびに処理手段４００が有する任意の追加モジュールは、任意の種類の電子回路によって、例えば、アナログ電子回路、デジタル電子回路、および適切なコンピュータプログラム、すなわちソフトウェアを実行する処理手段のいずれか１つまたは組み合わせによって実施することができる。
以下、図５を参照して、ＨＭＤ１００のようなＨＭＤによって実行される方法の実施形態５００を説明する。
方法５００は、ＨＭＤ１００が備えるカメラ１０１を用いて、第１の視野の現実世界のシーンの映像を撮影すること５０１と、現実世界のシーンの３Ｄモデルを生成すること５０３／５１３と、第１の視野１１１よりも広い第２の視野を用いて、３Ｄモデルから映像を生成すること５０４／５１４とを有する。方法５００はさらに、カメラ１０１の動きを推定すること５０５と、カメラ１０１の推定された動きが急な動きを示す１つ以上の条件を満たす５０６場合には、生成された映像をＨＭＤ１００が備えるネットワークインタフェース回路１０２を用いて受信表示装置１４０にストリーミングすること５１５と、そうでない場合には、撮影された映像をネットワークインタフェース回路１０２を用いて受信表示装置１４０にストリーミングすること５２５とを有する。急な動きを示す１つ以上の条件は、好ましくは、撮影された映像の視聴者が映像酔いを起こす動きのパターン(motion regime)を示すものである。
場合により、カメラ１０１の５０５で推定された動きが急な動きを示す１つ以上の条件を満たし５０６、かつ第１の視野１１１が人間の視野を代表する閾値よりも小さい場合には５０４で生成された映像が受信表示装置１４０にストリーミング５１５され、そうでない場合には撮影された映像が受信表示装置１４０にストリーミング５２５される。
場合により、カメラ１０１の動きは、ＨＭＤ１００が備える少なくとも１つの動きセンサ１０４を用いて感知されたＨＭＤ１００の動きに基づいて推定５０５される。あるいは、カメラ１０１の動きは、５０１で撮影された映像の続くフレームを分析することに基づいて推定５０５される。
場合により、方法５００は、第１の視野１１１とカメラ１０１の５０５で推定された動きとに基づいて、第２の視野を決定すること５１２をさらに有してもよい。
場合により、方法５００は、生成された映像を受信表示装置１４０にストリーミングすること５１５に続いて、生成された映像を所定期間ストリーミングしたこと５１６と、カメラの推定された動きが安定した動きを示す１つ以上の条件を満たすと判定されたこと５１７との少なくとも１つに応答して、撮影された映像を受信表示装置１４０にストリーミングすること５２５をさらに有する。
方法５００は、本開示全体を通して記載されている内容にしたがって、追加の、または修正されたステップを有しうることが理解されよう。方法５００の実施形態は、ＨＭＤが備える処理ユニットによって実行されるコンピュータプログラム３０４のようなソフトウェアとして実施することができ、それによってＨＭＤは、本明細書に記載された本発明の実施形態にしたがって機能するように動作するようになる。
本技術分野に属する当業者は、本発明が上述の実施形態に決して限定されるものではないことを認識する。むしろ、添付の特許請求の範囲の範囲内で多くの修正や変形が可能である。

Claims (16)

  1. ヘッドマウントディスプレイ（ＨＭＤ）（１００）であって、
    第１の視野（１１１）を有する現実世界のシーンの映像を撮影するように構成されたカメラ（１０１）と、
    受信表示装置（１４０）に映像をストリーミングするように構成されたネットワークインタフェース回路（１０２）と、
    処理手段（１０３）とを有し、
    前記処理手段（１０３）は、
    前記現実世界のシーンの３Ｄモデルを生成し、
    前記第１の視野（１１１）よりも広い第２の視野を用いて、前記３Ｄモデルから映像を生成し、
    前記カメラ（１０１）の動きを推定し、
    前記カメラ（１０１）の前記推定された動きが、急な動きを示す１つ以上の条件を満たしていれば、前記生成された映像を前記受信表示装置（１４０）にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置（１４０）にストリーミングする、ように動作する、ＨＭＤ。
  2. 前記処理手段（１０３）は、前記カメラ（１０１）の前記推定された動きが急な動きを示す１つ以上の条件を満たし、前記第１の視野（１１１）が人間の視野を代表する閾値よりも小さい場合、前記生成された映像を前記受信表示装置（１４０）にストリーミングし、そうでなければ、前記撮影された映像を前記受信表示装置（１４０）にストリーミングするように動作する、請求項１に記載のＨＭＤ。
  3. 前記ＨＭＤ（１００）の動きを感知するように構成された少なくとも１つの動きセンサ（１０４）をさらに有し、前記処理手段（１０３）は、前記ＨＭＤ（１００）の感知された動きに基づいて前記カメラ（１０１）の前記動きを推定するように動作する、請求項１または２に記載のＨＭＤ。
  4. 前記処理手段（１０３）は、前記撮影された映像の続くフレームを解析することに基づいて、前記カメラ（１０１）の前記動きを推定するように作動する、請求項１または２に記載のＨＭＤ。
  5. 前記処理手段（１０３）は、前記第１の視野（１１１）と前記カメラ（１０１）の前記推定された動きとに基づいて前記第２の視野を決定するように動作する、請求項１から４のいずれか１項に記載のＨＭＤ。
  6. 前記急な動きを示す１つ以上の条件が、前記撮影された映像の視聴者（１５２）が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項１から５のいずれか１項に記載のＨＭＤ。
  7. 前記処理手段（１０３）は、前記生成された映像を前記受信表示装置（１４０）にストリーミングすることに続き、
    前記生成された映像を所定期間ストリーミングしたことと、
    前記カメラ（１０１）の前記推定された動きが、安定した動きを示す１つ以上の条件を満たしていると判定したこと、
    の少なくとも１つに応答して、前記撮影された映像を前記受信表示装置（１４０）にストリーミングするように、さらに作動する、請求項１から６のいずれか１項に記載のＨＭＤ。
  8. ヘッドマウントディスプレイ（ＨＭＤ）が実行する方法（５００）であって、
    前記ＨＭＤが備えるカメラを用いて、第１の視野を有する現実世界のシーンの映像を撮影する（５０１）ことと、
    前記現実世界のシーンの３Ｄモデルを生成する（５０３，５１３）ことと、
    前記第１の視野よりも広い第２の視野を用いて、前記３Ｄモデルから映像を生成する（５０４，５１４）ことと、
    前記カメラの動きを推定する（５０５）ことと、
    前記カメラの前記推定された動きが、急な動きを示す１つ以上の条件を満たしていれば（５０６）、前記生成された映像を、前記ＨＭＤが備えるネットワークインタフェース回路を用いて受信表示装置にストリーミングする（５１５）ことと、そうでなければ、前記撮影された映像を、前記ネットワークインタフェース回路を用いて前記受信表示装置にストリーミングする（５２５）ことと、を有する、方法。
  9. 前記カメラの前記推定された動きが急な動きを示す１つ以上の条件を満たし（５０６）、前記第１の視野が人間の視野を代表する閾値よりも小さい場合には前記生成された映像が前記受信表示装置にストリーミングされ（５１５）、そうでなければ、前記撮影された映像が前記受信表示装置にストリーミングされる（５２５）、請求項８に記載の方法。
  10. 前記カメラの前記動きが、前記ＨＭＤが備える少なくとも１つの動きセンサを用いて感知された前記ＨＭＤの動きに基づいて推定される（５０５）、請求項８または９に記載の方法。
  11. 前記撮影された映像の続くフレームを分析することに基づいて前記カメラの前記動きが推定される（５０５）、請求項８または９に記載の方法。
  12. 前記第１の視野と、前記カメラの前記推定（５０５）された動きとに基づいて、前記第２の視野を決定すること（５１２）をさらに有する、請求項８から１１のいずれか１項に記載の方法。
  13. 前記急な動きを示す１つ以上の条件が、前記撮影された映像の視聴者が映像酔い(VIMS)を起こす動きのパターンを示すものである、請求項８から１２のいずれか１項に記載の方法。
  14. 前記生成された映像を前記受信表示装置にストリーミングする（５１５）ことに続き、
    前記生成された映像を所定期間ストリーミングした（５１６）ことと、
    前記カメラの前記推定された動きが、安定した動きを示す１つ以上の条件を満たしている（５１７）と判定したこと、
    の少なくとも１つに応答して、前記撮影された映像を前記受信表示装置にストリーミングする（５２５）こと、をさらに有する、請求項８から１３のいずれか１項に記載の方法。
  15. ヘッドマウントディスプレイ（ＨＭＤ）が備える処理手段（３０２）で実行されると、前記ＨＭＤに請求項８から１４のいずれか１項に記載の方法を実行させるためのコンピュータ実行可能な命令を有する、コンピュータプログラム（３０４）。
  16. 請求項１５に記載のコンピュータプログラム（３０４）を格納した、コンピュータ読み取り可能な記憶媒体（３０３）。
JP2020538671A 2018-03-28 2018-06-04 ヘッドマウントディスプレイおよびその方法 Active JP6993516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862649106P 2018-03-28 2018-03-28
US62/649,106 2018-03-28
PCT/EP2018/064592 WO2019185173A1 (en) 2018-03-28 2018-06-04 Head-mounted display and method to reduce visually induced motion sickness in a connected remote display

Publications (2)

Publication Number Publication Date
JP2021520668A true JP2021520668A (ja) 2021-08-19
JP6993516B2 JP6993516B2 (ja) 2022-01-13

Family

ID=62631050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538671A Active JP6993516B2 (ja) 2018-03-28 2018-06-04 ヘッドマウントディスプレイおよびその方法

Country Status (16)

Country Link
US (1) US11587285B2 (ja)
EP (1) EP3776143B1 (ja)
JP (1) JP6993516B2 (ja)
KR (1) KR102456332B1 (ja)
CN (1) CN111788538B (ja)
AR (1) AR114718A1 (ja)
AU (1) AU2018416431B2 (ja)
BR (1) BR112020014077B1 (ja)
CA (1) CA3093180C (ja)
CO (1) CO2020008872A2 (ja)
ES (1) ES2898216T3 (ja)
MX (1) MX2020009804A (ja)
RU (1) RU2751981C1 (ja)
SG (1) SG11202006241XA (ja)
WO (1) WO2019185173A1 (ja)
ZA (1) ZA202003994B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
AU2021263437A1 (en) * 2020-04-30 2022-12-15 Marsupial Holdings, Inc. Extended field-of-view near-to-eye wearable display
WO2022060518A1 (en) * 2020-09-15 2022-03-24 Carnelian Laboratories Llc Head-mountable device and connector
US11816231B2 (en) 2021-11-22 2023-11-14 Bank Of America Corporation Using machine-learning models to determine graduated levels of access to secured data for remote devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
JP2016177726A (ja) * 2015-03-23 2016-10-06 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2017034494A (ja) * 2015-08-03 2017-02-09 セイコーエプソン株式会社 表示システム
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US9648907B2 (en) 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9390344B2 (en) 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
KR20170044319A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이의 시야 확장 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
US20140268356A1 (en) * 2013-03-15 2014-09-18 University Of Southern California Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
JP2016177726A (ja) * 2015-03-23 2016-10-06 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2017034494A (ja) * 2015-08-03 2017-02-09 セイコーエプソン株式会社 表示システム
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AJOY S FERNANDES ET AL.: "COMBATING VR SICKNESS THROUGH SUBTLE DYNAMIC FIELD-OF-VIEW MODIFICATION", IEEE SYMPOSIUM ON 3D USER INTERFACE 2016, JPN6021045512, 1 March 2016 (2016-03-01), US, pages 201 - 210, XP032894878, ISSN: 0004642943, DOI: 10.1109/3DUI.2016.7460053 *

Also Published As

Publication number Publication date
ES2898216T3 (es) 2022-03-04
AU2018416431B2 (en) 2021-07-29
EP3776143B1 (en) 2021-09-29
AU2018416431A1 (en) 2020-08-13
US11587285B2 (en) 2023-02-21
AR114718A1 (es) 2020-10-07
CA3093180C (en) 2023-02-28
CA3093180A1 (en) 2019-10-03
JP6993516B2 (ja) 2022-01-13
CO2020008872A2 (es) 2020-07-31
KR102456332B1 (ko) 2022-10-20
BR112020014077B1 (pt) 2022-10-04
WO2019185173A1 (en) 2019-10-03
CN111788538A (zh) 2020-10-16
RU2751981C1 (ru) 2021-07-21
US20210335032A1 (en) 2021-10-28
SG11202006241XA (en) 2020-07-29
BR112020014077A2 (pt) 2020-12-01
CN111788538B (zh) 2023-08-25
ZA202003994B (en) 2022-09-28
KR20200123833A (ko) 2020-10-30
EP3776143A1 (en) 2021-02-17
MX2020009804A (es) 2020-10-14

Similar Documents

Publication Publication Date Title
JP6993516B2 (ja) ヘッドマウントディスプレイおよびその方法
US10586395B2 (en) Remote object detection and local tracking using visual odometry
JP7566092B2 (ja) 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP7472362B2 (ja) 受信方法、端末及びプログラム
US10754423B2 (en) Providing virtual reality experience service
CN111316650B (zh) 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法
JP6983837B2 (ja) 複数のカメラからのビューを組み合わせる方法及びカメラシステム
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US10768695B2 (en) Artificial reality system having adaptive degrees of freedom (DOF) selection
CN111627116A (zh) 图像渲染控制方法、装置及服务器
US10368212B2 (en) Method and apparatus for providing augmented reality services
JP2017503442A (ja) ビデオ送信
EP3634005A1 (en) Client device and method for receiving and rendering video content and server device and method for streaming video content
KR20180038175A (ko) 가상 현실 서비스를 제공하는 서버, 디바이스 및 방법
JP2016048467A (ja) 運動視差再現方法、装置およびプログラム
US11825066B2 (en) Video reproduction apparatus, reproduction method, and program
CN111684784B (zh) 图像处理方法和装置
CN106375646B (zh) 一种信息处理方法及终端
JP2021184115A (ja) 情報処理装置、情報処理方法、及び、プログラム
US20240273745A1 (en) Adaptive frame rate for low power slam in xr
JP2015099483A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6993516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150