JP2019512177A - 装置および関連する方法 - Google Patents

装置および関連する方法 Download PDF

Info

Publication number
JP2019512177A
JP2019512177A JP2018537636A JP2018537636A JP2019512177A JP 2019512177 A JP2019512177 A JP 2019512177A JP 2018537636 A JP2018537636 A JP 2018537636A JP 2018537636 A JP2018537636 A JP 2018537636A JP 2019512177 A JP2019512177 A JP 2019512177A
Authority
JP
Japan
Prior art keywords
virtual reality
content
reality content
image
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537636A
Other languages
English (en)
Other versions
JP6628343B2 (ja
Inventor
アルト レフティニエミ
アルト レフティニエミ
トレルス ロノウ
トレルス ロノウ
ホンウェイ リー
ホンウェイ リー
ダヴィード ビタウド
ダヴィード ビタウド
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2019512177A publication Critical patent/JP2019512177A/ja
Application granted granted Critical
Publication of JP6628343B2 publication Critical patent/JP6628343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

シーンの第一仮想現実コンテンツは、第一仮想現実コンテンツキャプチャデバイスによってキャプチャされ、同じシーンの第二仮想現実コンテンツは、第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で物理的に相互に所定の距離内に配置されており、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供し、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。【選択図】図2

Description

本開示は、仮想現実の分野に関し、具体的には、仮想現実装置によるコンテンツの提示および前記提示されたコンテンツの制御に関する。また、関連する方法、コンピュータプログラム、および装置も開示される。特定の開示諸態様/諸例は、携帯電子デバイスに関し、具体的には仮想現実装置および仮想現実ヘッドセット/眼鏡に関する。
背景
仮想現実は、ユーザに没入型の仮想体験を提供するため、眼鏡もしくはゴーグルなどのヘッドセット、またはユーザを取り囲む1つ以上のディスプレイを用いてよい。仮想現実装置は、ユーザが仮想現実空間内に存在しているようにシミュレートするため、ユーザに対し仮想現実空間を表現するマルチメディア仮想現実コンテンツを提示することができる。この仮想現実空間は、幅広いまたは360°の視野(これは水平配向の視野の上方および/または下方を含み得る)を有する映像などのパノラマ映像によって提示することが可能である。仮想現実によって提供されるこの没入型の体験は、複数の仮想現実コンテンツキャプチャデバイス、および、ユーザがかかる仮想現実コンテンツを遣ってやり取りするためのいろいろな仕方を用いて、インタラクティブ・コンテンツを生みだすための機会を提供する。
本明細書中の、過去に発行された文書または何らかの背景の記載または説明は、その文書または背景が、必ずしも、最新技術の一部または共通の一般的知識であることの認容として取られるべきではない。本開示の1つ以上の態様/例は、これら背景事項の1つ以上について言及することもしないこともある。
摘要
第一例示態様において、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置が提供され、
第一仮想現実コンテンツキャプチャデバイスによってキャプチャされたシーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角によるシーンの画像を含み、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で物理的に相互に所定の距離内に配置されており、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本装置は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するように構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
これは、融合仮想現実空間を形成するために、複数の情報源からのVRコンテンツを選択的に組み合わせることができるので有利である。融合仮想現実空間は、インタラクティブな仮想現実コンテンツの没入的および効果的な映像を提供するためそのイメージを操作できるので都合がよい。
この仮想現実コンテンツキャプチャデバイスは携帯型であってよい。融合仮想現実空間は、2つ以上のまたは3つ以上の仮想現実コンテンツキャプチャデバイスからの仮想現実コンテンツの画像の融合体を備えることができる。各仮想現実コンテンツキャプチャデバイスは、互いのデバイスと所定の距離内にある必要があり得るか、または、各仮想現実コンテンツキャプチャデバイスは、複数のVRコンテンツキャプチャデバイスの仮想中心点から所定の距離内にある必要があり得る。
1つ以上の例において、第二コンテンツキャプチャデバイスの姿が入っている、第一コンテンツキャプチャデバイスによって得られた第一仮想現実コンテンツの画像またはその部分の1つ以上は融合仮想現実空間から除外され、第二コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った当該シーンの対応する部分の1つ以上の画像またはその部分によって代置され、および/または
第一コンテンツキャプチャデバイスの姿が入っている、第二コンテンツキャプチャデバイスによって得られた第二仮想現実コンテンツの画像またはその部分の1つ以上は融合仮想現実空間から除外され、第一コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った当該シーンの対応する部分の1つ以上の画像またはその部分によって代置される。
これは、コンテンツキャプチャデバイス自体は、融合仮想現実空間中で見えないので都合がよい。VRコンテンツキャプチャデバイスは、複数の視角で画像をキャプチャする複数のカメラを含んでよく、本装置は、これらVRコンテンツ源のそれぞれから、どの画像またはその部分を使うかを選択するように構成され得る。1つ以上の例において、ほぼ半球の領域に亘って延びる視角を有する画像またはその部分が、第一VRコンテンツキャプチャデバイスから選択され、反対方向に面するほぼ半球の領域に亘って延びる視角を有する画像が、第二VRコンテンツキャプチャデバイスから選択され、融合仮想現実空間はこれらの半球の領域の画像に基づく。
1つ以上の例において、融合仮想現実空間は、第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた第一仮想現実コンテンツから形成可能な第一仮想現実空間の視点と、第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた第二仮想現実コンテンツから形成可能な第二仮想現実空間の視点との間に仮想の視点を有する。コンテンツから生成される仮想現実空間の視点は、当該関連VRコンテンツキャプチャデバイスの中央に位置するように見え得る。しかしながら、融合仮想現実空間は、両方のVRコンテンツキャプチャデバイスの間など、それらの中心の外側に視点を有するように見え得る。
1つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第二仮想現実コンテンツとの視点の違いに対し、画像ひずみ効果を含む融合仮想現実空間の映像を提供する。1つ以上の例において、この画像ひずみ効果は、少なくとも、融合仮想現実空間を形成する第一仮想現実コンテンツからの画像と第二仮想現実コンテンツからの画像との間の境界沿いに位置する画像またはその部分を用いて適用される。1つ以上の例で、この画像ひずみ効果は、融合仮想現実空間中の他の場所に提示されるか、または、融合仮想現実空間中のユーザが現在見ている場所に基づいて提示されてもよい。
1つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第一仮想現実コンテンツとの視点の違いに対し、不連続部を含む融合仮想現実空間の映像を提供する。1つ以上の例において、この不連続部は、融合仮想現実空間を形成する第一仮想現実コンテンツからの境界画像と第二仮想現実コンテンツからの境界画像との間に提示することができ、これらの境界画像は、融合仮想現実空間を形成する第一仮想現実コンテンツから得られた画像と第二仮想現実コンテンツから得られた画像との間の境界沿いに位置する画像を含む。1つ以上の例では、この不連続部は、融合仮想現実空間中の他の場所に提示されるか、または、融合仮想現実空間中のユーザが現在見ている場所に基づいて提示されてもよい。1つ以上の例において、この不連続部はギャップを備える。
1つ以上の例において、第一および第二仮想現実コンテンツがキャプチャされたときの、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが互いに離れていることによる、第一仮想現実コンテンツと第一仮想現実コンテンツとの視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、第一仮想現実空間および第二仮想現実空間のうちの1つを備える選択された仮想現実空間の映像を提供し、これにより、ユーザが、当融合仮想現実空間の視聴に後続して、第一および第二仮想現実空間のどちらかを見るかを選ぶことを可能にする。これは、本装置が、ユーザがどちらのVRコンテンツキャプチャデバイスからアクションを視聴するかを選択できる、インタラクティブなVR体験を提供できるので有利である。
1つ以上の例において、当融合仮想現実空間の映像の提供と選択された仮想現実空間の映像の提供との間の移行において、該融合仮想現実空間中で、選択されなかった仮想現実空間に関連する第一/第二仮想現実コンテンツから得られた画像へのフェージング効果の映像を提供する。このフェージング効果は、ユーザの選択に処置が取られていることを表すことができ有利であり得る。
1つ以上の例において、当融合仮想現実空間の映像の提供と、選択された仮想現実空間の映像の提供との間の移行において、選択された仮想現実空間が仮想現実中の全視角で漸増的に視取可能となるように、選択された仮想現実空間のより多くの映像を漸増的に提示する。1つ以上の例では、当融合仮想現実空間の映像の提供と、選択された仮想現実空間の映像の提供との間の移行において、選択された仮想現実空間に関連する仮想現実コンテンツから得られた融合仮想現実空間中の画像の数を次第に増やしながら、選択された仮想現実空間の映像を提供する。
しかして、融合仮想現実空間において、第一および第二VRコンテンツキャプチャデバイスの何れかからのイメージは、ユーザのVR視聴においてあり得る視角の一部をカバーすることが可能なだけで、したがって、この移行の過程で、より多くの視角で選択されたVR空間からのイメージを漸増的に示すことは、効果的なフィードバックを提供する。
1つ以上の例において、ユーザ選択は、ユーザ入力デバイスからのシグナリング、ユーザのジェスチャ、ユーザの音声コマンド、ユーザの頭の方向、およびユーザの視線コマンドのうちの何れか1つに基づく。しかして、ユーザは、選択を行うための、ハンドヘルドデバイスまたは他の入力デバイスを有してよい。自由空間のユーザジェスチャをキャプチャするための、タッチスクリーンまたはカメラまたは他のセンサなど、ユーザのジェスチャをキャプチャするための装置を備えることが可能である。入力は、音声コマンドを聴取するマイクロフォンによって与えられてもよい。コンテンツは仮想現実を用いて表示されるので、VRヘッドセット中のセンサなどからの頭の方向または眼の方向を、ユーザ入力として用いることも可能である。
1つ以上の例において、第一仮想現実コンテンツおよび第二仮想現実コンテンツは、
i)仮想現実コンテンツがキャプチャされたときに、対応するコンテンツキャプチャデバイスが所在していた地理的位置、および/または
ii)他方のコンテンツキャプチャデバイスの相対的位置、
を示す位置情報を含み、
融合仮想現実空間を形成するための第一および第二仮想現実コンテンツからの画像の融合は、この位置情報基づいて、融合仮想現実空間を生成する際に仮想現実コンテンツキャプチャデバイスの1つの姿が入っている画像またはその部分の1つ以上が除外されるように行われる。しかして、この位置情報は、美的に快適な融合仮想現実空間を確保するために、イメージの間の境界などで、イメージをどのようにひずませ、ねじらせることが可能かについてのパラメータを提供するなど、VRコンテンツを如何に組み合わせるかを決めるため有利に使用することができる。
1つ以上の例において、融合仮想現実空間を形成するための第一および第二仮想現実コンテンツからの画像の選択は、融合仮想現実空間を生成する際に、仮想現実コンテンツキャプチャデバイスの1つの姿が入っている画像またはその部分を除外するべく識別するために画像の1つ以上に対し行われる画像特徴認識に基づく。しかして、画像認識は、VRコンテンツキャプチャデバイスの相対的位置の代わりにまたはそれに加えて使用されてよい。
1つ以上の例において、第一および第二仮想現実コンテンツをキャプチャする際に、第一仮想現実コンテンツキャプチャデバイスと第二仮想現実コンテンツキャプチャデバイスとが、所定の距離よりも遠く離れて位置し、だが、第一および第二仮想現実コンテンツキャプチャデバイスの1つまたは両方が、他方の仮想現実コンテンツキャプチャデバイスによってキャプチャされた第一および第二仮想現実コンテンツの中に見える場合、仮想現実コンテンツキャプチャデバイスの姿を除去するための画像編集を含む、関連仮想現実コンテンツから形成された仮想現実空間の1つの映像を提供する。しかして、本装置が融合仮想現実空間を提供できない、所定距離を超えたところでは、仮想現実コンテンツキャプチャデバイスの姿が見えることを克服するために、自動画像編集を備えることが可能である。
さらなる態様において、或る方法が提供され、本方法は、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
さらなる態様において、コンピュータプログラムコードを備えるコンピュータプログラムが提供され、該コンピュータプログラムコードは、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置の少なくとも1つのプロセッサ上で実行されると、該装置に、少なくとも、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャすることであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャすることと、
を実行させるように構成され、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本コンピュータプログラムコードは、該少なくとも1つのプロセッサ上で実行されると、該装置に、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と、第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
さらなる態様において、格納されたコンピュータプログラムコードを備えるコンピュータ可読媒体が提供され、該コンピュータプログラムコードは、前述の態様の方法により形成された融合仮想現実空間を表現する。
さらなる態様において、或る装置が提供され、本装置は、
第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャし、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの該シーンの画像を含み、
第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャし、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、
ように構成された手段を備え、
第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたときに、同じシーン中に相互との所定の距離内に物理的に配置され、
前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
本方法は、仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供することをさらに備え、該融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と。第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える。
本開示には、互いに対応する1つ以上の側面、例、または特徴が、単独でまたは様々な組み合わせで、明示的又は暗示的に、開示されている。また、説明した諸機能の1つ以上を実行するための、対応する手段および対応する機能ユニット(例えば、機能イネーブラ、画像セレクタ、融合空間フォーマ、仮想現実空間レンダラ、仮想現実表示レンダラ、ユーザ入力レシーバ)は本開示の範囲内にある。
開示された方法の1つ以上を実装するための対応するコンピュータプログラムも本開示内であり、記載された諸例の1つ以上によって網羅される。
前述の摘要は、単に例示を意図したものであり限定ではない。
以下に、単なる例として、添付の図面を参照しながら説明を行う。
本開示の一実施形態による、仮想現実装置、コンテンツストレージ、および仮想現実ヘッドセットを含む、いくつかの電子コンポーネントを備えるシステムの一部として、或る例示の装置の実施形態を示す。 2つの仮想現実コンテンツキャプチャデバイスによって取られた或る例示のパスを示す。 複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。 複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。 複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。 複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。 複数の携帯コンテンツキャプチャデバイスからの仮想現実コンテンツをどのようにユーザに提示でき、ユーザがどのようにその仮想現実コンテンツの映像を制御できるかの例を示す。 融合仮想現実空間の形成を、図的に示す。 本開示の或る方法によるフローチャートを示す。 プログラムを備えたコンピュータ可読媒体を概略的に示す。
詳細説明
仮想現実(VR)は、ユーザに没入型仮想体験を提供するため、眼鏡もしくはゴーグルなどのヘッドセットまたはユーザを取り囲む1つ以上のディスプレイを用いてよい。仮想現実装置は、ユーザが仮想現実空間内に存在しているようにシミュレートするため、仮想現実空間を表すマルチメディア仮想現実コンテンツを提示することができる。仮想現実空間は、ユーザが実世界の場所に物理的に存在するようにシミュレートするために実世界環境を模写してもよく、または仮想現実空間は、コンピュータ生成であってももしくはコンピュータ生成と実世界マルチメディアコンテンツの組み合わせであってもよい。仮想現実空間は、幅広いまたは360°の視野(これは水平配向の視野の上方および/または下方を含み得る)を有する映像など、パノラマ映像によって提示することが可能である。仮想現実装置は、ユーザに、表示された仮想現実空間とのインタラクションを提供することができる。ユーザに提供される仮想現実コンテンツは、例えば、パノラマ映像キャプチャデバイスまたはテレプレゼンスデバイスなどの仮想現実コンテンツキャプチャデバイスによってキャプチャされた、実世界のライブなまたは録画された画像を備えてよい。仮想現実コンテンツキャプチャデバイスの一例には、ノキアのOZOカメラがある。仮想現実空間は、360°以上の視野を備えることができ、VRユーザの頭または眼の動きに基づいて、前記視野周りのパンを提供することが可能である。仮想現実空間の仮想現実の眺めは、ヘッドセット中のディスプレイを介して仮想現実装置によって前記ユーザに提供することができる。しかして、この仮想現実空間は、VR装置のユーザには、仮想現実コンテンツの画像から生み出された三次元空間として見える。このように、VRコンテンツは、複数の視角で撮られた画像を含み、これらは、(途切れのない、連続的な)「取り囲み形の」視野を形成するために一緒に表示し配列することができる。
図1は、VRコンテンツの複数の源泉からの画像の融合体を備える融合仮想現実空間の映像を提供するよう構成された装置100を示し、これについては後記で説明することとする。この例において、装置100は、コンピュータサーバ101によって機能的に提供され、これはメモリおよびプロセッサを備えることできる。この例では、サーバ101は、ユーザまたはコンテンツ産生者による使用のため、仮想現実ヘッドセット103と組み合わさって、仮想現実装置102の機能の少なくとも部分を提供する。装置100は、2つ以上の仮想現実コンテンツキャプチャデバイスによって取得された仮想現実コンテンツからの融合仮想現実空間を提示することができ、コンテンツキャプチャデバイスからのこの仮想現実コンテンツは、仮想現実コンテンツストア105中に、過渡的に、一時的に、またはもっと恒久的に格納される。いくつかの例において、装置100は、仮想現実装置102から離間していて、それとの通信リンクを有してよい。
いくつかの例では、装置100は、複数のVRコンテンツキャプチャデバイスによりキャプチャされた仮想現実コンテンツから、融合仮想現実空間を生成するよう構成された仮想現実コンテンツ産生デバイスの部分である。したがって、このVRコンテンツ産生デバイスは、コンテンツ産生者/他のユーザに対し融合仮想現実空間を表示し、および/または、VR装置のユーザへの後の表示のため、生成された融合仮想現実空間を備える生成仮想現実コンテンツを録画することができる。他の例において、この装置は、融合仮想現実空間を備えるVRコンテンツなどの仮想現実コンテンツを「プレイする」ため、仮想現実装置の一部とされるかまたはこれと関連付けられる。1つ以上の例において、この装置は、ユーザへの表示のために複数のVRコンテンツからリアルタイムで融合仮想現実空間を生成することができる。
この例では、1つの装置サーバ101が、仮想現実(VR)装置102と、融合仮想現実空間の映像を提供するための装置100との機能を提供する。一般に、当然のことながら、これらの装置100、102は物理的に離間していても、および/または一緒にグループ化されていてもよい。
この実施形態において、前述のサーバ101または各装置100、102は、1つだけのプロセッサおよび1つのメモリを有してよいが、当然のことながら、他の実施形態は、(例えば、同じまたは異なったプロセッサ/メモリ種類の)1より多いプロセッサおよび/または1より多いメモリを用いてもよい。さらに、装置(群)100、102は、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)であってもよい。
このプロセッサは、メモリ中にコンピュータプログラムコードの形で格納された命令に従って、コンテンツストア105および(VRヘッドセット103または入力デバイス104などを介しての)ユーザ入力など、他のコンポーネントから受信された情報を実行/処理するための専用の汎用プロセッサであってよい。プロセッサのかかるオペレーションによって生成された出力シグナリングは、次いで、102、103などさらなるコンポーネントに送られる。
このメモリ(必ずしも単一のメモリユニットではない)は、コンピュータプログラムコードを格納するコンピュータ可読媒体(この例では固体メモリであるが、ハードドライブ、ROM、RAM,フラッシュなど、他の種類のメモリであってもよい)である。このコンピュータプログラムコードは、該プログラムコードがプロセッサ上で実行されたときにそのプロセッサによって実行可能な命令を格納する。1つ以上の例示の実施形態において、メモリとプロセッサとの間の内部接続は、プロセッサがメモリに格納されたコンピュータプログラムコードにアクセスできるように、プロセッサとメモリとの間にアクティブな結合を備えるものとして理解することができる。
この例において、プロセッサおよびメモリは、それぞれのコンポーネントの間での電気通信を可能にするため、全て内部で相互に電気的に接続されている。この例では、これらコンポーネントは、合わさってASICとして形成されるように、言い換えれば、電子デバイスの中に取付け可能な単一のチップ/回路として組み込まれるように、全て相互に近接して配置される。いくつかの例では、1つ以上または全てのコンポーネントは相互から別れて配置されてもよい。
上記により、装置100は、VRコンテンツを表すシグナリングをコンテンツストア105から受信して、融合仮想現実空間を表示するためシグナリングをVR装置102に送ることが可能である。次いで、VR装置102は、VRヘッドセット103を介して、ユーザに向け融合仮想現実空間を表示することができる。装置100は、入力デバイス104から受信されたシグナリングに基づいて、複数のVRコンテンツキャプチャデバイスのVRコンテンツから生成された融合仮想現実空間の映像の提供と、単一のVRコンテンツキャプチャデバイスからの単一のVRコンテンツから生成された仮想現実空間との間の移行を提供することができる。
複数のVRコンテンツキャプチャデバイスが、共通のシーン中のVRコンテンツをキャプチャするために使われる場合、VRコンテンツキャプチャデバイスの1つだけからのVRコンテンツを表示するよりも、むしろ、複数のコンテンツキャプチャデバイスから得られたVRコンテンツから生成された仮想現実空間の映像を提供する方が有利であり得よう。しかして、各VRコンテンツキャプチャデバイスは、ユーザに対する仮想現実表示のための仮想現実空間が生成できるように、複数の視角で画像をキャプチャすることができる。コンテンツキャプチャデバイスが相互への所定の距離内にあるなど、一緒に近接して配置されている場合、融合仮想現実空間を含め、仮想現実空間は、複数の視点からの画像、すなわち相異なるVRコンテンツキャプチャデバイスから得られたVRコンテンツを用いた映像を提供することが可能である。
図2は、仮想現実コンテンツをキャプチャする際、相互に対し様々な位置にある、2つのVRコンテンツキャプチャデバイス201および202を示す。位置a、b、およびcの各々に所在するVRコンテンツキャプチャデバイスの間の区分をするために参照符号201および202には、接尾語a、b、およびcが付加されている。別の例では、2より多くのVRコンテンツキャプチャデバイスがあってもよい。この例では、仮想現実コンテンツキャプチャデバイス201、202は、ノキアのOZOカメラを備えているが、ただし、他の仮想現実コンテンツキャプチャデバイスも利用可能である。この例において、VRコンテンツキャプチャデバイスは、実世界の仮想現実コンテンツをキャプチャするように構成されている。これらの仮想現実コンテンツキャプチャデバイスは、それぞれが、周囲のシーンをキャプチャするため相異なる視角に方位付けられた、複数のカメラ203を備えてよい。仮想現実空間は、これらの画像から形成することが可能で、これらコンテンツキャプチャデバイスによって得られたVRコンテンツには、仮想現実空間を形成するために前処理または後処理をすることができる。仮想現実空間は、諸視角の球面に亘って拡がる画像のパッチワークと見なしてもよい。1つ以上の例において、当然のことながら、この視覚の球面は不完全なことがあり、しかして、例えば、コンテンツキャプチャデバイスの車輪が位置し得る該デバイスの底部に向いているなど、画像のパッチワークが不完全な領域を含み得る。VRコンテンツキャプチャデバイス201、202は移動型であり、シーン中をあちこち動けるように車輪を有する。VRコンテンツキャプチャデバイス201、202は遠隔制御が可能である。
これらVRコンテンツキャプチャデバイスは、複数のカメラ203からの、動画像または映像など、仮想現実空間を形成するために処理し一緒に「縫い合わせる」ことの可能な複数の画像を備えたVRコンテンツを生成することができる。このように、VRコンテンツキャプチャデバイスにより生成されたVRコンテンツは、複数の画像を組み合わせてまたは「一緒に縫い合わせて」形成された仮想現実空間を備えることができ、または別の装置によって仮想現実空間を生成するための複数の画像を含むことが可能である。しかして、これらVRコンテンツの画像は、仮想現実コンテンツキャプチャデバイスの能力次第で、縫い合わされた仮想現実空間の時間連続的フレームであっても、および/または仮想現実空間を形成すべく一緒に縫い合わせるための画像群(ならびに対応する時間連続的な画像群)であってもよい。
この仮想現実空間は、少なくとも、当該空間のVR装置によって提供される仮想現実視野よりも大きい画像から形成された空間を備えてよく、且つ少なくとも180°または270°または360°の視野を備えてよい。しかして、VR装置のユーザは、全体のVR空間を認識するために、自分の頭を動かすなどして、VR空間を周ってパンすることができる。本例のVRコンテンツキャプチャデバイスは、複数のカメラを使って、ほぼ球形状の視野をキャプチャするように構成することが可能である。
図2では、位置「a」においてVRコンテンツキャプチャデバイス201a、202aは、例えば所定の距離より遠く離れるなど、当初は離れて配置されている。各VRコンテンツキャプチャデバイス201a、202aは、例えば、同時に行われ得る映画製作の別々のセクションのVRコンテンツをキャプチャしているのかもしれない。この例において、各VRコンテンツキャプチャデバイス201、202は、異なる俳優または女優を追っているのかもしれない。しかして、各VRコンテンツキャプチャデバイス201a、202aは、VR装置のユーザに向けた仮想現実表示のための仮想現実空間を形成するのに使うことのできるVRコンテンツを生成/録画している。
位置「b」で、VRコンテンツキャプチャデバイス201b、202bは、相互に所定の距離内にするなど、同一場所に一緒に配置されている。かかる配置において、第二コンテンツキャプチャデバイス202bによってキャプチャされたVRコンテンツ中に、第一コンテンツキャプチャデバイス201bの明瞭な姿が入っている可能性があり、その逆もあり得よう。したがって、装置100は、融合仮想現実空間を形成するために、VRコンテンツキャプチャデバイス201b、202b両方からのVRコンテンツを用いるように構成されてよい。融合仮想現実空間は、それがVRコンテンツキャプチャデバイス201b、202bの1つまたは両方の姿または画像を含まないように生成することができる。融合仮想現実空間は、コンテンツキャプチャデバイス各々の複数カメラによってキャプチャされた複数の画像のサブセットに基づいてよい。例えば、第一コンテンツキャプチャデバイスの一方の半球側上の複数のカメラによってキャプチャされた画像は、第二コンテンツキャプチャデバイスの対向半球側上の複数のカメラによってキャプチャされた画像と併せ使用することができる。VRコンテンツが(例えば、基本的には球形状画像である)仮想現実空間を備える場合、該融合仮想現実空間は、第一コンテンツキャプチャデバイスからの仮想現実空間の一部と、第二コンテンツキャプチャデバイスからの仮想現実空間の一部とに基づくことが可能である。しかして、融合仮想現実空間は、処理のいろいろな段階において、すなわち、例えば、カメラ203の画像の縫い合わせの前の処理または後の処理においてVRコンテンツから生成することができる。当然のことながら、2を上回るVRコンテンツキャプチャデバイスが存在する場合、融合仮想現実空間は、VRコンテンツキャプチャデバイスの2つ以上からのVRコンテンツを備えてよい。どのVRコンテンツを使うかの選択は、コンテンツの分析またはVRコンテンツキャプチャデバイスの相対的位置に基づけばよい。
位置「b」で、VRコンテンツキャプチャデバイス201b、202bの両方は、各VRコンテンツキャプチャデバイス201b、202bが割り当てられた俳優/女優の両方を包含する映画のセクションなど、共通のシーン中のVRコンテンツをキャプチャしているのかもしれない。
位置「c」において、第一VRコンテンツキャプチャデバイス201cと第二VRコンテンツキャプチャデバイス202cとは、物理的に離れて移動すなわち互いに遠ざかっている。これにより、これらVRコンテンツキャプチャデバイス201b、202bが、相互に対し所定の距離内にあるときは、融合仮想現実空間を生成することが可能であり得る一方、信じられるまたは美的に容認可能な融合仮想現実空間を生成するためには遠く離れ過ぎている場合は、離間状態となる。しかして、一方のVRコンテンツキャプチャデバイスの視点は、他方のVRコンテンツキャプチャデバイスの視点とは違い過ぎる(すなわち、遠く離れてい過ぎる)。したがって、装置100は、融合仮想現実空間の映像から、VRコンテンツキャプチャデバイスの1つからの仮想現実空間の1つの映像に移行する必要があり得る。
この所定の距離は、融合VR空間を生成するのに使われるソフトウェアの洗練さ、または利用可能な処理法、またはVRコンテンツキャプチャデバイスのカメラのレンズもしくはカメラの設定、または他の要素のうちの1つ以上に依り得る。通常、この所定の距離は、100メートルまで、または好ましくは30メートルまでの距離を有する。
当然のことながら、この所定の距離を超えても、VRコンテンツキャプチャデバイスの一方のVRコンテンツが、他方のVRコンテンツキャプチャデバイスの姿を含んでいることがまだあり得、その逆もあり得る。このような場合、融合仮想現実空間を生成するよりもむしろ、他方のコンテンツキャプチャデバイスの姿を除去すべく、VRコンテンツまたは仮想現実空間をデジタル編集するため、他の画像編集技法を用いることが可能である。しかして、VRコンテンツキャプチャデバイスを識別するために画像認識技法を使用してよく、次いで、他方のVRコンテンツキャプチャデバイスの姿を除去するために(例えば、VRコンテンツキャプチャデバイスの姿を置き換えるための周囲背景による内挿または時間的に異なる点からの画像情報の使用などの)画像編集を適用すればよい。このため、該装置は、VRコンテンツキャプチャデバイス201、202が互いに近づいたり遠ざかったりすることに対し、デジタルに除去された他方コンテンツキャプチャデバイスの姿を含む仮想現実空間の映像の提供と、融合仮想現実空間の映像の提供との間の移行を提供することができる。この移行は、画像またはその部分に対するワーピング、視点調整、光/色調整の1つ以上を含んでよい。
このようなVRコンテンツの生成によって、インタラクティブなストーリー展開を提供することができる。このように、ユーザは、例えば第一コンテンツキャプチャデバイス202aなど、VRコンテンツキャプチャデバイスの1つの視点(点204で表されている)からVR「映画」を見ることが可能となる。しかして、点204は、VRコンテンツを見ているユーザの視点を表す。その後で、VRコンテンツキャプチャデバイスが位置「b」にあるとき、装置100は、ユーザに融合仮想現実空間の映像を提供することができる。融合VR空間を見ているユーザの視点を表す点205が、第一および第二VRコンテンツキャプチャデバイス201b、202bの物理的位置の間に示されている。しかして、ユーザに、両方のデバイス201bおよび202bからのVRコンテンツの画像から形成された融合仮想現実空間が提示される際、ユーザに対する「仮想視点」は、あたかもそれが第一仮想現実空間の視点と第二仮想現実空間の視点との間にあるように見える。装置100は、このとき、ユーザがどちらの仮想現実空間を追い求めたいかのユーザ選択を必要とし得る。上記により、図2の例において、ユーザは、第二仮想現実コンテンツキャプチャデバイス202cのVRコンテンツから生成された仮想現実空間を選択しており、これは点206によって表されている。しかして、点204、205、206は、VR装置のユーザの視点が、複数のVRコンテンツキャプチャデバイスによってキャプチャされたVRコンテンツの間でどのように移動することが可能かを示す。
以降の諸図は、位置「b」に基づき、また位置「b」から位置「c」への移行に基づき、ユーザに表示され得るものの例を示す。当然のことながら、位置「a」から位置「b」への移行で表示されるものは、位置b〜cの移行の逆向きであり得る。
図3は、海浜のシーンの、仮想現実空間、具体的には融合仮想現実空間300を示す。VR空間300は、パノラマ画像として示されているが、ユーザが見取れるVR空間を表すように意図されており、これは360°の画像であってよい。当然のことながら、VR装置のユーザは、このシーンのVR空間が見取るのに広大に過ぎて、どの一時点でもこのVR空間の全てを見ることはできず、ユーザは、その全てを見るためには、このシーンに対しVRコンテンツがキャプチャされた視角に対応して、自分たちの頭を動かさねばならない。第一および第二VRコンテンツキャプチャデバイス201b、202bが、この海浜に存在し、両方ともVRコンテンツをキャプチャしている。この例において、これらコンテンツキャプチャデバイスは、警官301が泥棒302を追いかけるVR映画をキャプチャしている。図2に関連して述べたように、仮想現実コンテンツキャプチャデバイス201b、202bは同一場所に配置され、装置100は、線図の303で示されている融合仮想現実空間の映像を提供する。この融合仮想現実空間303を表すためにほぼ球状の空間が示されており、この球の中心にいるVR視聴者は、仮想現実によって提供された、360°取り囲み形のイメージに類似のこの球の全ての方向を見ることができる。この融合仮想現実空間300は、明瞭化およびその構成要素を説明するために分解された形で示されている。上記で説明したように、融合仮想現実空間は、コンテンツキャプチャデバイス201b、202bの両方からのVRコンテンツで形成される。この例において、第一仮想現実空間のほぼ半球状のセクション304は、第二仮想現実空間のほぼ半球状のセクション305と組み合わされる。当然のことながら、これらの半球状のセクションは、融合仮想現実空間を形成するのに使われた、半球表面に亘って延びる視角でのイメージを有するVRコンテンツの部分を表す。VRコンテンツが縫合されていない画像を備えている場合、これら半球は、関連するVRコンテンツから画像のパッチワークを選択するのに使われた視角、すなわち、半球の半径の原点からその表面への方向に横たわる視角を示す。当然ながら、これら半球は、他方のVRコンテンツキャプチャデバイス201b、202bの姿が入らないように選択することが可能である。これも当然のことながら、半球が示されているが、融合仮想現実空間の形成において、第一および第二仮想現実コンテンツまたはそれらの構成画像のうちの複数を他に換えて用いてもよい。この例において、融合仮想現実空間は、境界域306を含み、これは第一/第二VRコンテンツの半球形に選択された部分に応じて、ほぼ円形のストリップを備える。この境界域は、第一VRコンテンツと第二VRコンテンツとの間の「結合個所」が滑らかで美的に容認可能なように、該境界域に沿って位置する第一および第二VRコンテンツの画像の内挿を備えることが可能である。当然のことながら、本装置は、VRコンテンツの間の結合ライン沿いの画像の間の不連続性を評価し、それによって境界域306の内挿を制御するように構成することができる。いくつかの例において、この境界域は必要のないことがあり、半球304、305は、融合仮想現実空間303を形成するため、画面平滑化効果の限られた使用またはその使用なしで一緒に当接させる(すなわち、半球によって表される視角による関連イメージが、相互に隣り合って表示される)ことが可能である。当然のことながら、画像の内挿が設けられる場所である境界域306の幅は、VRコンテンツがキャプチャされるときのVRコンテンツキャプチャデバイスの間の物理的間隔の如何に依り得る。シーン300において、境界域306は、中央部に垂直なストリップとして位置するが、その両側の画像の諸部分の内挿によって目立たない。
図4は、位置「b」から位置「c」への移行の開始を示す。コンテンツキャプチャデバイス201b、202bの間の物理的離間は増しつつあるが、融合仮想現実空間が生成される所定の距離よりはまだ小さい。この例では、このシーン300における融合仮想現実空間の境界域が、ボックス400によって示されている。各半球(すなわち、各VRコンテンツから得られた画像またはその部分)の視点が、現在さらに離れつつあるとすれば、境界域401の大きさ(またはこの例では幅)は増加する。しかして、この融合仮想現実空間は、そのイメージ中に、ボックス400で示される、より大きな/幅広い内挿画像セクションを含む。これにより、融合仮想現実空間403の線図上の表現において、境界域ストリップ401はより幅広く伸びて示されている。これに応じ、融合仮想現実空間300において、ボックス400内の領域は、矢印404によって示されたストレッチ効果またはワーピング効果など、画像ひずみ効果とともに示されている。ストレッチ効果は、境界域401のサイズの増大によってもたらされ得、したがって、第一VRコンテンツと第二VRコンテンツとの間の内挿は、境界域がストレッチされて見える結果をもたらす。他の実施形態において、画像ひずみ効果は、人為的に適用することができる。このように、切れ目のない美的に受容可能な融合VR空間403が生成可能な一方、本装置は、融合仮想現実空間403の構成部分304、305が離れていくことを示すまたはその印象を与えるために、画像ひずみ効果を適用することができる。
この画像ひずみ効果を提供することは、融合仮想現実空間403を見ているユーザに、自分たちがどちらの視点を追い求めたいかについての選択をする必要があるとの直観的気配を与えるので都合がよい。この例では、第一VRコンテンツキャプチャデバイス201bは警官301に関連付けられており、一方、第二VRコンテンツキャプチャデバイス202bは泥棒に関連付けられている。しかして、ユーザ/VR視聴者は、警官または泥棒を追跡するかどうかを決めなければならない。このように、装置100は、インタラクティブなVRコンテンツを提供することができ、これはこの例ではインタラクティブな映画である。
選択を行うためのユーザの入力は、タッチスクリーンデバイスまたはハンドヘルドデバイスなどの入力デバイス、音声コマンド、視線コマンドを介する、またはユーザが見つつある融合仮想現実空間中の箇処に基づくなど、任意の適切な手段によって装置100に与えることが可能である。例えば、ユーザが、移行の期間に泥棒を見ていた場合、これは、第二VRコンテンツキャプチャデバイス202bから得られた第二VRコンテンツがユーザの選択であると見なすことができる。ユーザが見ている画像のどの部分を見ているかに基づく、頭の位置センサからのまたはVR装置からのシグナリングは、他の「視角」の指標とともに使用することが可能である。
図5は、所定距離近くの(閾値内の)位置を示す。融合仮想現実空間500が表示のため提示されているが、これは不連続部501を包含する。融合仮想現実空間503の線図では、この不連続部は、半球504、505の間のギャップ502として示されている。この不連続部は、融合仮想現実空間500を形成する第一VRコンテンツの画像群と第二VRコンテンツの画像群との間の境界に沿って表示され得る。また、不連続部501は、融合仮想現実空間のこれらの「境界画像群」の間のギャップも備え得る。この不連続部は、受容できない閾値に達した境界域401への内挿のおかげで表示に供することが可能である。他の例において、この不連続部を人為的に表示することが可能で、しかして、切れ目のない美的に受容可能な融合VR空間500が生成可能な一方、本装置は、融合仮想現実空間503の構成部分504、505が離れていくことを示すまたはその印象を与えるために、不連続性を適用することができる。他の例では、不連続部は、美的でないが快適な内挿に依るなどして、イメージ中の局所的なひずみ効果としてそれ自体を備えまたは表すことが可能である。
不連続部の表示は、ユーザが、第一および第二VRコンテンツのどちらを追求したいかのユーザ選択を行うのをさらに促すので好都合である。
図6は、VRユーザ601が、VRヘッドセット602を使って、融合仮想現実空間600の中で、第二VRコンテンツキャプチャデバイス202cから得られた第二VRコンテンツを見ているのを示す。融合仮想現実空間600の中でかかる方角を見る行為は、ユーザの選択を決める視線コマンドを備えることが可能である。この例では、このユーザ選択に応じて、装置100が、当融合仮想現実空間の映像に後続して、VR装置102によって、第二VRコンテンツから生成された仮想現実空間の映像を提供するように構成される。これにより、装置100は、ユーザにより視聴される仮想現実空間、すなわち第二仮想現実空間を表示するため、ユーザ選択の第二VRコンテンツからのコンテンツだけが使われるようになるまで、第二VRコンテンツから次第に多くのイメージの映像を、且つ第一VRコンテンツからは次第に少なくなるイメージの映像を提供することができる。したがって、装置100は、当融合仮想現実空間中に表示されていない第二VRコンテンツの部分を、第一VRコンテンツを置き換えるようにして漸増的に表示することが可能である。
図6は、第一VRコンテンツから得られた部分600aが減少され、しかして仮想現実の映像から除去されていき、第二VRコンテンツからの部分600bが、それがVRユーザに表示される「面積」を拡げていくのを示す。
図7は、当融合仮想現実空間の映像に後続してユーザ601に表示される、第二VRコンテンツからの第二仮想現実空間700を示す。上記に応じ、この図は、位置「c」にあるVRコンテンツキャプチャデバイスを示し、第二仮想現実空間700を生成するために使われるVRコンテンツは、第二コンテンツキャプチャデバイス202cからもっぱら取得される。当然のことながら、コンテンツキャプチャデバイス201cは、第二コンテンツキャプチャデバイスの画像からは除去することができる。この映画は、以降、ユーザが泥棒の行動を見ながら続いてよい。
前述の諸実施形態において、融合仮想現実空間の形成は、第一VRコンテンツからのイメージの半球と、第二VRコンテンツからのイメージの半球と、おそらくは、例えば、何らかの配景ベースの不一致を円滑化するための内挿境界域との使用を備えるとして示されている。しかして、融合仮想現実空間は、第一コンテンツキャプチャデバイス201と第二コンテンツキャプチャデバイス202との間に位置する仮想視点を有する。ただし、当然のことながら、融合仮想現実空間は、その大部分に第一および第二VRコンテンツの一方のイメージを含んでもよい。図8は、第一VRコンテンツからの第一仮想現実空間801および第二VRコンテンツからの第二仮想現実空間802を線図で示す。斜線部は、融合VR空間を形成するために使われ得る第一および第二VRコンテンツの各々からのイメージの部分を示す。しかして、第二VR空間802のVRコンテンツのより大きな第一の部分803は、第一VR空間801のVRコンテンツのより小さな第二の部分804と一緒に使用される。部分804のVRコンテンツまたはその部分の画像は、除外された部分807のVRコンテンツまたはその部分の画像とほぼ共通の視角805、806を有する。しかして、融合VR空間を形成するに際し、第一および第二VRコンテンツの一方から除外されたイメージの部分は、第一および第二VRコンテンツの他方のほぼ類似の視角を持つ対応する部分によって充填される。
当然のことながら、本装置は、コンテンツキャプチャデバイスからのライブなVRコンテンツ、または事前録画されたVRコンテンツに基づいて、融合仮想現実空間を提供するように構成することが可能である。この事前録画されたコンテンツは、コンテンツキャプチャデバイスのVRコンテンツの再生および融合仮想現実空間の形成が、再生過程の適切な時間に提供されるように、タイムスタンプまたは他の同期情報を含んでよい。
図9は、以下のステップを説明するフロー図を示す。
(900)第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャするステップであって、該第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による該シーンの画像を含む、該キャプチャするステップ、および第二仮想現実コンテンツキャプチャデバイスによって、同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、該第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの該シーンの画像を含む、該キャプチャするステップ。第一および第二仮想現実コンテンツキャプチャデバイスは、第一仮想現実コンテンツおよび第二仮想現実コンテンツがキャプチャされたとき、同じシーン中で相互に対し所定の距離内に物理的に配置され、前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためである。
(901)仮想現実中で、当該シーンを表現する融合仮想現実空間の映像を提供するステップであって、この融合仮想現実空間は、第一仮想現実コンテンツの画像またはその部分と第二仮想現実コンテンツの画像またはその部分との両方の融合体を備える、提供するステップ。
図10は、或る例による、プログラムを備えるコンピュータ/プロセッサ可読媒体1000を概略的に示す。この例において、コンピュータ/プロセッサ可読媒体は、デジタル多用途ディスク(DVD:digital versatile disc)またはコンパクトディスク(CD:compact disc)などのディスクである。いくつかの例では、このコンピュータ可読媒体は、発明の機能を実行するようにプログラムされた任意の媒体であってよい。コンピュータプログラムコードは、同じ種類の複数のメモリ、またはROM、RAM、フラッシュ、ハードディスク、ソリッドステートなど、異なる種類の複数のメモリの間に分配されてよい。
ユーザの入力は、デバイスのユーザインタフェースの近傍でのタップ、スワイプ、スライド、加圧、掌握、回転ジェスチャ、浮遊停止ジェスチャ、デバイス近傍での旋回動ジェスチャ、デバイスの少なくとも部分的屈曲、デバイスの少なくとも部分的圧搾、複数指のジェスチャ、デバイスの傾斜、または制御デバイスのフリッピング、のうちの1つ以上を備えるジェスチャであってもよい。さらに、これらのジェスチャは、ユーザの腕などのユーザの身体、またはスタイラス、または自由空間ユーザジェスチャを行うのに適した他のエレメント、を使った自由空間ユーザジェスチャであってもよい。
前述の諸例で示された装置は、携帯電子デバイス、ラップトップコンピュータ、携帯電話、スマートフォン、タブレットコンピュータ、携帯情報端末、デジタルカメラ、スマートウォッチ、スマート眼鏡、ペンコンピュータ、据え置き型電子デバイス、デスクトップコンピュータ、モニタ、家庭電気機器、スマートTV、サーバ、ウェアラブル機器、仮想現実装置、または前述の1つ以上に対するモジュール/回路であってよい。
前述のどの装置および/または前述の特定の装置の他の特徴も、有効化されたとき、例えばスイッチがオンにされたときなどだけに、所望の動作を実行するように構成され整備された装置によって提供することができる。かかる場合において、これら装置は、非使用可能状態(例えばスイッチオフ状態)では、必ずしもアクティブなメモリ中にロードされた適切なソフトウェアを有さないことがあり、有効状態(例えばオン状態)でだけ適切なソフトウェアをロードすることが可能である。本装置は、ハードウェア回路系および/またはファームウェアを備えてよい。本装置は、メモリ上にロードされたソフトウェアを備えてもよい。かかるソフトウェア/コンピュータプログラムは、同一のメモリ/プロセッサ/機能ユニット、および/または1つ以上のメモリ群/プロセッサ群/機能ユニット群に記録されてもよい。
いくつかの例において、前述の特定の装置には、所望のオペレーションを実行するために、適切なソフトウェアを事前プログラムすることが可能であり、この適切なソフトウェアは、ユーザが、例えば、該ソフトウェアおよびその関連機能をロック解除/有効にするための「キー」をダウンロードすることにより、そのユーザに対し有効化することができる。上記の例に関連する利点には、デバイスに対し追加の機能が必要なときに、データをダウンロードする必要量の削減を含めることができ、これは、デバイスが、かかる事前プログラムの対象となる、ユーザが有効にしない可能性のある機能のためのソフトウェアを格納するのに十分な容量を有することが分かっている場合には有用であり得る。
前述のどの装置/回路系/エレメント/プロセッサも、前述の機能に加えて他の機能を有してよく、これらの機能は、同一の装置/回路系/エレメント/プロセッサによって実行されてよい。1つ以上の開示された態様は、関連するコンピュータプログラムの電子的な配布、および適切な搬送体(例えばメモリ、信号)に記録されたコンピュータプログラム(これはソース/移送符号化されたものであってよい)を網羅することが可能である。
本明細書に記載のどの「コンピュータ」も、同じ回路基板に、または回路基板上の同じ領域/位置に、さらには同じデバイスに配置されていることもあり、いないこともある、1つ以上の個別のプロセッサ/処理エレメントの集合を備えることが可能である。いくつかの例において、前述したどの1つ以上のプロセッサ群も複数のデバイスに亘って分散されてよい。同じまたは異なったプロセッサ/処理エレメントが、本明細書に記載の1つ以上の機能を実行してもよい。
用語「シグナリング」とは、一連の送信および/または受信電気/光信号として送信される1つ以上の信号を称し得る。この一連の信号は、1、2、3、4のまたはさらに多くの個別信号成分、または前記シグナリングを構成する別々の信号群を備えてよい。これら個別の信号の一部または全部は、ワイヤレスまたは有線通信で、同時に、順次に、および/または、それらが互いに一時的にオーバーラップするようにして送信/受信することが可能である。
前述の何れのコンピュータ、および/またはプロセッサおよびメモリ(例えば、ROM、CD−ROMなどを含む)の何れの説明を参照しても、これらは、コンピュータプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA:field−programmable gate array)、および/または本発明の機能を実行するようにプログラムされた他のハードウェアコンポーネントを備えてよい。
本出願人は、本明細書によって、本明細書に記載の個別の特徴を、単独でおよびかかる特徴の2つ以上の任意の組み合わせで、当業者の共通の一般的知識に照らしてかかる特徴または組み合わせが全体として本明細書に基づいて実行できる限りにおいて、かかる特徴または特徴の組み合わせが本明細書に開示された何れかの問題を解決するかどうかにかかわらず、また本特許請求の範囲を限定することなく、開示する。本出願人は、開示された諸態様/諸例が、かかる何れかの個別の特徴または特徴の組み合わせから成り立ち得ることを表明する。前述の説明を考慮すれば、当業者には、本開示の範囲内で様々な変更を加えることが可能なことが明らかであろう。
基本的に新規な特徴をそれらの例に適用して示し、説明し、指摘してきたが、当業者は、本開示の範囲から逸脱することなく、説明されたデバイスおよび方法の形態および細部に様々な省略、代替、および変更を行うことが可能なことを理解していよう。例えば、同じ結果を達成するために実質的に同じ仕方で、実質的に同じ機能を実行するエレメントおよび/または方法ステップの全ての組み合わせは本開示の範囲内にあることが明確に意図されている。さらに、一切の開示された形態または例に関連して提示され、および/または説明された構造体および/またはエレメントおよび/または方法ステップは、設計チョイスの一般的事項として、任意の他の開示された、または説明された、または提案された形態または例の中に組み込みが可能なことを認識すべきである。さらに、本特許請求の範囲中の、ミーンズプラスファンクション条項は、述べられた機能を実行するとして本明細書中に記載された構造体、および構造的等価物だけでなく等価的構造体をも網羅する。しかして、釘とねじくぎとは、釘が木材部分を結合して固定するための円筒形表面を用い、一方、ねじくぎは螺旋表面を用いる点で、構造的等価物ではないかもしれないが、釘とねじくぎとは等価的構造体ではあり得る。

Claims (15)

  1. 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置であって、
    前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた、シーンの第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
    前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた、前記シーンと同じシーンの第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角による前記シーンの画像を含み、
    前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中で物理的に相互に所定の距離内に配置されており、
    前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
    前記装置は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供するように構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を備える、
    装置。
  2. 前記第二コンテンツキャプチャデバイスの姿が入っている、前記第一コンテンツキャプチャデバイスによって得られた前記第一仮想現実コンテンツの前記画像またはその部分の1つ以上が前記融合仮想現実空間から除外され、前記第二コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の1つ以上の画像またはその部分によって代置され、および/または、
    前記第一コンテンツキャプチャデバイスの姿が入っている、前記第二コンテンツキャプチャデバイスによって得られた前記第二仮想現実コンテンツの前記画像またはその部分の1つ以上が前記融合仮想現実空間から除外され、前記第一コンテンツキャプチャデバイスによってキャプチャされた、対応する視角に沿った前記シーンの対応する部分の1つ以上の画像またはその部分によって代置される、
    請求項1に記載の装置。
  3. 前記融合仮想現実空間が、前記第一仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一仮想現実コンテンツから形成可能な前記第一仮想現実空間の視点と、前記第二仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第二仮想現実コンテンツから形成可能な前記第二仮想現実空間の視点との間に仮想の視点を有する、請求項1または2に記載の装置。
  4. 前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの画像と前記第二仮想現実コンテンツからの画像との間の境界沿いに位置する前記画像またはその部分を少なくとも用いた画像ひずみ効果を含む前記融合仮想現実空間の映像を提供する、請求項1から3の何れかに記載の装置。
  5. 前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツからの境界画像と前記第二仮想現実コンテンツからの境界画像との間に不連続部を含む前記融合仮想現実空間の映像を提供し、前記境界画像は、前記融合仮想現実空間を形成する前記第一仮想現実コンテンツから得られた画像と前記第二仮想現実コンテンツから得られた画像との間の境界沿いに位置する前記画像を含む、請求項1から4の何れかに記載の装置。
  6. 前記第一および第二仮想現実コンテンツがキャプチャされたときの、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実キャプチャデバイスとが互いに離れていることによる、前記第一仮想現実コンテンツと前記第二仮想現実コンテンツとの前記視点の違いに対し、仮想現実中に、ユーザ選択に基づいて、前記第一仮想現実空間および前記第二仮想現実空間のうちの1つを備える選択された仮想現実空間の映像を提供し、これにより、前記ユーザが、前記融合仮想現実空間の視聴に後続して、前記第一および第二仮想現実空間のどちらかを選ぶことを可能にする、請求項1から5の何れかに記載の装置。
  7. 前記融合仮想現実空間の映像の提供と前記選択された仮想現実空間の映像の提供との間の移行において、前記融合仮想現実空間中に、前記選択されない仮想現実空間に関連する前記第一/第二仮想現実コンテンツから得られた前記画像にフェージング効果の映像を提供する、請求項6に記載の装置。
  8. 前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間が、仮想現実中の全ての視角で漸増的に視取可能となるように、前記選択された仮想現実空間のより多くの映像を漸増的に提供する、請求項6または請求項7に記載の装置。
  9. 前記融合仮想現実空間の映像の提供と、前記選択された仮想現実空間の映像の提供との間の移行において、前記選択された仮想現実空間に関連付けられた前記仮想現実コンテンツから得られた、前記融合仮想現実空間中の画像の数を次第に増やすのに続いて、前記選択された仮想現実空間の映像を提供する、請求項6〜8の何れか1項に記載の装置。
  10. 前記ユーザ選択が、ユーザ入力デバイスからのシグナリング、ユーザのジェスチャ、ユーザの音声コマンド、前記ユーザの頭の方向、および前記ユーザの視線コマンドのうちの何れか1つに基づく、請求項6〜9の何れか1項に記載の装置。
  11. 前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツが、
    i)前記仮想現実コンテンツがキャプチャされたときに、前記対応するコンテンツキャプチャデバイスが所在していた地理的位置、および/または
    ii)他方のコンテンツキャプチャデバイスの相対的位置、
    を示す位置情報を含み、
    前記融合仮想現実空間を形成するための前記第一および第二仮想現実コンテンツからの前記画像の前記融合は、前記位置情報基づいて、前記融合仮想現実空間を生成する際に、前記仮想現実コンテンツキャプチャデバイスの1つの姿が入っている前記画像またはその部分の1つ以上が除外されるように行われる、
    請求項1から10の何れかに記載の装置。
  12. 前記融合仮想現実空間を形成するための前記第一および第二仮想現実コンテンツからの画像の前記選択は、前記融合仮想現実空間を生成する際に、前記仮想現実コンテンツキャプチャデバイスの1つの姿が入っている画像またはその部分を除外すべく識別するため前記画像の1つ以上に対し行われる画像特徴認識に基づく、請求項1から11の何れかに記載の装置。
  13. 前記第一および第二仮想現実コンテンツをキャプチャする際に、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが、前記所定の距離よりも遠く離れて位置し、だが、前記第一および第二仮想現実コンテンツキャプチャデバイスの1つまたは両方が、他方の仮想現実コンテンツキャプチャデバイスによってキャプチャされた前記第一および第二仮想現実コンテンツの中に見える場合、前記仮想現実コンテンツキャプチャデバイスの前記姿を除去するための画像編集を含む、前記関連仮想現実コンテンツから形成された前記仮想現実空間の1つの映像を提供する、請求項1から12の何れかに記載の装置。
  14. 第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置によって実行される方法であって、前記方法は、
    前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
    前記第二仮想現実コンテンツキャプチャデバイスによって、前記シーンと同じシーンの第二仮想現実コンテンツをキャプチャするステップであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための、複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
    を含み、
    前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
    前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
    前記方法は、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することをさらに含み、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含む、
    方法。
  15. コンピュータプログラムコードを備えるコンピュータプログラムであって、前記コンピュータプログラムコードは、第一仮想現実コンテンツキャプチャデバイスおよび第二仮想現実コンテンツキャプチャデバイスを備える装置の少なくとも1つのプロセッサ上で実行されると、前記装置に、少なくとも、
    前記第一仮想現実コンテンツキャプチャデバイスによって、シーンの第一仮想現実コンテンツをキャプチャすることであって、前記第一仮想現実コンテンツは、第一仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
    前記第二仮想現実コンテンツキャプチャデバイスによって、前記同じシーンの第二仮想現実コンテンツをキャプチャすることであって、前記第二仮想現実コンテンツは、第二仮想現実空間を形成するための複数の視角からの前記シーンの画像を含む、前記キャプチャすることと、
    を実行させるように構成され、
    前記第一および第二仮想現実コンテンツキャプチャデバイスは、前記第一仮想現実コンテンツおよび前記第二仮想現実コンテンツがキャプチャされたとき、前記同じシーン中に相互との所定の距離内に物理的に配置され、
    前記第一および第二仮想現実空間は、前記第一および第二仮想現実コンテンツから形成可能で、従って前記第一および第二仮想現実空間は、前記シーンを異なる視点から表現したものとなっており、また前記視点が異なることは、前記第一仮想現実コンテンツキャプチャデバイスと前記第二仮想現実コンテンツキャプチャデバイスとが物理的に離間していたためであり、
    前記コンピュータプログラムコードは、前記少なくとも1つのプロセッサ上で実行されると、前記装置に、仮想現実中で、前記シーンを表現する融合仮想現実空間の映像を提供することを実行させるようにさらに構成され、前記融合仮想現実空間は、前記第一仮想現実コンテンツの前記画像またはその部分と、前記第二仮想現実コンテンツの前記画像またはその部分との両方の融合体を含む、
    コンピュータプログラム。
JP2018537636A 2016-01-25 2017-01-18 装置および関連する方法 Active JP6628343B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16152629.8 2016-01-25
EP16152629.8A EP3196838A1 (en) 2016-01-25 2016-01-25 An apparatus and associated methods
PCT/FI2017/050022 WO2017129857A1 (en) 2016-01-25 2017-01-18 An apparatus and associated methods

Publications (2)

Publication Number Publication Date
JP2019512177A true JP2019512177A (ja) 2019-05-09
JP6628343B2 JP6628343B2 (ja) 2020-01-08

Family

ID=55357855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537636A Active JP6628343B2 (ja) 2016-01-25 2017-01-18 装置および関連する方法

Country Status (4)

Country Link
US (1) US10665026B2 (ja)
EP (1) EP3196838A1 (ja)
JP (1) JP6628343B2 (ja)
WO (1) WO2017129857A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3489882A1 (en) * 2017-11-27 2019-05-29 Nokia Technologies Oy An apparatus and associated methods for communication between users experiencing virtual reality
JP6745301B2 (ja) * 2018-07-25 2020-08-26 株式会社バーチャルキャスト コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム
CN109407935A (zh) * 2018-09-14 2019-03-01 歌尔科技有限公司 一种虚拟现实显示控制方法、装置和系统
US11178374B2 (en) * 2019-05-31 2021-11-16 Adobe Inc. Dynamically rendering 360-degree videos using view-specific-filter parameters
US11430447B2 (en) * 2019-11-15 2022-08-30 Qualcomm Incorporated Voice activation based on user recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095808A (ja) * 2012-11-09 2014-05-22 Nintendo Co Ltd 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US8836771B2 (en) * 2011-04-26 2014-09-16 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
EP3080986A4 (en) * 2013-12-13 2017-11-22 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
US10122992B2 (en) * 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
JP6365153B2 (ja) * 2014-09-10 2018-08-01 株式会社ソシオネクスト 画像符号化方法および画像符号化装置
US10484662B2 (en) * 2015-02-27 2019-11-19 Leia Inc. Multiview camera, multiview imaging system, and method of multiview image capture
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014095808A (ja) * 2012-11-09 2014-05-22 Nintendo Co Ltd 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置

Also Published As

Publication number Publication date
JP6628343B2 (ja) 2020-01-08
EP3196838A1 (en) 2017-07-26
WO2017129857A1 (en) 2017-08-03
US20190026951A1 (en) 2019-01-24
US10665026B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
US20190180509A1 (en) Apparatus and associated methods for presentation of first and second virtual-or-augmented reality content
KR102087690B1 (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
CN108604175B (zh) 装置和关联方法
JP6628343B2 (ja) 装置および関連する方法
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US10762722B2 (en) Apparatus for sharing objects of interest and associated methods
CN117784938A (zh) 在增强现实和虚拟现实环境之间链接和交互的系统和方法
US11210518B2 (en) Apparatus and associated methods for display of virtual reality content
CN113228625A (zh) 支持复合视频流的视频会议
US11416201B2 (en) Apparatus and associated methods for communication between users experiencing virtual reality
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
EP3374992A1 (en) Device and method for creating videoclips from omnidirectional video
US20200209952A1 (en) An Apparatus and Associated Methods for Presenting Sensory Scenes
EP3327677A1 (en) An apparatus for spatial audio and associated method
CN114286142A (zh) 一种虚拟现实设备及vr场景截屏方法
US20180124374A1 (en) System and Method for Reducing System Requirements for a Virtual Reality 360 Display
CN113296721A (zh) 显示方法、显示装置和多屏幕联动系统
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
EP3190503B1 (en) An apparatus and associated methods
CN113676690A (zh) 一种视频会议的实现方法、设备及存储介质
JP6224465B2 (ja) 映像配信システム、映像配信方法及び映像配信プログラム
US11775051B2 (en) Apparatus and associated methods for presentation of presentation data
KR101843024B1 (ko) 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191128

R150 Certificate of patent or registration of utility model

Ref document number: 6628343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250