JP2021513773A - 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置 - Google Patents

仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置 Download PDF

Info

Publication number
JP2021513773A
JP2021513773A JP2020541660A JP2020541660A JP2021513773A JP 2021513773 A JP2021513773 A JP 2021513773A JP 2020541660 A JP2020541660 A JP 2020541660A JP 2020541660 A JP2020541660 A JP 2020541660A JP 2021513773 A JP2021513773 A JP 2021513773A
Authority
JP
Japan
Prior art keywords
image frame
viewing angle
displayed
content
user viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020541660A
Other languages
English (en)
Other versions
JP7294757B2 (ja
Inventor
ツァン、ジェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2021513773A publication Critical patent/JP2021513773A/ja
Application granted granted Critical
Publication of JP7294757B2 publication Critical patent/JP7294757B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示の実施形態は、仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法および装置を提供する。当該方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供する段階とを備える。

Description

［関連出願の相互参照］
本願は、２０１８年２月１４日に出願された中国特許出願第２０１８１０１５１９２２．０号の優先権を主張する、２０１９年２月２日に出願された国際出願第ＰＣＴ／ＣＮ２０１９／０７４５２９号の国内段階移行である。これらの出願の両方とも、参照により、その全体が本明細書に組み込まれる。
本開示は概して、仮想現実ライブストリーミングの技術分野に関し、特に、仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置に関する。
［関連技術の説明］
仮想現実（ＶＲ）技術では、コンピュータを用いて、複数のコンピュータにより生成されるリアルタイム画像、前景画像、さらに現実画像から構成されるシミュレート環境を生成する。ユーザは、自分のモバイルデバイス（例えば、携帯電話）のスクリーン上で、または、専用のヘッドマウントディスプレイデバイス等を用いてシミュレート環境に入り込むことにより、そのような画像を見ることができる。ＶＲコンテンツと通常のビデオコンテンツとの間の顕著な差異の１つは、各ＶＲビデオフレームが３６０度パノラマ方式で撮影され得ることで、シーンをより明確かつ正確に再現できるということである。ビデオ再生処理において、再生デバイスのスクリーンは通常、平面構造であり、３６０度パノラマ方式で表示できないので、再生デバイスはまず、各画像フレームを表示するための表示角度として利用される視野角をユーザのために決定する必要がある。最初、ＶＲコンテンツは、デフォルトの表示角度を含み得る。再生処理において後に、見る人は、ヘッドマウントディスプレイデバイスを装着している事例では、ディスプレイデバイスを回転させることにより、または、自分の頭部を回したり、自分の眼球を転がしたりすることにより、視野角を変えることで、１つよりも多くの角度からビデオの各画像フレームのコンテンツを見ることができる。
ＶＲライブストリーミングは、ＶＲコンテンツをライブストリーミング技術と組み合わせた新規な応用である。ＶＲライブストリーミングにおいて、ＶＲコンテンツは通常、前もって作成されるＶＲビデオなどのコンテンツを含む。ＶＲコンテンツ送信デバイスが、ＶＲコンテンツを前もって取得し、次に、それを１または複数のＶＲ受信デバイスと同期的にリアルタイムで再生する。ＶＲライブストリーミングには多くの応用シナリオがある。例えば、インターネットベースの販売システムでは、いくつかの製品（例えば、家具または装飾製品）の販売には、特定の製品機能をよりはっきりと提示および展示するために大規模なシーンが必要とされる。ＶＲ技術を用いることで、それらの製品をそのようなシーンに前もって配置して、対応するＶＲコンテンツを作成できる。その後、ＶＲコンテンツは、ショッピングまたは購入中のユーザにＶＲライブストリーミングを介して再生され、ユーザは、特定の製品についてのより正確な情報を取得することが可能になる。様々なシナリオにおいて、ＶＲライブストリーミングは、映画のような純粋な表示コンテンツ、ゲームのような探検コンテンツ等をＶＲ受信デバイスへ送信するために用いられる。
本開示の実施形態は、ＶＲライブストリーミングにおける視野角の同期と関連する問題を解決するために、仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法および装置を提供する。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレーム、および、当該画像フレームに対応する送信ユーザ視野角情報をＶＲ受信デバイスに提供する段階とを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する段階と、決定された表示角度に基づいて、表示される現在の画像フレームを表示する段階とを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供する段階とを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲコンテンツ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する段階と、表示される現在の画像フレームが表示されているときにプロンプト情報を提供する段階とを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第１の送信ユーザ視野角情報決定ユニットと、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成された第１のＶＲコンテンツ提供ユニットとを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成された表示角度決定ユニットと、決定された表示角度に基づいて、表示される現在の画像フレームを表示するように構成されたディスプレイユニットとを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第２の送信ユーザ視野角情報決定ユニットと、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成された第２のＶＲコンテンツ提供ユニットとを備える。
本開示の一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための装置は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成された受信ユーザ視野角情報決定ユニットと、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザ視野角についてのプロンプト情報を生成するように構成されたプロンプト情報生成ユニットと、表示される現在の画像フレームが表示されているときにプロンプト情報を提供するように構成されたプロンプト情報提供ユニットとを備える。
本開示の一実施形態において、拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法は、ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲコンテンツ受信デバイスが表示する表示角度を決定するように構成されるように、ＡＲコンテンツにおける画像フレーム、および、当該画像フレームに対応する送信ユーザ視野角情報をＡＲ受信デバイスに提供する段階とを備える。
本開示の一実施形態において、拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲコンテンツ受信デバイスが表示する表示角度を決定する段階と、決定された表示角度に基づいて、表示される現在の画像フレームを表示する段階とを備える。
本開示の一実施形態において、ＡＲライブストリーミングにおいて視野角を同期させるための方法は、ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて、送信ユーザの視野角についてのプロンプト情報を提供するように、ＡＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＡＲコンテンツ受信デバイスに提供する段階とを備える。
本開示の一実施形態において、ＡＲライブストリーミングにおいて視野角を同期させるための方法は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する段階と、表示される現在の画像フレームが表示されているときにプロンプト情報を提供する段階とを備える。
現在の技術と比較して、本開示の実施形態は、以下の利点を提供する。
本開示の実施形態では、映画のような純粋な表示ＶＲコンテンツのライブストリーミングについて、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とをＶＲ送信デバイスがＶＲ受信デバイスへ同時に送信することにより、送信ユーザ視野角情報は、表示される画像フレームを受信デバイスが表示する表示角度として前処理された情報が用いられる前に、ＶＲ受信デバイス側で前処理される。このため、送信デバイス側で生じる送信ユーザの視野角のあらゆる突然の変化にもかかわらず、ＶＲ受信デバイスが画像フレームを表示する表示角度の変化がより滑らかになる。故に、そのような突然の変化に起因して受信ユーザが目まいを感じる状況の発生確率が制御および／または低減される。
ゲームのような探検ＶＲコンテンツのライブストリーミングでは、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報を計算し、それに応じてプロンプト情報を提供することにより、受信ユーザが、自分のＶＲ受信デバイスを回転させることなどのオペレーションをどのように実行するかに関してプロンプトされる。このように、受信ユーザが自分の独自の視野角をプロンプト情報に基づいて調整することで、送信ユーザが視聴しているものと同じＶＲコンテンツを、ＶＲ受信デバイスを介して視聴するように、送信ユーザの視野角と受信ユーザの視野角の同期が実現される。
上述の利点は例示的なものに過ぎず、本開示の実施形態は、以上で説明した利点の全てが同時に実現されることを必ずしも必要とはしない。
実施形態の説明において用いられる図面を以下で簡単に紹介する。以下の説明における図面は、本開示の実施形態のうちのいくつかに過ぎない。当業者であれば、著しい努力をすることなく、これらの図面に基づいて他の図面を取得できる。
本開示のいくつかの実施形態によるＶＲライブストリーミングシナリオを示すブロック図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための方法を示すフロー図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
本開示のいくつかの実施形態によるＶＲライブストリーミングのための装置を示すブロック図である。
本開示の実施形態における図面を参照して、本開示の実施形態における技術的解決手段を以下で明確かつ完全に説明する。本明細書において説明する実施形態は、本開示の実施形態の全てではなく、いくつかに過ぎない。当業者が著しい努力を行うことなく本開示における実施形態に基づいて取得する他の実施形態の全てが、本開示の保護範囲に含まれる。
現在の技術では、異なる種類のＶＲライブストリーミングコンテンツについて、送信デバイスと受信デバイスとの間のインタラクションモードが異なるので、未だ、視野角の同期の問題に同様に直面することになる。
例えば、映画のような純粋な表示コンテンツであるコンテンツでは通常、送信ユーザが、視聴のための主たる視野角を選択する。送信デバイスにより受信デバイスへ送信される情報は、各画像フレームの画像データのみではなく、各画像フレームに対応する、送信ユーザ視野角情報も含む。受信デバイスは、特定の画像フレームと、対応する送信ユーザの視野角とに基づいて受信デバイスの表示角度を決定して、対応する画像フレームを表示し、受信したＶＲコンテンツを再生するように構成される。言い換えると、受信ユーザは、送信ユーザの視野角を受動的に採用する。この事例において、受信ユーザの視点からは、受信ユーザが、ヘッドマウントディスプレイデバイスを装着しているときに視聴デバイス（例えば、受信ユーザの携帯電話）を回転させ、または頭部を回したり眼球を転がしたりした場合でも、この動きによっては、ＶＲコンテンツを表示するための視野角のいかなる変化ももたらされない。受信ユーザの視野角は常に、送信ユーザの視野角と同期させられる。これは、各受信ユーザがＶＲコンテンツをどのように視聴するかを送信ユーザが指示するのと同等である。
しかしながら、上述のライブストリーミングシナリオでは、送信ユーザが視野角を選択または変更する態様は通常、それでもなお、ヘッドマウントディスプレイデバイスを装着しているときにモバイルデバイス（例えば、携帯電話）を回転させ、または頭部を回したり眼球を転がしたりすることである。ライブストリーミングプロセスの間、送信ユーザは、端末デバイスを急激に回転させ、および／または、頭部を急激に回す等をすることがある。例えば、ライブストリーミングプロセスにおいて、送信ユーザは、パノラマ画像の上側部分におけるコンテンツを見るために突然見上げる、または、いくつかのオペレーションを実行するために突然見下ろす等のことを行い得る。そのような動きにより、送信ユーザがＶＲコンテンツを視聴する視野角が大幅に変わる。これに対応して、送信ユーザの視野角の突然の変化が原因で、ＶＲ受信デバイスにより再生されるＶＲビデオデータの表示角度も変わり、劇的な画像のずれが生じる。このため、受信ユーザは、突然および／または大幅に変化したビデオデータを見ることになるか、または、目まいを感じることにさえなる。なぜなら、受信ユーザは、画像の突然のずれの方を向いているわけではないからである。
他方、ゲームのような探検コンテンツでは、送信ユーザは、やはり自分の視野角を選択または変更する。しかしながら、現在の技術だと、送信ユーザ視野角情報が受信デバイスへ提供されない。加えて、受信ユーザは、ヘッドマウントディスプレイデバイスを装着しているときに、受信ユーザのデバイス（例えば、携帯電話）を回転させることにより、または、頭部を回したり眼球を転がしたりすることにより、自分の視野角を変えることで、ゲームシーンのインタフェース（例えば、マップ）を探検すること等を行い得る。言い換えると、受信ユーザは、自分の視野角を能動的に変更し得る。受信デバイスがＶＲコンテンツを再生する場合、ＶＲコンテンツの表示角度が、受信ユーザの視野角に基づいて決定される。このように、同じライブストリーミングプロセスの間に送信デバイスおよび様々な受信デバイスが同じＶＲコンテンツを異なる表示角度で表示し得るということが可能である。
しかしながら、ユーザが同じアクティビティのライブストリーミングインタラクションに入っている（例えば、同じゲームに参加している）ので、いくつかの状況において、受信ユーザは、ゲームインタラクションをより良く実行すること等を行うために、送信ユーザの視野角を把握する必要がある。現在の技術では、送信ユーザは、音声および他のメカニズムを介して、送信ユーザの視野角の方向を受信ユーザに通知する。その結果として、受信ユーザは、送信ユーザの音声プロンプトに基づいて送信ユーザの視野角の方向を見つけることになる。しかしながら、大規模なゲームシーンなどのＶＲコンテンツでは、画像フレームの領域が非常に大きい。一方、送信ユーザは、自分の視野角の方向を言葉では明確に説明できない。他方、送信ユーザが明確な説明を行った場合でも、スクリーン上の過度の量のコンテンツ等に起因して、送信当事者と関連付けられた視野角の方向を見つけることは、受信ユーザにとって依然として困難である。したがって、そのような状況では、現在の技術において提供されている方法は適用不能になる。その結果として、同じゲーム内の受信ユーザは、送信ユーザの主たる視野角の方向の確認または識別に失敗することが多くなる。
上述の２つのシナリオに基づいて、本開示の実施形態は、改善された解決手段を提供する。本開示の様々な実施形態によれば、映画のような純粋な表示コンテンツのライブストリーミングおよびゲームのような探検コンテンツのライブストリーミングの両方において、ライブストリーミングのための送信デバイスが、画像フレームの画像データと送信ユーザの対応する視野角情報とを受信デバイスに提供するように構成される。その後、異なる種類のＶＲコンテンツのライブストリーミングについて、受信デバイスは、異なる処理を実行するように構成される。
まず、映画のような純粋な表示コンテンツのライブストリーミングについては、ＶＲ受信デバイス側で、ＶＲ受信デバイスは、フレームデータと関連付けられた送信ユーザの視野角に直接基づいてフレームを表示することはない。むしろ、表示デバイスは、表示される現在のフレームと、現在の画像フレームよりも前のいくつかの画像フレームに対応する視野角情報とに基づいて、処理オペレーション（例えば、平均化オペレーション）をまず実行するように構成される。次に、処理された視野角情報の結果が、現在の画像フレームを受信デバイスにおいて表示するための表示角度として決定されることで、当該画像フレームの表示角度が平滑化される。その後、ＶＲ受信デバイス側では、平滑化された表示角度情報に基づいてＶＲビデオデータが表示され、ライブストリーミングを視聴しているユーザに対して、ＶＲビデオデータが表示される。このように、ユーザがライブストリーミングを視聴する場合、突然の方向の変化がバッファリングされ、視聴中にユーザが目まいの感覚を経験するインシデントが低減する。
ゲームのような探検ＶＲコンテンツのライブストリーミングでは、ＶＲ受信デバイスは、対応する画像フレームの表示角度として受信ユーザの視野角を用いるように構成される。同時に、ＶＲ受信デバイスはさらに、各画像フレームに対応する送信ユーザの視野角と受信ユーザの視野角との間の方向情報における視差を計算するように構成される。受信デバイスがＶＲコンテンツを再生するプロセスの間、方向情報における視差に基づいて、プロンプト情報が提供される。例えば、「矢印」アイコンなどのプロンプト情報がＶＲコンテンツ再生インタフェースを介して表示され得、および／または、音声ベースのプロンプト情報が生成および再生され得る等である。
異なる種類のＶＲコンテンツのライブストリーミングに対応する視野角の同期の例示的な実施形態を以下で詳細に示す。
図１は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるシナリオを示すブロック図である。一実施形態において、視野角の同期は、映画のような純粋な表示ＶＲコンテンツのライブストリーミングのために提供される。本願において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度は、ＶＲ送信デバイスの動きに関連する。他方、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。本明細書における図１に示されるように、ＶＲ送信デバイス１０１を用いているユーザが、ライブストリーミングユーザ（例えば、コンテンツ製作者またはホストユーザ）であり、本明細書において送信ユーザとも称される。送信ユーザは、ＶＲ送信デバイス１０１（例えば、ＶＲヘッドマウントディスプレイ（ＨＭＤ）またはモバイルデバイス）を利用してＶＲコンテンツを視聴する。ＶＲ送信デバイス１０１は、送信ユーザが視聴するＶＲコンテンツの他、ＶＲコンテンツにおける特定の画像フレームに対応する送信ユーザ視野角情報もＶＲ受信デバイス１０３に提供するように構成される。いくつかの実施形態において、ＶＲ送信デバイス１０１により提供される上述の情報は、サーバ１０２を介してＶＲ受信デバイス１０３へ転送される。他の実施形態において、そのような情報は、ポイントツーポイント接続を介して、ＶＲ送信デバイス１０１からＶＲ受信デバイス１０３へ直接提供される。
いくつかの実施形態において、ＶＲ送信デバイス１０１により送信されるＶＲビデオデータの各フレームは、３６０度パノラマデータを含む。ＶＲビデオデータと、対応する送信ユーザ視野角情報とを受信した後に、ＶＲ受信デバイスは、視野角情報を平滑化するように構成される。視野角情報を平滑化するために、任意の適切なアルゴリズムが用いられ得る。例えば、現在のフレームよりも前のＮ個の画像フレームに対応する視野角情報の平均値が取得され、現在の画像フレームの表示角度として用いられる。次に、ＶＲ受信デバイスは、現在の画像フレームのそのような表示角度に基づいて現在の画像フレームを受信ユーザに対して表示するように構成される。同じく、他の画像フレームが同様に処理される。
１つのＶＲ受信デバイス１０３のみが図１に示されるが、任意の数のＶＲ受信デバイスが様々な実施形態において含まれ得ることが理解される。
現在の技術と比較すると、本開示の実施形態において提供される技術は、送信ユーザの視野角をＶＲ受信デバイスにおける表示角度として直接用いることはない。むしろ、受信デバイスにおいて再生される画像フレームの突然のずれまたは回転など、送信ユーザの視野角の突然の変化により生じるインシデントを回避するために、ユーザ視野角情報の送信が、ＶＲ受信デバイス側での表示角度へと平滑化される。このように、視聴しているときに受信ユーザが目まいを感じるという事態の発生確率が低減される。
図２は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための方法を示すフロー図である。いくつかの実施形態において、当該方法は、ＶＲ送信デバイスにおいて実行される。一実施形態において、当該方法は、以下の段階を含む。
段階Ｓ２０１：ＶＲ送信デバイスは、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
一実施形態において、送信ユーザがＶＲ送信デバイスを用いてＶＲビデオを視聴する。例えば、ライブストリーミングユーザが、ＶＲヘッドマウントディスプレイを身に着けて映画等を見る。自分の視聴プロセス中、送信ユーザの視野角の方向は、いつでも変わり得る。例えば、送信ユーザが頭部を上げる動きにより、視線の方向に突然の上方への動きが生じ、送信ユーザが頭部を下げる動きにより、視線の方向に突然の下方への動きが生じる等である。したがって、送信ユーザがＶＲビデオを視聴する場合、ＶＲ送信デバイスは、ＶＲビデオの各フレームのパノラマデータのみでなく、ビデオデータの各フレームに対応する視野角情報も取得する必要がある。視野角情報は、ＶＲ送信デバイス側の送信ユーザがＶＲコンテンツを視聴する視線の方向を示すために用いられる。一実施形態において、ＶＲ送信デバイスには、ＶＲ送信デバイスの動きにより生じる視野角情報の変化を検出するように構成されたセンサが設けられる。このため、ＶＲコンテンツをＶＲ送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報が決定される場合、画像フレームに対応する送信ユーザ視野角情報は、センサによりアップロードされる視野角情報の変化に基づいて決定される。
いくつかの実施形態において、ＶＲコンテンツの各画像フレームは、そのそれぞれの送信ユーザ視野角情報に対応する。このため、画像フレームに対応する送信ユーザ視野角情報を決定することは、各画像フレームについての対応する送信ユーザの視野角をそれぞれ決定することである。他の実施形態において、送信ユーザ視野角情報は、特定の数のフレーム毎に１回提供される等である。
段階Ｓ２０２：送信デバイスは、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
いくつかの実施形態において、ＶＲ送信デバイスは、遠隔データ同期などの技術を介して、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。様々な実施形態において、画像フレームと、対応する送信ユーザ視野角情報とは、ポイントツーポイント接続等を介して、サーバを介してＶＲ受信デバイスへ転送され、ＶＲ受信デバイスへ直接送信される。一例において、ＶＲコンテンツにおける画像フレームと、対応する送信ユーザ視野角情報とは、フレーム単位で送信される。他の例において、いくつかの画像フレームが、ビデオストリームとしてＶＲ受信デバイスと同期させられ、ＶＲコンテンツにおける当該画像フレームに対応する送信ユーザ視野角情報が、ビデオストリームに提供される。どの送信モードが採用されるかにかかわらず、ＶＲ送信デバイスおよびＶＲ受信デバイスは、ＶＲ受信デバイスが各画像フレームをそれぞれの送信ユーザの視野角に対応させることができるように合意する必要がある。
ＶＲコンテンツを受信した後に、ＶＲ受信デバイスは、画像フレームと、対応する送信ユーザ視野角情報とをＶＲコンテンツから抽出するように構成される。一例において、ＶＲ受信デバイスでの表示用の現在の画像フレームと関連付けられた表示角度が、ＶＲコンテンツにおける予め設定された数（例えば、５つ）の前の画像フレームの全てに対応する送信ユーザの視野角に関連する。故に、ＶＲ受信デバイスは、少なくとも予め設定された数の受信した画像フレームに対応する送信ユーザの視野角を保存するように構成される。一実施形態において、予め設定された数のフレームに基づいて、（…， Ｘｎ−１， Ｘｎ， Ｘｎ＋１， Ｘｎ＋２，…）などの一連の送信ユーザ視野角情報が、予め設定された数に基づいて保存される。ここで、Ｘｎは、ｎ番目の画像フレームに対応する送信ユーザ視野角情報を表すベクトルである。いくつかの実施形態において、予め設定された数が既知である場合、スライディングウィンドウのサイズは、予め設定された数と同じに設定される。新しい画像フレームに対応する送信ユーザ視野角情報が受信される度に、新しい画像フレームに対応する送信ユーザ視野角情報のベクトルが上述のシリーズに追加され、スライディングウィンドウは、１ウィンドウ単位だけ前進する。
様々な実施形態によれば、視野角の変化に関してスムーズな移行が実現される限り、受信された送信ユーザ視野角情報を処理するために、任意の適切な技術が用いられ得る。例えば、一実装において、ＶＲコンテンツにおけるフレームの再生順序に基づいて、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の隣接する画像フレームとが決定される。次に、表示される現在の画像フレームと予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値が、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として計算および決定される。例えば、スライディングウィンドウのサイズがｍ＋１と予め設定されていれば、表示される現在の画像フレームは、現在の画像フレームよりも前のｍ個の隣接する画像フレームに対応する送信ユーザ視野角情報に関連する。ｍは、１よりも大きい整数であり得る。ここで、表示される現在の画像フレームの表示角度を計算するために、Ｙｎ＝Ｘｎ−ｍ＋Ｘｎ−ｍ＋１＋…Ｘｎ／（ｍ＋１）という式が用いられる。すなわち、ＶＲ受信デバイスにおける表示用のｎ番目の画像フレームの表示角度（Ｙｎ）が、ｎ番目の画像フレームと、ｎ番目の画像フレームよりも前のｍ個の画像フレームとに対応する送信ユーザの視野角の平均値である。
様々な実施形態によれば、ｍの値が大きければ大きいほど、計算される表示角度の変化がより安定したものになり、ＶＲ受信デバイスにおける表示用の画像フレームと関連付けられた表示角度の変化曲線がより滑らかになる。
視野角情報に対して平滑化オペレーションが実行された後に、結果として生じる視野角が、ＶＲ受信デバイスでの表示のための表示角度として用いられる。このため、表示される現在の画像フレームは、当該表示角度に基づいて表示され、他のフレームは、同様に処理される。
本開示の様々な実施形態によれば、視野角を平滑化することにより、ＶＲ受信側における画像フレームの表示角度の変化が、表示プロセスにおいてより安定したものになる。このように、送信ユーザの視野角の突然の変化に起因して受信ユーザが目まいを感じるなどのインシデントの発生の確率が低減される。しかしながら、平滑化プロセスにより、受信ユーザがＶＲコンテンツを視聴する視野角が送信ユーザの視野角と完全には合致しなくなり得るだけでなく、遅延などの状況が発生し得る。さらに、送信ユーザの視野角が突然変化しない場合、各画像フレームを表示の前に平滑化すると、計算リソース等がある程度浪費されてしまう。さらに、これにより、受信ユーザによるコンテンツの視聴に関する遅延も生じ、当該プロセスが意味のないものになってしまう。
このことを考慮して、本開示のいくつかの実施形態において、表示される現在の画像に対応する視野角情報が平滑化される前に、表示される現在の画像の送信ユーザの視野角がいくつかの前の画像フレームの視野角に対して突然変化しているかどうかが、まず決定される。突然の変化がある場合、上述の平滑化オペレーションが実行される。そうでなければ、表示される画像フレームは、表示される現在の画像フレームに対応する送信ユーザの視野角に基づいて表示される。送信ユーザの視野角は、受信デバイスにおける表示のための表示角度として直接設定される。一実施形態において、現在の画像フレームよりも前の予め設定された数の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度が決定される。予め設定された閾値に変化度が到達した場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階がトリガされる。そうでなければ、予め設定された閾値に変化度が到達していない場合、現在の画像フレームに対応する送信ユーザの視野角は、表示される現在の画像フレームをＶＲ受信デバイスが表示するための表示角度として決定される。一例において、各画像フレームと関連付けられた送信ユーザの視野角がベクトルに対応するので、変化度の大きさは、ベクトル間の距離を計算し、そのような距離の長さを決定することにより決定される。すなわち、変化度に対応する予め設定された閾値は、１つのベクトルと別のベクトルとの間の距離等を表す長さ値として設定される。
このように、上述の方法を介して、平滑化オペレーションが必要に応じて実行される。すなわち、平滑化オペレーションが必要とされる場合（例えば、送信ユーザの視野角に突然の変化があることが分かった場合）、平均値の計算などの処理が実行される。このため、計算リソースの使用が低減され、受信ユーザがＶＲコンテンツを視聴する視野角と送信ユーザの視野角との間の整合性が大いに保証される。
本開示の様々な実施形態によれば、ＶＲコンテンツにおける画像フレームおよび対応する視野角情報は、ＶＲ送信デバイスによりＶＲ受信デバイスへ同時に送信される。このように、送信ユーザ視野角情報は、ＶＲ受信デバイス側で前処理された後に、表示される画像フレームを受信デバイスが表示するための表示角度として用いられる。結果として、送信ユーザの視野角が送信デバイス側で突然変化した場合、突然の変化に起因して受信ユーザが目まいを感じるなどのインシデントの発生確率が制御および／または低減されるように、ＶＲ受信デバイスが画像フレームを表示する表示角度の変化が、より平滑化されたものになる。
図３は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための方法を示すフロー図である。いくつかの実施形態において、当該方法は、ＶＲコンテンツ受信デバイスにより実行される。一実施形態において、当該方法は、以下の段階を含む。
段階Ｓ３０１：ＶＲコンテンツ受信デバイスは、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲコンテンツ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
段階Ｓ３０２：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成される。
一例において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するために、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の画像フレームとに対応する送信ユーザ視野角情報の平均値が計算され、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として決定される。
さらに、平均値が計算される前に、予め設定された数の前の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度がまず決定される。予め設定された閾値に変化度が到達した場合、表示される現在の画像フレームと、現在の画像フレームよりも前の予め設定された数の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階がトリガされる。予め設定された閾値に変化度が到達していない場合、現在の画像フレームに対応する送信ユーザの視野角は、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として決定される。
段階Ｓ３０３：ＶＲコンテンツ受信デバイスは、決定した表示角度に基づいて、表示される現在の画像フレームを表示するように構成される。
この例において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。
簡潔にするために、図２に関して説明されるものと実質的に同様である、図３に関する詳細については、繰り返さない。
図４は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角の同期のための方法を示すフロー図である。いくつかの実施形態において、視野角の同期のための当該方法は、ゲームのような探検ＶＲコンテンツのライブストリーミングにおいて提供される。このシナリオでは、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。いくつかの実施形態において、当該方法は、ＶＲコンテンツ送信デバイスにおいて実行される。一実施形態において、ＶＲライブストリーミングにおいて視野角を同期するための当該方法は、以下の段階を含む。
段階Ｓ４０１：ＶＲコンテンツ送信デバイスは、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
いくつかの実施形態において、段階Ｓ４０１は、図２に関連して上述した段階Ｓ２０１と実質的に同じである。すなわち、受信ユーザの視野角に基づいて変化する表示角度でＶＲコンテンツ受信デバイスがＶＲコンテンツを表示するが、送信デバイス側での送信ユーザ視野角情報は依然として、ＶＲ受信デバイスに提供される。受信した送信ユーザ視野角情報に基づいて、ＶＲ受信デバイスは、送信ユーザの視野角方向についてのプロンプト情報を受信ユーザに提供するように構成される。
段階Ｓ４０２：ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＶＲコンテンツ送信デバイスは、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
ＶＲコンテンツがＶＲ受信デバイスに提供される場合、同様に、提供されるＶＲコンテンツにおける画像フレームのみでなく、当該画像フレームに対応する送信ユーザ視野角情報も提供される。ＶＲ受信デバイスについては、ＶＲ受信デバイスにおける画像フレームの表示角度は、受信ユーザの視野角に基づいて決定される。例えば、ゲームシーンにおいて、送信ユーザは当該シーンの右上部分に既に入っており、受信ユーザは依然として当該シーンの左下部分に留まっている。この事例において、ＶＲ受信デバイスは、当該シーンのフレームの右上部分の表示角度に基づいて現在の画像フレームを再生するのではなく、代わりに、受信ユーザが位置する当該シーンのフレームの左下部分の表示角度に基づいて現在の画像フレームを再生する。
しかしながら、いくつかの実施形態において、ＶＲ受信デバイスが送信ユーザ視野角情報を取得するように構成されるので、受信ユーザが例えば自分でＶＲ受信デバイスを回転させること等により送信ユーザの視野角の方向を見つけるのを支援するために、受信ユーザの視野角と送信ユーザの視野角との間の視差は、どのプロンプト情報が受信ユーザに提供されるかに基づいて計算される。当該視差は、送信ユーザの視野角の方向と受信ユーザの視野角の方向との間の角度値であり、ベクトル等により表される。
受信ユーザの視野角と送信ユーザの視野角との間の視差が計算された後に、どのようにＶＲ受信デバイスを回転させて送信ユーザの視野角に対応する位置を見つけるかについて受信ユーザに通知するために、当該視差に基づいてプロンプト情報が生成される。
一実施形態において、プロンプト情報は、任意の適切な方式で生成される。いくつかの例において、プロンプト情報が受信ユーザに提供される場合、表示される現在の画像フレームが表示されるときに視覚化方向指示情報が画像フレームにスーパーインポーズされるように、視覚化方向指示情報が視差情報に基づいて生成される。例えば、どのように自分のＶＲ受信デバイスを回転させるかについて受信ユーザにプロンプトする歪みの度合いを示す矢印アイコンを用いて視覚化方向指示情報が実装される。受信ユーザの視野角と送信ユーザの視野角との間の視差が大きければ大きいほど、矢印の歪みがより明らかになる。さらに、実装において、送信ユーザの名前などのユーザ識別情報が、視覚化された情報（例えば、矢印）において表示される。
いくつかの実施形態において、視覚化された情報を介してプロンプト情報を提供することに加え、音声情報等によりプロンプトが提供される。例えば、音声プロンプト情報が視差情報に基づいて生成され、次に、表示される現在の画像フレームが表示されているときに再生される。実装において、テキストテンプレートおよび音声再生モデルが前もって提供される。視差情報が計算された後に、対応するテキストがテンプレートに基づいて生成され、再生のために音声再生モデル等を介して音声へ変換される。一例において、送信ユーザの視野角が現在の受信ユーザの視野角に対して右後方の位置に位置していることが計算によって分かった場合、「送信ユーザの視野角を見つける必要がある場合は、携帯電話またはＶＲヘッドマウントディスプレイを右後方へ回転させてください」というテキストが生成される。
上述のプロンプト情報が提供されており、送信ユーザの視野角と同期させる必要がある場合、受信ユーザは、それに応じて、プロンプト情報に基づいて、例えば自分のＶＲ受信デバイスを回転させること等により、自分の視野角を調整する。故に、受信ユーザの視野角が送信ユーザの視野角と合致し、送信ユーザの視野角との同期が実現する。
言い換えると、受信ユーザが、プロンプト情報を取得した後に、プロンプト情報に基づいて自分の視野角方向を調整する場合、ＶＲ受信デバイスは、受信ユーザにより調整される視野角方向に基づいてＶＲコンテンツを受信ユーザに対して表示するように構成される。上述の例を用いて、受信ユーザの視線も当該シーンの右上部分に入っている場合、当該シーンと関連付けられたフレームの右上部分におけるＶＲ画像は、当該シーンの右上部分に対応する表示角度に基づいてＶＲ受信デバイス上で再生される必要がある。このため、受信ユーザは、当該画像のこの部分を見ることが可能になる。
本開示の実施形態によれば、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報の計算を介して、プロンプト情報が視差情報に基づいて生成される。プロンプト情報は、どのようにオペレーション（例えば、自分のＶＲ受信デバイスを回転させること）を実行して送信ユーザの視野角との同期を実現するかに関して受信ユーザにプロンプトするように構成される。このように、受信ユーザは、自分の独自の視野角をプロンプト情報に基づいて調整することで、送信ユーザが視聴しているものと同じＶＲコンテンツをＶＲ受信デバイスにおいて視聴することが可能になる。
いくつかの実施形態において、複数のＶＲコンテンツ受信デバイスの事例では、他のＶＲコンテンツ受信デバイスに対応するユーザの視野角についてのプロンプト情報を提供するために、それぞれのＶＲコンテンツ受信デバイス間の視差情報は、上述の方法に基づいて決定される。例えば、ＶＲ受信デバイスＡに対応する受信ユーザＡの視野角の方向が、ＶＲ受信デバイスＢに対応する受信ユーザＢの視野角の方向とは異なる場合、ユーザＢの視野角と関連付けられた位置をユーザＡが見つけること等を支援するために、ユーザＢの視野角情報は、ＶＲ受信デバイスＡのディスプレイスクリーン上でプロンプトされる。
図５は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角の同期のための方法を示すフロー図である。いくつかの実施形態において、当該方法は、図４に関連して説明した方法を介して送信されるＶＲコンテンツを受信するように構成されたＶＲコンテンツ受信デバイスにおいて実行される。一実施形態において、ＶＲライブストリーミングにおいて視野角を同期させるための当該方法は、以下の段階を含む。
段階Ｓ５０１：ＶＲコンテンツ受信デバイスは、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
段階Ｓ５０２：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成される。
段階Ｓ５０３：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成するように構成される。
段階Ｓ５０４：ＶＲコンテンツ受信デバイスは、表示される現在の画像フレームが表示されるときにプロンプト情報を提供するように構成される。
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、一方、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。
一実施形態において、送信ユーザの視野角についてのプロンプト情報を生成するために、上述の視差情報に基づいて視覚化方向指示情報が生成される。一例において、視覚化方向指示情報は、表示される現在の画像フレームが表示されるときに、画像フレームにスーパーインポーズされる。別の例において、送信ユーザのユーザ識別情報が、視覚化された情報へ追加される。
他の実施形態において、送信ユーザの視野角についてのプロンプト情報は、視差情報に基づいて音声プロンプト情報を生成することにより生成される。一例において、音声プロンプト情報は、表示される現在の画像フレームを表示するときに再生される。
簡潔にするために、図５に関連して説明していない詳細は、図２から図４に関連して上述したものと実質的に同様なので、ここでは繰り返さない。
本開示の実施形態において簡潔な方式で提供された前述の方法を説明するために、全ての方法を一連の動作の組み合わせとして説明した。しかしながら、当業者であれば、特定の動作が異なる順序で適用され得るか、または本開示に従って同時に実行され得るので、本開示は説明された動作の順序により限定されないことを把握しているはずである。さらに、当業者であれば、本明細書において説明する実施形態について、本開示を実装するため当該動作およびモジュールが必ずしも必要とされないことを把握しているはずである。
図６は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図６に示すように、当該装置は、第１の送信ユーザ視野角情報決定ユニット（６０１）および第１のＶＲコンテンツ提供ユニット（６０２）を含む。
第１の送信ユーザ視野角情報決定ユニット（６０１）は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
第１のＶＲコンテンツ提供ユニット（６０２）は、ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＶＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ送信デバイスの動きに関連する。表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、ＶＲ受信デバイスの動きに関連しない。
いくつかの実施形態において、ＶＲ送信デバイスは、ＶＲ送信デバイスの動きにより生じる視野角変化情報を検出するためのセンサと共に構成される。一例において、第１の送信ユーザ視野角情報決定ユニット（６０１）はさらに、センサによりアップロードされる視野角情報の変化に基づいて、画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
図７は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図７に示すように、当該装置は、ＶＲコンテンツ取得ユニット（７０１）、表示角度決定ユニット（７０２）およびディスプレイユニット（７０３）を含む。
ＶＲコンテンツ取得ユニット（７０１）は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
表示角度決定ユニット（７０２）は、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成される。
ディスプレイユニット（７０３）は、決定された表示角度に基づいて、表示される現在の画像フレームを表示するように構成される。
一実施形態において、表示角度決定ユニット（７０２）は、計算サブユニットおよび表示角度決定サブユニットを含む。計算サブユニットは、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算するように構成される。表示角度決定サブユニットは、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度としての平均値を決定するように構成される。
いくつかの実施形態において、当該装置は、視聴角度変化度決定ユニット、トリガユニットおよび直接決定ユニットをさらに含む。視聴角度変化度決定ユニットは、予め設定された数の前の隣接する画像フレームに対応する送信ユーザ視野角情報に対する、表示される現在の画像フレームに対応する送信ユーザ視野角情報の変化度情報を決定するように構成される。トリガユニットは、予め設定された閾値に変化度情報が到達した場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報の平均値を計算する段階をトリガするように構成される。直接決定ユニットは、予め設定された閾値に変化度情報が到達していない場合、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度として、現在の画像フレームに対応する送信ユーザの視野角を決定するように構成される。
いくつかの実施形態において、表示される現在の画像フレームをＶＲ受信デバイスが表示する表示角度は、受信ユーザにより生じるＶＲ受信デバイスの動きに関連しない。
図８は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図８に示すように、当該装置は、第２の送信ユーザ視野角情報決定ユニット（８０１）および第２のＶＲコンテンツ提供ユニット（８０２）を含む。
第２の送信ユーザ視野角情報決定ユニット（８０１）は、ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成される。
ＶＲ受信デバイスが、ＶＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、第２のＶＲコンテンツ提供ユニット（８０２）は、ＶＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＶＲ受信デバイスに提供するように構成される。
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度がＶＲ送信デバイスの動きに関連し、一方、ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度がＶＲ受信デバイスの動きに関連する。
図９は、本開示のいくつかの実施形態によるＶＲライブストリーミングにおいて視野角を同期させるための装置を示すブロック図である。図９に示すように、当該装置は、ＶＲコンテンツ取得ユニット（９０１）、受信ユーザ視野角情報決定ユニット（９０２）、プロンプト情報生成ユニット（９０３）およびプロンプト情報提供ユニット（９０４）を含む。
ＶＲコンテンツ取得ユニット（９０１）は、画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成される。
受信ユーザ視野角情報決定ユニット（９０２）は、表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成される。
プロンプト情報生成ユニット（９０３）は、表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成するように構成される。
プロンプト情報提供ユニット（９０４）は、表示される現在の画像フレームが表示されるときにプロンプト情報を提供するように構成される。
いくつかの実施形態において、ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ送信デバイスの動きに関連する。ＶＲ受信デバイスがＶＲコンテンツを表示する表示角度が、ＶＲ受信デバイスの動きに関連する。
いくつかの実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視差情報に基づいて視覚化方向指示情報を生成するように構成される。
一例において、プロンプト情報提供ユニット（９０４）はさらに、表示される現在の画像フレームが表示されているときに表示用の画像フレームに関する視覚化方向指示情報をスーパーインポーズするように構成される。
いくつかの実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視覚化された情報へ送信ユーザのユーザ識別情報を追加するように構成される。
他の実施形態において、プロンプト情報生成ユニット（９０３）はさらに、視差情報に基づいて音声プロンプト情報を生成するように構成される。
一例において、プロンプト情報提供ユニット（９０４）はさらに、表示される現在の画像フレームが表示されているときに音声プロンプト情報を再生するように構成される。
本開示の様々な実施形態は、拡張現実（ＡＲ）のライブストリーミングにおいて視野角の同期をさらに提供する。ＡＲライブストリーミングとＶＲライブストリーミングとの間の差異は、ＡＲライブストリーミングのプロセスでは、送信ユーザおよび受信ユーザの両方が、同じエンティティオブジェクトの画像を収集でき、かつ、関連付けられたＡＲコンテンツをスクリーンに示されるエンティティオブジェクトの表示位置に基づいて表示できる必要があるということである。本開示の実施形態により提供される解決手段は、ＡＲベースのライブストリーミングにおいて用いられる。すなわち、ＡＲコンテンツにおける各画像フレームが３６０度パノラマ画像であり、ユーザが自分のＡＲデバイスを回転させることにより視野角を変えることができる場合、本開示の実施形態により提供される解決手段は、送信ユーザおよび受信ユーザの視野角を同期させるためにも用いられ得る。これにより、受信ユーザが目まいを感じるなどの状況の発生が回避される。
ＡＲライブストリーミングには、純粋な表示コンテンツのライブストリーミングおよび探検コンテンツのライブストリーミングがある。これに対応して、異なる種類のＡＲコンテンツでは、同期の問題と、対応する処理方法とが異なる。
いくつかの実施形態において、図２に関連して上述した方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
段階１：ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する。
段階２：ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定するように構成されるように、ＡＲコンテンツにおける画像フレームと、画像フレームに対応する送信ユーザ視野角情報とをＡＲ受信デバイスに提供する。
いくつかの実施形態において、図３と関連して上述された方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期するための方法が提供される。当該方法は、以下の段階を含む。
段階１：画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する。
段階２：表示される現在の画像フレームと、予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に基づいて、表示される現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定する。
段階３：決定した表示角度に基づいて、表示される現在の画像フレームを表示する。
いくつかの実施形態において、図４と関連して上述された方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
段階１：ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する。
段階２：ＡＲ受信デバイスが、ＡＲコンテンツを表示する場合、受信ユーザの視野角と送信ユーザの視野角との間の視差に基づいて送信ユーザの視野角についてのプロンプト情報を提供するように構成されるように、ＡＲコンテンツにおける画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とをＡＲ受信デバイスに提供する。
いくつかの実施形態において、図５に関連して上述した方法と実質的に同様に、ＡＲライブストリーミングにおいて視野角を同期させるための方法が提供される。当該方法は、以下の段階を含む。
段階１：画像フレームと、当該画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する。
段階２：表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する。
段階３：表示される現在の画像フレームに対応する受信ユーザの視野角と送信ユーザの視野角との間の視差情報に基づいて、送信ユーザの視野角についてのプロンプト情報を生成する。
段階４：表示される現在の画像フレームが表示されているときにプロンプト情報を提供する。ＡＲに関連する特定の実装については、上述の対応する実施形態におけるＶＲについての説明を参照されたい。
本明細書における実施形態は、他の実施形態とは異なる部分を強調した各実施形態と共に漸次説明されていることに留意されたい。実施形態のうち同一または同様の部分については、互いに参照することにより取得され得る。デバイスの実施形態が方法の実施形態と実質的に同様なので、デバイスの実施形態についての説明は比較的簡潔であり、関連部分については、方法の実施形態の説明を参照できる。
最終的に、本書において、第１のおよび第２のなど、関係についての用語は、１つのエンティティまたはオペレーションを別のエンティティまたはオペレーションと区別するために用いられているに過ぎず、エンティティまたはオペレーションがこの実際の関係または順序を有することを必要としたり示唆したりしていないことにさらに留意されたい。さらに、「含む」という用語、「備える」という用語またはそれらの他の変形が非排他的な包含を対象に含むことが意図されている。このことにより、一連の要素を含むプロセス、方法、物品またはデバイスは、当該要素のみを含むのではなく、はっきりと列挙されていない他の要素も含むか、または、プロセス、方法、物品またはデバイスの固有の要素をさらに含む。「１つを含む」という記述により定義される要素は、さらなる限定なく、当該要素を含むプロセス、方法、コモディティまたはデバイスにおける追加の同一の要素の存在を除外しない。
本開示により提供されるＶＲライブストリーミングにおいて視野角を同期させるための方法および装置を以上で詳細に説明した。本開示の原理および実装を、本明細書における特定の例を適用することにより説明した。実施形態に関する以上の説明は、本開示の方法および当該方法の核となる概念の理解を支援するために用いられているに過ぎない。一方、当業者の場合、本開示の概念に従って、特定の実装と本開示の範囲とについて修正を行い得る。要約すると、本明細書の内容は、本開示に対するいかなる限定とも解釈されるべきではない。

Claims (24)

  1. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
    前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する表示角度を決定する段階と
    を備える方法。
  2. ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連する、
    請求項１に記載の方法。
  3. 前記ＶＲ送信デバイスには、前記ＶＲ送信デバイスの前記動きにより生じる視野角変化情報を検出するように構成されたセンサが設けられ、
    ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する前記段階は、
    前記センサによりアップロードされる前記視野角変化情報に従って、前記画像フレームに対応する前記送信ユーザ視野角情報を決定する段階
    を有する、
    請求項２に記載の方法。
  4. 表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度は、前記ＶＲ受信デバイスの動きに関連しない、
    請求項１から３のいずれか一項に記載の方法。
  5. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、
    表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する段階と、
    決定された前記表示角度に従って、表示される前記現在の画像フレームを表示する段階と
    を備える方法。
  6. 表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定する前記段階は、
    表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する段階と、
    表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度としての前記平均値を決定する段階と
    を有する、
    請求項５に記載の方法。
  7. 表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する前記段階の前に、
    隣接する前記予め設定された数の前の画像フレームに対応する前記送信ユーザ視野角情報に対する、表示される前記現在の画像フレームに対応する前記送信ユーザ視野角情報の変化度情報を決定する段階と、
    予め設定された閾値に前記変化度情報が到達した場合、表示される前記現在の画像フレームと、前記現在の画像フレームの前記予め設定された数の前の画像フレームとに対応する前記送信ユーザ視野角情報の平均値を計算する前記段階をトリガする段階と
    をさらに備える、請求項６に記載の方法。
  8. 前記予め設定された閾値に前記変化度情報が到達していない場合、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度として、前記現在の画像フレームに対応する前記送信ユーザ視野角情報を決定する段階
    をさらに備える、請求項７に記載の方法。
  9. 表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する前記表示角度は、受信ユーザによりトリガされる前記ＶＲ受信デバイスの動きに関連しない、
    請求項５から８のいずれか一項に記載の方法。
  10. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
    前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する段階と
    を備える方法。
  11. ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連し、前記ＶＲ送信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連する、
    請求項１０に記載の方法。
  12. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得する段階と、
    表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、
    表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成する段階と、
    表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する段階と
    を備える方法。
  13. 前記ＶＲ送信デバイスがＶＲコンテンツを表示する表示角度が、前記ＶＲ送信デバイスの動きに関連し、ＶＲ受信デバイスが前記ＶＲコンテンツを表示する表示角度が、前記ＶＲ受信デバイスの動きに関連する、
    請求項１２に記載の方法。
  14. 送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
    前記視差情報に従って視覚化方向指示情報を生成する段階
    を有し、
    表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する前記段階は、
    表示される前記現在の画像フレームが表示されるときに、前記視覚化方向指示情報を表示用の前記画像フレームにスーパーインポーズする段階
    を有する、
    請求項１２または１３に記載の方法。
  15. 送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
    前記視覚化方向指示情報へ送信ユーザのユーザ識別情報を追加する段階
    をさらに有する、
    請求項１４に記載の方法。
  16. 送信ユーザ視野角についてのプロンプト情報を生成する前記段階は、
    前記視差情報に従って音声プロンプト情報を生成する段階
    を有し、
    表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する前記段階は、
    表示される前記現在の画像フレームが表示されるときに前記音声プロンプト情報を再生する段階
    を有する、
    請求項１２から１５のいずれか一項に記載の方法。
  17. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
    ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第１の送信ユーザ視野角情報決定ユニットと、
    前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＶＲ受信デバイスが表示する表示角度を決定する、ように構成された第１のＶＲコンテンツ提供ユニットと
    を備える装置。
  18. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、
    表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＶＲ受信デバイスが表示する表示角度を決定するように構成された表示角度決定ユニットと、
    決定された前記表示角度に従って、表示される前記現在の画像フレームを表示するように構成されたディスプレイユニットと
    を備える装置。
  19. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
    ＶＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定するように構成された第２の送信ユーザ視野角情報決定ユニットと、
    前記ＶＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＶＲ受信デバイスに提供することにより、前記ＶＲ受信デバイスが前記ＶＲコンテンツを表示する場合、前記ＶＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する、ように構成された第２のＶＲコンテンツ提供ユニットと
    を備える装置。
  20. 仮想現実（ＶＲ）ライブストリーミングにおいて視野角を同期させるための装置であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＶＲ送信デバイスにより提供されるＶＲコンテンツ情報を取得するように構成されたＶＲコンテンツ取得ユニットと、
    表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定するように構成された受信ユーザ視野角情報決定ユニットと、
    表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成するように構成されたプロンプト情報生成ユニットと、
    表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供するように構成されたプロンプト情報提供ユニットと
    を備える装置。
  21. 拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
    前記ＡＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＡＲ受信デバイスに提供することにより、前記ＡＲ受信デバイスが前記ＡＲコンテンツを表示する場合、前記ＡＲ受信デバイスが、表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームを前記ＡＲ受信デバイスが表示する表示角度を決定する段階と
    を備える方法。
  22. 拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、
    表示される現在の画像フレームと、前記現在の画像フレームの予め設定された数の前の画像フレームとに対応する送信ユーザ視野角情報に従って、表示される前記現在の画像フレームをＡＲ受信デバイスが表示する表示角度を決定する段階と、
    決定された前記表示角度に従って、表示される前記現在の画像フレームを表示する段階と
    を備える方法。
  23. 拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    ＡＲコンテンツを送信デバイス側で再生するプロセスにおいて画像フレームに対応する送信ユーザ視野角情報を決定する段階と、
    前記ＡＲコンテンツにおける前記画像フレームと前記画像フレームに対応する前記送信ユーザ視野角情報とをＡＲ受信デバイスに提供することにより、前記ＡＲ受信デバイスが前記ＡＲコンテンツを表示する場合、前記ＡＲ受信デバイスが、受信ユーザ視野角と送信ユーザ視野角との間の視差に従って、前記送信ユーザ視野角についてのプロンプト情報を提供する段階と
    を備える方法。
  24. 拡張現実（ＡＲ）ライブストリーミングにおいて視野角を同期させるための方法であって、
    画像フレームと、前記画像フレームに対応する送信ユーザ視野角情報とを含む、ＡＲ送信デバイスにより提供されるＡＲコンテンツ情報を取得する段階と、
    表示される現在の画像フレームに対応する受信ユーザ視野角情報を決定する段階と、
    表示される前記現在の画像フレームに対応する受信ユーザ視野角と送信ユーザ視野角との間の視差情報に従って、前記送信ユーザ視野角についてのプロンプト情報を生成する段階と、
    表示される前記現在の画像フレームが表示されるときに前記プロンプト情報を提供する段階と
    を備える方法。
JP2020541660A 2018-02-14 2019-02-02 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置 Active JP7294757B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810151922.0A CN110166764B (zh) 2018-02-14 2018-02-14 虚拟现实vr直播中的视角同步方法及装置
CN201810151922.0 2018-02-14
PCT/CN2019/074529 WO2019158000A1 (zh) 2018-02-14 2019-02-02 虚拟现实vr直播中的视角同步方法及装置

Publications (2)

Publication Number Publication Date
JP2021513773A true JP2021513773A (ja) 2021-05-27
JP7294757B2 JP7294757B2 (ja) 2023-06-20

Family

ID=67619734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020541660A Active JP7294757B2 (ja) 2018-02-14 2019-02-02 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置

Country Status (6)

Country Link
US (1) US11290573B2 (ja)
EP (1) EP3754980A4 (ja)
JP (1) JP7294757B2 (ja)
CN (1) CN110166764B (ja)
TW (1) TW201935924A (ja)
WO (1) WO2019158000A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913278B (zh) * 2019-12-06 2022-04-08 深圳创维新世界科技有限公司 视频播放方法、显示终端及存储介质
CN113014961A (zh) * 2019-12-19 2021-06-22 中兴通讯股份有限公司 视频推送及传输方法、视角同步方法及装置、存储介质
CN111131852B (zh) * 2019-12-31 2021-12-07 歌尔光学科技有限公司 视频直播方法、系统及计算机可读存储介质
CN111343475B (zh) * 2020-03-04 2022-04-15 广州虎牙科技有限公司 数据处理方法和装置、直播服务器及存储介质
CN115225975A (zh) * 2020-03-24 2022-10-21 腾讯科技（深圳）有限公司 多自由度场景下的沉浸式媒体获取方法、设备及存储介质
CN112882674B (zh) * 2021-03-04 2022-11-08 腾讯科技（深圳）有限公司 虚拟现实图像数据的显示方法和设备
CN114449162B (zh) * 2021-12-22 2024-04-30 天翼云科技有限公司 一种播放全景视频的方法、装置、计算机设备及存储介质
CN114630100A (zh) * 2022-01-28 2022-06-14 北京威尔文教科技有限责任公司 数据同步显示方法和系统
CN115193032A (zh) * 2022-05-13 2022-10-18 广州博冠信息科技有限公司 游戏直播的处理方法及相关设备
CN114900506B (zh) * 2022-07-12 2022-09-30 中国科学技术大学 面向用户体验质量的360度视频视口预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150775A1 (ja) * 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107678715A (zh) * 2016-08-02 2018-02-09 北京康得新创科技股份有限公司 虚拟信息的共享方法，装置和系统

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796162B2 (en) 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US8954596B2 (en) 2010-04-02 2015-02-10 Netflix, Inc. Dynamic virtual chunking of streaming media content
US8482593B2 (en) 2010-05-12 2013-07-09 Blue Jeans Network, Inc. Systems and methods for scalable composition of media streams for real-time multimedia communication
ES2675802T3 (es) * 2011-02-18 2018-07-12 Alcatel Lucent Procedimiento y aparato para transmitir y recibir un flujo de video panorámico
US9088714B2 (en) * 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8600194B2 (en) * 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9389677B2 (en) 2011-10-24 2016-07-12 Kenleigh C. Hobby Smart helmet
US9516225B2 (en) 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
US9380327B2 (en) 2011-12-15 2016-06-28 Comcast Cable Communications, Llc System and method for synchronizing timing across multiple streams
US8803916B1 (en) 2012-05-03 2014-08-12 Sprint Communications Company L.P. Methods and systems for an augmented reality service delivery platform
US9452354B2 (en) 2013-06-07 2016-09-27 Sony Interactive Entertainment Inc. Sharing three-dimensional gameplay
CN104766274A (zh) * 2014-03-11 2015-07-08 北京博锐尚格节能技术股份有限公司 一种3d能耗展示模型的旋转方法及装置
WO2016022769A1 (en) 2014-08-07 2016-02-11 Arris Enterprises, Inc. Systems and methods for multicast delivery of a managed bundle in service provider networks
EP3183884B1 (en) 2014-09-22 2020-07-01 ARRIS Enterprises LLC Video quality of experience based on video quality estimation
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US10108256B2 (en) 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
CA2967326C (en) * 2014-11-10 2018-09-04 Swarms Ventures, Llc Method and system for programmable loop recording
US9804257B2 (en) 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10360729B2 (en) * 2015-04-06 2019-07-23 Scope Technologies Us Inc. Methods and apparatus for augmented reality applications
KR101670939B1 (ko) * 2015-04-14 2016-10-31 (주)일렉콤 지형에 따른 경사각 구현기능을 갖는 가상현실 모션 플렛폼을 이용한 구동 방법
US20160314624A1 (en) 2015-04-24 2016-10-27 Eon Reality, Inc. Systems and methods for transition between augmented reality and virtual reality
US10015370B2 (en) * 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system
CN105704468B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
US9298283B1 (en) * 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
KR101788452B1 (ko) * 2016-03-30 2017-11-15 연세대학교 산학협력단 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법
WO2017205642A1 (en) 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
CN106125930A (zh) * 2016-06-27 2016-11-16 上海乐相科技有限公司 一种虚拟现实设备及主视角画面校准的方法
CN106210861B (zh) * 2016-08-23 2020-08-07 上海幻电信息科技有限公司 显示弹幕的方法及系统
CN106358036B (zh) * 2016-08-31 2018-05-08 杭州当虹科技有限公司 一种以预设视角观看虚拟现实视频的方法
CN106170094B (zh) * 2016-09-07 2020-07-28 阿里巴巴（中国）有限公司 全景视频的直播方法及装置
CN106385587B (zh) * 2016-09-14 2019-08-02 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及系统
CN106331732B (zh) * 2016-09-26 2019-11-12 北京疯景科技有限公司 生成、展现全景内容的方法及装置
CN106791769A (zh) * 2016-12-16 2017-05-31 广东威创视讯科技股份有限公司 虚拟现实实现方法及系统
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
CN108933920B (zh) * 2017-05-25 2023-02-17 中兴通讯股份有限公司 一种视频画面的输出、查看方法及装置
JP6873830B2 (ja) * 2017-06-05 2021-05-19 キヤノン株式会社 表示制御装置、その制御方法及びプログラム
CN107274472A (zh) * 2017-06-16 2017-10-20 福州瑞芯微电子股份有限公司 一种提高vr播放帧率的方法和装置
US10639557B2 (en) * 2017-06-22 2020-05-05 Jntvr Llc Synchronized motion simulation for virtual reality
US11004264B2 (en) * 2017-08-07 2021-05-11 Verizon Patent And Licensing Inc. Systems and methods for capturing, transferring, and rendering viewpoint-adaptive three-dimensional (3D) personas
CN107635152A (zh) * 2017-09-28 2018-01-26 深圳晶恒数码科技有限公司 一种共享vr视频的方法及装置
CN108107578B (zh) * 2017-12-14 2019-07-26 腾讯科技（深圳）有限公司 虚拟现实的视角调节方法、装置、计算设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013150775A1 (ja) * 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
WO2016002445A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN107678715A (zh) * 2016-08-02 2018-02-09 北京康得新创科技股份有限公司 虚拟信息的共享方法，装置和系统

Also Published As

Publication number Publication date
EP3754980A1 (en) 2020-12-23
US11290573B2 (en) 2022-03-29
TW201935924A (zh) 2019-09-01
CN110166764B (zh) 2022-03-01
WO2019158000A1 (zh) 2019-08-22
EP3754980A4 (en) 2021-11-17
US20210037116A1 (en) 2021-02-04
CN110166764A (zh) 2019-08-23
JP7294757B2 (ja) 2023-06-20

Similar Documents

Publication Publication Date Title
JP2021513773A (ja) 仮想現実ライブストリーミングにおいて視野角を同期させるための方法および装置
RU2665872C2 (ru) Стереопросмотр
EP3729829B1 (en) Enhanced audiovisual multiuser communication
CN113347405B (zh) 缩放相关的方法和装置
JP6565903B2 (ja) 情報再生装置及び情報再生方法
US8514275B2 (en) Three-dimensional (3D) display method and system
US10359988B2 (en) Shared experience of virtual environments
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
US20230179756A1 (en) Information processing device, information processing method, and program
EP3850470B1 (en) Apparatus and method for processing audiovisual data
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
CN110691231A (zh) 一种虚拟现实播放系统及其同步播放方法
US11825170B2 (en) Apparatus and associated methods for presentation of comments
US11100716B2 (en) Image generating apparatus and image generation method for augmented reality
JP7047085B2 (ja) 画像生成装置、画像生成方法、およびプログラム
Cui et al. Influence of Visual Depth and Vibration on the High-level Perception of Reality in 3D Contents.
NL2030186B1 (en) Autostereoscopic display device presenting 3d-view and 3d-sound
US20170176934A1 (en) Image playing method and electronic device for virtual reality device
RU2805260C2 (ru) Устройство и способ обработки аудиовизуальных данных
US20240137482A1 (en) Image generation device, program, image generation method, and image displaying system
EP4030752A1 (en) Image generation system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230606

R150 Certificate of patent or registration of utility model

Ref document number: 7294757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150