JP2020520190A - 仮想場面に関連付けられた映像再生およびデータの提供 - Google Patents

仮想場面に関連付けられた映像再生およびデータの提供 Download PDF

Info

Publication number
JP2020520190A
JP2020520190A JP2019562566A JP2019562566A JP2020520190A JP 2020520190 A JP2020520190 A JP 2020520190A JP 2019562566 A JP2019562566 A JP 2019562566A JP 2019562566 A JP2019562566 A JP 2019562566A JP 2020520190 A JP2020520190 A JP 2020520190A
Authority
JP
Japan
Prior art keywords
video segment
viewing angle
segment data
data
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019562566A
Other languages
English (en)
Other versions
JP6992956B2 (ja
Inventor
ウ、ユーシン
シェン、シャオジエ
ドゥ、ウピン
リ、ウェイ
ワン、ジ
Original Assignee
ヨウク インフォメーション テクノロジー (ベイジン) カンパニー リミテッド
ヨウク インフォメーション テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヨウク インフォメーション テクノロジー (ベイジン) カンパニー リミテッド, ヨウク インフォメーション テクノロジー (ベイジン) カンパニー リミテッド filed Critical ヨウク インフォメーション テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2020520190A publication Critical patent/JP2020520190A/ja
Application granted granted Critical
Publication of JP6992956B2 publication Critical patent/JP6992956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

仮想場面における映像再生方法およびデータ提供方法、およびこれらの方法を実装するためクライアントおよびサーバが開示される。仮想場面における映像再生方法であって、サーバから送信された現在の映像セグメントデータを受信する段階であって、上記現在の映像セグメントデータは映像セグメントを表し、上記現在の映像セグメントデータは少なくとも1つの指定視野角、および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、段階と、上記現在の映像セグメントデータにより表される上記映像セグメントを再生し、再生中にユーザの現在の視野角を取得する段階と、上記少なくとも1つの指定視野角から上記現在の視野角と合致する目標指定視野角を決定する段階であって、上記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、上記現在の映像セグメントデータにより表される上記映像セグメントの上記再生の最後に再生される、段階とを備える、映像再生方法。本開示において提供される技術的解決方法により、ユーザは外部機器の使用を避けながらも仮想場面で移動することができる。

Description

本願は、2017年5月9日に出願された中国特許出願番号201710321559.8号、発明の名称「仮想場面における映像再生およびデータ提供方法、クライアントおよびサーバ」に基づく優先権を主張する、2018年1月5日に出願された国際出願番号PCT/CN2018/071556、発明の名称「仮想場面における映像再生およびデータ提供方法、クライアントおよびサーバ」の国内移行段階であり、その中国特許出願および国際出願の全内容は本出願において援用される。
本開示はインターネット技術分野に関し、特に映像再生方法およびデータ提供方法、および仮想場面を提供するための装置に関する。
仮想現実(VR)技術の継続的な進歩により、没入型映像体験が注目を集めている。近年、没入型映像体験を作り出すために、現実場面の情報(例えば、3次元座標、反射率、測定物体表面の多数の高密度ドットのテクスチャ)は、通常、レーザー測距の原則に基づいた3次元レーザー走査法を使用して取得することができる。このように、現実場面に沿った仮想場面は、走査により取得された情報を介してレンダリング可能である。ユーザは、仮想場面を歩きながら見て回り、没入型映像体験を楽しむことができる。例えば、スーパーマーケットやモールなどの現実場面を基に仮想場面を作り出すことができるため、ユーザは、家から出ることなく仮想場面のスーパーマーケットやモールでショッピング活動に参加することができる。
しかし、上記技術により没入型体験を作り出すことは、コストが高く、多くのコンピューティング資源を消費する。3次元レーザー走査法は、通常、高額な3次元レーザースキャナを必要とし、走査時に大量の情報が取得される(そして処理される)。
現在、製造コストを削減する方法として、空間インデックス立体パノラマ映像を使用することで没入型映像体験を作り出すことができる。具体的には、空間インデックス立体パノラマ映像を処理システムに入力することができ、3次元グラフィックスカードによりサポートされる圧縮方法を使用してパノラマ映像データを圧縮し、描画速度を向上することができる。この技術により、仮想場面を構築する際に必要なデータ量を削減し、仮想場面のレンダリング速度が向上する。そして、ユーザは外部機器(例えば、ゲームパッド、マウス、キーボード等)を使用して、容易かつフレキシブルにシステムと対話し、当該システムにより作り出された仮想場面において没入型の体験ができる。
しかし、上記の方法により空間インデックス立体パノラマ映像を使用すると、仮想場面でユーザが移動した際に、外部機器により前後移動や回転移動のなどの操作を制御する必要がある。このインタラクション方法は、ユーザフレンドリーではなく、真の没入型体験を提供していない。
本開示の実施形態は、仮想場面における映像再生およびデータを提供し、ユーザが外部機器の使用を避けて仮想場面を移動することを可能にし、これにより真の没入型体験を実現する。
上記の目的を達成するため、本開示の実施形態は、仮想場面における映像再生方法であって、本方法は、サーバから送信された現在の映像セグメントデータを受信する段階であって、上記現在の映像セグメントデータは映像セグメントを表し、上記現在の映像セグメントデータは少なくとも1つの指定視野角、および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、段階と、上記現在の映像セグメントデータにより表される上記映像セグメントを再生し、再生中にユーザの現在の視野角を取得する段階と、上記少なくとも1つの指定視野角から上記現在の視野角と合致する目標指定視野角を決定する段階であって、上記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、上記現在の映像セグメントデータにより表される上記映像セグメントの上記再生の最後に再生される、段階とを備える、映像再生方法を提供する。
上記の目的を達成するため、本開示の実施形態はさらにクライアントを提供し、上記クライアントは、ネットワーク通信ポート、ディスプレイ、およびプロセッサを備え、上記ネットワーク通信ポートは、サーバから送信された現在の映像セグメントデータを受信するように構成され、上記ディスプレイは、映像セグメントを再生するように構成され、上記プロセッサは、上記ネットワーク通信ポートを介して、上記サーバから送信された上記現在の映像セグメントデータを受信することであって、上記現在の映像セグメントデータは映像セグメントを表し、上記現在の映像セグメントデータは少なくとも1つの指定視野角および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、受信することと、上記現在の映像セグメントデータにより表される上記映像セグメントを、上記ディスプレイを介して再生し、再生中にユーザの現在の視野角を取得することと、上記少なくとも1つの指定視野角から上記現在の視野角と合致する目標指定視野角を決定することであって、上記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、上記現在の映像セグメントデータにより表される上記映像セグメントの上記再生の最後に再生される、決定することとを行うように構成される。
上記の目的を達成するため、本開示の実施形態はさらに、仮想場面におけるデータ提供方法を提供し、映像セグメントデータセットが提供され、上記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、上記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、上記方法は、クライアントから送信された映像セグメントデータロードリクエストを受信する段階であって、上記映像セグメントデータロードリクエストは上記仮想場面においてユーザの現在位置を表すために使用される、受信する段階と、上記ユーザの上記現在位置に対応する現在の映像セグメントデータを上記クライアントにフィードバックして、上記クライアントが上記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に上記ユーザの現在の視野角を取得する段階と、上記クライアントから送信された目標映像セグメントデータのデータ識別子を受信する段階であって、上記目標映像セグメントデータを対象とする目標指定視野角が上記現在の視野角と合致する、受信する段階とを備える。
上記の目的を達成するため、本開示の実施形態はさらにサーバを提供し、上記サーバは、ネットワーク通信ポート、メモリ、およびプロセッサを備え、上記ネットワーク通信ポートは、クライアントとネットワークデータ通信を行うように構成され、上記メモリは映像セグメントデータセットを格納するように構成され、上記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、上記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、上記プロセッサは、上記ネットワーク通信ポートを介して、上記クライアントから送信された映像セグメントデータロードリクエストを受信することであって、上記映像セグメントデータロードリクエストは仮想場面においてユーザの現在位置を表すために使用される、受信することと、上記ユーザの上記現在位置に対応する現在の映像セグメントデータを上記クライアントにフィードバックするように上記ネットワーク通信ポートを制御して、上記クライアントが上記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に上記ユーザの現在の視野角を取得することと、上記クライアントから送信された目標映像セグメントデータのデータ識別子を、上記ネットワーク通信ポートを介して受信することであって、上記目標映像セグメントデータを対象とする目標指定視野角が上記現在の視野角と合致する、受信することとを行うように構成される。
上記の目的を達成するため、本開示の実施形態はさらに、仮想場面における映像再生方法を提供し、映像セグメントデータセットが提供され、上記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、上記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角、および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、上記方法は、上記映像セグメントデータセットから、上記仮想場面においてユーザの現在位置に対応する現在の映像セグメントデータを決定する段階と、上記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に上記ユーザの現在の視野角を取得する段階と、上記現在の映像セグメントデータの少なくとも1つの指定視野角から、上記現在の視野角に合致する目標指定視野角を決定する段階であって、上記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、上記現在の映像セグメントデータにより表される上記映像セグメントの上記再生の最後に再生される、決定する段階とを備える。
上記の目的を達成するため、本開示の実施形態はさらにクライアントを提供し、上記クライアントは、メモリ、ディスプレイ、およびプロセッサを備え、上記メモリは映像セグメントデータセットを格納するように構成され、上記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、上記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および上記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、上記ディスプレイは映像セグメントを表示するように構成され、上記プロセッサは、上記メモリの上記映像セグメントデータセットから仮想場面におけるユーザの現在位置に対応する現在の映像セグメントデータを決定することと、上記ディスプレイを介して、上記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に上記ユーザの現在の視野角を取得することと、上記現在の映像セグメントデータの少なくとも1つの指定視野角から、上記現在の視野角と合致する目標指定視野角を決定することであって、上記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、上記現在の映像セグメントデータにより表される上記映像セグメントの上記再生の最後に再生される、決定することとを行うように構成される。
上記を考慮して、本開示の実施形態はユーザに対して継続的に映像セグメントを再生することができ、これによりユーザは仮想場面でオブジェクトを閲覧することができる。具体的には、現在の映像セグメントデータがユーザに対して再生されているとき、ユーザの現在の視野角が決定可能であり、次に再生される映像セグメントがユーザの現在の視野角に従って決定可能である。このように、現在の映像セグメントの再生が完了すると、次の映像セグメントが再生可能となる。ユーザの視野角が変化するにつれて、ユーザの前に提示される映像コンテンツも変化してよい。このように、ユーザは、視野角を介して、前進、後進、停止などの動作を行うことができ、外部機器の使用を避けて真の没入型の体験をすることができる。
本開示の実施形態における技術的解決方法を説明するために、本実施形態の説明に使用される図面について以下簡潔に説明する。以下の記載において、図面は本実施形態の一部を示すに過ぎない。当業者は、本図面を基に過度の負担なく他の図面についても取得することができる。
本開示のいくつかの実施形態に係るサーバとクライアントと間のインタラクションを示すインタラクション図である。
本開示のいくつかの実施形態に係る現実場面を示す図である。
本開示のいくつかの実施形態に係る映像セグメントを示す図である。
本開示のいくつかの実施形態に係るトランスポートストリーム(TS)形式のデータを示す図である。
本開示のいくつかの実施形態に係る順方向映像セグメントおよび逆方向映像セグメントを示す図である。
本開示のいくつかの実施形態に係るクライアントのブロック図である。
、本開示のいくつかの実施形態に係るサーバのブロック図である。
本開示のいくつかの実施形態に係るクライアントにより実行される映像再生方法のフローチャートである。
本開示のいくつかの実施形態に係るクライアントを示すブロック図である。
本開示の技術的解決方法について当業者の理解を助けるために、本開示の実施形態の技術的解決方法について、以下図面を参照しつつ明確かつ十分に説明する。下記の実施形態は、実施形態のすべてではなく一部に過ぎない。本開示の実施形態に基づき、当業者が創意工夫を要することなく取得する他のすべての実施形態も本開示の範囲内とする。
本開示の実施形態は、仮想場面における映像再生方法およびデータ提供方法を提供する。映像再生方法はクライアントに適用することができ、データ提供方法はサーバに適用することができる。サーバは、パノラマ映像データを格納することができるデバイスであってよい。具体的には、サーバは映像サービスを提供することができるウェブサイトのバックグラウンド処理サーバであってよい。現在のウェブサイトの例には、iQIYI、Sohu Video、またはAcfunが含まれるが、これらに限定されない。1つの実施形態において、サーバは、データ演算機能および記憶機能、ならびにネットワークインタラクション機能を有する電子機器であってよい。代替的に、または前述と組み合わせて、サーバは、電子機器で動作し、データ処理、記憶、およびネットワークインタラクションをサポートするソフトウェアを備えてよい。本開示において、サーバの数は特に限定されない。1つまたは複数のサーバが存在してもよい。あるいは複数のサーバによりサーバクラスタが形成されてもよい。
1つの実施形態において、クライアントはパノラマ映像データをレンダリングし、ユーザの視野角を取得可能な電子機器であってよい。クライアントは、例えば、ユーザ視野角の取得機能を有するデスクトップ型コンピュータ、タブレット型コンピュータ、ノートブック型コンピュータ、スマートフォン、デジタルアシスタント、スマートウェアラブルデバイス、ショッピングガイド端末、またはテレビなどであってよい。代替方法として、あるいは前述と組み合わせて、クライアントは上記の電子機器で動作できるソフトウェアでもよい。具体的には、クライアントは、映像ウェブサイトプラットフォームにより提供されるアクセスポータルにロード可能な電子機器上のウェブブラウザであってよい。映像ウェブサイトプラットフォームは、例えば、iQIYI、Sohu Video、またはAcfunであってよく、アクセスポータルは、これらのウェブサイトプラットフォームのホームページであってよい。クライアントは、映像ウェブサイトプラットフォームにより提供され、インテリジェント端末で動作するアプリケーションであってもよい。
図1は、本開示のいくつかの実施形態に係るサーバとクライアント間のインタラクションを示すインタラクション図である。
ステップS1:サーバから送信された現在の映像セグメントデータを受信する。このとき、現在の映像セグメントデータは映像セグメントを表し、現在の映像セグメントデータは少なくとも1つの指定視野角、および指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む。
1つの実施形態において、現実場面のパノラマ映像が前もって撮られてよく、当該パノラマ映像を基に現実場面に対応する仮想場面が構築されてよい。1つの実施形態において、現実場面は通常、人々が歩く経路を少なくとも1つ含む。人々はその経路を歩きながら経路沿いの光景を見ることができる。1つの実施形態において、パノラマ映像は、現実場面の各経路で取得されてよい。例えば、図2を参照すると、現実場面は8つの経路(1〜8)を含んでもよく、その8つの経路(1〜8)のそれぞれに対応するパノラマ映像が、実際の適用において別々に撮られてよい。具体的には、1つの経路は通常2つの歩行方向を含み得るため、人々は、経路に沿って異なる方向に歩くと、異なる順序で光景を見る。これに基づいて、本実施形態では、2方向のパノラマ映像が経路ごとに別々に撮られてよい。このように、各経路は2つの映像に対応可能である。例えば、図2に示す8とラベルが付いた経路において、左から右の歩行方向でパノラマ映像が撮られてよく、さらに右から左の歩行方向でパノラマ映像が撮られてよい。このように、8の番号が付いた経路は2つのパノラマ映像に対応可能である。
1つの実施形態において、各経路に対応するパノラマ映像が撮られた後、各映像は指定時間間隔で少なくとも1つの映像セグメントに分割されてよい。例えば、経路のパノラマ映像は合計25秒であってよく、毎秒25個のフレームを有する。この例において、パノラマ映像が1秒の時間間隔で25個の映像セグメントに分割されてよく、各映像セグメントは25個のフレームを含む。例えば、図3を参照すると、パノラマ映像は合計n個の映像セグメント(S1、S2、S3…Sn)に分割されてよく、各映像セグメント(S1、S2、S3…Sn)は25個のフレームを含んでよい。このように、S2の番号が付いた映像セグメントはフレーム26からフレーム50を含んでよい。
1つの実施形態において、各パノラマ映像が複数の映像セグメントに分割された後、各少なくとも1つの指定視野角が映像セグメントごとに設定されてよい。具体的には、指定視野角はアジマス角およびピッチ角の組み合わせであってよい。1つの実施形態において、指定視野角は仮想場面において進行方向を表してよい。例えば、指定視野角(0、0)が前方右の進行方向を表してよく、指定視野角(π、0)が後方右の進行方向を表してよく、指定視野角(π/4、0)が前方左の進行方向を表してよい。例えば、図2を参照すると、8の番号が付いた経路において、指定視野角(0、0)が左から右の進行方向を表してよく、指定視野角(π、0)が右から左の進行方向を表してよい。8の番号が付いた経路と5の番号が付いた経路との交差点に進むとき、指定視野角(−3π/8、0)は5の番号が付いた経路へと進路変更する進行方向を表してよい。
1つの実施形態において、各映像セグメントに対応する指定視野角は、経路の映像セグメントに示されるコンテンツの位置に従って決定されてよい。例えば、図2の経路8について、映像セグメントに示されるコンテンツが経路8の開始地点である場合、映像セグメントは通常、前方への歩行を表す1つの指定視野角みに対応してよい。映像セグメントに示されるコンテンツが経路8の中間にある場合、映像セグメントは通常、前方への歩行および後方への歩行についての2つの指定視野角に対応してよい。映像セグメントに示されるコンテンツが経路8の終端にあり、終端が経路5、経路6、および経路7とそれぞれ交差している場合、当該映像セグメントは通常、複数の指定視野角に対応してよい。複数の指定視野角とは、経路5に方向転換する指定視野角、経路6に歩行を進める指定視野角、経路7に方向転換する指定視野角、および後方へと歩行する指定視野角である。
1つの実施形態において、ある映像セグメントのために設定される各指定視野角は、別の映像セグメントを別々に対象としてよい。映像セグメントを対象としている指定視野角が、現在の映像セグメントの再生が完了した後、再生される次の映像セグメントが現在の映像セグメントのために設定された指定視野角に従って決定可能であることを表してよい。
1つの実施形態において、各映像セグメントは通常、データ形式でサーバに格納され、サーバは映像セグメントデータセットを有することができる。映像セグメントデータセットは、特定のデータ形式としてサーバに格納されてよい。データ形式は、例えば、MySQL、Oracle、DB2、およびSybaseを含むデータベースにより格納されるデータ形式であってよいが、これらに限定されない。映像セグメントデータセットは、個々の映像セグメントデータを含んでよい。このとき、各映像セグメントデータは対応する映像セグメントを表してよい。映像セグメントを表す映像セグメントデータは、対応する映像セグメントが当該映像セグメントデータに従ってレンダリングすることにより取得可能であるということを意味してよい。1つの実施形態において、映像セグメントごとに設定された指定角は、映像セグメントデータにも含まれてよい。このように、各映像セグメントデータは少なくとも1つの指定角を含むことができる。
1つの実施形態において、サーバに格納された個々の映像セグメントデータはデータ識別子を有してよい。データ識別子および対応する映像セグメントデータは、キー/バリューのペア形式で格納されてよい。データ識別子はキーであってよく、対応する映像セグメントデータはバリューであってよい。このように、対応する映像セグメントデータはデータ識別子を介して探し出すことができる。これに基づいて、映像セグメントデータは、少なくとも1つの指定視野角を含むだけでなく、指定視野角が対象とする映像セグメントデータを表すデータ識別子を含んでもよい。例えば、1つの映像セグメントデータは2つの指定視野角(0、0)および(π、0)を含む。このとき、指定視野角(0、0)が対象とする映像セグメントデータのデータ識別子がS2であってよく、指定視野角(π、0)が対象とする映像セグメントデータのデータ識別子がS10であってよい。
1つの実施形態において、指定視野角および対応するデータ識別子が映像セグメントデータに固定フォーマットで書き込まれてよい。例えば、指定視野角および指定視野角の対応するデータ識別子が映像セグメントデータの指定フィールドに書き込まれてよい。指定視野角およびデータ識別子を書き込む順序は指定フィールドに予め定義されてよい。例えば、対応する指定視野角とデータ識別子のペアについて、指定フィールド内のデータ識別子の前に指定視野角が書き込まれてよい。このように、サーバまたはクライアントが映像セグメントデータを読み込むときに、指定フィールドのコンテンツについては、指定視野角およびデータ識別子が順番に読み込まれてよい。継続的に読み込まれた指定視野角およびデータ識別子は、対応する指定視野角とデータ識別子とのペアとして使用される。例えば、映像セグメントデータは、2つの指定視野角(0、0)および(π、0)を含んでもよく、(0、0)に対応する映像セグメントデータのデータ識別子がS2であってよく、(π、0)に対応する映像セグメントデータのデータ識別子がS10であってよい。次に、「(0、0)、S2、(π、0)、S10」のような文字列が、映像セグメントデータの指定フィールドに書き込まれてよい。もちろん、実際の適用のシナリオにおいて、指定視野角およびデータ識別子は両方とも、映像セグメントデータの形式に従ってバイナリ形式で書き込まれてよい。前述の文字列は、説明しやすいように与えられた単なる一例であり、本開示の技術的解決方法の実装にいかなる制限も設けるものではない。サーバまたはクライアントが映像セグメントデータを読み込むと、前述の文字列のコンテンツが順番に読み込まれてよい。これにより、対応する指定視野角およびデータ識別子が識別され得る。
1つの実施形態において、個々の映像セグメントデータはサーバに格納されてよい。具体的には、複数の場面における映像セグメントデータがサーバに格納されてよく、異なる場面を区別するために、同じ場面の識別子が同じ場面の映像セグメントデータに割り当てられてよい。
1つの実施形態において、個々の場面を表すリンクがクライアントに表示されてよい。リンクはテキストリンクであっても、イメージリンクであってもよい。場面へのリンクは対応する場面識別子に結合されてよい。ユーザがある場面へのリンクをトリガーすると、場面識別子を含む映像ロードリクエストがサーバに送信され得る。
1つの実施形態において、サーバは、映像ロードリクエストを受信すると、場面識別子を映像ロードリクエストから取り出し、映像セグメントデータベースにおいて場面識別子に対応する映像セグメントデータを探し出してよい。1つの実施形態において、ある場面に対応する映像セグメントデータが1つの初期映像セグメントデータを含んでもよく、初期映像セグメントデータにより表される映像セグメントが、ユーザに対して再生される最初の映像セグメントデータとして使用されてよい。このように、サーバは、映像ロードリクエストを受信すると、初期映像セグメントデータをサーバにフィードバックすることができる。例えば、ユーザが図2に示す場面へのリンクをトリガーした場合、サーバは経路8の開始位置で映像セグメントデータをクライアントにフィードバックしてよい。経路8の開始位置における映像セグメントデータは、当該場面に対応する初期映像セグメントデータになり得る。このように、映像再生が開始されたとき、ユーザの視覚体験としては、ユーザが経路8の開始位置にいるということになる。
1つの実施形態において、ユーザがある場面のリンクをクライアント上でトリガーした場合、サーバはさらに、当該場面の平面図をクライアントにフィードバックしてよく、当該平面図には少なくとも1つの選択可能な位置が設けられてよい。例えば、図2に示す場面において、経路8および経路5の開始位置はともに選択可能である。このように、ユーザは平面図のある位置を選択してよく、当該位置の情報がサーバに送信されてよい。このように、サーバは位置情報に対応する映像セグメントデータをクライアントにフィードバックすることができ、映像セグメントの再生が開始されたとき、ユーザの視覚体験としては、ユーザが前回選択した位置にいるということになる。
1つの実施形態において、クライアントが現在受信した映像セグメントデータは、現在の映像セグメントデータとして使用されてよい。現在の映像セグメントデータは、映像セグメントを表してよい。映像セグメントを表す現在の映像セグメントデータは、映像セグメントが現在の映像セグメントデータをレンダリングすることにより取得可能であるということを意味してよい。1つの実施形態において、上記によると、現在の映像セグメントデータは少なくとも1つの指定視野角および指定視野角が対象とする映像セグメントデータを表すデータ識別子を含んでよい。
ステップS2:現在の映像セグメントデータにより表される映像セグメントを再生し、再生中にユーザの現在の視野角を取得する。
1つの実施形態において、サーバから送信された現在の映像セグメントデータを受信したとき、クライアントはOpen GLまたはWebGLなどの描画規格を使用して現在の映像セグメントデータを対応する映像セグメントにレンダリングし、レンダリングによって取得された映像セグメントを再生してよい。レンダリングにより取得された映像セグメントは現実場面において前もって撮られているため、映像セグメントが再生されているとき、ユーザの視覚体験としては、ユーザは仮想場面において映像セグメントが撮られた方向に移動するということになる。
1つの実施形態において、レンダリングにより取得されたパノラマ映像セグメントを見ているとき、ユーザは、クライアントと対話することによって、クライアントが再生する現在の視野角を変更してよい。クライアントが再生する現在の視野角が変化するにつれて、ユーザの前に表現されている光景も異なってよい。このように、クライアントが再生する現在の視野角は、ユーザの現在の視野角として使用されてよい。1つの実施形態において、仮想現実(VR)眼鏡に頼らずに、ユーザは、クライアントの画面をスワイプすることで、クライアントが再生する現在の視野角を変更することができる。例えば、ユーザが指でクライアントの画面を右にスワイプした場合、クライアントが再生する現在の視野角を左にそらすことができる。これは、ユーザの現在の視野角が左にそれたことと同等であり、これにより経路の左側の光景を見ることができる。さらに、VR眼鏡を利用して、ユーザは頭部を動かすことで現在の視野角を変更することができる。ユーザが頭部を動かすと、それに応じて、VR眼鏡のジャイロスコープの効果により、ユーザの前に提示される映像コンテンツも変化する。例えば、ユーザが頭部を左に動かすと、VR眼鏡が再生する現在の視野角を左にそらすことができ、ユーザは経路の左側の光景を見ることができる。
1つの実施形態において、現在の映像セグメントデータにより表される映像セグメントを再生するプロセスにおいて、ユーザの現在の視野角は特定の時点において取得されてよい。ユーザの現在の視野角は、ユーザが現在見ている方向を示してよい。1つの実施形態において、再生される次の映像セグメントが、ユーザが現在見ている方向に従って決定されてよい。具体的には、クライアントは通常、ユーザに映像セグメントを表示するときに、再生用の初期視野角を有している。例えば、図2の経路8の開始位置での映像セグメントがユーザに示されているとき、再生用の初期視野角は経路8に沿った左から右の順方向であってよい。次に、クライアントが再生する視野角を変更するようユーザがクライアントと対話するとき、変更された再生用の視野角と再生用の初期視野角との間の角度がユーザの現在の視野角として使用されてよい。例えば、再生用の初期視野角は(0、0)であってよい。このとき、最初の0はアジマス角が0°であることを示し、2番目の0はピッチ角が0°であることを示している。そして、ユーザがクライアントの画面をスワイプする、またはユーザが頭部の向きを変えると、クライアントが再生する視野角が変更され、変更された再生用の視野角と再生用の初期視野角との間の角度は(20、60)であってよい。このとき、20はアジマス角間の角度が20°であることを示し、60はピッチ角間の角度が60°であることを示している。このように、(20、60)はユーザの現在の視野角として使用することができる。もちろん、上述の例では、現在の視野角はアジマス角とピッチ角とで表される。実際の適用においては、現在の視野角はさらに、極座標または緯度および経度で表されてよいが、本開示において限定されない。
1つの実施形態において、ユーザの現在の視野角を取得する時点は、現在の映像セグメントデータにより表される映像セグメントの再生がもうすぐ終わる時点であってよい。再生がもうすぐ終わる時点は、定量的に決定されてよい。具体的には、ユーザの現在の視野角を取得する時点は、映像セグメント内のフレーム総数に対する、残りの未再生フレーム数または再生済みフレーム数の比率に従って決定されてよい。例えば、ユーザの現在の視野角取得の命令は、フレーム総数に対する残りの未再生フレーム数の比率が10%まで減少したときにトリガーされてよい。例えば、ユーザの現在の視野角取得の命令は、フレーム総数に対する再生済みフレーム数の比率が80%まで増加したときにトリガーされてよい。もちろん、実際の適用において、ユーザの現在の視野角を取得する時点はさらに、総時間に対する、再生済み映像セグメントの時間または残りの未再生映像セグメントの時間の比率に従って決定されてよい。
ステップS3:少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角を決定する。このとき、当該目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、現在の映像セグメントデータにより表される映像セグメントの再生の最後に再生される。
1つの実施形態において、ユーザの現在の視野角が決定された後、現在の映像セグメントデータの少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角が決定されてよい。具体的には、目標指定視野角に合致する現在の視野角は、現在の視野角が目標指定視野角と同じであること、または現在の視野角と目標指定視野角との間の角度が指定範囲内にあることを意味してよい。指定範囲は、予め定められた角度値であってよい。アジマス角およびピッチ角については、異なる角度値が設定されてもよいし、同じ角度値が設定されてもよい。例えば、アジマス角およびピッチ角に対応する角度値は、ともに45°に設定されてよい。そして、現在の視野角におけるアジマス角間およびピッチ角間の角度、および少なくとも1つの指定視野角のうちの特定の角度がともに45°以内である限り、指定視野角を現在の視野角の目標指定視野角として使用することができる。例えば、少なくとも1つの指定視野角のうちのある指定視野角が(0、0)であり、現在の視野角は(30、−20)である。そして、現在の視野角におけるアジマス角間およびピッチ角間の角度、および指定視野角のアジマス角およびピッチ角がともに45°以内であるため、(0、0)を目標指定視野角(30、−20)として使用することができる。
1つの実施形態において、目標指定視野角が決定された後、目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントを再生される次の映像セグメントにすることができる。したがって、ユーザは、現在の視野角を変更することにより、どの映像セグメントが次に再生されるかを決定することができる。例えば、クライアント上で現在再生中の映像セグメントは、図2の経路8の右端の終了位置のコンテンツを示している。映像セグメントの再生がもうすぐ終わるとき、クライアントにより取得されるユーザの現在の視野角は(3π/4、0)である。つまり、ユーザの現在の視線は、経路7の方向にそれる。現在再生中の映像セグメントに対応する映像セグメントデータは4つの指定角を含み、それぞれ、(0、0)、(π/2、0)、(−π/2、0)、(π、0)である。各指定角は±π/4の角度範囲に対応してよい。そして、現在の視野角と指定視野角との間の角度を計算することにより、現在の視野角と(π/2、0)との間の角度がπ/4の角度範囲内にあるので、(π/2、0)が現在の視野角の目標指定視野角として使用可能であることが分かる。目標指定視野角(π/2、0)が対象とする映像セグメントは経路7の最上端の開始位置の映像セグメントである。そして、経路7の最上端の初期位置の映像セグメントを、経路8の終了位置の映像セグメントの再生が完了した後に再生することができる。ユーザの視覚効果としては、経路の終端で右を見たとき、ユーザは自動的に後方経路に方向転換して進む。これにより、ユーザの視野角を介して仮想場面におけるユーザの位置を変更する機能が実装される。
上記を考慮して、目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントを、現在の映像セグメントデータにより表される映像セグメントの再生終了後に再生して、ユーザに対して位置移動の視覚効果を生み出すことができる。これにより、実装の複雑性が低減される(現在の視野角のみ変更すればよい)とともに、ゲームパッド、マウス、およびキーボードなどの外部機器の使用を避けることができるので、コストが削減され、ユーザ体験が向上する。
特定の適用シナリオにおいて、ユーザはVR眼鏡を着用して仮想場面の光景を閲覧してよい。VR眼鏡は、個々の映像ウェブサイトのサーバと通信可能に接続されるネットワーク通信ポートを備えてよい。ユーザはVR眼鏡を介して映像ウェブサイトのホームページを訪問し、視線を通してホームページ上の興味のあるパノラマ映像を選択してよい。例えば、ユーザは現在、図2に示す場面のパノラマ映像を選択している。この場合、映像ウェブサイトのサーバは、経路8の開始位置の映像セグメントデータをユーザのVR眼鏡にフィードバックしてよい。このように、VR眼鏡が映像セグメントデータをレンダリングし、レンダリングにより取得された映像セグメントをユーザに対して再生する場合、視覚効果としては、ユーザは経路8の開始位置にいる。映像セグメントの再生がもうすぐ終わるとき、VR眼鏡はユーザの現在の視野角を取得してよい。現在の視野角が(0、0)のとき、ユーザは現在、前方右側の光景を見ていることを示す。この場合、VR眼鏡は、開始位置を表す映像セグメントデータ内のヘッダデータフィールドから、指定視野角(0、0)に対応する映像セグメントデータのデータ識別子を読み込んでよく、また映像ウェブサイトのサーバに当該データ識別子をフィードバックしてよい。このように、映像ウェブサイトのサーバは、データ識別子が対象とする映像セグメントデータをVR眼鏡にフィードバックすることができる。現在の映像セグメントの再生終了後、VR眼鏡は、映像ウェブサイトのサーバから再び取得した映像セグメントデータにより表される映像セグメントを引き続き再生してよい。このように、ユーザの視覚体験としては、視線が経路の前方に固定されている場合、ユーザは仮想場面において直進することができ、ユーザが経路の反対方向を向いた場合、ユーザは経路の反対方向に進むことができる。このように、ユーザは現在の視野角を変更することにより仮想場面での歩行方向を決定することができる。これにより、実装の複雑性が低減されるとともに、ゲームパッド、マウス、およびキーボードなどの外部機器の使用を避けることができるので、コストが削減され、ユーザ体験が向上する。
1つの実施形態において、現在の映像セグメントデータはヘッダデータフィールドおよび本体データフィールドを含んでよい。ヘッダデータフィールドは、ネットワーク内で映像セグメントデータを伝送するために必要な情報で占められてよい。ヘッダデータフィールドの構成要素は通常固定されている。本体データフィールドのデータは、クライアント上に示される映像セグメントを取得するために、クライアントによりレンダリングされてよい。1つの実施形態において、少なくとも1つの指定視野角および指定視野角が対象とする映像セグメントデータを表すデータ識別子は、ヘッダデータフィールドに格納されてよい。このように、現在の映像セグメントデータを受信したとき、クライアントは当該データのヘッダデータフィールドを読み込み、そこに含まれる指定視野角およびデータ識別子を取得することができる。例えば、図4を参照すると、現在の映像セグメントデータはトランスポートストリーム(TS)形式で書き込まれてよく、TS形式のデータがヘッダデータフィールドおよびペイロードフィールドを含んでよい。ペイロードフィールドは上述した本体データフィールドであってよく、ペイロードフィールドは、現在の映像セグメントを取得するためにレンダリング用のデータで占められてよい。ヘッダデータフィールドは、同期バイトフィールド、伝送エラーフラグフィールド、ペイロード開始フラグフィールド、伝送優先度フラグフィールド、データ型フィールド、スクランブリング優先度フラグフィールド、アダプテーションフィールド制御フラグフィールド、連続性カウンタフィールド、アダプティブフィールドフィールドを含んでよい。上記のフィールドはTS形式で定義されてよい。アダプティブフィールドフィールドはさらに、複数のフィールドを含んでよい。具体的には、図4に示すように、アダプティブフィールドフィールドは、アダプティブフィールド長フィールド、不連続性フラグフィールド、ランダムアクセスフラグフィールド、エレメンタリストリーム優先度フラグフィールド、フラグフィールド、任意フィールドフィールド、パディングバイトフィールドを含んでよい。アダプティブフィールドフィールドの上記のフィールドも、TS形式で定義されてもよい。1つの実施形態において、任意フィールドフィールドはさらに、プログラムクロックリファレンス(Program Clock Reference、PCR)フィールド、カレントプログラムクロックリファレンス(Current Program Clock Reference、CPCR)フィールド、スプライスカウントダウンフィールド、トランスポートプライベートデータ長フィールド、プライベートデータフィールド、アダプティブフィールド拡張長フィールド、フラグフィールド、および任意フィールドフィールドを含んでよい。TS形式の上記フィールドはすべて、TS形式で予め定義されてよい。1つの実施形態において、少なくとも1つの指定視野角および指定視野角が対象とする映像セグメントデータを表すデータ識別子は、ヘッダデータフィールドのプライベートデータフィールドに格納されてよい。プライベートデータフィールドにおいて、指定視野角およびデータ識別子はTS形式の要件に従って書き込まれてよい。具体的には、プライベートデータフィールド長は8ビットで示されてよい。すなわち、最大255バイトを保持できる。1つの実施形態において、指定視野角とデータ識別子の各セットは、単位構造として使用されてよい。このとき、各単位構造は12バイトを占めてよい。各単位構造は、2つの浮動小数点型で表される指定視野角、および整数型で表されるデータ識別子を含んでよい。2つの浮動小数点型は、それぞれ、指定視野角のアジマス角およびピッチ角を表すために使用される。例えば、現在の映像セグメントデータが2組の指定視野角とデータ識別子を含み、指定視野角とデータ識別子の各組が12バイトで表される場合を仮定する。この場合、当該2組の指定視野角およびデータ識別子は、現在の映像セグメントデータにおいて24バイトで表されてよい。なお、TS形式の上記データは本開示の1つの実施形態の技術的解決方法を説明するための一例に過ぎず、本実施形態がTS形式のデータのみに適用されるということが示されているわけではない。実際は、カスタムフィールドが存在する限り、指定視野角およびデータ識別子はともに、他のデータ形式のカスタムフィールドを介して書き込み可能である。
1つの実施形態において、少なくとも1つの指定視野角から現在の視野角と合致する目標指定視野角が決定された後、クライアントはさらに、当該目標指定視野角が対象とする映像セグメントデータのデータ識別子をサーバに送信し、サーバから目標指定視野角が対象とする映像セグメントデータをサーバから取得してよい。
1つの実施形態において、データ識別子および映像セグメントデータは、関連した方式でサーバに格納されてよい。具体的には、データ識別子および対応する映像セグメントデータは、キー/バリューのペア形式で格納されてよい。データ識別子はキーであってよく、対応する映像セグメントデータはバリューであってよい。このように、対応する映像セグメントデータはデータ識別子を介して探し出すことができる。このように、クライアントから目標指定視野角が対象とする映像セグメントデータのデータ識別子を受信すると、サーバは映像セグメントデータベースから受信したデータ識別子に対応する映像セグメントデータを取得し、クライアントに映像セグメントデータをフィードバックすることができる。これにより、現在の映像セグメントの再生の後で、クライアントは映像セグメントデータが表す映像セグメントを再生する。目標指定視野角はデータ識別子に対応し、当該データ識別子はさらに映像セグメントデータに関連付けられてよい。これにより、映像セグメントデータを目標指定視野角が対象とする映像セグメントデータとして見なすことができる。
1つの実施形態において、映像再生の滑らかさを向上させるために、現在の映像セグメントが再生されるとき、現在の映像セグメントに関連する他の映像セグメントがクライアントに予めロードされてよい。これにより、次に再生される映像セグメントが、現在の映像セグメントの再生が完了した後、ローカルで直接呼び出し可能となる。具体的には、本実施形態において、サーバから送信された現在の映像セグメントデータが受信された後、現在の映像セグメントデータに含まれる個々の映像セグメントデータのデータ識別子が対象とする映像セグメントデータがサーバよりさらに取得されてよい。例えば、現在の映像セグメントデータは合計4組の指定視野角とデータ識別子を含む。そして、現在の映像セグメントデータを受信するとき、クライアントは当該データに含まれる4つのデータ識別子を特定し、当該4つのデータ識別子を含むデータ取得リクエストをサーバに送信してよい。これにより、4つのデータ識別子が対象とする映像セグメントデータはサーバからローカルで予めロード可能となる。このように、少なくとも1つの指定視野角から現在の視野角と合致する目標指定視野角が決定された後、取得された個々の映像セグメントデータから目標指定視野角が対象とする目標映像セグメントデータを決定することができ、現在の映像セグメントデータにより表される映像セグメントの再生の最後に、目標映像セグメントデータにより表される映像セグメントが再生可能となる。映像セグメントデータを予めロードするこのような方法により、映像再生の滑らかさを向上させることができる。
1つの実施形態において、仮想場面の経路はそれぞれ、順方向および逆方向を含んでよい。これによると、サーバの映像セグメントデータはそれぞれ方向情報をさらに含み、当該方向情報は、映像セグメントが経路の順方向で再生されるか経路の逆方向で再生されるかを示すために使用されてよい。例えば、図2の経路8において左から右の再生順序を有する映像セグメントに対応する方向情報が順方向であり、右から左の再生順序を有する映像セグメントに対応する方向情報が逆方向である。ユーザが仮想場面において移動する場合を考えると、動作軌道は通常、所定の慣性を有する。この慣性は、ユーザに対して再生される現在の映像セグメントが順方向映像セグメントの場合、再生される次の映像セグメントは順方向映像セグメントである可能性が高いことにも反映される。これによると、サーバから送信された現在の映像セグメントデータが受信された後、現在の映像セグメントデータの方向情報と一致する方向情報を有する映像セグメントデータのデータ識別子が、現在の映像セグメントデータに含まれる個々のデータ識別子から決定されてよく、決定されたデータ識別子が対象とする映像セグメントデータがサーバから取得されてよい。このように、現在の映像セグメントデータを取得した後に、クライアントは、現在の映像セグメントデータの方向情報と一致する方向情報を有する映像セグメントデータをサーバから直ちに取得してよい。このように、現在の映像セグメントの再生が完了した後、一貫した方向情報を有し、サーバから取得された映像セグメントが再生される可能性が高いため、予めロードされることにより映像再生の滑らかさが向上する。
1つの実施形態において、映像セグメントデータの各指定視野角は視野角範囲に対応してよい。視野角範囲は指定視野角を含んでよい。例えば、指定視野角(0、0)に対応する視野角範囲は(−π/4、0)から(π/4、0)であってよい。このように、少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角を決定する場合、現在の視野角の視野角範囲が決定され、決定された視野角範囲に対応する指定視野角が目標指定視野角として使用されてよい。例えば、現在の視野角は(π/8、0)である。現在の視野角が視野角範囲(−π/4、0)から(π/4、0)内にあると、当該視野角範囲に対応する指定視野角(0、0)を現在の視野角の目標指定視野角として使用することができる。
1つの実施形態において、現在の視野角に合致する目標指定視野角が少なくとも1つの指定視野角に存在しない場合、次に再生される映像スライスはユーザの現在の視野角に従って決定不可能であることを示す。この場合は仮想場面においてユーザが止まった状態に対応してよい。例えば、ユーザの現在の視野角が指定視野角に対応する視野角範囲外にある場合、現在の視野角に対応する目標指定視野角は存在しない。この場合、現在の映像セグメントデータにより表される映像セグメントのフレームは、現在の映像セグメントデータにより表される映像セグメントの再生の最後に表示されてよく、これにより、映像の一時停止効果が達成される。フレームの一貫性を保つために、一時停止されたフレームは通常、現在の映像セグメントの最後のフレームである。
1つの実施形態において、パノラマ映像を撮るコストを削減するために、指定方向のパノラマ映像のみが現実場面の経路ごとに撮られてよい。これによると、各経路は、当該経路の指定方向で撮られたパノラマ映像に関連付けられる。1つの実施形態において、指定方向のパノラマ映像は順方向パノラマ映像として使用されてもよく、指定方向と逆のパノラマ映像は逆方向パノラマ映像として使用されてよい。1つの実施形態において、パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割されてよい。例えば、ある経路のパノラマ映像が毎秒合計25フレーム、25秒間である場合、当該パノラマ映像は、1秒の時間間隔で25個の映像セグメントに分割されてよい。この場合、各映像セグメントは25個のフレームを含む。
1つの実施形態において、パノラマ映像を分割することにより取得される映像セグメントに従って、当該映像セグメントにそれぞれ対応する逆方向映像セグメントが生成されてよい。このとき、逆方向映像セグメントの再生順序は対応する映像セグメントの再生順序の逆である。具体的には、パノラマ映像は360°の情報を含むため、順方向のパノラマ映像が逆順序で再生されるときに逆方向パノラマ映像が取得可能となる。具体的には、順方向パノラマ映像の各映像セグメントが逆に再生されて、逆方向パノラマ映像の各映像セグメントが取得される。このように、逆方向パノラマ映像および順方向パノラマ映像は同数の映像セグメントを含むことができ、逆方向パノラマ映像の映像セグメントの再生順序は、順方向パノラマ映像の対応する映像セグメントの再生順序の逆である。例えば、図5を参照すると、順方向パノラマ映像を分割することにより取得されるSn個の映像セグメントは左側に表示され、各映像セグメントは25フレームを含んでよい。このように、S2の番号が付いた映像セグメントはフレーム26からフレーム50を含んでよい。映像セグメントS2の再生はフレーム26から開始し、フレーム50まで各フレームを順に進むことができる。順方向パノラマ映像に従って逆方向パノラマ映像を生成する場合、順方向パノラマ映像の各映像セグメントが逆に再生されて、逆方向パノラマ映像の各映像セグメントを取得してよい。例えば、順方向パノラマ映像の映像セグメントS2について、フレーム50が最初に再生されるフレームとして使用されてよく、フレーム26が最後に再生されるフレームとして使用されてよい。このような順序で映像セグメントを再生することで、逆方向パノラマ映像において映像セグメントSn+1個を取得することができる。
図6を参照すると、本開示の実施形態は、ネットワーク通信ポート100、ディスプレイ200、プロセッサ300、および内部通信バス400を含むクライアントをさらに提供する。
ネットワーク通信ポート100はサーバから送信された現在の映像セグメントデータを受信するように構成される。
ディスプレイ200は映像セグメントを再生するように構成される。
プロセッサ300は、ネットワーク通信ポートを介して、サーバから送信された現在の映像セグメントデータを受信することであって、現在の映像セグメントデータは映像セグメントを表し、現在の映像セグメントデータは少なくとも1つの指定視野角および指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、受信することと、現在の映像セグメントデータにより表される映像セグメントを、ディスプレイを介して再生し、再生中にユーザの現在の視野角を取得することと、少なくとも1つの指定視野角から現在の視野角と合致する目標指定視野角を決定することであって、目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、現在の映像セグメントデータにより表される映像セグメントの再生の最後に再生される、決定することとを行うように構成される。
1つの実施形態において、ネットワーク通信ポート100は、異なる通信プロトコルに従い、異なるデータを送受信する仮想ポートであってよい。例えば、ネットワーク通信ポートは、ポート80(ウェブデータ通信を担当)であってもよく、ポート21(FTPデータ通信を担当)であってもよく、ポート25(メールデータ通信を担当)であってもよい。さらに、ネットワーク通信ポートは、物理的な通信インターフェースであっても通信チップであってもよい。例えば、ネットワーク通信ポートは、例えばGSM(登録商標)またはCDMAのようなワイヤレスモバイルネットワーク通信チップであってよい。ネットワーク通信ポートはさらに、Wi−Fi(Wireless Fidelity)チップであってよい。ネットワーク通信ポートはさらに、Bluetooth(登録商標)チップであってよい。
1つの実施形態において、ディスプレイ200は、特定の伝送装置を介して特定の電子ファイルを画面に表示し、当該電子ファイルを人間の目に映し出す表示ツールであってよい。ディスプレイは、液晶(LCD)表示画面、ブラウン管(CRT)表示画面、または発光ダイオード(LED)表示画面などを含んでよい。
プロセッサ300は、任意の適切な方法で実装されてよい。例えば、プロセッサは、マイクロプロセッサまたはプロセッサおよび(マイクロ)プロセッサにより実行可能であるコンピュータ可読プログラムコード(例えば、ソフトウェアまたはファームウェア)を格納するコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路(ASIC)、プログラム可能型論理制御器、ならびに内蔵マイクロ制御器の形式を利用してよい。本開示においてプロセッサの種類は限定されない。
上述の実施形態に開示されるクライアントのネットワーク通信ポート100、ディスプレイ200、プロセッサ300、およびバス400により実装される特定の機能は、本開示の実施形態の仮想場面における映像再生方法の実施形態を参照して説明されてもよく、本開示の実施形態の仮想場面における映像再生方法の実施形態を実装し、本方法の実施形態の技術効果を実現することができる。
本開示は、仮想場面におけるデータ提供方法をさらに提供し、本方法はサーバに適用可能である。1つの実施形態において、サーバは映像セグメントデータセットを備えてよい。映像セグメントデータセットは、少なくとも1つの映像セグメントデータを含み、当該映像セグメントデータは映像セグメントを表す。映像セグメントデータはそれぞれ、少なくとも1つの指定視野角および当該指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む。図1を参照すると、本方法は次のステップを含んでよい。
ステップS10:クライアントから送信された映像セグメントデータロードリクエストを受信する。このとき、映像セグメントデータロードリクエストは、仮想場面におけるユーザの現在位置を表すために使用される。
ステップS20:ユーザの現在位置に対応する現在の映像セグメントデータをクライアントにフィードバックする。これにより、クライアントは現在の映像セグメントデータにより表される映像セグメントを再生し、再生中にユーザの現在の視野角を取得する。
ステップS30:クライアントから送信された(S40)目標映像セグメントデータのデータ識別子を受信する。このとき、目標映像セグメントデータが対象とする目標指定視野角は現在の視野角と合致する。
1つの実施形態において、個々の場面を表すリンクがクライアントに表示されてよい。リンクは、テキストリンクであっても、イメージリンクであってもよい。場面へのリンクは対応する場面識別子に結合されてよい。ユーザがある場面へのリンクをトリガーすると、場面識別子を含む映像ロードリクエストがサーバに送信可能となる。
1つの実施形態において、サーバは、映像ロードリクエストを受信すると、場面識別子を映像ロードリクエストから取り出し、映像セグメントデータベースにおいて場面識別子に対応する映像セグメントデータを探し出してよい。1つの実施形態において、ある場面に対応する映像セグメントデータは1つの初期映像セグメントデータを含んでもよく、初期映像セグメントデータにより表される映像セグメントは、ユーザに対して再生される最初の映像セグメントデータとして使用されてよい。このように、サーバは、映像ロードリクエストを受信すると、初期映像セグメントデータをサーバにフィードバックすることができる。例えば、ユーザが図2に示す場面へのリンクをトリガーした場合、サーバは経路8の開始位置における映像セグメントデータをクライアントにフィードバックしてよい。このとき、経路8の開始位置における映像セグメントデータを当該場面に対応する初期映像セグメントデータとすることができる。このように、映像再生が開始されたとき、ユーザの視覚体験としては、ユーザは経路8の開始位置にいるということになる。したがって、クライアントからサーバに送信された映像セグメントデータロードリクエストを仮想場面におけるユーザの現在位置を表すために使用することができる。このシナリオにおいて、仮想場面におけるユーザの現在位置を初期映像セグメントデータにより表される初期位置とすることができる。
1つの実施形態において、ユーザがクライアント上のある場面のリンクをトリガーした場合、サーバは当該場面の平面図をクライアントにさらにフィードバックしてもよく、当該平面図には少なくとも1つの選択可能な位置が設けられてよい。例えば、図2に示す場面において、経路8および経路5の開始位置はともに選択可能である。このように、ユーザは平面図においてある位置を選択してもよく、当該位置の情報は映像ロードリクエストとしてサーバに送信可能である。このように、サーバは位置情報に対応する映像セグメントデータをクライアントにフィードバックすることができ、ユーザの視覚体験としては、映像セグメントの再生が開始されたとき、ユーザは前回選択した位置にいるということになる。したがって、このシナリオにおいて、仮想場面におけるユーザの現在位置をユーザにより選択される位置とすることができる。
1つの実施形態において、ユーザの現在位置に対応する現在の映像セグメントデータを取得した後、サーバは、現在の映像セグメントデータをクライアントにフィードバックしてよい。1つの実施形態において、サーバから送信された現在の映像セグメントデータを受信したとき、クライアントはOpenGLまたはWebGLなどの描画規格を使用して現在の映像セグメントデータを対応する映像セグメントにレンダリングし、レンダリングによって取得された映像セグメントを再生してよい。レンダリングにより取得された映像セグメントは現実場面において前もって撮られているため、映像セグメントが再生されているとき、ユーザの視覚体験としては、ユーザは仮想場面において映像セグメントが撮られた方向に移動するということになる。
1つの実施形態において、レンダリングにより取得されたパノラマ映像セグメントを見ているとき、ユーザは、クライアントと対話することによって、クライアントが再生する現在の視野角を変更してよい。クライアントが再生する現在の視野角が変化するにつれて、ユーザの前に表現されている光景も異なってもよい。このように、クライアントが再生する現在の視野角は、ユーザの現在の視野角として使用されてよい。1つの実施形態において、仮想現実(VR)眼鏡に頼らずに、ユーザはクライアントの画面をスワイプすることでクライアントが再生する現在の視野角を変更することができる。例えば、ユーザが指でクライアントの画面を右にスワイプした場合、クライアントが再生する現在の視野角を左にそらすことができる。これは、ユーザの現在の視野角が左にそれたことと同等であり、これにより経路の左側の光景を見ることができる。さらに、VR眼鏡を利用して、ユーザは頭部を動かすことで現在の視野角を変更することができる。ユーザが頭部を動かすと、それに応じて、VR眼鏡のジャイロスコープの効果により、ユーザの前に提示される映像コンテンツも変化する。例えば、ユーザが頭部を左側に動かすと、VR眼鏡が再生する現在の視野角を左にそらすことができ、ユーザは経路の左側の光景を見ることができる。
1つの実施形態において、現在の映像セグメントデータにより表される映像セグメントを再生するプロセスにおいて、ユーザの現在の視野角は特定の時点において取得されてよい。ユーザの現在の視野角は、ユーザが現在見ている方向を示してよい。1つの実施形態において、再生される次の映像セグメントが、ユーザが現在見ている方向に従って決定されてよい。具体的には、クライアントは通常、ユーザに映像セグメントを表示するときに、再生用の初期視野角を有している。例えば、図2の経路8の開始位置での映像セグメントがユーザに示されているとき、再生用の初期視野角は経路8に沿った左から右の順方向であってよい。次に、クライアントが再生する視野角を変更するようユーザがクライアントと対話するとき、再生のために変更された視野角と再生用の初期視野角との間の角度がユーザの現在の視野角として使用されてよい。例えば、再生用の初期視野角は(0、0)であってよい。このとき、最初の0はアジマス角が0°であることを示し、2番目の0はピッチ角が0°であることを示している。そして、ユーザがクライアントの画面をスワイプする、またはユーザが頭部の向きを変えると、クライアントが再生する視野角が変更され、変更された再生用の視野角と再生用の初期視野角との間の角度は(20、60)であってよい。このとき、20はアジマス角間の角度が20°であることを示し、60はピッチ角間の角度が60°であることを示している。このように、(20、60)はユーザの現在の視野角として使用することができる。もちろん、上述の例では、現在の視野角はアジマス角とピッチ角とで表される。実際の適用においては、現在の視野角はさらに、極座標または緯度および経度で表されてよいが、本開示において限定されない。
1つの実施形態において、ユーザの現在の視野角を決定した後、クライアントは、現在の映像セグメントデータの少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角を決定してよい。具体的には、目標指定視野角に合致する現在の視野角は、現在の視野角が目標指定視野角と同じであること、または現在の視野角と目標指定視野角との間の角度が指定範囲内にあることを意味してよい。
1つの実施形態において、目標指定視野角を決定した後、クライアントは、現在の映像セグメントデータから、目標指定視野角が対象とする目標映像セグメントデータのデータ識別子を取得してよい。目標映像セグメントデータのデータ識別子を取得した後、クライアントは、当該データ識別子をサーバに送信してよい。このように、サーバは、クライアントから送信された目標映像セグメントデータのデータ識別子を受信することができる。データ識別子を取得した後、サーバは映像セグメントデータセットから当該データ識別子に対応する映像セグメントデータを取得し、当該映像セグメントデータをクライアントにフィードバックしてよい。これにより、現在の映像セグメントを再生した後に、クライアントは当該映像セグメントデータにより表され、サーバによりフィードバックされた映像セグメントを引き続き再生する。
1つの実施形態において、映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含む。このとき、少なくとも1つの指定視野角、および指定視野角が対象とする映像セグメントデータを表すデータ識別子はヘッダデータフィールドに格納される。
1つの実施形態において、各指定視野角は視野角範囲に対応し、それに応じて、現在の視野角に合致する目標映像セグメントデータを対象とする目標指定視野角は、目標指定視野角の視野角範囲内にある現在の視野角を含む。
1つの実施形態において、仮想場面は少なくとも1つの経路を含み、経路はそれぞれ当該経路の指定方向で撮られたパノラマ映像に関連付けられ、当該パノラマ映像は指定時間間隔で少なくとも1つの映像セグメントに分割される。
1つの実施形態において、本方法はさらに、パノラマ映像を分割することにより取得された映像セグメントに従って、当該映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階を含み、逆方向映像セグメントの再生順序は、対応する映像セグメントの再生順序の逆である。
上述の実施形態の特定の実装については、仮想場面における映像再生方法の実施形態において記載したので、以下では記載を省略する。
図7を参照すると、本開示は、ネットワーク通信ポート110、メモリ210、プロセッサ310、および内部通信バス410を含むサーバをさらに提供する。
ネットワーク通信ポート110はクライアントとネットワークデータ通信を行うように構成される。
メモリ210は映像セグメントデータセットを格納するように構成される。映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、当該映像セグメントデータは映像セグメントを表す。映像セグメントデータはそれぞれ、少なくとも1つの指定視野角および当該指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む。
プロセッサ310は、ネットワーク通信ポートを介して、クライアントから送信された映像セグメントデータロードリクエストを受信することであって、映像セグメントデータロードリクエストは仮想場面においてユーザの現在位置を表すために使用される、受信することと、ユーザの現在位置に対応する現在の映像セグメントデータをクライアントにフィードバックするようにネットワーク通信ポートを制御して、クライアントが現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中にユーザの現在の視野角を取得するようにすることと、クライアントから送信された目標映像セグメントデータのデータ識別子を、ネットワーク通信ポートを介して受信することであって、目標映像セグメントデータを対象とする目標指定視野角が現在の視野角と合致する、受信することとを行うように構成される。
1つの実施形態において、ネットワーク通信ポート110は、異なる通信プロトコルに従い、異なるデータを送受信する仮想ポートであってよい。例えば、ネットワーク通信ポートは、ポート80(ウェブデータ通信を担当)であってもよく、ポート21(FTPデータ通信を担当)であってもよく、ポート25(メールデータ通信を担当)であってもよい。さらに、ネットワーク通信ポートは、物理的な通信インターフェースであっても通信チップであってもよい。例えば、ネットワーク通信ポートは、例えばGSM(登録商標)またはCDMAのようなワイヤレスモバイルネットワーク通信チップであってよい。ネットワーク通信ポートはさらに、Wi−Fi(Wireless Fidelity)チップであってよい。ネットワーク通信ポートはさらに、Bluetooth(登録商標)チップであってよい。
1つの実施形態において、メモリ210は情報を格納するためのメモリデバイスであってよい。デジタルシステムにおいて、バイナリデータを格納可能な装置はメモリであってよい。集積回路において、物理的形状を有しない記憶機能を有する回路はRAMまたはFIFOなどのメモリであってもよい。システムにおいて、物理的形状の記憶装置は、メモリバーまたはTFカードなどのメモリとも呼ばれることがある。
プロセッサ310は、任意の適切な方法で実装されてよい。例えば、プロセッサは、マイクロプロセッサまたはプロセッサおよび(マイクロ)プロセッサにより実行可能であるコンピュータ可読プログラムコード(例えば、ソフトウェアまたはファームウェア)を格納するコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路(ASIC)、プログラム可能型論理制御器、ならびに内蔵マイクロ制御器の形式を利用してよい。本開示は限定するものではない。
上述の実施形態で開示されるサーバのネットワーク通信ポート110、メモリ210、プロセッサ310、およびバス410により実装される特定の機能は、本開示の仮想場面におけるデータ提供方法の実施形態を参照して説明されてもよく、本開示の仮想場面におけるデータ提供方法の実施形態を実装し、本方法の実施形態の技術効果を実現することができる。
上記で紹介された実施形態はすべてクライアント・サーバアーキテクチャに基づいている。映像セグメントの再生中に、クライアントとサーバとの間で特定のデータのやり取りが行われる。本開示において、記録されたパノラマ映像および分割された映像セグメントデータは、さらに、クライアントにローカルで予めフルロードされてよい。これにより、映像セグメントの再生中に、クライアントはサーバと対話する必要なく完全にオフラインで動作することができる。具体的には、本開示は、仮想場面における映像再生方法をさらに提供する。この方法は、クライアントに適用可能である。クライアントは映像セグメントデータセットを備えてよい。映像セグメントデータセットは、少なくとも1つの映像セグメントデータを含み、当該映像セグメントデータは映像セグメントを表す。映像セグメントデータはそれぞれ、少なくとも1つの指定視野角および当該指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む。映像セグメントデータセットは、サーバからローカルで予めロードされても、ローカルで直接インポートされてもよい。図8を参照すると、本方法は次のステップを含んでよい。
S110:映像セグメントデータセットから、仮想場面におけるユーザの現在位置に対応する現在の映像セグメントデータを決定する。
ステップS210:現在の映像セグメントデータにより表される映像セグメントを再生し、再生中にユーザの現在の視野角を取得する。
ステップS310:現在の映像セグメントデータの少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角を決定する。このとき、当該目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、現在の映像セグメントデータにより表される映像セグメントの再生の最後に再生される。
1つの実施形態において、個々の場面を表すリンクがクライアントに表示されてよい。唯一の相違点としては、ユーザがある場面へのリンクをトリガーした場合、当該場面へのリンクに対応する映像セグメントデータを探して、クライアントのローカル映像セグメントデータセットを直接検索可能である。具体的には、場面に対応する映像セグメントデータは1つの初期映像セグメントデータを含んでよく、当該初期映像セグメントデータにより表される映像セグメントは、クライアントでユーザに対して再生される最初の映像セグメントデータとして使用されてよい。例えば、ユーザが図2に示す場面へのリンクをトリガーした場合、クライアントは、映像セグメントデータセットから経路8の開始位置の映像セグメントデータを取得してよい。このとき、経路8の開始位置における映像セグメントデータを当該場面に対応する初期映像セグメントデータとすることができる。このように、クライアントは、取得された初期映像セグメントデータを直接レンダリングして、レンダリングにより取得された映像セグメントをユーザに対して再生できる。このように、ユーザの視覚体験としては、映像再生が開始されたとき、ユーザは経路8の開始位置にいるということになる。このシナリオにおいて、仮想場面におけるユーザの現在位置を初期映像セグメントデータにより表される初期位置とすることができる。
もちろん、本実施形態において、ユーザがクライアント上のある場面のリンクをトリガーした場合、クライアントは当該場面の平面図をユーザにさらに表示してもよく、当該平面図には少なくとも1つの選択可能な位置が設けられてよい。例えば、図2に示す場面において、経路8および経路5の開始位置はともに選択可能である。ユーザは平面図においてある位置を選択してもよく、当該位置の情報はクライアントにより受信可能である。このように、クライアントは、位置情報に対応する映像セグメントデータを探してローカル映像セグメントデータセットを検索し、探し出された映像セグメントデータをレンダリングして、レンダリングにより取得された映像セグメントをユーザに対して再生することができる。ユーザの視覚体験としては、映像セグメントの再生が開始されたとき、ユーザは前回選択された位置にいるということになる。このシナリオにおいて、仮想場面におけるユーザの現在位置をユーザにより選択された位置とすることができる。
次のステップS210でユーザの現在の視野角を取得し、S310で当該現在の視野角と合致する目標指定視野角を決定する処理はともに上述の実施形態と一致しているため、記載を省略する。相違点としては、現在の視野角と合致する目標指定視野角が取得された後、クライアントのローカル映像セグメントデータセットから目標指定視野角が対象とする映像セグメントデータが取得されてよく、取得された映像セグメントデータがレンダリングされ、現在の映像セグメントデータに表される映像セグメントを再生した後に再生されてよい。
1つの実施形態において、映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含む。このとき、少なくとも1つの指定視野角、および指定視野角が対象とする映像セグメントデータを表すデータ識別子はヘッダデータフィールドに格納される。
1つの実施形態において、現在の映像セグメントデータの少なくとも1つの指定視野角から現在の視野角と合致する目標指定視野角を決定する段階の後に、本方法はさらに、目標指定視野角が対象とする映像セグメントデータのデータ識別子に従って、映像セグメントデータセットからデータ識別子に対応する目標映像セグメントデータを決定し、目標映像セグメントデータにより表される映像セグメントを、現在の映像セグメントデータにより表される映像セグメントの再生の最後に再生する段階を含む。
1つの実施形態において、各指定視野角は視野角範囲に対応し、それに応じて、現在の映像セグメントデータの少なくとも1つの指定視野角から現在の視野角に合致する目標指定視野角を決定する段階は、現在の視野角の視野角範囲を決定し、決定された視野角範囲に対応する指定視野角を目標指定視野角として使用する段階を含む。
1つの実施形態において、現在の視野角に合致する目標指定視野角が、現在の映像セグメントデータの少なくとも1つの指定視野角に存在しない場合、本方法はさらに、現在の映像セグメントデータにより表される映像セグメントのフレームを、現在の映像セグメントデータにより表される映像セグメントの再生の最後に表示する段階を含む。
1つの実施形態において、仮想場面は少なくとも1つの経路を含み、経路はそれぞれ、経路の指定方向において撮られたパノラマ映像に関連付けられ、パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される。
1つの実施形態において、本方法はさらに、パノラマ映像を分割することにより取得された映像セグメントに従って、映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階を含み、逆方向映像セグメントの再生順序は、対応する映像セグメントの再生順序の逆である。
上述の実施形態の特定の実装については、仮想場面における映像再生方法の実施形態において記載したので、以下では記載を省略する。仮想場面における映像再生方法の実施形態との相違点は、本実施形態において、映像セグメントデータはすべてクライアントにローカルで格納されることである。したがって、映像セグメントデータの検索および取得はともにオフラインで実装することができる。通常、ローカルでの映像セグメントデータのロードはサーバから映像セグメントデータをダウンロードするよりも速いため、映像セグメントの再生の滑らかさが向上する。
図9を参照すると、本開示はさらに、メモリ120、ディスプレイ220、プロセッサ320、内部バス420を含むクライアントを提供する。
メモリ120は映像セグメントデータセットを格納するように構成される。映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、当該映像セグメントデータは映像セグメントを表す。映像セグメントデータはそれぞれ、少なくとも1つの指定視野角および当該指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む。
ディスプレイ220は映像セグメントを表示するように構成される。
プロセッサ320は、メモリの映像セグメントデータセットから仮想場面におけるユーザの現在位置に対応する現在の映像セグメントデータを決定することと、ディスプレイを介して、現在の映像セグメントデータにより表される映像セグメントを再生し、再生中にユーザの現在の視野角を取得することと、現在の映像セグメントデータの少なくとも1つの指定視野角から、現在の視野角と合致する目標指定視野角を決定することであって、目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、現在の映像セグメントデータにより表される映像セグメントの再生の最後に再生される、決定することとを行うように構成される。
1つの実施形態において、メモリ120は情報を格納するためのメモリデバイスであってよい。デジタルシステムにおいて、バイナリデータを格納可能な装置はメモリであってよい。集積回路において、物理的形状を有しない記憶機能を有する回路はRAMまたはFIFOなどのメモリであってよい。システムにおいて、物理的形状の記憶装置は、メモリバーまたはTFカードなどのメモリとも呼ばれることがある。
1つの実施形態において、ディスプレイ220は、特定の伝送装置を介して特定の電子ファイルを画面に表示し、当該電子ファイルを人間の目に映し出す表示ツールであってよい。ディスプレイは、液晶(LCD)表示画面、ブラウン管(CRT)表示画面、または発光ダイオード(LED)表示画面などを含んでよい。
プロセッサ320は、任意の適切な方法で実装されてよい。例えば、プロセッサは、マイクロプロセッサまたはプロセッサおよび(マイクロ)プロセッサにより実行可能であるコンピュータ可読プログラムコード(例えば、ソフトウェアまたはファームウェア)を格納するコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路(ASIC)、プログラム可能型論理制御器、ならびに内蔵マイクロ制御器の形式を利用してよい。本開示は限定するものではない。
上述の実施形態に開示されるクライアントのメモリ120、ディスプレイ220、プロセッサ320、およびバス420により実装される特定の機能は、本開示のクライアント側の仮想場面における映像再生方法の実施形態を参照して説明されてもよく、本開示の仮想場面における映像再生方法の実施形態を実装し、本方法の実施形態の技術効果を実現することができる。
上記を考慮して、本開示はユーザに対して継続的に映像セグメントを再生することができ、これによりユーザは仮想場面でオブジェクトを閲覧することができる。具体的には、現在の映像セグメントデータがユーザに対して再生されているとき、ユーザの現在の視野角が決定可能であり、次に再生される映像セグメントがユーザの現在の視野角に従って決定可能である。このように、現在の映像セグメントの再生が完了すると、次の映像セグメントが再生可能となる。ユーザの視野角が変化するにつれて、ユーザの前に提示される映像コンテンツも変化してよい。このように、ユーザは、視野角を介して、前進、後進、停止などの動作を行うことができ、外部機器の使用を避けて真の没入型の体験をすることができる。
1990年代において、技術改良がハードウェアの改良(例えば、ダイオード、トランジスタ、スイッチなどの回路構造の改良)であるか、ソフトウェアの改良(方法の手順の改良)であるかは、明確に区別することができる。しかし、技術の発達と共に、近年の方法の手順の改良の多くは、ハードウェア回路構造の直接的な改良とみなすことができる。ほとんどのすべての設計者は、ハードウェア回路に改良した方法の手順をプログラミングして、対応するハードウェア回路構造を取得している。したがって、方法の手順の改良は、ハードウェアエンティティモジュールにより実装可能であるとは言えない。例えば、プログラム可能型論理デバイス(PLD)(例えば、フィールドプログラマブルゲートアレイ(FPGA))は、論理機能がユーザのデバイスプログラミングにより決定される集積回路である。設計者は、デジタルシステムをPLDに「統合」するために自らプログラミングしてよく、特定用途向け集積回路チップの設計及び製造をチップ製造業者に依頼する必要はない。さらに、集積回路チップを手動で製造する代わりに、このようなプログラミングは「論理コンパイラ」ソフトウェアにより実装される。これは、プログラムの開発及びコーディングに使用するソフトウェアコンパイラと類似しており、コンパイル前のオリジナルコードも特定のプログラミング言語で書かれてよい。この言語はハードウェア記述言語(HDL)と呼ばれる。HDLの形式は1つだけではなく複数の形式のHDLが存在する。例えば、ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java(登録商標)Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby Hardware Description Language)が挙げられる。近年は、VHDL(Very−High−Speed Integrated Circuit Hardware Description Language)とVerilog2が最も一般に使用されている。本方法の手順が上述のハードウェア記述言語を使用して論理的にプログラミングされ、集積回路に組み込まれれば、論理方法の手順を実装するためのハードウェア回路を容易に取得できることについても当業者は理解するはずである。
クライアントおよびサーバを純粋なコンピュータ可読プログラミングで実装することに加えて、論理プログラミングを方法の各ステップで実行することができ、これによりクライアントおよびサーバが、論理ゲート、スイッチ、特定用途向け集積回路、プログラム可能型論理制御器、または内蔵マイクロ制御器などの形式で同じ機能を実装可能であることも当業者は理解する。そのため、クライアントまたはサーバをハードウェアコンポーネントとみなしてもよく、クライアントまたはサーバに含まれる個々の機能を実装するための装置をハードウェアコンポーネント内の構造とみなしてよい。あるいは、個々の機能を実装するための装置を、方法を実装するためのソフトウェアモジュールおよびハードウェアコンポーネントにおける構造の両方とみなすことも可能である。
上記の実施形態の説明を通じて、当業者は、本開示を必要な汎用ハードウェアプラットフォームに加えてソフトウェアとして実装できることを明確に理解できる。このような理解に基づくと、本開示の技術的解決方法の本質、または先行技術に貢献する部分は、ソフトウェア製品の形式で具現化されてよい。コンピュータソフトウェア製品は、ROM/RAM、磁気ディスク、光学ディスクなどの記憶媒体に格納されてよく、さらに、本開示の実施形態又は実施形態の一部に記載された方法を実行するようにコンピュータ装置(パーソナルコンピュータ、サーバ、またはネットワーク装置などであってよい)に命令するための命令を含む。
本明細書における実施形態は全て順を追って説明されている。異なる実施形態において同一又は類似する部分については互いに参照してよく、各実施形態では他の実施形態との違いに焦点を置いている。特に、サーバ及びクライアントの実施形態はともに、上述の方法の実施形態を参照して説明することができる。
本開示は、プログラムモジュールなどの、コンピュータにより実行される、コンピュータで実行可能な命令の一般的な文脈で説明されてよい。一般に、プログラムモジュールは、特定のタスクを実行する、又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。本開示は、分散コンピューティング環境にも実装されてよい。これらの分散コンピューティング環境において、通信ネットワークにより接続されたリモート処理装置によりタスクが実行される。分散コンピューティング環境において、プログラムモジュールは、記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に配置されてよい。
本開示は実施形態を用いて説明されているが、当業者は、本開示の主旨から逸脱しない多くの変形及び変更を本開示が含むことを理解する。添付の特許請求の範囲は、本開示の主旨から逸脱しないこれらの変形及び変更を含むことが意図されている。

Claims (24)

  1. 仮想場面における映像再生方法であって、
    サーバから送信された現在の映像セグメントデータを受信する段階であって、前記現在の映像セグメントデータは映像セグメントを表し、前記現在の映像セグメントデータは少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、段階と、
    前記現在の映像セグメントデータにより表される前記映像セグメントを再生し、再生中にユーザの現在の視野角を取得する段階と、
    前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する段階であって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、段階と
    を備える、映像再生方法。
  2. 前記現在の映像セグメントデータはヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項1に記載の映像再生方法。
  3. 前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、前記映像再生方法はさらに、
    前記目標指定視野角が対象とする前記映像セグメントデータを示すデータ識別子を前記サーバに送信し、前記目標指定視野角が対象とする前記映像セグメントデータを前記サーバから取得する段階を備える、請求項1または2に記載の映像再生方法。
  4. サーバから送信された現在の映像セグメントデータを受信する前記段階の後に、前記映像再生方法はさらに、
    前記現在の映像セグメントデータに含まれる個々の映像セグメントデータのデータ識別子が対象とする映像セグメントデータを前記サーバから取得する段階を備え、
    それに応じて、前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、前記映像再生方法はさらに、
    取得した前記個々の映像セグメントデータから、前記目標指定視野角が対象とする目標映像セグメントデータを決定し、前記目標映像セグメントデータにより表される映像セグメントを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生する段階を備える、請求項1から3のいずれか一項に記載の映像再生方法。
  5. 前記サーバの映像セグメントデータはそれぞれ、さらに方向情報を含み、それに応じて、サーバから送信された現在の映像セグメントデータを受信する前記段階の後に、前記映像再生方法はさらに、
    前記現在の映像セグメントデータに含まれる個々のデータ識別子から、前記現在の映像セグメントデータの方向情報と一致する方向情報を有する映像セグメントデータのデータ識別子を決定し、決定された前記データ識別子が対象とする前記映像セグメントデータを前記サーバから取得する段階を備える、請求項1から4のいずれか一項に記載の映像再生方法。
  6. 各指定視野角は視野角範囲に対応し、
    それに応じて、前記少なくとも1つの指定視野角から前記現在の視野角に合致する目標指定視野角を決定する前記段階は、
    前記現在の視野角の視野角範囲を決定し、決定された前記視野角範囲に対応する指定視野角を前記目標指定視野角として使用する段階を含む、請求項1から5のいずれか一項に記載の映像再生方法。
  7. 前記現在の視野角に合致する前記目標指定視野角が、前記少なくとも1つの指定視野角に存在しない場合、前記映像再生方法はさらに、
    前記現在の映像セグメントデータにより表される前記映像セグメントのフレームを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に表示する段階を備える、請求項1から6のいずれか一項に記載の映像再生方法。
  8. 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項1から7のいずれか一項に記載の映像再生方法。
  9. 前記映像再生方法はさらに
    前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階を備え、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、請求項8に記載の映像再生方法。
  10. クライアントであって、
    前記クライアントは、ネットワーク通信ポート、ディスプレイ、およびプロセッサを備え、
    前記ネットワーク通信ポートは、サーバから送信された現在の映像セグメントデータを受信するように構成され、
    前記ディスプレイは、映像セグメントを再生するように構成され、
    前記プロセッサは、
    前記ネットワーク通信ポートを介して、前記サーバから送信された前記現在の映像セグメントデータを受信することであって、前記現在の映像セグメントデータは映像セグメントを表し、前記現在の映像セグメントデータは少なくとも1つの指定視野角および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、受信することと、
    前記現在の映像セグメントデータにより表される前記映像セグメントを、前記ディスプレイを介して再生し、再生中にユーザの現在の視野角を取得することと、
    前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定することであって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定することと
    を行うように構成される、クライアント。
  11. 仮想場面におけるデータ提供方法であって、
    映像セグメントデータセットが提供され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
    前記データ提供方法は、
    クライアントから送信された映像セグメントデータロードリクエストを受信する段階であって、前記映像セグメントデータロードリクエストは前記仮想場面においてユーザの現在位置を表すために使用される、受信する段階と、
    前記ユーザの前記現在位置に対応する現在の映像セグメントデータを前記クライアントにフィードバックして、前記クライアントが前記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に前記ユーザの現在の視野角を取得する段階と、
    前記クライアントから送信された目標映像セグメントデータのデータ識別子を受信する段階であって、前記目標映像セグメントデータを対象とする目標指定視野角が前記現在の視野角と合致する、受信する段階と
    を備える、データ提供方法。
  12. 前記映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項11に記載のデータ提供方法。
  13. 各指定視野角は視野角範囲に対応し、
    それに応じて、前記現在の視野角に合致する前記目標映像セグメントデータを対象とする前記目標指定視野角は、
    前記目標指定視野角の視野角範囲内にある前記現在の視野角を含む、請求項11または12に記載のデータ提供方法。
  14. 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項11から13のいずれか一項に記載のデータ提供方法。
  15. 前記データ提供方法はさらに、
    前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階であって、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、生成する段階を備える、請求項14に記載のデータ提供方法。
  16. サーバであって、前記サーバは、ネットワーク通信ポート、メモリ、およびプロセッサを備え、
    前記ネットワーク通信ポートは、クライアントとネットワークデータ通信を行うように構成され、
    前記メモリは映像セグメントデータセットを格納するように構成され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
    前記プロセッサは、
    前記ネットワーク通信ポートを介して、前記クライアントから送信された映像セグメントデータロードリクエストを受信することであって、前記映像セグメントデータロードリクエストは仮想場面においてユーザの現在位置を表すために使用される、受信することと、
    前記ユーザの前記現在位置に対応する現在の映像セグメントデータを前記クライアントにフィードバックするように前記ネットワーク通信ポートを制御して、前記クライアントが前記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に前記ユーザの現在の視野角を取得することと、
    前記クライアントから送信された目標映像セグメントデータのデータ識別子を、前記ネットワーク通信ポートを介して受信することであって、前記目標映像セグメントデータを対象とする目標指定視野角が前記現在の視野角と合致する、受信することと
    を行うように構成される、サーバ。
  17. 仮想場面における映像再生方法であって、
    映像セグメントデータセットが提供され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
    前記映像再生方法は、
    前記映像セグメントデータセットから、前記仮想場面においてユーザの現在位置に対応する現在の映像セグメントデータを決定する段階と、
    前記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に前記ユーザの現在の視野角を取得する段階と、
    前記現在の映像セグメントデータの少なくとも1つの指定視野角から、前記現在の視野角に合致する目標指定視野角を決定する段階であって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定する段階と
    を備える、映像再生方法。
  18. 前記映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項17に記載の映像再生方法。
  19. 前記現在の映像セグメントデータの少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、
    前記映像再生方法はさらに、
    前記目標指定視野角が対象とする前記映像セグメントデータのデータ識別子に従って、前記映像セグメントデータセットから前記データ識別子に対応する目標映像セグメントデータを決定し、前記目標映像セグメントデータにより表される映像セグメントを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生する段階を備える、請求項17または18に記載の映像再生方法。
  20. 各指定視野角は視野角範囲に対応し、
    それに応じて、前記現在の映像セグメントデータの少なくとも1つの指定視野角から前記現在の視野角に合致する目標指定視野角を決定する前記段階は、
    前記現在の視野角の視野角範囲を決定し、決定された前記視野角範囲に対応する指定視野角を前記目標指定視野角として使用する段階を含む、請求項17から19のいずれか一項に記載の映像再生方法。
  21. 前記現在の視野角に合致する前記目標指定視野角が、前記現在の映像セグメントデータの前記少なくとも1つの指定視野角に存在しない場合、前記映像再生方法はさらに
    前記現在の映像セグメントデータにより表される前記映像セグメントのフレームを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に表示する段階を備える、請求項17から20のいずれか一項に記載の映像再生方法。
  22. 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項17から21のいずれか一項に記載の映像再生方法。
  23. 前記映像再生方法はさらに、
    前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階であって、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、生成する段階を備える、請求項22に記載の映像再生方法。
  24. クライアントであって、前記クライアントは、メモリ、ディスプレイ、およびプロセッサを備え、
    前記メモリは映像セグメントデータセットを格納するように構成され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
    前記ディスプレイは映像セグメントを表示するように構成され、
    前記プロセッサは、
    前記メモリの前記映像セグメントデータセットから仮想場面におけるユーザの現在位置に対応する現在の映像セグメントデータを決定することと、
    前記ディスプレイを介して、前記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に前記ユーザの現在の視野角を取得することと、
    前記現在の映像セグメントデータの少なくとも1つの指定視野角から、前記現在の視野角と合致する目標指定視野角を決定することであって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定することと
    を行うように構成される、クライアント。
JP2019562566A 2017-05-09 2018-01-05 仮想場面に関連付けられた映像再生およびデータの提供 Active JP6992956B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710321559.8A CN108882018B (zh) 2017-05-09 2017-05-09 虚拟场景中的视频播放、数据提供方法、客户端及服务器
CN201710321559.8 2017-05-09
PCT/CN2018/071556 WO2018205663A1 (zh) 2017-05-09 2018-01-05 虚拟场景中的视频播放、数据提供方法、客户端及服务器

Publications (2)

Publication Number Publication Date
JP2020520190A true JP2020520190A (ja) 2020-07-02
JP6992956B2 JP6992956B2 (ja) 2022-01-13

Family

ID=64104404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562566A Active JP6992956B2 (ja) 2017-05-09 2018-01-05 仮想場面に関連付けられた映像再生およびデータの提供

Country Status (5)

Country Link
US (1) US11272154B2 (ja)
JP (1) JP6992956B2 (ja)
CN (1) CN108882018B (ja)
TW (1) TWI663874B (ja)
WO (1) WO2018205663A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277866B (zh) 2018-12-04 2022-05-10 华为技术有限公司 一种控制vr视频播放的方法及相关装置
KR20210107631A (ko) * 2018-12-25 2021-09-01 소니그룹주식회사 영상 재생 장치, 재생 방법 및 프로그램
CN109840952A (zh) * 2018-12-29 2019-06-04 深圳市虚拟现实科技有限公司 虚拟现实记忆再现系统及其方法
CN111669666A (zh) * 2019-03-08 2020-09-15 北京京东尚科信息技术有限公司 模拟现实的方法、装置和系统
WO2020206647A1 (zh) * 2019-04-11 2020-10-15 华为技术有限公司 跟随用户运动控制播放视频内容的方法和装置
CN110784750B (zh) * 2019-08-13 2022-11-11 腾讯科技(深圳)有限公司 视频播放方法、装置及计算机设备
CN113691779B (zh) * 2021-08-25 2024-04-05 济南大学 一种ar系统中增强呈现方式的方法
CN114786061B (zh) * 2022-04-12 2023-08-22 杭州当虹科技股份有限公司 一种基于vr设备的画面视角修正方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP2003208635A (ja) * 2002-01-15 2003-07-25 Canon Inc 画像再生装置及び情報処理方法
JP2009181587A (ja) * 2001-09-28 2009-08-13 Fuji Xerox Co Ltd ビデオシステム、及びビデオシステム用プログラム
JP6025280B1 (ja) * 2015-12-28 2016-11-16 株式会社タッグ 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム
JP2017535985A (ja) * 2014-09-03 2017-11-30 ネクストブイアール・インコーポレイテッド コンテンツを取り込み、ストリーミングし、および/または、再生するための方法および装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828410A (en) 1995-07-19 1998-10-27 Drapeau; Raoul E. Video-wall viewing-angle enhancement system
US6504990B1 (en) 1998-11-12 2003-01-07 Max Abecassis Randomly and continuously playing fragments of a video segment
US6408128B1 (en) 1998-11-12 2002-06-18 Max Abecassis Replaying with supplementary information a segment of a video
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
US8274564B2 (en) 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
TWI434129B (zh) * 2010-12-22 2014-04-11 Univ Nat Taipei Technology 全景影像播放裝置與系統
KR101833034B1 (ko) 2012-01-19 2018-02-27 브이아이디 스케일, 인크. 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템
US9629523B2 (en) 2012-06-27 2017-04-25 Camplex, Inc. Binocular viewing assembly for a surgical visualization system
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US9241103B2 (en) * 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US9244940B1 (en) * 2013-09-27 2016-01-26 Google Inc. Navigation paths for panorama
KR20150072231A (ko) 2013-12-19 2015-06-29 한국전자통신연구원 멀티 앵글 뷰 서비스 제공 장치 및 방법
US9189839B1 (en) * 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US10636154B2 (en) 2015-04-01 2020-04-28 Owl Labs, Inc. Scaling sub-scenes within a wide angle scene by setting a width of a sub-scene video signal
US9554160B2 (en) 2015-05-18 2017-01-24 Zepp Labs, Inc. Multi-angle video editing based on cloud video sharing
CN105704478B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
US10204449B2 (en) 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging
US10694249B2 (en) * 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
EP3196840B1 (en) * 2016-01-22 2022-12-14 Nokia Technologies Oy Displaying visual information of views captured at geographic locations
US9973746B2 (en) 2016-02-17 2018-05-15 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
CN105933343B (zh) * 2016-06-29 2019-01-08 深圳市优象计算技术有限公司 一种用于720度全景视频网络播放的码流缓存方法
US10650590B1 (en) * 2016-09-07 2020-05-12 Fastvdo Llc Method and system for fully immersive virtual reality
CN106383655A (zh) * 2016-09-19 2017-02-08 北京小度互娱科技有限公司 在全景播放过程中控制视角转换的交互控制方法及装置
CN106447788B (zh) * 2016-09-26 2020-06-16 北京疯景科技有限公司 观看视角的指示方法及装置
CN106534892A (zh) * 2016-11-23 2017-03-22 上海沙塔信息科技有限公司 基于可视角度再编码的虚拟现实直播系统和方法
CN106502427B (zh) * 2016-12-15 2023-12-01 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP2009181587A (ja) * 2001-09-28 2009-08-13 Fuji Xerox Co Ltd ビデオシステム、及びビデオシステム用プログラム
JP2003208635A (ja) * 2002-01-15 2003-07-25 Canon Inc 画像再生装置及び情報処理方法
JP2017535985A (ja) * 2014-09-03 2017-11-30 ネクストブイアール・インコーポレイテッド コンテンツを取り込み、ストリーミングし、および/または、再生するための方法および装置
JP6025280B1 (ja) * 2015-12-28 2016-11-16 株式会社タッグ 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム

Also Published As

Publication number Publication date
TWI663874B (zh) 2019-06-21
US11272154B2 (en) 2022-03-08
WO2018205663A1 (zh) 2018-11-15
JP6992956B2 (ja) 2022-01-13
CN108882018A (zh) 2018-11-23
US20200169711A1 (en) 2020-05-28
TW201902227A (zh) 2019-01-01
CN108882018B (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
JP6992956B2 (ja) 仮想場面に関連付けられた映像再生およびデータの提供
US11099654B2 (en) Facilitate user manipulation of a virtual reality environment view using a computing device with a touch sensitive surface
US11508125B1 (en) Navigating a virtual environment of a media content item
KR102100744B1 (ko) 구면 비디오 편집
US10636220B2 (en) Methods and systems for generating a merged reality scene based on a real-world object and a virtual object
US10845969B2 (en) System and method for navigating a field of view within an interactive media-content item
US10750213B2 (en) Methods and systems for customizing virtual reality data
US20210178264A1 (en) Methods and systems for spectating characters in follow-mode for virtual reality views
US10699749B2 (en) Methods and systems for customizing virtual reality data
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
US10437055B2 (en) Master device, slave device, and control method therefor
US20230047123A1 (en) Video Processing Systems and Methods
WO2023081213A1 (en) Video processing systems and methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211201

R150 Certificate of patent or registration of utility model

Ref document number: 6992956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150