JP2020005038A - 送信装置、送信方法、受信装置、受信方法、及び、プログラム - Google Patents

送信装置、送信方法、受信装置、受信方法、及び、プログラム Download PDF

Info

Publication number
JP2020005038A
JP2020005038A JP2018120188A JP2018120188A JP2020005038A JP 2020005038 A JP2020005038 A JP 2020005038A JP 2018120188 A JP2018120188 A JP 2018120188A JP 2018120188 A JP2018120188 A JP 2018120188A JP 2020005038 A JP2020005038 A JP 2020005038A
Authority
JP
Japan
Prior art keywords
video segment
video
segment
viewpoint
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018120188A
Other languages
English (en)
Inventor
駿 杉本
Shun Sugimoto
駿 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018120188A priority Critical patent/JP2020005038A/ja
Priority to EP19181446.6A priority patent/EP3588963A1/en
Priority to KR1020190073803A priority patent/KR20200000815A/ko
Priority to US16/449,212 priority patent/US20190394500A1/en
Priority to CN201910554565.7A priority patent/CN110636336A/zh
Publication of JP2020005038A publication Critical patent/JP2020005038A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

【課題】 送信データ量の増大を抑制しつつ、仮想視点の移動に対する追従性を向上させる。【解決手段】 送信装置１０１は、受信装置１０２からビデオセグメントの要求を受信し（Ｓ６０９）、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定し、該決定されたビデオセグメントを送信する（Ｓ６１０）。第２ビデオセグメントは第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントである。【選択図】 図６

Description

本発明は、仮想視点映像に関係するデータの通信方法に関する。
ビデオや音声などのメディアコンテンツをストリーミング配信するための通信プロトコルとしてＭＰＥＧ−ＤＡＳＨやＨＬＳ（ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ）が知られている。これらの通信プロトコルでは、サーバ（送信装置）がメディアセグメントや記述データを用意する。メディアセグメントとは、例えば、ビデオデータが一定の時間単位に分割されたビデオセグメントや、オーディオデータが同様に分割されたオーディオセグメントである。また、記述データとは、各メディアセグメントを要求するためのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を含むデータである。受信装置（クライアント）は送信装置から記述データを取得し、記述データに記述されているＵＲＬに基づいてメディアセグメントを選択的に取得する。また、特許文献１に示すように、ユーザによる仮想視点の操作を反映させた映像（以下、仮想視点映像と呼ぶ）が知られている。
特開２０１５−１８７７９７号公報
サーバがクライアントに対して仮想空間全体のデータを提供すれば、クライアントは自由に仮想視点を操作することができるが、この場合には送信データ量が増大する。一方、サーバがクライアントから指定された仮想視点に対応するデータのみを提供する場合、送信データ量は削減できるが、インタラクティブ性に欠ける。つまり、クライアントにおける仮想視点の操作を表示映像にタイムリーに切り替えることが困難となる恐れがあった。
本発明は上記課題に鑑みなされたものであり、送信データ量の増大を抑制しつつ、仮想視点の操作に対する追従性を向上させることを目的とする。
上記目的を達成するための一手段として、本発明の送信装置は以下の構成を有する。すなわち、ビデオデータに基づくビデオセグメントを送信する送信装置であって、受信装置からビデオセグメントの要求を受信する受信手段と、前記受信手段により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定手段と、前記決定手段により決定されたビデオセグメントを前記受信装置に対して送信する送信手段とを有し、前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントである。
本発明によれば、送信データ量の増大を抑制しつつ、仮想視点の操作に対する追従性を向上させることができる。
システム構成図 送信装置１０１のハードウェア構成例を示すブロック図 送信装置１０１の機能構成例を示すブロック図 受信装置１０２のハードウェア構成例を示すブロック図 受信装置１０２の機能構成例を示すブロック図 実施形態１の送信装置１０１の動作を説明するためのフローチャート 通常時セグメントと視点変更時セグメントの違いを説明するための図 実施形態１の受信装置１０２の動作を説明するためのフローチャート 図８におけるＳ９００を詳細に説明するためのフローチャート 三次元空間における視点情報の表現例 視点情報の取得のための流れを説明するための図 実施形態２の送信装置１０１の動作を説明するためのフローチャート 実施形態２の受信装置１０２の動作を説明するためのフローチャート
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
［実施形態１］
図１は、本実施形態における通信システムの一例を示す図である。送信装置１０１は、ビデオデータに基づくビデオセグメントを提供するサーバ装置として機能する。送信装置１０１は、デジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、プロジェクタ、スマートフォン、及び、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等により実現可能である。なお、本実施形態では、送信装置１０１がビデオセグメントを送信する例を中心に説明するが、送信装置１０１は、オーディオセグメントを含む各種メディアセグメント、及び、イニシャリゼーションセグメントなどを受信装置１０２に対して送信できる。
受信装置１０２は、ビデオセグメントを受信してビデオを再生するクライアント装置として機能する。受信装置１０２は、表示機能及び通信機能を備えるデジタルテレビ、タブレット、スマートフォン、ＰＣ、及び、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等により実現可能である。
ネットワーク１０３は、送信装置１０１と受信装置１０２とを接続するための通信路である。ネットワーク１０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は、公衆移動体通信であるＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等でもよいし、これらの組み合わせでもよい。
図２は、送信装置１０１のハードウェア構成の一例を示す図である。システムバス２００は、ＣＰＵ２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、通信インタフェース２０４等を接続し、各種データの転送経路となる。
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は、各ハードウェア構成部を統括的に制御し、送信装置１０１全体を制御する。送信装置１０１は、ＣＰＵ２０１を複数有していても良い。ＲＯＭ２０２は、ＣＰＵ２０１で実行される制御プログラム等を格納する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、プログラムやデータ、受信したパケットデータ等を一時記憶する。通信インタフェース２０４は、ネットワーク１０３を介して通信パケットの送受信を行うインタフェースで、例えば、無線ＬＡＮインタフェース、有線ＬＡＮインタフェース、または、公衆移動体通信インタフェース等が挙げられる。
記憶装置２０５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置である。本実施形態では、記憶装置２０５が送信装置１０１の外部に位置する例を説明するが、送信装置１０１に内蔵されるようにしても良い。本実施形態において、記憶装置２０５は、仮想視点映像の生成のために用いられる素材データを記憶する。素材データとは、例えば、多視点映像データである。多視点映像データは、撮影対象（例えばサッカー場）を異なる複数の方向から同時に撮影して得られる映像データである。なお、素材データは多視点映像データに限らず、例えば、オブジェクト（撮影対象がサッカーであれば選手及びボールなど）の３次元形状データとテクスチャデータの組み合わせであっても良い。３次元形状データとテクスチャデータは多視点映像データから公知の方法（例えば、Ｖｉｓｕａｌ Ｈｕｌｌ）により生成可能である。このように、記憶装置２０５により記憶される素材データは、仮想視点映像の生成のために用いることができればよく、その形式は特に限定されない。また、記憶装置２０５に記憶される素材データは、撮像装置からリアルタイムに取得されても良いし、予め生成されたデータであっても良い。以下では、素材データが多視点映像データである場合の例を中心に説明する。
図３は、送信装置１０１の機能構成例を示す図である。尚、本実施形態では以下に示す各機能ブロックの機能は、ＣＰＵ２０１がＲＯＭ２０２、ＲＡＭ２０３に格納されているソフトウェアプログラムを実行することにより実施されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。
通信部３０１は、通信インタフェース２０４で送受信する通信パケットのプロトコル処理を行う。通信部３０１は、受信装置１０２から受信した各種要求パケットを要求処理部３０２に転送すると共に、記述データ生成部３０３により生成された記述データ、及び、セグメント決定部３０８により決定されたビデオセグメントを受信装置１０２に対して送信する。本実施形態では、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）及びＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を使用する例を説明する。しかしながら、これらの通信プロトコルとは別の通信プロトコルが使用されるようにしても良い。
要求処理部３０２は、受信装置１０２から受信した要求パケットを処理する。本実施形態の要求パケットには、記述データを要求するための記述データ要求パケットと、ビデオセグメントを要求するためのセグメント要求パケットの２種類がある。記述データは、ビデオセグメントの要求先であるロケーションに関する情報（例えばＵＲＬ又はＵＲＩ）を記述する。ＵＲＩは、Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒの略である。また、ビデオセグメントは、ビデオデータが時間的及び空間的に分割されたデータである。つまり、本実施形態の送信装置１０１は、３次元空間に対応するビデオデータのうち、仮想視点（仮想カメラ）の位置及び向きに応じた空間の一定時間分のビデオデータをビデオセグメントとして提供する。
要求処理部３０２は、記述データ要求パケットを受信すると、記述データ生成部３０３に記述データの生成を指示する。また、記述データ要求パケットに視点情報が含まれている場合は、視点情報解析部３０４に視点情報の解析を指示する。一方、要求処理部３０２は、セグメント要求パケットを受信すると、送信すべきビデオセグメントの決定をセグメント決定部３０８に指示する。また、セグメント要求パケットに視点情報が含まれている場合は、視点情報解析部３０４に視点情報の解析を指示する。尚、本実施形態では、視点情報が記述データ要求パケットに含まれる例を中心に説明するが、視点情報と記述データ要求は複数のパケットに分離されていても良いし、視点情報がセグメント要求パケットに含まれていても良い。
記述データ生成部３０３は、記述データ要求パケットの受信に応じて記述データを生成する。ただし、記述データの生成タイミングはこれに限らず、一定時間ごとに記述データが生成されるようにしても良いし、新規のビデオセグメントが生成されたタイミングで新たな記述データが生成されるようにしても良い。記述データには、ビデオやオーディオの特徴に関する情報（例えば、コーデック情報、画像サイズ、ビットレート等）、ビデオセグメントに関する情報（例えば、ビデオセグメントの期間等）、及び、ビデオセグメントを要求するためのＵＲＬ等が記述される。本実施形態の記述データは、ＭＰＥＧ−ＤＡＳＨにおけるＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）、ＨＬＳにおけるＰｌａｙｌｉｓｔｓに対応する。本実施形態では、ＭＰＥＧ−ＤＡＳＨに基づく例を中心に説明するが、それ以外の通信プロトコルが用いられても良い。
視点情報解析部３０４は、記述データ要求パケットに含まれる視点情報（仮想カメラのパラメータ情報）を解析する。視点情報は、例えば、三次元空間における視点位置、視線方向、焦点距離、画角等を表現する情報である。ただし上記のすべての情報が視点情報に含まれていなければならないわけではない。視点情報解析部３０４は視点情報を解析した結果を符号化部３０５に入力する。
符号化部３０５は、視点情報の解析結果に基づき、多視点映像記憶部３０６から取得した多視点映像データ（素材データ）を符号化する。多視点映像データの符号化方式は、例えば、Ｈ．２６４−ＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）や、３Ｄ−ＨＥＶＣ（３Ｄ Ｅｘｔｅｎｓｉｏｎｓ ｏｆ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等であっても良い。また、国際標準化されていない独自方式の符号化方式を採用しても良い。なお、素材データの例は多視点映像データに限らない。素材データの別の例として、オブジェクト（撮影対象がサッカーであれば選手及びボールなど）の３次元形状データとテクスチャデータ、及び、背景領域の３次元形状データとテクスチャデータであっても良い。また、素材データのさらに別の例として、オブジェクトの３次元形状の各構成要素にテクスチャが付加されたデータである色付き３次元データであっても良い。受信装置１０２は、送信装置１０１からの素材データを用いることによって、仮想視点映像を生成できる。
なお、送信装置１０１は、素材データを用いて仮想視点映像を生成し、その仮想視点映像を受信装置１０２に提供することも可能である。送信装置１０１が仮想視点映像を生成すると、インタラクティブ性には欠けるが、受信装置１０２の計算リソースが低い場合であっても、仮想視点映像を表示させることができる。
符号化部３０５は、ビデオやオーディオの特徴に関する情報（例えば、コーデック情報、画像サイズ、ビットレート等）を記述データ生成部３０３に入力する。多視点映像記憶部３０６は、記憶装置２０５に素材データ（多視点映像データ）を記憶させる。記憶装置２０５に記憶される多視点映像データは、どのような形式でもよい。例えば、複数の撮像装置の撮影画像が非圧縮で記憶されても良い。
セグメント生成部３０７は、符号化部３０５で符号化された多視点映像データ（素材データ）を単位時間のビデオセグメントとして生成する。例えば、Ｆｒａｇｍｅｎｔｅｄ ＭＰ４、又は、ＴＳフォーマット等のコンテナファイルとして生成しても良い。セグメント決定部３０８は、受信装置１０２から受信したセグメント要求に応じて受信装置１０２へ送信するビデオセグメントを決定する。
図４は、受信装置１０２のハードウェア構成の一例を示す図である。システムバス４００、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、通信インタフェース４０４は、図２と同様の機能となるため説明は省略する。入力装置４０５は、ユーザからの入力を受け付ける装置で、例えば、タッチパネル、キーボード、マウス、ボタン等が挙げられる。入力装置４０５の操作によって、仮想視点の位置及び向きなどを変更することが可能である。
出力装置４０６は、仮想視点映像をはじめとする各種情報を出力する装置で、例えば、ディスプレイ、デジタルテレビ、及び、プロジェクタ等の表示機能を備えた装置である。記憶装置４０７は、送信装置１０１から受信した素材データ（多視点映像データ）や仮想視点映像等を記憶するための装置で、ＨＤＤやＳＳＤ等のストレージ装置が挙げられる。
本実施形態では、入力装置４０５、出力装置４０６、及び、記憶装置４０７が、受信装置１０２に含まれる例を説明するが、外部に設置してもよい。
図５は、受信装置１０２の機能構成例を示す図である。尚、本実施形態では以下に示す各機能ブロックの機能は、ＣＰＵ４０１がＲＯＭ４０２及びＲＡＭ４０３に格納されているソフトウェアプログラムを実行することにより実施されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。
通信部５０１は、通信インタフェース４０４が送受信する通信パケットのプロトコル処理を行う。通信部５０１は、送信装置１０１から受信した記述データを記述データ解析部５０２に転送すると共に、素材データ（多視点映像データ）が格納されたビデオセグメントを仮想視点映像記憶部５０４に記憶させる。また、通信部５０１は、要求生成部５０３から受け取った各種要求パケットをネットワーク１０３経由で送信装置１０１に送信する。本実施形態では、受信装置１０２が送信装置１０１と同様にＴＣＰ／ＩＰ及びＨＴＴＰを使用する例を説明するが、これに限らない。
記述データ解析部５０２は、送信装置１０１から受信した記述データの解析処理を行う。記述データにはビデオセグメントを要求するためのＵＲＬやセグメント情報等が記述されており、記述データ解析部５０２は、それらの内容を要求生成部５０３に入力する。なお、記述データの内容はユーザが確認できるように出力部５０６において出力されるようにしても良い。
要求生成部５０３は、送信装置１０１に送信される各種要求パケットの生成を行う。要求パケットには、記述データを要求するための記述データ要求パケットや、多視点映像データ（素材データ）が格納されたビデオセグメントを要求するためのセグメント要求パケットが含まれる。また、要求生成部５０３は、入力部５０７から入力される視点情報を記述データ要求パケットに格納する。視点情報は、記述データ要求パケットに格納せず、セグメント要求パケットに格納されても良いし、記述データ要求パケットやセグメント要求パケットとは異なる独立したパケットに格納されても良い。
仮想視点映像記憶部５０４は、通信部５０１から受け取ったビデオセグメントを記憶装置４０７に記憶させる。なお、ビデオセグメントに含まれる素材データ（多視点映像データ）が符号化されている場合、復号化部５０５により復号されてから記憶装置４０７に記憶されるようにしても良い。また、素材データ（多視点映像データ）から復号化部５０５により生成された仮想視点映像が記憶装置４０７に記憶されるようにしても良い。また、送信装置１０１から仮想視点映像そのものを受信した場合は、その仮想視点映像が記憶装置４０７に記憶されるようにしても良い。
復号化部５０５は、送信装置１０１から受信した素材データ（又は仮想視点映像）を復号化する。出力部５０６は、復号化部５０５で復号化されたデータを出力装置４０６に出力する。入力部５０７は、入力装置４０５を介してユーザから入力される視点情報（仮想カメラのパラメータ）を要求生成部５０３に出力する。また、入力された情報は、出力部５０６を介して出力装置４０６に出力されるようにしても良い。
図６は、送信装置１０１の処理の流れを示すフローチャートである。当該フローチャートは、送信装置１０１が、ＲＯＭ２０２に記憶されたプログラムをＣＰＵ２０１が読み出し、それを実行することで実現される。
Ｓ６０１において、要求処理部３０２は、記述データ要求パケットを受信したか否かを判定する。記述データ要求パケットであればＳ６０２に移行する。記述データ要求パケットを受信していなければＳ６０９に移行する。
Ｓ６０２において、視点情報解析部３０４は、視点情報（仮想カメラのパラメータ）に変更があるか判別する。判別方法の一例として、所定期間中における仮想視点の移動量と閾値を比較する方法がある。例えば、２秒ごとに仮想視点の移動量の合計値を求め、当該合計値が閾値以上であれば、視点情報に変更があると判別できる。判別方法の別の例として、第１時刻における仮想視点の位置と第２時刻における仮想視点の位置との差と、閾値とを比較する方法が適用可能である。つまり、送信装置１０１は、第１時刻と第２時刻の仮想視点の位置の差が閾値以上であれば、視点情報に変更があると判定し、当該差が閾値未満であれば、視点情報に変更がないと判定できる。
また、判別方法の別の例として、第１時刻における仮想視点の向きと第２時刻における仮想視点の向きとの差と閾値とを比較する方法が適用可能である。つまり、送信装置１０１は、第１時刻と第２時刻の仮想視点の向きの差が閾値以上であれば、視点情報に変更があると判定し、当該差が閾値未満であれば、視点情報に変更がないと判定できる。
また、判別方法の別の例として、判別を受信装置１０２にゆだねる方法がある。すなわち、視点が変化する場合のみ受信装置１０２が視点情報を送信するケースにおいては、送信装置１０１は、視点情報を受け取った場合には常に視点情報の変更が発生したと判定できる。視点情報に変更がある場合はＳ６０３に移行し、視点情報に変更がない場合はＳ６０４に移行する。
Ｓ６０３において、視点情報解析部３０４は視点情報の解析処理を行う。Ｓ６０４において、符号化部３０５は通常の多視点映像データの符号化を行い、セグメント生成部３０７はビデオセグメント（通常時ビデオセグメント）の生成を行う。Ｓ６０５において、符号化部３０５は視点変更時の多視点映像データの符号化を行い、セグメント生成部３０７はビデオセグメント（視点変更時ビデオセグメント）の生成を行う。すなわち、視点情報解析部３０４は、受信装置１０２に対し、通常時セグメントと視点変更時セグメントのいずれを提供すべきかを決定する。通常時セグメントと視点変更時セグメントの違いについては後述する。
Ｓ６０６において、記述データ生成部３０３は、Ｓ６０４又はＳ６０５において生成されたビデオセグメントを要求するための情報（ＵＲＩ又はＵＲＬ）を記述した記述データを生成する。すなわち記述データ生成部３０３は、通常時セグメントと視点変更時セグメントのうち、何れか一方のロケーションに関する情報が記述された記述データを生成する。Ｓ６０７において、通信部３０１はＳ６０６において生成された記述データを受信装置１０２に送信する。Ｓ６０８において、映像データの送信サービスを終了するか判定する。サービスを継続する場合は、Ｓ６０１に移行する。
Ｓ６０９において、要求処理部３０２は、受信装置１０２からセグメント要求パケット（ビデオセグメントの要求）を受信したか否かを判定し、セグメント要求パケットであればＳ６１０に移行する。セグメント要求パケットでなければＳ６０１に移行する。Ｓ６１０において、通信部３０１は、セグメント要求パケットの送信元である受信装置１０２に対し、セグメント要求パケットに応じたビデオセグメント（通常時セグメント又は視点変更時セグメント）を受信装置１０２に送信する。
図７は、通常時セグメントと視点変更時セグメントの関係を示した図である。本実施形態において、視点変更時セグメント（第２ビデオセグメント）は、通常時セグメント（第１ビデオセグメント）よりも短い時間に対応する、及び／又は、広い空間範囲に対応する。なお、視点軸は必ずしも単一パラメータによる一次元ではなく、複数のパラメータによる多次元領域の広さと捉えることもできる。
図７において、７０１から７０７が指す矩形はそれぞれビデオセグメントを示す。横に長いビデオセグメントは、その分長い時間に対応している。また、縦に長いビデオセグメントは、その分広い空間範囲に対応している。７０８はユーザの視点位置を示す。時間軸上において各ビデオセグメントの境界に到達する前に受信装置１０２は記述データ要求パケットを送信装置１０１に対して送信する。
セグメント７０１とセグメント７０７は通常時セグメントであり、視点領域の幅は狭く、且つ時間長は長い。つまり、仮想視点が移動していない期間に送信されるビデオセグメントは、狭い空間範囲に対応し、且つ／又は、長い期間に対応する。一般に、狭い空間範囲に対応するビデオセグメントは、広い空間範囲に対応するビデオセグメントよりもデータ量が少ないので、ビデオセグメントの単位時間当たりの送信データ量を低減することができる。
一方、セグメント７０２からセグメント７０６は視点変更時セグメントであり、それぞれの視点領域の幅は広く、且つ時間長は短い。つまり、仮想視点が移動している期間に送信されるビデオセグメントは、広い空間範囲に対応し、且つ／又は、短い期間に対応する。これにより、仮想視点の変化に対する高い追従性が得られる。また、仮想視点が移動している期間に送信されるビデオセグメントの時間長を短くすることにより、仮想視点の移動に応じて送信対象領域をインタラクティブに変更することができるので、送信データ量の増大を防止できるという効果がある。また、仮想視点の移動が停止したときにはすみやかに通常時セグメントに切り替えることができるので、送信データ量を削減できるという効果がある。
セグメント決定部３０８は、視点情報の変更の有無を判別し、その結果に基づいて通常時セグメントと視点変更時セグメントの切り替えを行う。なお本実施形態では通常時セグメントと視点変更時セグメントの２パターンを有する場合の例を説明するが、仮想視点の移動距離や仮想視点の移動速度等に応じて３パターン以上にビデオセグメントを分類するようにしても良い。また、視点領域の幅は、例えば、後述する視点情報に含まれる様々なパラメータの取り得る範囲で制御してもよいし、特定のパラメータの複数の固定値の組み合わせとして制御してもよい。また、通常時セグメントは時間長が短い視点変更時セグメントを複数連結することで生成されるようにしても良い。言い換えると、通常時セグメントに対応する期間内に、視点変更時セグメントに対応する期間が存在するようにしても良い。
図８は、受信装置１０２の動作を説明するためのフローチャートである。当該フローチャートは、受信装置１０２のＣＰＵ４０１が、ＲＯＭ４０２に記憶されたプログラムを読み出し、それを実行することで実現される。
Ｓ８０１において、要求生成部５０３は、現在の視点情報を生成する。視点情報の表現方法の一例については図１０を用いて後述する。Ｓ８０２において、要求生成部５０３は、記述データ要求パケットを生成する。本実施形態において、記述データ要求パケットには、Ｓ８０１において生成された視点情報が含まれる。
Ｓ８０３において、通信部５０１は、記述データ要求パケットを送信装置１０１に対して送信する。Ｓ８０４において、通信部５０１は、記述データを受信したかどうかを判定し、記述データを受信したらＳ８０５に移行する。
Ｓ８０５において、記述データ解析部５０２は、記述データの解析を行う。Ｓ９００において、記述データ解析部５０２は、Ｓ８０５において解析した記述データに基づいてセグメント処理を行う。セグメント処理の詳細は図９を用いて後述する。Ｓ８０６において、該サービスを終了するか判定する。サービスを継続する場合はＳ８０１に移行する。
図９は、Ｓ９００のセグメント処理の流れを示すフローチャートである。
Ｓ９０１において、要求生成部５０３は、セグメント要求パケットを生成する。Ｓ９０２において、通信部５０１は、セグメント要求パケットを送信装置１０１に送信する。Ｓ９０３において、通信部５０１は、送信装置１０１からビデオセグメントを受信したかどうかを判定し、ビデオセグメントを受信したらＳ９０４に移行する。Ｓ９０４において、仮想視点映像記憶部５０４は、ビデオセグメントを記憶装置４０７に記憶させる。
Ｓ９０５において、復号化部５０５は、ビデオセグメントの再生要否を判定する。例えば、ビデオセグメントのデータが全て記憶され、且つ時間的に前のビデオセグメントの再生が完了した場合に再生要と判定してもよいし、他の判定方法でもよい。再生要と判定されたらＳ９０６に移行する。Ｓ９０６において、復号化部５０５はビデオセグメントの復号化処理を行う。Ｓ９０６はＳ９０４より以前に行うことで予め復号化したビデオセグメントを記憶装置４０７に記憶しておいてもよい。Ｓ９０７において、出力部５０６は出力装置４０６に対してビデオセグメントを出力する。これにより、仮想視点映像が表示される。
図１０は、視点情報の表現方法の一例を示す図である。図１０（ａ）は、三次元空間における視点の位置を示す。１００１は視点位置を示す。１００２は三次元空間におけるｘ座標軸、１００３はｙ座標軸、１００４はｚ座標軸をそれぞれ示す。座標軸における視点位置の表現例として、座標軸毎に移動可能な範囲を予め定義しておき、０から当該範囲までの数値で表現する方法が挙げられる。本実施形態では絶対座標として表現する例を示すが、相対座標、例えば最大移動可能範囲を１とした場合の割合、でもよいし、現在視点位置からの移動距離でもよい。
図１０（ｂ）は、視点位置からの視線方向を示す。１００５は視線方向の向きを示すｙａｗ軸、１００６は視線方向の傾斜を示すｐｉｔｃｈ軸、１００７は視線方向の回転を示すｒｏｌｌ軸をそれぞれ示す。これら三軸のパラメータを変更することで視線方向を自由に変更することができる。視線方向の表現例として、軸毎に移動可能な範囲を予め定義しておき、例えば、０から３６０、−１８０から１８０等のように表現する方法が挙げられる。本実施形態では絶対値として表現する例を示すが、相対値でもよいし、現在の視線方向からの差分値等でもよい。また、１００８は焦点位置までの距離を示すｄｅｐｔｈである。ｄｅｐｔｈの単位も絶対値でも相対値でもよい。これら視点位置、視線方向、及び、焦点位置等のパラメータは必ずしも含まれていなくてもよいし、１つ以上を組み合わせたものでもよい。
図１１は、ＨＴＴＰ拡張ヘッダを利用して視点情報を取得する場合の例を示した図である。まず、受信装置１０２から送信装置１０１に対して記述データ要求１１０１を送信する。記述データ要求１１０１には、記述データを要求するためのアクセスＵＲＬ１１０２と視点情報１１０３が含まれる。図１１の視点情報１１０３は、ユーザ（受信装置１０２）の現在の視点位置と、視線方向、焦点位置を含んでいる。拡張ヘッダフィールドとして、視点位置をＸ−ＳｉｇｈｔＬｏｃａｔｉｏｎ、視線方向をＸ−ＳｉｇｈｔＤｉｒｅｃｔｉｏｎ、視点焦点位置をＸ−ＳｉｇｈｔＤｅｐｔｈとして定義している。
送信装置１０１は、受信装置１０２から記述データ要求１１０１を受信すると、記述データ１１０４を受信装置１０２に送信する。１１０４は、記述データの例であり、ストリーミング方式としてＭＰＥＧ−ＤＡＳＨを想定した例となっているが、それ以外の方式でもよい。ＭＰＥＧ−ＤＡＳＨではＭＰＤと呼ばれるｘｍｌ形式の記述データを用いる。記述データは各種データがその区分に従って入れ子状に記述される。動画や音声のセグメント情報はＳｅｇｍｅｎｔタグ内に記述される。１１０５は、Ｓｅｇｍｅｎｔタグ内に記述されるセグメントを要求するためのアクセスＵＲＬである。受信装置１０２は、記述データ１１０４を取得すると、取得したいビデオセグメントを選択し、当該ビデオセグメントのアクセスＵＲＬ１１０５を用いてセグメント要求パケットを生成する。ＭＰＥＧ−ＤＡＳＨやＨＬＳ等のＨＴＴＰベースのストリーミング方式では、ビデオセグメントの要求はＨＴＴＰのＧＥＴリクエストメッセージにより実現される。
本実施形態における送信装置１０１は、受信装置１０２から記述データ要求パケットと共に視点情報を受け取り、その視点情報から視点変更の有無を判別し、視点変更時には通常時よりも視点領域が広く、且つ／又は、時間長が短いビデオセグメントを提供する。これにより、送信データ量の増大を抑制しつつ、ユーザによる視点の変更に対する追従性が高いビデオ配信が可能となる。
なお、視点情報はセグメント要求パケットに含まれていても良い。また、上述の実施形態において、送信装置１０１は、受信装置１０２から受け取った視点情報から視点情報の変更があると判別した際に、記述データの中身を視点変更時セグメントの情報に書き換えた。しかしながらこれに限らず、記述データの中身を変更せずに、ビデオセグメントの中身を変更してもよい。
［実施形態２］
実施形態１では、送信装置１０１が受信装置１０２から視点情報を受け取り、視点変更の有無を判別し、受信装置１０２に提供するビデオセグメントを変更する例を説明した。実施形態２では、送信装置１０１が通常時セグメントと視点変更時セグメントを取得するための情報を両方とも記述データに記述し、受信装置１０２が視点変更の有無を判別し、取得するビデオセグメントを切り替える例を説明する。ハードウェア構成や機能構成については実施形態１と同様であるため説明は省略する。
図１２は、実施形態２における送信装置１０１の動作を説明するためのフローチャートである。Ｓ１２０１は図６におけるＳ６０１、Ｓ１２０５はＳ６０７、Ｓ１２０６はＳ６０８、Ｓ１２０７はＳ６０９、Ｓ１２０８はＳ６１０とそれぞれ同様の処理内容となるため説明は省略する。
Ｓ１２０２において、符号化部３０５及びセグメント生成部３０７は、各視点の通常時用の多視点映像（素材データ）の符号化及びセグメント生成を行う。Ｓ１２０３において、符号化部３０５及びセグメント生成部３０７は、各視点の視点変更時用の多視点映像データ（素材データ）の符号化及びビデオセグメント生成を行う。Ｓ１２０４において、記述データ生成部３０３は、Ｓ１２０２及びＳ１２０３において生成されたビデオセグメントを要求するための情報が記述された記述データを生成する。すなわち、記述データ生成部３０３は、Ｓ１２０４において、第１及び第２ビデオセグメント（通常時の多視点映像と視点変更時の多視点映像）のロケーションに関する情報が記述された記述データを生成する。
図１３は、実施形態２における受信装置１０２の動作を説明するためのフローチャートである。Ｓ１３０１は図８におけるＳ８０２、Ｓ１３０２はＳ８０３、Ｓ１３０３はＳ８０４、Ｓ１３０８はＳ８０６とそれぞれ同様の処理内容となるため説明は省略する。また、セグメント処理Ｓ９００は図９と同様であるため説明は省略する。
Ｓ１３０４において、記述データ解析部５０２は、記述データの解析を行う。記述データには、通常時セグメントのアクセスＵＲＬと視点変更時セグメントのアクセスＵＲＬが含まれる。
Ｓ１３０５において、記述データ解析部５０２は、視点情報の変更有無を判別する。判別方法は実施形態１において説明した通りである。なお受信装置１０２は、ユーザによるマウスやタブレット操作に基づいて視点情報を取得しても良いし、ＨＭＤ等に付属するセンサー情報等から視点情報を取得しても良い。視点情報に変更があると判別された場合はＳ１３０６、視点情報に変更がないと判別された場合はＳ１３０７にそれぞれ移行する。
Ｓ１３０６において、要求生成部５０３は、視点変更時セグメントを取得すべきビデオセグメントとして設定する。Ｓ１３０７において、要求生成部５０３は、通常時セグメントを取得すべきビデオセグメントとして設定する。すなわち、要求生成部５０３は、Ｓ１３０６とＳ１３０７において、通常時セグメントと視点変更時セグメントのうち、何れのビデオセグメントを取得すべきかを、視点情報に基づいて決定する。Ｓ９００において、受信装置１０２は、Ｓ１３０６又はＳ１３０７における設定に従って、ビデオセグメントの取得及び再生を行う。
本実施形態における受信装置１０２は、受信装置１０２において視点情報の変更有無を判別し、視点情報に変更があると判別された場合には、視点変更時セグメントを取得し、視点情報に変更がないと判別された場合には、通常時セグメントを取得する。これにより、送信装置１０１の処理負荷を抑えつつ、実施形態１と同様の効果を得ることができる。
また、上述の実施形態１及び２は、ＭＰＥＧ−ＤＡＳＨをベースにした例を中心に説明したが、これに限らない。例えば、記述データを提供しないシステムにおいても、本発明は適用可能である。この場合、送信装置１０１は、受信装置１０２からの視点情報に基づいて、通常時セグメントを提供すべきか、視点変更時セグメントを提供すべきかを決定することができる。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１０１ 送信装置
１０２ 受信装置

Claims (17)

  1. ビデオデータに基づくビデオセグメントを送信する送信装置であって、
    受信装置からビデオセグメントの要求を受信する受信手段と、
    前記受信手段により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定手段と、
    前記決定手段により決定されたビデオセグメントを前記受信装置に対して送信する送信手段とを有し、
    前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする送信装置。
  2. 前記第１ビデオセグメントに対応する期間内に、前記第２ビデオセグメントに対応する期間が存在することを特徴とする請求項１に記載の送信装置。
  3. 前記ビデオセグメントの要求先であるロケーションに関する情報を記述した記述データを、前記受信装置からの要求に応じて提供する提供手段を有することを特徴とする請求項１又は２に記載の送信装置。
  4. 前記記述データには、前記第１及び第２ビデオセグメントのロケーションに関する情報が記述されることを特徴とする請求項３に記載の送信装置。
  5. 前記記述データには、前記１及び第２ビデオセグメントのうち、何れか一方のロケーションに関する情報が記述されることを特徴とする請求項３に記載の送信装置。
  6. 前記ロケーションに関する情報は、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、又はＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であることを特徴とする請求項３乃至５のうち、何れか１項に記載の送信装置。
  7. 前記受信手段は、前記受信装置から仮想視点に関する視点情報を受信し、
    前記決定手段は、前記受信手段により受信された視点情報に基づいて、前記第１及び第２ビデオセグメントのうち、何れのロケーションに関する情報を前記記述データに記述すべきか決定することを特徴とする請求項５に記載の送信装置。
  8. 前記受信手段は、前記受信装置から仮想視点に関する視点情報を受信し、
    前記決定手段は、前記受信装置に対し、前記第１及び第２ビデオセグメントのうち何れを送信すべきかを、前記受信手段により受信された視点情報に基づいて決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の送信装置。
  9. 前記決定手段は、
    所定期間中における前記仮想視点の移動量が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
    前記所定期間中における前記仮想視点の移動量が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
  10. 前記決定手段は、
    第１時刻における前記仮想視点の位置と第２時刻における前記仮想視点の位置との差が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
    前記第１時刻における前記仮想視点の位置と前記第２時刻における前記仮想視点の位置との差が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
  11. 前記決定手段は、
    第１時刻における前記仮想視点の向きと第２時刻における前記仮想視点の向きとの差が閾値未満である場合は前記第１ビデオセグメントを提供すべきビデオセグメントとして決定し、
    前記第１時刻における前記仮想視点の位置と前記第２時刻における前記仮想視点の位置との差が前記閾値以上である場合は前記第２ビデオセグメントを提供すべきビデオセグメントとして決定することを特徴とする請求項８に記載の送信装置。
  12. ビデオデータに基づくビデオセグメントを受信する受信装置であって、
    仮想視点の位置及び向きに関する視点情報を取得する取得手段と、
    前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを取得すべきかを前記取得手段により取得された前記視点情報に基づいて決定する決定手段と、
    前記決定手段により決定されたビデオセグメントを前記送信装置に対して要求する要求手段とを有し、
    前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする受信装置。
  13. 前記取得手段は、前記第１及び第２ビデオセグメントのそれぞれのロケーションに関する情報が記述された記述データを前記送信装置から取得し、
    前記要求手段は、前記第１及び第２ビデオセグメントのうち、前記決定手段により決定されたビデオセグメントの要求先に対して要求を送信することを特徴とする請求項１２に記載の受信装置。
  14. ビデオデータに基づくビデオセグメントを送信する送信方法であって、
    受信装置からビデオセグメントの要求を受信する受信工程と、
    前記受信工程により受信された要求の送信元である前記受信装置に対し、前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを提供すべきか決定する決定工程と、
    前記決定工程により決定されたビデオセグメントを前記受信装置に対して送信する送信工程とを有し、
    前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする送信方法。
  15. ビデオデータに基づくビデオセグメントを受信する受信方法であって、
    仮想視点の位置及び向きに関する視点情報を取得する取得工程と、
    前記ビデオデータに基づく第１ビデオセグメントと第２ビデオセグメントとのうち、いずれを取得すべきかを前記取得工程において取得された前記視点情報に基づいて決定する決定工程と、
    前記決定工程により決定されたビデオセグメントを前記送信装置に対して要求する要求工程とを有し、
    前記第２ビデオセグメントは前記第１ビデオセグメントよりも短い時間に対応する、及び／又は、広い空間範囲に対応するビデオセグメントであることを特徴とする受信方法。
  16. コンピュータを請求項１乃至１１のうち、何れか１項に記載の送信装置の各手段として動作させるためのプログラム。
  17. コンピュータを請求項１２又は１３に記載の受信装置の各手段として動作させるためのプログラム。
JP2018120188A 2018-06-25 2018-06-25 送信装置、送信方法、受信装置、受信方法、及び、プログラム Pending JP2020005038A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018120188A JP2020005038A (ja) 2018-06-25 2018-06-25 送信装置、送信方法、受信装置、受信方法、及び、プログラム
EP19181446.6A EP3588963A1 (en) 2018-06-25 2019-06-20 Transmitting apparatus, transmitting method, receiving apparatus, receiving method, and programs
KR1020190073803A KR20200000815A (ko) 2018-06-25 2019-06-21 송신장치, 송신방법, 수신장치, 수신방법, 및, 비일시적인 컴퓨터 판독가능한 기억매체
US16/449,212 US20190394500A1 (en) 2018-06-25 2019-06-21 Transmitting apparatus, transmitting method, receiving apparatus, receiving method, and non-transitory computer readable storage media
CN201910554565.7A CN110636336A (zh) 2018-06-25 2019-06-25 发送装置及方法、接收装置及方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018120188A JP2020005038A (ja) 2018-06-25 2018-06-25 送信装置、送信方法、受信装置、受信方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2020005038A true JP2020005038A (ja) 2020-01-09

Family

ID=66999706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018120188A Pending JP2020005038A (ja) 2018-06-25 2018-06-25 送信装置、送信方法、受信装置、受信方法、及び、プログラム

Country Status (5)

Country Link
US (1) US20190394500A1 (ja)
EP (1) EP3588963A1 (ja)
JP (1) JP2020005038A (ja)
KR (1) KR20200000815A (ja)
CN (1) CN110636336A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699266B2 (en) * 2015-09-02 2023-07-11 Interdigital Ce Patent Holdings, Sas Method, apparatus and system for facilitating navigation in an extended scene

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
JP3145059B2 (ja) * 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US8290351B2 (en) * 2001-04-03 2012-10-16 Prime Research Alliance E., Inc. Alternative advertising in prerecorded media
US20020120931A1 (en) * 2001-02-20 2002-08-29 Thomas Huber Content based video selection
US7327383B2 (en) * 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US20070154169A1 (en) * 2005-12-29 2007-07-05 United Video Properties, Inc. Systems and methods for accessing media program options based on program segment interest
EP2214550A1 (en) * 2007-10-31 2010-08-11 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers
US8769589B2 (en) * 2009-03-31 2014-07-01 At&T Intellectual Property I, L.P. System and method to create a media content summary based on viewer annotations
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
GB201105502D0 (en) * 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
JPWO2013018267A1 (ja) * 2011-07-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 提示制御装置、及び提示制御方法
US20130205311A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to control a state of data collection devices
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
JP6181650B2 (ja) * 2012-07-02 2017-08-16 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 送信装置、送信方法およびネットワーク装置
CN103959802B (zh) * 2012-08-10 2018-01-26 松下电器（美国）知识产权公司 影像提供方法、发送装置以及接收装置
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US20140204206A1 (en) * 2013-01-21 2014-07-24 Chronotrack Systems Corp. Line scan imaging from a raw video source
CN105009601A (zh) * 2013-02-27 2015-10-28 索尼公司 信息处理装置和方法、程序和内容供应系统
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
US9271048B2 (en) * 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
US9930405B2 (en) * 2014-09-30 2018-03-27 Rovi Guides, Inc. Systems and methods for presenting user selected scenes
US9509742B2 (en) * 2014-10-29 2016-11-29 DLVR, Inc. Configuring manifest files referencing infrastructure service providers for adaptive streaming video
JP6624068B2 (ja) * 2014-11-28 2019-12-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US20170366867A1 (en) * 2014-12-13 2017-12-21 Fox Sports Productions, Inc. Systems and methods for displaying thermographic characteristics within a broadcast
US9288545B2 (en) * 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
EP3347810A1 (en) * 2015-09-10 2018-07-18 Google LLC Playing spherical video on a limited bandwidth connection
CN107171820B (zh) * 2016-03-08 2019-12-31 北京京东尚科信息技术有限公司 信息传输、发送、获取方法和装置
US11012719B2 (en) * 2016-03-08 2021-05-18 DISH Technologies L.L.C. Apparatus, systems and methods for control of sporting event presentation based on viewer engagement
US20170289596A1 (en) * 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Networked public multi-screen content delivery
JP6741784B2 (ja) * 2016-04-08 2020-08-19 ヴィズビット インコーポレイテッド ビューを意識した３６０度ビデオストリーミング
US11284124B2 (en) * 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
US10607398B2 (en) * 2016-07-04 2020-03-31 Colopl, Inc. Display control method and system for executing the display control method
WO2018035133A1 (en) * 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
US20180077345A1 (en) * 2016-09-12 2018-03-15 Canon Kabushiki Kaisha Predictive camera control system and method
CN109845277A (zh) * 2016-10-26 2019-06-04 索尼公司 信息处理装置、信息处理系统、信息处理方法和程序
US10416757B2 (en) * 2016-12-08 2019-09-17 Raymond Maurice Smit Telepresence system
US11290699B2 (en) * 2016-12-19 2022-03-29 Dolby Laboratories Licensing Corporation View direction based multilevel low bandwidth techniques to support individual user experiences of omnidirectional video
US10225603B2 (en) * 2017-03-13 2019-03-05 Wipro Limited Methods and systems for rendering multimedia content on a user device
US11074921B2 (en) * 2017-03-28 2021-07-27 Sony Corporation Information processing device and information processing method
US20190069006A1 (en) * 2017-08-29 2019-02-28 Western Digital Technologies, Inc. Seeking in live-transcoded videos
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
US11025998B2 (en) * 2017-11-27 2021-06-01 Rovi Guides, Inc. Systems and methods for dynamically extending or shortening segments in a playlist
JP7073128B2 (ja) * 2018-02-08 2022-05-23 キヤノン株式会社 通信装置、通信方法、及びプログラム
US10791376B2 (en) * 2018-07-09 2020-09-29 Spotify Ab Media program having selectable content depth

Also Published As

Publication number Publication date
EP3588963A1 (en) 2020-01-01
CN110636336A (zh) 2019-12-31
US20190394500A1 (en) 2019-12-26
KR20200000815A (ko) 2020-01-03

Similar Documents

Publication Publication Date Title
KR102384489B1 (ko) 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
JP7073128B2 (ja) 通信装置、通信方法、及びプログラム
WO2018126702A1 (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
CN112219403B (zh) 沉浸式媒体的渲染视角度量
JP6541309B2 (ja) 送信装置、送信方法、及びプログラム
JP6861484B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
US10636115B2 (en) Information processing apparatus, method for controlling the same, and storage medium
JP2020005038A (ja) 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US20230224512A1 (en) System and method of server-side dynamic adaptation for split rendering
KR20240007142A (ko) 5g 네트워크들을 통한 확장 현실 데이터의 분할 렌더링
JP2021064822A (ja) 通信装置、通信装置の制御方法およびプログラム
WO2018146996A1 (ja) 通信装置、方法、及びプログラム
WO2018178510A2 (en) Video streaming
Seligmann SmmmmS lient for Remote Rendered irtual Heality
WO2024003577A1 (en) Applications of layered encoding in split computing