JP2013534791A - 複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末 - Google Patents

複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末 Download PDF

Info

Publication number
JP2013534791A
JP2013534791A JP2013519095A JP2013519095A JP2013534791A JP 2013534791 A JP2013534791 A JP 2013534791A JP 2013519095 A JP2013519095 A JP 2013519095A JP 2013519095 A JP2013519095 A JP 2013519095A JP 2013534791 A JP2013534791 A JP 2013534791A
Authority
JP
Japan
Prior art keywords
terminal
server
content items
composite view
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013519095A
Other languages
English (en)
Inventor
ロンダオ・オルフエイス,パトリス
マツク,ジヤン−フランソワ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2013534791A publication Critical patent/JP2013534791A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25833Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

端末100とサーバ20との間の対話を通じて複数のコンテンツアイテムから合成ビュー300を生成する方法が以下を含む:
− 端末100の能力プロファイルを含む端末説明111を端末100からサーバ200に転送するステップと、
− 利用可能なコンテンツアイテムおよび対話モードを示す情報212をサーバ200から端末100に転送するステップと、
− 選択したコンテンツアイテムおよび選択した対話モードを示す情報を端末100からサーバ200に転送するステップと、以下の、
− 端末説明および選択した対話モードに従って最適化した、選択したコンテンツアイテム113、114;213、214をサーバ200から端末100にストリーミングし、
− 端末100でコンテンツアイテムのうちの1つまたは複数をフュージングし、
− フュージングしたコンテンツアイテムから合成ビュー300をレンダリングし、
− 端末100からサーバ200にフィードバックを転送し、
− フィードバックに基づいて、ストリーミングしたコンテンツアイテム113、114;213、214を適合させることを反復するプロセス。

Description

本発明は一般に、端末デバイス、例えばモバイルデバイス、デスクトップまたはラップトップ、TV画面、ホームシネマセットなどの上に表示される合成ビューを生成することに関する。合成ビューは通常、あるイベント、例えばサッカーの試合またはコンサートでの、例えば複数のビデオカメラのようないくつかの異種コンテンツソースからのコンテンツを表すいくつかの複数の領域を含む。こうした領域のそれぞれを異なるフレームレート、空間解像度、および/またはビット深度で提示することができる。詳細には、本発明は、ユーザによる所望の品質でパーソナライズされた視覚化を可能にすると共に、アドレス指定された端末および実際のネットワーク条件に対してコンテンツの配信を最適化する、そのような合成ビューの生成に関する。
今日、メディア配信は、例えばレガシーTV放送またはIPTV(インターネットプロトコルテレビジョン)マルチキャストなどのプッシュ機構に基づき、または例えばHTTP(ハイパーテキスト転送プロトコル)ストリーミングまたはRTSP(リアルタイムストリーミングプロトコル)などのプル機構に基づく。
こうしたプルベースのプロトコルのうちの1つである、例えばAdobe Datasheet「HTTP Dynamic Streaming」から知られているHTTP適応ストリーミング(HAS)は、クライアントが可能な最高の品質でビデオを閲覧し、ネットワーク内の利用可能な帯域幅が不十分であるときにより低い品質を要求し、またはより低い品質の初期セグメントのダウンロードを通じて迅速な開始を可能にするために、新しいビデオの開始時に、より低い品質を要求することを可能にする。それに対するHTTP適応ストリーミングは、異なる品質のビデオファイル、および時間スロットにセグメント化されたビデオファイルの可用性に依存する。引用したAdobeのDatasheetは、インターネットから以下のURLを介して取り出すことができる。
http://192.150.8.60/uk/products/httpdynamicstreaming/pdfs/httpdynamicstreaming_datasheet.pdf
HASクライアントは、要求したビデオ品質をネットワーク条件に対して自動的に適合させるが、既存のビデオサーバとクライアント端末との間のHTTP適応ストリーミングは、パーソナライゼーション、すなわちナビゲーション、関心領域(ROI)選択、関心オブジェクト追跡、および/または閲覧角選択を可能にしない。HTTP適応ストリーミングはまた、特定の端末に対する配信を最適化せず(ダウンロードのために適切なバージョンのビデオファイルを選択することはユーザの責任である)、端末での合成ビュー生成のために対話式にマルチカメラコンテンツを配信しない。
著者Azzedine Boukerche、Raed Jarrar、およびRichard W.Pazziの論文「A Novel Interactive Streaming Protocol for Image−Based 3D Virtual Environment Navigation」では、異種端末用の3Dシーン記述を有する3Dコンピュータグラフィックスの伝送が説明されている。この論文で開示される技法は、Level−of−Detail(LoD)制御を可能にする。レンダリング技法および点または多角形ベースのオブジェクトを利用することによってビューが再構築される。
A.Boukerche等により知られている技法はLoD制御およびビュー依存レンダリングを紹介しているが、この技法はコンピュータグラフィックス向けであり、アニメーションまたはビデオフィードなどの他のコンテンツにスケーリングするには不十分である。したがって、その適用範囲はかなり限定される。
別の、何らかの形で関連する従来技術の解決策が、Chi−Wing Fu、Liang Wan、Tien−Tsin Wong、およびChi−Sing Leungの論文「The Rombic Dodecahedron Map:An Efficient Scheme for Encoding Panoramic Video」から知られている。その中では、カメラクラスタ中心を多角形モデル中心または軸としてモデル化することができるとき、球形または円筒形多角形メッシュ上にビデオテクスチャをマッピングすることによって全方向ビデオレンダリングが可能にされる。ビューが多角形モデル上にスティッチングされ、マッピングされる。
A.Boukerche等により知られている技法と同様に、一般にカメラクラスタ位置が任意であり、入力が異種である場合、Chi−Wing Fu等による全方向ビデオレンダリングは、マルチカメラビデオ合成へのスケーリングが不十分である。
静止画像世界では、複数のイメージが異なるソースからのものであり、異なる解像度であり、所望のビューを生成するために、モザイク化され、互いにスティッチングされる場合、他の解決策が存在する。この一例が、著者Azzedine Boukerche、Tingxue Huang、およびRichard Werner Nelem Pazziの論文「A Protocol for Interactive Streaming of Image−Based Scenes over Wireless Ad−hoc Networks」で説明されている。こうした解決策は、ビデオまたはアニメーションには適用可能ではない。ビューが選択され、生成されると、別のコンテンツを配信する必要がない。こうした解決策は一般に、ワーピングまたは補間に基づくフュージョンを使用せず、異種コンテンツの重複、混合、またはモーフィングをサポートしない。
さらに別の背景論文である、著者Aditya MavlankarおよびBernd Girodの「Pre−Fetching Based on Video Analysis for Interactive Region−of−Interest Streaming of Soccer Sequences」は、関心領域内のユーザ定義済みまたは対話式ランダムアクセスのためのビデオストリーム操作を説明している。この論文は、複雑な、パーソナライズされたビデオ合成ではなく、異なる単一カメラ記録済みメディアオブジェクトの管理に取り組んでいる。
要約すれば、既存のプルまたはプッシュベースのビデオ配信プロトコルは、端末および実際のネットワーク条件に対して最適化されたマルチカメラコンテンツの伝送をサポートせず、パーソナライズされた視覚化を可能にすることをサポートしない。パーソナライズされたビューを可能にする解決策は、球または円筒に対してマッピングされた静止画像、仮想シーン、またはビデオテクスチャに専念し、ビデオやアニメーションなどの他のコンテンツにスケーリングしない。
Adobe Datasheet「HTTP Dynamic Streaming」 Azzedine Boukerche、Raed Jarrar、およびRichard W.Pazziの論文「A Novel Interactive Streaming Protocol for Image−Based 3D Virtual Environment Navigation」 Chi−Wing Fu、Liang Wan、Tien−Tsin Wong、およびChi−Sing Leungの論文「The Rombic Dodecahedron Map:An Efficient Scheme for Encoding Panoramic Video」 Azzedine Boukerche、Tingxue Huang、およびRichard Werner Nelem Pazziの論文「A Protocol for Interactive Streaming of Image−Based Scenes over Wireless Ad−hoc Networks」 Aditya MavlankarおよびBernd Girod、「Pre−Fetching Based on Video Analysis for Interactive Region−of−Interest Streaming of Soccer Sequences」
本発明の目的は、複数のコンテンツアイテムから合成ビューを生成する方法、ならびに上記で定義した従来技術の解決策の欠点を克服する、対応するサーバおよび端末を開示することである。本特許出願の文脈でのサーバは、発信側コンテンツサーバまたは中間プロキシサーバを表す。より具体的には、目的は、いくつかの異種入力から、パーソナライズされたビューを所望の品質で構成することを可能にする方法、サーバ、および端末を開示することである。この文脈でのパーソナライゼーションは、ナビゲーション、関心領域選択、および/または閲覧角選択を意味する。別の目的は、端末にとって最適な形で入力配信し、ネットワーク内の利用可能な帯域幅を完全に活用することである。したがって、ネットワーク能力と端末能力の両方に基づく、ストリーミングされるコンテンツ品質のリアルタイム調整が、合成ビューで使用されるマルチソースコンテンツに関して想定される。
本発明によれば、上記の目的は、請求項1で定義される、端末とサーバとの間の対話を通じて複数のコンテンツアイテムから合成ビューを生成する方法によって実現され、方法は以下を含む:
− 端末の能力プロファイルを含む端末説明を端末からサーバに転送するステップと、
− 利用可能なコンテンツアイテムおよび対話モードを示す情報をサーバから端末に転送するステップと、
− 選択したコンテンツアイテムおよび選択した対話モードを示す情報を端末からサーバに転送するステップと、以下の、
− 端末説明および選択した対話モードに従って最適化した、選択したコンテンツアイテムをサーバから端末にストリーミングし、
− 端末でコンテンツアイテムのうちの1つまたは複数をフュージングし、
− フュージングしたコンテンツアイテムから合成ビューをレンダリングし、
− 端末からサーバにフィードバックを転送し、
− フィードバックに基づいて、ストリーミングしたコンテンツアイテムを適合させることを反復する処理。
したがって、本発明による方法は、端末の能力を端末が指定し、次いで生成される合成ビュー内に表示される1つまたは複数のコンテンツアイテムを、利用可能なコンテンツアイテムのリスト、例えばプログラムメニューから選択することを可能にする、サーバと端末との間のネゴシエーションに基づく。利用可能なコンテンツアイテムおよび利用可能な対話モード、例えばナビゲーション、閲覧角選択、または関心領域(ROI)選択は、ネットワーク内の利用可能な帯域幅および端末説明を考慮に入れることができる。利用可能なコンテンツアイテムおよび利用可能な対話モードを示す情報を適合させ、端末に連続的にストリーミングすることができる。端末によって選択されたとき、サーバは、合成ビューをレンダリングするために端末側でコンテンツアイテムをフュージングすることを可能にする情報と共に、どのスケーラブルストリームをどの品質で送るかを決定する。スケーラブルコンテンツアイテムをストリーミングし、それをレンダリングのためにフュージングすることを、端末からのフィードバック時に反復的に細分化することができる。フィードバックは、例えば、端末での処理能力使用量、端末でのメモリ使用量、観測ユーザ対話レート、ナビゲーションがビュー境界に近づき、その結果として周囲の部分を転送しなければならないことの検出などを示すことができる。要約すれば、本発明による方法は、端末でのマルチソースコンテンツから生成された合成ビューのパーソナライゼーションと、サーバと端末との間の反復的ネゴシエーションループによるネットワーク内のサーバの制御下でのその端末に対するコンテンツの最適化配信とを組み合わせる。
任意選択で、請求項2で指定されるように、本発明による方法での端末の能力プロファイルは、以下のうちの1つまたは複数を含むメタデータファイルを表す:
− 端末のメモリ容量、
− 端末のディスプレイサイズ、
− 端末の処理能力、
− 端末内の利用可能なビデオデコーダ、
− 端末内のサポートされるフュージング機能、
− 端末内のサポートされる対話コマンド。
明らかに、上記のリストは非網羅的なものである。端末の能力プロファイルは、転送されるコンテンツアイテムの品質、例えば、レイヤ、ビット深度、解像度などをサーバが選択する際に有用である可能性のある端末の任意の仕様またはステータスパラメータを含むことができる。サポートされるフュージング機能は、オーバーレイ、ワーピング、補間、スティッチング、モーフィング、コントラストアライメントなどを含むことができるのに対して、サポートされる対話コマンドは、関心領域選択、閲覧角選択に関するコマンド、ナビゲーションコマンドなどを含むことができる。
さらに任意選択で、請求項3で定義されるように、利用可能なコンテンツアイテムを示す情報は、テレビジョン番組表を含むことができる。
実際、利用可能なビューまたはコンテンツアイテムを示す情報が更新されるときはいつでも(非同期に)、端末の要求時に(プル)、またはサーバが率先して定期的に(プッシュ)、情報を更新し、連続的にストリーミングすることができる。情報は、例えばTV番組表または電子番組ガイドのフォーマットでよい。
さらに任意選択で、請求項4で定義されるように、本発明による方法での対話モードは以下を含むことができる:
− ナビゲートすること、
− 関心領域を選択すること、
− 閲覧角を選択すること。
この場合も、上記のリストは網羅的なものではなく、例えば製作ディレクタソフトウェアで利用可能な、合成ビューをパーソナライズするためにビデオと対話する最も一般的な方式を反映するものであることを当業者は理解されよう。ナビゲートすることは、例えば、レンダンリングされるビューの周囲の部分のスケーラブル品質レイヤを選択することにより、所与のより広いビュー内で拡張可能とすることができる。関心領域(ROI)の選択をズーミングで補うことができ、閲覧角を選択することは、例えば、複数のカメラが同一のオブジェクトまたはイベントを異なる角度から記録する場合に可能とすることができる。
請求項5で定義される、本発明による方法の別の任意選択の態様によれば、フュージングは以下のうちの1つまたは複数を含むことができる:
− コンテンツアイテムのうちの1つまたは複数をワーピングすること、
− コンテンツアイテムのうちの1つまたは複数を補間すること、
− コンテンツアイテムのうちの1つまたは複数をスティッチングすること、
− コンテンツアイテムのうちの一部を重ね合わせること。
この場合も、このリストは非網羅的なものであり、例えばコントラストアライメントなどの他のフュージング機能を端末内のフュージングプロセッサに対して利用可能とすることができることを当業者は理解することに留意されたい。例えば、毎秒fフレームのK mk×nkイメージに関する保証リアルタイムフュージングなどの処理能力によってフュージョンプロセッサ能力をさらに記述することができる。
請求項6によってさらに示されるように、ストリーミングしたコンテンツアイテムを適合させることは、ネットワーク条件、端末条件、および端末内のコンテンツアイテムの使用に適合させることを含むことができる。
実際、利用可能な帯域幅、端末能力、および所望の対話モードに基づいて、サーバは、正しいコンテンツおよび品質を選択し、端末でフュージングされる必要なストリームをレンダリングのためのメタデータ情報と共に多重化する。一例を挙げると、利用可能な帯域幅の変化または端末からのフィードバックに応答して、メタデータ適合と共にストリーミングされるアイテムのスケーラブルレイヤを増加または減少させることができる。
さらに任意選択で、請求項7で定義されるように、本発明による合成ビューを生成する方法は、コンテンツアイテムのうちの1つまたは複数の周囲の部分をプリフェッチすることを含むことができる。
実際、上記で既に示されたように、ビューの周囲の部分のスケーラブル品質レイヤが、レンダリングのために選択され、プリフェッチされることを条件として、表示されるよりも広いビュー内のナビゲーションおよびズーミングを可能にすることができる。このために、フュージョンプロセスとレンダリングプロセスは分離されることが好ましい。次いで、フュージョンプロセスは、端末画面に必要なものよりも広いビューを生成することができる。このようにして、ビューの外側をナビゲートするときの待ち時間を短縮することができ、サーバに対する要求を最小限に抑えることができる。
請求項1で定義される合成ビューを生成する方法に加えて、本発明はまた、請求項8で定義される、端末との対話を通じて複数のコンテンツアイテムから合成ビューを生成する、対応するサーバにも関し、サーバは以下を備える:
− 端末の能力プロファイルを含む端末説明を受信および解析する手段と、
− 利用可能なコンテンツアイテムおよび対話モードを示す情報を端末に送信する手段と、
− 選択されたコンテンツアイテムおよび選択された対話モードを示す情報を端末から受信する手段と、
− 端末説明および選択された対話モードに従って最適化された、選択されたコンテンツアイテムを端末にストリーミングする手段と、
− 端末からフィードバックを受信する手段と、
− フィードバックに基づいて、ストリーミングされたコンテンツアイテムを適合させる手段。
本発明はさらに、請求項9で定義されるように、サーバとの対話を通じて複数のコンテンツアイテムから合成ビューを生成する、対応する端末に関し、端末は以下を備える:
− 端末の能力プロファイルを含む端末説明をサーバに送る手段と、
− 利用可能なコンテンツアイテムおよび対話モードを示す情報をサーバから受信する手段と、
− 選択されたコンテンツアイテムおよび選択された対話モードを示す情報をサーバに送る手段と、
− 端末説明および選択された対話モードに従って最適化された、選択されたコンテンツアイテムをサーバから受信し、復号化する少なくとも1つのビデオデコーダと、
− コンテンツアイテムのうちの1つまたは複数をフュージングするフュージングプロセッサと、
− フュージングされたコンテンツアイテムから合成ビューをレンダリングするレンダリングプロセッサと、
− サーバにフィードバックを転送する手段。
− 少なくとも1つのビデオデコーダが、フィードバックに基づいて適合された、ストリーミングされたコンテンツアイテムをサーバから受信し、復号化するように構成される。
本発明による端末100の一実施形態を示す図である。 本発明によるサーバ200の一実施形態を示す図である。 本発明による方法の一実施形態に従って生成された合成ビュー300を示す図である。
以下のパラグラフでは、合成ビュー、すなわち図3のマルチビデオ合成300を生成することに関して本発明による方法の一実施形態が説明される。この方法は、図1の端末100と図2のサーバ200との間のネゴシエーションプロトコルに基づく。ネゴシエーションプロトコルは、端末100での合成ビュー300の最良の可能なレンダリングを生み出すことを目指す。方法は、異種ソースコンテンツに基づいてパーソナライズされた合成ビューを生成するために、平易な対話および没入体験を端末100のユーザに提供する。
この方法では、クライアント端末100は、クライアント端末100が必要とするビデオアイテムを要求する、すなわちプルする役目を果たすが、サーバ200(またはプロキシサーバ)も、サーバ200がこうした要求をどのように履行するか、言い換えればサーバ200がクライアント端末100に向けて何をプッシュするかを選ぶ責任を有する。ネゴシエーションは、端末100が、生成されるマルチビデオ合成300内部のエリア、例えば301に関するあるビデオアイテムをまず要求することを可能にし、2番目に、メタデータファイル内で記述されるレンダリングのためのビデオアイテムをフュージングするために、サーバ200がどのスケーラブルビデオストリームをどの品質レベルで必要な情報と共に端末100に送るかを判断することを可能にする。
さらに、対話の目的で、ネゴシエーションはまた、表示されるよりも広い所与のビュー内のナビゲーションおよびランダムアクセスズーミングを可能にするために、プリフェッチング機構をも含む。それに対して、ビューの周囲の部分のスケーラブルレイヤが選択され、フュージングおよびレンダリングするためにストリーミングされる。レンダリングとフュージョン処理は分離される。このことにより、端末画面対して厳密に必要なものより広いビューをフュージョン機能が作成することが可能となる。その結果、ユーザが画面上に表示されたビューの外側をナビゲートしているとき、待ち時間を短縮することができ、ネットワークに対する要求を最小限に抑えることができる。
以下のパラグラフでは、合成ビュー300のためのマルチビデオコンテンツを提供するメディア認識型プロキシサーバ200に接続された対話式端末100が詳細に説明される。本発明をサポートするように設計された端末100は、柔軟なトラフィック適応が可能である。プロキシサーバ200は、スケーラブルかつ対話式に合成ビュー300の必要に応じてマルチカメラコンテンツをストリーミングすることができる。
例えばディスプレイおよびユーザインターフェースのような従来の構成要素の他に、端末100は、メタデータアナライザ101、いくつかのビデオデコーダユニット102および103、フュージョンプロセッサ104、対話プロセッサ105、およびレンダリングプロセッサ106を含む。
メタデータアナライザ101は、図1の矢印112で示されるように、サーバ200からメタデータファイルを受信し、図1の矢印116で示されるように、対話プロセッサ105から対話コマンドを受信する。メタデータアナライザ101は、受信したメタデータおよび対話コマンドを解釈および解析し、受信および復号化したストリーム118からビデオコンテンツをどのように再構築するかを指定する情報117をフュージョンプロセッサ104に出力する。メタデータアナライザ101はさらに、図1の矢印111で示されるように、サーバ200に要求を送る。
ビデオデコーダ102および103は、サーバ200から受信したビデオストリーム113および114を復号化する。
フュージョンプロセッサ104は、RGBイメージとして復号化したビデオストリーム118と、メタデータアナライザ101によって解釈されたメタデータファイル117とを入力として受信する。こうしたメタデータファイル117は、イメージをフュージングするのに必要な再構築パラメータを含む。フュージョンプロセッサの能力は、重ね合せ、ワーピング、補間、スティッチングなどの機能によって記述され、K、mk、nk、fが整数値であるとして、毎秒fフレームのK mk×nkイメージに関する保証リアルタイムフュージングなどの処理能力によって記述される。フュージョンプロセッサ104は、再構築およびフュージングしたビュー119を対話プロセッサ105に送り、対話プロセッサ105は、フュージングしたイメージ内のナビゲーションおよび関心領域(ROI)選択のためにユーザ対話115を処理する。
対話プロセッサ105は、フュージョンプロセッサ104の出力119で関心領域選択およびナビゲーションが利用可能であるかどうかを検出する。利用可能である場合、選択されたビュー120がレンダリングプロセッサ106に送られる。そうでない場合、関係するビデオストリームの適合配信のためにメタデータアナライザ101がサーバ200に要求111を送ることができるように、対話プロセッサ105はメタデータアナライザ101に要求116を送る。
レンダリングプロセッサ106は、端末画面上で所望のビデオコンテンツをレンダリングする。
図1で表される端末100は、視覚化される所望のビデオまたはコンテンツアイテム(複数可)を識別する第1のメッセージを送ることにより、図2に示されるサーバ200との通信を開始する。端末100はまた、ビデオデコーダの数、メモリ容量、画面サイズ、および処理能力によって表される端末100の能力をサーバ200に送る。その時、図2で示されるメディア認識型プロキシサーバ200は、端末100からの要求211の受信を確認する。サーバ200内の要求アナライザ201が、端末100から受信した要求211を解析し、所望のコンテンツを示す情報215をコンテンツ可用性アナライザ202に転送する。要求211に応答して、要求アナライザ201は、利用可能なコンテンツ、例えばTV番組表のフォーマットの利用可能なビューに関する情報、および端末の能力に対応する利用可能な対話モードに関する情報を含むプロキシメタデータ応答212を端末100に送る。
次いで、端末100は特定のビューおよび特定の対話シナリオを要求することができる。ここで、ビューまたは対話シナリオを変更することは、別のコンテンツアイテムへの要求として理解されるが、従来のIPTVでのザッピングとは異なり、以前に視聴されたものと同期されることに留意されたい。対話シナリオは、ナビゲーション、関心領域(ROI)選択、閲覧角選択、またはそれらの組合せに対応する。この要求の受信時に、サーバ200内のコンテンツ可用性アナライザ202は、矢印216で示されるように、複数のカメラストリーム203から正しいビデオコンテンツを選択し、矢印217で示されるように、こうしたストリームをスケーラブルビデオマルチプレクサ204に転送する。次いで、サーバ200は、端末100で所望のビューを再構築するのに必要な、対応するスケーラブルビデオストリーム213および214を送る。端末能力に基づいて、サーバ200は、ストリーム数を選び、各ストリームの最も関連するスケーラブルレイヤを選択する。
修正後メタデータファイルが、ビデオストリーム213および214と共に端末100に送られ、端末100が着信ストリーム113および114を復号化することが可能となり、そのフュージングが可能となる。メタデータファイルはまた、例えばズーミングなどの端末100上の対話を可能にする情報をも含む。
要約すると、例えば製作ディレクタが指導した、選択された対話シナリオに基づいて、プロキシサーバ200は、送るべき正しいコンテンツを選択し、端末100上でフュージングすべき必要なストリームをメタデータ情報と共に多重化し、フュージングおよび十分なレンダリングを可能にする。
ナビゲーションが予期されない場合、プロキシサーバ200は、利用可能な帯域幅および端末能力に関して、送られるコンテンツの品質を最適化する。ナビゲーションがサポートされる場合、例えばより低い品質で、最小限の帯域幅および端末処理の犠牲で、要求されたビューの外側でナビゲートすることが可能となることを保証するために何らかの追加のビュープリフェッチングが必要となる。
システム全体を要約すると、端末100は、マルチビデオソーススケーラブルフュージング合成ビュー300の視覚化のために、プロキシサーバ200内の専用インターフェースとネゴシエートすることができるインターフェースを備える。端末100は、異なる復号化ストリーム118間の異なる幾何学的操作に基づくビュー300を構成する。こうした復号化ストリーム118は、プロキシサーバ200から来るメタデータスクリプトによる解像度、フレームレート、およびビット深度によって記述される。
例えば、ナビゲーションまたは処理能力変動が着信ストリーム113および114のより低いスケーラブルレイヤを課す場合、より低いスケーラブルレイヤを選択することにより、何らかのインテリジェント端末ベースの解析が可能である。次いで、イメージのフュージョンが、こうしたイメージの利用可能な品質表現のフュージョンに変えられる。端末100およびプロキシサーバ200は、ベストエフォートでの配信およびレンダリングを達成し、それによって円滑性および没入要件を満たす受け入れられるレベルまで待ち時間を低減する。
図3では、端末100によって生成されるマルチソース合成ビュー300の一例が示されている。300が合成されたマルチカメラビューを表すのに対して、301、302、および303は高ダイナミックレンジサブビューを表し、304は、時刻tに端末画面上に表示すべきユーザが要求したサブビューを表し、305はパンチルトズームサブビューを表す。異なるサブビューは、その幾何学的範囲がグローバルパノラマビュー300上に表される異種カメラから来る。ソースビデオアイテムは様々なタイプでよく、したがってグローバルビュー300に効率的に寄与する。合成ビュー300に寄与することのできるイメージソースは、その幾何学的範囲が必要とされるサブビューと交差するものである。次いで、グローバルビュー300は、こうしたソースのフュージョン、すなわちモーフィング、ワーピング、スティッチング、コントラストアライメントなどによって生成される。
まとめると、端末100とプロキシサーバ200との間のネゴシエーションプロトコルは以下の通りである。第1の告知ステップでは、端末100は、プロキシサーバ200に要求を送る。第2の確認ステップでは、プロキシサーバ200は、端末100に利用可能なコンテンツ情報を送る。第3のステップでは、端末100は、オーバーレイ、ワーピング、補間、スティッチングなどのフュージング機能のサポートを指定し、さらに処理能力、メモリ情報、およびサポートされる対話コマンドを指定するメタデータファイルとして、その能力プロファイル情報をプロキシサーバ200に送る。第4のステップでは、プロキシサーバ200は、利用可能な帯域幅および端末説明に対して利用可能なビューおよびサポートされる対話モードに関する情報を送る。この情報を連続的に適合し、端末100にストリーミングすることができる。この情報をテレビジョン番組表のフォーマットで表すことができる。第5のステップでは、端末100は、ユーザ入力に基づいて所望のビューおよび対話モードを選択する。その後で、端末100とプロキシサーバ200との間で反復的ネゴシエーションループが開始される。反復的ネゴシエーションループでは:
− プロキシサーバ200は、利用可能な帯域幅および端末説明のグローバル最適化、ビュー範囲、および対話モードに基づいて、最良のストリームおよびメタデータ構成を送る。
− 端末100は、その処理能力使用情報および観測されるユーザ対話レートを送る。端末100はまた、対話ナビゲーションがビュー境界に近づくかどうかを検出する。
− フィードバックに基づいて、プロキシサーバ200は、ストリーミングされるビデオアイテムおよびメタデータを適合させる。プロキシサーバ200は例えば、ストリームのスケーラブルレイヤを増加または減少させ、メタデータを適合させる。プロキシサーバ200は、端末100に送られる提案を更新する。
端末100が別のビューを求める要求を送るまで、または閲覧を終了するまで、ループは反復的に実行される。閲覧が終了したとき、端末100は、伝送を終了したいことを示すメッセージをプロキシサーバ200に送る。その時、プロキシサーバ200は、閲覧要求の終了を確認し、伝送を停止する。
特定の実施形態を参照することによって本発明が示されたが、本発明が上記の例示的実施形態の詳細に限定されず、本発明の範囲から逸脱することなく様々な変更および修正と共に本発明を実施できることは当業者には明らかであろう。したがってこの実施形態は、すべての点で限定的なものではなく、例示的なものとみなされるべきであり、本発明の範囲は、上記の説明ではなく、添付の特許請求の範囲によって示され、したがって特許請求の範囲の均等の意味および範囲の中にあるすべての変更は、本発明の中に包含されるものとする。言い換えれば、基礎となる基本的な原理の範囲内に含まれるあらゆる修正形態、変形形態、または均等物を包含することが企図され、その不可欠な属性が本特許出願で特許請求される。さらに、「備える」または「含む」という語は他の要素またはステップを除外せず、「a」または「an」という語は複数を除外せず、コンピュータシステム、プロセッサ、別の統合ユニットなどの単一の要素は特許請求の範囲に記載のいくつかの手段の機能を履行できることを本特許出願の読者は理解されよう。特許請求の範囲内の任意の参照符号は、関係するそれぞれの請求項を限定すると解釈されないものとする。「第1」、「第2」、「第3」、「a」、「b」、「c」などの用語は、説明または特許請求の範囲で使用されるとき、類似の要素またはステップ間を区別するために導入されるものであり、必ずしも順番または発生順を記述するものではない。同様に、「頂部」、「底部」、「の上」、「の下」などの用語は、説明のために導入されるものであり、必ずしも相対位置を表すものではない。そのように使用される用語は適切な状況下で相互交換可能であり、本発明の実施形態は、本発明に従って他のシーケンスで、または上記で説明し、または示したもの(複数可)とは異なる向きで動作できることを理解されたい。

Claims (9)

  1. 端末(100)とサーバ(200)との間の対話を通じて複数のコンテンツアイテムから合成ビュー(300)を生成する方法であって、
    前記端末(100)の能力プロファイルを含む端末説明(111;211)を前記端末(100)から前記サーバ(200)に転送するステップと、
    利用可能なコンテンツアイテムおよび対話モードを示す情報(112;212)を前記サーバ(200)から前記端末(100)に転送するステップと、
    選択したコンテンツアイテムおよび選択した対話モードを示す情報を前記端末(100)から前記サーバ(200)に転送するステップと
    を含み、以下の、
    前記端末説明および前記選択した対話モードに従って最適化した、選択したコンテンツアイテム(113、114;213、214)を前記サーバ(200)から前記端末(100)にストリーミングし、
    前記端末(100)で前記コンテンツアイテムのうちの1つまたは複数をフュージングし、
    フュージングしたコンテンツアイテムから前記合成ビューをレンダリングし、
    前記端末(100)から前記サーバ(200)にフィードバックを転送し、
    前記フィードバックに基づいて、前記ストリーミングしたコンテンツアイテムを適合させることを反復するプロセスをさらに含むことを特徴とする、方法。
  2. 前記端末(100)の前記能力プロファイルが、
    前記端末(100)のメモリ容量、
    前記端末(100)のディスプレイサイズ、
    前記端末(100)の処理能力、
    前記端末(100)内の利用可能なビデオデコーダ、
    前記端末(100)内のサポートされるフュージング機能、
    前記端末(100)内のサポートされる対話コマンド
    のうちの1つまたは複数を含むメタデータファイル(111;211)を表す、請求項1に記載の合成ビューを生成する方法。
  3. 利用可能なコンテンツアイテムを示す前記情報(212)がテレビジョン番組表を含む、請求項1に記載の合成ビューを生成する方法。
  4. 前記対話モードが、
    ナビゲートすること、
    関心領域を選択すること、
    閲覧角を選択すること
    を含む、請求項1に記載の合成ビューを生成する方法。
  5. 前記フュージングが、
    前記コンテンツアイテムのうちの1つまたは複数をワーピングすること、
    前記コンテンツアイテムのうちの1つまたは複数を補間すること、
    前記コンテンツアイテムのうちの1つまたは複数をスティッチングすること、
    前記コンテンツアイテムのうちの一部を重ね合わせること
    のうちの1つまたは複数を含む、請求項1に記載の合成ビューを生成する方法。
  6. 前記ストリーミングしたコンテンツアイテムを適合させることが、ネットワーク条件、端末条件、および前記端末(100)内の前記コンテンツアイテムの使用に適合させることを含む、請求項1に記載の合成ビューを生成する方法。
  7. 前記コンテンツアイテムのうちの1つまたは複数の周囲の部分をプリフェッチすること
    をさらに含む、請求項1に記載の合成ビューを生成する方法。
  8. 端末(100)との対話を通じて複数のコンテンツアイテムから合成ビュー(300)を生成するサーバ(200)であって、
    前記端末(100)の能力プロファイルを含む端末説明(111;211)を受信および解析する手段(201)と、
    利用可能なコンテンツアイテムおよび対話モードを示す情報(112;212)を前記端末(100)に送信する手段(201、202)と、
    選択されたコンテンツアイテムおよび選択された対話モードを示す情報を前記端末(100)から受信する手段(201、202)と
    を備え、
    前記端末説明および前記選択された対話モードに従って最適化された、選択されたコンテンツアイテム(113、114;213、214)を前記端末(100)にストリーミングする手段(202、203、204)と、
    前記端末(100)からフィードバックを受信する手段(201)と、
    前記フィードバックに基づいて、前記ストリーミングされたコンテンツアイテム(113、114;213、214)を適合させる手段(202、203、204)と
    をさらに備えることを特徴とする、サーバ(200)。
  9. サーバ(200)との対話を通じて複数のコンテンツアイテムから合成ビュー(300)を生成する端末(100)であって、
    前記端末(100)の能力プロファイルを含む端末説明(111)を前記サーバ(200)に送る手段(101)と、
    利用可能なコンテンツアイテムおよび対話モードを示す情報(112)を前記サーバ(200)から受信する手段(101)と、
    選択されたコンテンツアイテムおよび選択された対話モードを示す情報を前記サーバ(200)に送る手段(101)と
    を備え、
    前記端末説明および前記選択された対話モードに従って最適化された、選択されたコンテンツアイテム(113、114;213、214)を前記サーバ(200)から受信し、復号化する少なくとも1つのビデオデコーダ(102、103)と、
    前記コンテンツアイテムのうちの1つまたは複数をフュージングするフュージングプロセッサ(104)と、
    フュージングされたコンテンツアイテムから前記合成ビュー(300)をレンダリングするレンダリングプロセッサ(106)と、
    前記サーバ(200)にフィードバックを転送する手段(101)と
    をさらに備え、
    前記少なくとも1つのビデオデコーダ(102、103)が、前記フィードバックに基づいて適合された、ストリーミングされたコンテンツアイテム(113、114;213、214)を前記サーバ(200)から受信し、復号化するように構成される
    ことを特徴とする、端末(100)。
JP2013519095A 2010-07-14 2011-07-13 複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末 Pending JP2013534791A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10290393.7A EP2408196B1 (en) 2010-07-14 2010-07-14 A method, server and terminal for generating a composite view from multiple content items
EP10290393.7 2010-07-14
PCT/EP2011/061977 WO2012007514A1 (en) 2010-07-14 2011-07-13 A method, server and terminal for generating a composite view from multiple content items

Publications (1)

Publication Number Publication Date
JP2013534791A true JP2013534791A (ja) 2013-09-05

Family

ID=43242738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013519095A Pending JP2013534791A (ja) 2010-07-14 2011-07-13 複数のコンテンツアイテムから合成ビューを生成する方法、サーバ、および端末

Country Status (6)

Country Link
US (1) US20130185353A1 (ja)
EP (1) EP2408196B1 (ja)
JP (1) JP2013534791A (ja)
KR (1) KR101451041B1 (ja)
CN (1) CN103004227B (ja)
WO (1) WO2012007514A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018519679A (ja) * 2016-04-22 2018-07-19 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. ビデオ処理方法、装置、プログラム及び記録媒体

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526091B2 (en) * 2012-03-16 2016-12-20 Intel Corporation Method and apparatus for coordination of self-optimization functions in a wireless network
FR2988964A1 (fr) * 2012-03-30 2013-10-04 France Telecom Technique de distribution d'un contenu video de type immersif
US9438883B2 (en) * 2012-04-09 2016-09-06 Intel Corporation Quality of experience reporting for combined unicast-multicast/broadcast streaming of media content
WO2014058404A1 (ru) * 2012-10-12 2014-04-17 Golovatskyy Dmytriy Vasilyevich Способ съемки, отображения и трансляции видео в трехмерном формате
US10530757B2 (en) 2013-07-25 2020-01-07 Convida Wireless, Llc End-to-end M2M service layer sessions
KR101700626B1 (ko) * 2013-12-18 2017-01-31 한국전자통신연구원 멀티 앵글 뷰 처리장치
CN103702180B (zh) * 2014-01-14 2017-06-20 北京奇艺世纪科技有限公司 媒体文件播放方法及装置
US10965974B2 (en) 2014-03-17 2021-03-30 Sony Corporation System, device and method for displaying display-dependent media files
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
KR101464218B1 (ko) * 2014-04-25 2014-11-24 주식회사 이오씨 파노라마 카메라 영상 처리 장치 및 방법
WO2016050283A1 (en) * 2014-09-30 2016-04-07 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
CN104699499B (zh) * 2014-12-31 2017-10-31 青岛同鑫创新实验室科技有限公司 一种异构终端软件升级方法
US20160261908A1 (en) * 2015-03-05 2016-09-08 Htc Corporation Media streaming system and control method thereof
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
US10096130B2 (en) * 2015-09-22 2018-10-09 Facebook, Inc. Systems and methods for content streaming
US10356493B2 (en) 2015-12-22 2019-07-16 Google Llc Methods, systems, and media for presenting interactive elements within video content
US10210660B2 (en) 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
WO2017180439A1 (en) * 2016-04-15 2017-10-19 Vid Scale, Inc. System and method for fast stream switching with crop and upscale in client player
US10956766B2 (en) 2016-05-13 2021-03-23 Vid Scale, Inc. Bit depth remapping based on viewing parameters
WO2018009828A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. Systems and methods for region-of-interest tone remapping
WO2018038520A1 (ko) 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
EP3472756B1 (en) 2016-10-07 2024-07-24 Mediatek Inc. Video encoding method and apparatus with syntax element signaling of employed projection layout and associated video decoding method and apparatus
US10643370B2 (en) * 2016-10-07 2020-05-05 Mediatek Inc. Method and apparatus for generating projection-based frame with 360-degree image content represented by triangular projection faces assembled in octahedron projection layout
CN109891772B (zh) 2016-11-03 2022-10-04 康维达无线有限责任公司 Nr中的帧结构
US10560678B2 (en) 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
US10380715B2 (en) 2016-12-07 2019-08-13 Mediatek Inc. Method and apparatus for generating and encoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
CA3068401A1 (en) * 2017-06-27 2019-01-03 Pixellot Ltd. Method and system for fusing user specific content into a video production
US10567436B2 (en) * 2018-04-16 2020-02-18 Honeywell International Inc. Recording remote access actions in video files
US10735778B2 (en) 2018-08-23 2020-08-04 At&T Intellectual Property I, L.P. Proxy assisted panoramic video streaming at mobile edge
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US11275727B2 (en) * 2019-09-19 2022-03-15 International Business Machines Corporation Composite views in a master data management system
CN113015000B (zh) * 2019-12-19 2024-08-13 中兴通讯股份有限公司 渲染和显示的方法、服务器、终端、计算机可读介质
KR102271521B1 (ko) 2019-12-31 2021-07-01 씨제이포디플렉스 주식회사 주변 영상 생성 방법 및 이를 수행하는 서버
CN113810734B (zh) * 2020-06-15 2024-04-05 浙江宇视科技有限公司 视频融合方法、装置、设备、系统及计算机可读存储介质
KR20220014005A (ko) * 2020-07-28 2022-02-04 삼성전자주식회사 전자장치, 서버 및 그 제어방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036891A (ja) * 1999-06-10 2001-02-09 Internatl Business Mach Corp <Ibm> ブロードキャスト環境の視野を個別化するシステム、方法及び媒体。
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
JP2007526659A (ja) * 2003-06-02 2007-09-13 ディズニー エンタープライゼス インコーポレイテッド 民生用ビデオプレーヤー用のプログラムによるウィンドウ制御システム及び方法
JP2007274150A (ja) * 2006-03-30 2007-10-18 Toshiba Corp サーバ装置および映像配信方法
JP2009506713A (ja) * 2005-08-30 2009-02-12 トムソン ライセンシング Ieee802.11無線ローカル・エリア・ネットワーク上でのスケーラブル・ビデオ・マルチキャストのためのクロス・レイヤ最適化
WO2010074826A1 (en) * 2008-12-15 2010-07-01 Microsoft Corporation Video conferencing subscription using multiple bit rate streams

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7630986B1 (en) * 1999-10-27 2009-12-08 Pinpoint, Incorporated Secure data interchange
US7194756B2 (en) * 2003-06-20 2007-03-20 N2 Broadband, Inc. Systems and methods for provisioning a host device for enhanced services in a cable system
US7958148B2 (en) * 2004-11-17 2011-06-07 Iron Mountain Incorporated Systems and methods for filtering file system input and output
US20080271078A1 (en) * 2007-04-30 2008-10-30 Google Inc. Momentary Electronic Program Guide
US8250616B2 (en) * 2007-09-28 2012-08-21 Yahoo! Inc. Distributed live multimedia capture, feedback mechanism, and network
US20090158337A1 (en) * 2007-12-13 2009-06-18 Mobitv, Inc. Mosaic video content selection mechanism
US20110116491A1 (en) * 2008-06-23 2011-05-19 Akos Kovacs Improving transmission of media streams of broadcast services in a multimedia broadcast transmission system
US20100011012A1 (en) * 2008-07-09 2010-01-14 Rawson Andrew R Selective Compression Based on Data Type and Client Capability
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
US8392596B2 (en) * 2009-05-26 2013-03-05 Red Hat Israel, Ltd. Methods for detecting and handling video and video-like content in remote display system
US9111288B2 (en) * 2010-05-07 2015-08-18 Infosys Limited Method and system for providing real time communications services by a service provider in collaboration with a communications service provider

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036891A (ja) * 1999-06-10 2001-02-09 Internatl Business Mach Corp <Ibm> ブロードキャスト環境の視野を個別化するシステム、方法及び媒体。
JP2003143505A (ja) * 2001-11-06 2003-05-16 Sony Corp 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2007526659A (ja) * 2003-06-02 2007-09-13 ディズニー エンタープライゼス インコーポレイテッド 民生用ビデオプレーヤー用のプログラムによるウィンドウ制御システム及び方法
JP2005159592A (ja) * 2003-11-25 2005-06-16 Nippon Hoso Kyokai <Nhk> コンテンツ送信装置およびコンテンツ受信装置
JP2009506713A (ja) * 2005-08-30 2009-02-12 トムソン ライセンシング Ieee802.11無線ローカル・エリア・ネットワーク上でのスケーラブル・ビデオ・マルチキャストのためのクロス・レイヤ最適化
JP2007274150A (ja) * 2006-03-30 2007-10-18 Toshiba Corp サーバ装置および映像配信方法
WO2010074826A1 (en) * 2008-12-15 2010-07-01 Microsoft Corporation Video conferencing subscription using multiple bit rate streams

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018519679A (ja) * 2016-04-22 2018-07-19 北京小米移動軟件有限公司Beijing Xiaomi Mobile Software Co.,Ltd. ビデオ処理方法、装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
US20130185353A1 (en) 2013-07-18
KR20130029121A (ko) 2013-03-21
EP2408196B1 (en) 2017-01-11
CN103004227A (zh) 2013-03-27
WO2012007514A1 (en) 2012-01-19
EP2408196A1 (en) 2012-01-18
KR101451041B1 (ko) 2014-10-15
CN103004227B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR101451041B1 (ko) 복수의 콘텐츠 아이템으로부터 합성 뷰를 생성하는 방법, 서버 및 단말
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US20230283653A1 (en) Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
CN109600674B (zh) 非线性媒体的基于客户端的自适应流式传输
CN108476324B (zh) 增强视频流的视频帧中的感兴趣区域的方法、计算机和介质
RU2711591C1 (ru) Способ, устройство и компьютерная программа для адаптивной потоковой передачи мультимедийного контента виртуальной реальности
EP3721636B1 (en) Method for adaptive streaming of media
JP5866125B2 (ja) ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング
US11128903B2 (en) Systems and methods of orchestrated networked application services
EP2824883A1 (en) A video client and video server for panoramic video consumption
US20110161393A1 (en) Method and System For Low-Latency Browsing on a Device With Limited Processing Resources
US20110162025A1 (en) Method and system for providing dynamic time slice encoding for complete internet anywhere
TWI815187B (zh) 適應性媒體串流系統之伺服器側串流適應系統和方法
KR102030983B1 (ko) 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
WO2014112416A1 (ja) 映像供給装置、映像取得装置、およびプログラム
CN113767639A (zh) 基于http的动态自适应流传输的方法和装置
CN109644286B (zh) 分发装置和方法、接收装置和方法、介质和内容分发系统
EP4256791A1 (en) Systems and methods of alternative networked application services
US10529129B2 (en) Dynamic selection mechanism for interactive video
Quax et al. A practical and scalable method for streaming omni-directional video to web users
WO2022125401A1 (en) Systems and methods of alternative networked application services

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140617

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150106