JP2017527230A - Method and apparatus for delivering and / or reproducing content - Google Patents

Method and apparatus for delivering and / or reproducing content Download PDF

Info

Publication number
JP2017527230A
JP2017527230A JP2017515038A JP2017515038A JP2017527230A JP 2017527230 A JP2017527230 A JP 2017527230A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017527230 A JP2017527230 A JP 2017527230A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
content
image
portion
stream
corresponding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017515038A
Other languages
Japanese (ja)
Inventor
コール、デイビッド
モス、アラン・マッケイ
Original Assignee
ネクストブイアール・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64Addressing
    • H04N21/6405Multicasting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

コンテンツ配信及び再生方法と装置が記載される。 Content delivery and playback method and apparatus are described. 方法と装置は、360度環境に対応して、コンテンツの配信と再生のために良好に適用され、スポーツゲーム等のイベントに対応して、例えば、イベントが進行中の間、または、イベントが終了した後、例えば、3Dコンテンツ等のコンテンツのストリーミング、及び/または、リアルタイム配信をサポートするために使用され得る。 The method and apparatus, in response to 360 ° environment, are well adapted for the delivery and playback content, in response to events such as sports games, for example, events during in progress, or after the event has ended , for example, streaming content such as 3D content, and / or may be used to support real-time delivery. 環境の部分は、異なる位置に設けられたカメラによって取り込まれる。 Part of the environment is captured by the camera provided in different positions. 異なる場所から取り込まれたコンテンツは、エンコードされ、配信のために利用可能にされる。 Content taken from different locations are encoded and made available for delivery. 再生デバイスは、ユーザの頭の位置に基づいて、受け取られるべきコンテンツを選択する。 Playback device based on the position of the user's head, selects the content to be received. ストリームは、ユーザの現在の視界、及び/または、頭の回転の方向に基づいて、優先度付けされ、配信のために選択され得る。 Stream, the current field of view of the user, and / or, based on the direction of rotation of the head, the prioritized, may be selected for delivery. 静止画像または合成された画像が、例えば、背景、空、及び/または、地面のために使用され、1つ以上のストリームからのコンテンツと組み合され得る。 Still image or synthesized image, for example, the background, the sky, and / or are used for the ground, it may be combined with content from one or more streams.

Description

[0001] 本発明は、コンテンツ配信及び/または再生、例えば、立体視画像コンテンツの再生、に関する。 [0001] The present invention relates to a content delivery and / or reproducing, for example, reproduction of the stereoscopic image content, related.

[0002] 没入型の体験を提供することを意図しているディスプレイデバイスは、通常、ユーザが、頭を回すと、表示されたシーンの対応する変化を体験することを可能にする。 [0002] The display device is intended to provide a immersive experience, normally, when the user turns his head, making it possible to experience a corresponding change in the displayed scene.
ヘッドマウントディスプレイは、時に、ユーザの頭の位置が変わると変化して表示されるシーンでもって、ヘッドマウントディスプレイを装着している間にユーザが向きを変えることができる、360度の視野をサポートする。 Head-mounted display, sometimes, with the scene that appears to change with the changes the position of the user's head, a user can change the direction while you are wearing the head-mounted display, support the field of view of 360 degrees to.

[0003] そのような装置を用いると、ユーザは、前を見ている時にはカメラ位置の正面で取り込まれたシーンを提示され、ユーザが完全に振り向いたときにはカメラ位置の後ろで取り込まれたシーンを提示されるべきである。 [0003] With such a device, the user, when looking at the front is presented a scene captured by the front of the camera position, the scene captured behind the camera position when the user has completely turned around it should be presented. ユーザが後方に頭を向けることができるが、任意の時点で限られた視界を知覚する人間の能力の性質により、任意の時点で、ユーザの視界は、通常、120度以下に制限される。 Although the user can direct his head backwards, by the nature of the human ability to perceive the field of view limited at any time, at any time, the user's view is typically limited to less than 120 degrees.

[0004] 360度の視野をサポートするために、見るために利用可能にされるべき360度シーンを生成するために画像が組み合わされるよう、360度シーンは、複数のカメラを使用して取り込まれる。 [0004] In order to support the field of view of 360 degrees, so that the images are combined to generate a 360-degree scene to be made available for viewing, 360 ° scene is captured using a plurality of cameras .

[0005] 360度視野は、通常のテレビや、時間の特定の点で表示されるべき画像を決定するために用いられる視野角を変更する機会をユーザが持たない多くの他の画像アプリケーションのために通常取り込まれ、エンコードされる単純な前方視野よりかなり多くの画像データを含むことを理解すべきである。 [0005] 360 degrees field of view, ordinary television, for many other image applications that the user does not have the opportunity to change the viewing angle used for determining an image to be displayed at a particular point in time Usually incorporated in, it should be understood to include significantly more image data than the encoded are simple forward field of view.

[0006] ストリーミングされているコンテンツに関連した、例えば、ネットワークデータ制約等の伝送制約があって、コンテンツを受信し、相互作用することを求めている全ての顧客に、フル高解像度映像で完全な360度視野をストリーミングすることは可能でないかもしれない。 [0006] associated with the streamed by which content, for example, there transmission constraints, such as network data constraints, receives the content, to all customers seeking to interact, complete with full high resolution video be streaming a 360-degree field of view may not be possible. これは、特に、コンテンツが、3D視界効果を可能にするために、左と右眼の視野に対応するように意図された画像コンテンツを含む立体視コンテンツである場合である。 This is particularly the content, in order to enable 3D viewing effect is when a stereoscopic content including the intended image content so as to correspond to the visual field of the left and right eye.

[0007] 上記説明の観点で、個々のユーザが、例えば、彼または彼女の頭を振り向くことによって、見る位置を変更し、環境の所望の部分を視ることを可能にするような方法で、コンテンツのストリーミング及び/または再生をサポートするための方法及び装置へのニーズがあることが理解されるべきである。 [0007] In view of the above description, the individual users, for example, by turning around his or her head to change the viewing position, in such a way as to allow to view the desired portion of the environment, it should be understood that there is a need for a method and apparatus for supporting streaming and / or playback of the content. ユーザは、帯域幅または他の配信関連の制約により適用し得るデータストリーミング制約内に留まりながら、彼/彼女の頭の位置を変え、結果、視野方向を変える選択肢を与えられたならば、望ましいであろう。 The user, while remaining data streaming constraint that can be applied by the bandwidth or other delivery-related constraints, changing the position of his / her head, the result, if given the option of changing the viewing direction, preferably It will allo. 全ての実施形態のために必要なわけではないが、異なる場所にいる複数のユーザが、同時にストリームを受信し、他のユーザによって見られている部分や複数の部分に拘わらず、彼らが望む環境のどんな個々の部分でも見ることを、少なくともいくつかの実施形態が可能にすることが望まれる。 Although not required for all embodiments, a plurality of users at different locations to receive streams simultaneously, regardless of the part or plurality of parts that are seen by other users, the environment in which they want also be seen in any individual parts of, it is desirable to allow at least some embodiments.

[0008] 360度の視野領域に対応する映像または他のコンテンツの配信、例えば、ストリーミング、をサポートする方法及び装置が記載される。 [0008] Delivery of the video or other content corresponding to 360 degrees of viewing area, for example, streaming, a method and apparatus for supporting is described. 本発明の方法と装置は、特に、データ伝送制約が、360度のコンテンツの配信について、最大のサポート品質レベルで、例えば、最良の品質の符号化や最も高いサポートフレームレートを用いて、配信することを困難にするような立体視及び/または他の画像コンテンツのストリーミングのために良く適している。 The method and apparatus of the present invention, in particular, the data transmission constraints for the delivery of 360 degrees of the content, the largest supported quality levels, for example, by using the coding and the highest support frame rates of the best quality, distributes well suited for streaming stereo and / or other image content that makes it difficult. しかし、方法は、立体視コンテンツに限定されるものではない。 However, the method is not limited to stereoscopic content.

[0009] 様々な実施形態において、画像コンテンツが得られる環境の3D(3次元)モデル及び/または対応する3D情報が生成され、及び/または、アクセスされる。 [0009] In various embodiments, 3D information 3D (3-dimensional) models and / or corresponding environment in which the image content is obtained is generated, and / or are accessed. 環境の中でのカメラ位置がドキュメント化される。 The camera position in the environment will be documented. 複数の個々のカメラ位置が環境内に存在し得る。 A plurality of individual camera positions may exist in the environment. 例えば、異なる最終目標カメラ位置と1つ以上の中間フィールドカメラの位置がサポートされ、リアルタイムのカメラ送りを取り込むために用いられ得る。 For example, the position of the different final target camera position and one or more intermediate field camera is supported, it may be used to incorporate real-time camera feed.

[00010] 3Dモデル及び/または他の3D情報は、1人以上のユーザに映像をストリーミングするために使用されるサーバまたは画像取り込み装置に記憶される。 [00010] 3D models and / or other 3D information is stored in the server or the image capture device is used for streaming video to one or more users.

[00011] 3Dモデルは、画像描画及び合成能力を有する、例えば、顧客宅内装置等のユーザ再生デバイスに提供される。 [00011] 3D model comprises an image rendering and synthetic ability, for example, is provided to a user playback device, such as customer premises equipment. 顧客宅内装置は、例えば、ヘッドマウントディスプレイを介して、顧客宅内装置のユーザに表示される環境の3D表現を生成する。 CPE can be, for example, via a head-mounted display, generates a 3D representation of the environment is displayed to the user of customer premises equipment.

[00012] 様々な実施形態において、完全な360度環境より少ないものが、任意の時点で、個々の顧客宅内機器にストリーミングされる。 [00012] In various embodiments, with less than a full 360-degree environment, at any time, is streamed to the individual customer premises equipment. 顧客宅内装置は、ユーザ入力に基づいて、どのカメラ送りがストリーミングされるべきかを示す。 Customer premises equipment, based on user input, indicate which camera feed is streamed. ユーザは、顧客宅内装置の一部であるか取り付けられている入力デバイスを介して、コート及び/またはカメラの位置を選択し得る。 The user, via the input device that is attached or is part of the customer premises equipment may select a position of the coating and / or camera.

[00013] いくつかの実施形態では、180度の映像ストリームは、例えば、ライブの、リアルタイムの、または、ほぼリアルタイムのストリーム等、コンテンツをストリーミングするために責任があるサーバ及び/または映像カメラから顧客の再生デバイスに伝送される。 [00013] In some embodiments, the video stream 180, for example, a live, real-time, or the customer from near real-time streams such is responsible for streaming content server and / or video camera It is transmitted to the playback device. 再生デバイスはユーザの頭の位置を監視し、従って、再生デバイスは、再生デバイスのユーザが再生デバイスにより生成されている3D環境内で見ている視野領域を知る。 Playback device monitors the position of the user's head, thus, the playback device will know the viewing area by the user of the playback device is seen in the 3D environment being generated by the reproduction device. 顧客宅内装置は、映像コンテンツがない状態において提示されるシミュレートされた3D環境を置き換える、または、その代替として表示される3D環境の部分のために利用可能である場合、映像を提示する。 CPE replaces the simulated 3D environment is presented in the absence video content, or, if available for the part of the 3D environment to be displayed as an alternative, presents a picture. 再生デバイスのユーザが彼または彼女の頭を振ると、ユーザに提示される環境の部分は、3Dモデルから合成的に生成された、及び/または、映像コンテンツとは異なるときに取り込まれた以前に供給された画像コンテンツである他の部分とともに、再生デバイスに供給された(例えば、ストリーミングされた)映像コンテンツからであってよい。 And his or her shake their heads user playback device, the portion of the environment to be presented to the user, synthetically produced from the 3D model, and / or, prior captured at different times from the video content with other parts is supplied image content, is supplied to the playback device (e.g., streamed) may be from the video content.

[00014] 従って、再生デバイスは、ゲーム、音楽コンサート、または、他のイベントが、例えば、正面の180度カメラ視野に対応して進行中である間、完全に合成的に、または、異なる回の環境の側部または後部領域の画像コンテンツからの何れかで生成される3D環境の後部及び/または側部とともに、例えば、ストリーミングを介して供給された、映像を表示し得る。 [00014] Accordingly, the reproduction device, a game, music concerts, or other events, for example, while it is in progress in response to the 180 ° camera viewing the front, fully synthetic or different times with rear and / or sides of the 3D environment generated either from the image content of the sides or rear area of ​​the environment, for example, supplied through streaming, it can display an image.

[00015] ユーザは、ストリーミングコンテンツを提供するサーバに位置の変化の信号を送ることによって、カメラの位置の間で選択をすることができるが、ストリーミングコンテンツを提供するサーバは、ストリーミングされていない3D環境の部分のための合成の環境を生成するのに有用な情報を提供し得る。 [00015] The user, by sending a signal of change in position to a server for providing streaming content, can be selected between the position of the camera, the server which provides streaming content, 3D that are not streamed It can provide useful information to generate a synthetic environment for parts of the environment.

[00016] 例えば、いくつかの実施形態では、複数の後ろや側部の視野が、例えば、コンテンツの部分をストリーミングする以前、または、時間的に早い時点から、異なる回に取り込まれる。 [00016] For example, in some embodiments, the field of view of a plurality of back and sides, for example, prior to streaming part of the content, or from an earlier point in time, are captured at different times. 画像は、再生デバイスにバッファされる。 Image is buffered in the reproduction device. コンテンツを提供するサーバは、リアルタイムでないシーンまたは画像のどの組が映像ストリームの中で供給されていない環境の部分の合成のために使用されるべきかを、再生デバイスに信号伝送できる、及び、いくつかの実施形態では信号伝送する。 Server that provides content, what should which set of scene or image is not a real time is used for the synthesis of a portion of the environment that is not supplied in the video stream can signal transmission to the playback device, and a number the signal transmitted in Kano embodiment. 例えば、カメラ位置の後ろに座っているコンサート参加者の画像と立っている参加者の別の画像とが、再生デバイスに供給され、記憶され得る。 For example, a different image of the participant standing image concert participants sitting behind the camera position is supplied to the playback device, it may be stored. サーバは、記憶された画像データのどの組が特定の時点で使用されるべきかを信号伝送できる。 Server, a should which set of stored image data is used at a particular time can signal transmission. 従って、観客が立っているとき、サーバは、立っている観客に対応する画像が画像合成の間に背景の180度視野のために用いられるべきであると信号伝送し得、他方、観客が座っているとき、サーバは、3Dカメラ環境の側部または後部を合成するときに、座っている観客に対応する画像または画像合成情報を用いるべきであることを、顧客宅内装置に示し得る。 Therefore, when the audience is standing, the server obtained by the signal transmission and should be used for it has 180-degree field of background during image image composition corresponding to audience standing, while the spectators sitting when is, the server that when synthesizing the side or rear of the 3D camera environment, should be used an image or image combination information corresponding to the spectators sitting, may indicate to the customer premises equipment.

[00017] 少なくともいくつかの実施形態において、3D環境における1つ以上の位置の各々におけるカメラの向きは、画像取り込みの間、追跡される。 [00017] In at least some embodiments, camera direction in each of the one or more locations in the 3D environment, during image capture, is tracked. 環境におけるマーカ及び/または識別する点は、顧客宅内装置によってシミュレートされるべき以前にモデル化された及び/またはマッピングされた3D環境への、例えば、ライブ画像等の取り込まれた画像の配列及び/またはその他のマッピングを容易にするために使用され得る。 Point of markers and / or identification in the environment, to 3D environment is that modeled and / or previously mapped to be simulated by the customer premises equipment, e.g., the sequence of captured images live image or the like and / or other mappings may be used to facilitate.

[00018] 合成環境部分と現実(ストリーミングされた映像)の混合は、臨場感あふれる映像体験を提供する。 [00018] Mixing of the synthetic environment portion and reality (streaming video) provides a visual experience realistic. 環境は、映像が利用可能でないとき、例えば、環境が以前にモデル化されていない場合、環境をシミュレートするために使用される3D情報を生成するのに3D測光を用いて測定され、または、モデル化され得、時にはそうされる。 Environment, when the video is not available, for example, if the environment is not previously modeled, measured using a 3D photometry to generate 3D information that is used to simulate the environment, or, modeled obtained, and sometimes do so.

[00019] 決定された場所での現実空間における基準マーカの使用は、映像の以前に生成された3Dモデルとのキャリブレーションと位置合わせを助ける。 [00019] The use of the reference marker in the real space in the determined location, assist in positioning the calibration and 3D model generated in the previous image.

[00020] 各カメラの位置追跡は、映像が取り込まれながら実装される。 [00020] positioning of the cameras are implemented with video captured. 会場に対するカメラの位置情報、例えば、それは、X、Y、Zと、度での偏揺角(それによって、各カメラが何処を指しているかを知る)をマッピングする。 Position information of the camera with respect to the venue, for example, it is, X, Y, and Z, HenYurakaku (thereby knowing each camera is pointing anywhere) in degrees for mapping. これは、取り込まれた画像が環境のどの部分に対応するかの簡単な検出を可能にし、取り込まれた映像とともに再生デバイスに通信される場合、我々の映像取り込みを、ユーザへの再生等の画像提示の間に再生デバイスによって生成される合成の環境で自動的にオーバーレイするような再生を可能にする。 This is because, when the captured image is to allow one of the simple detection corresponds to which part of the environment is communicated to the playback device together with the video captured, our video capture, image playback, and the like to the user It enables automatically as overlay reproduced during presentation in the synthesis of the environment generated by the playback device. ストリーミングされたコンテンツは、カメラ位置の正面の領域の取り込まれた180度の視野等の360度より少ない視野に制限され得る。 Streamed content may be limited to less field than 360 degree field of view, such as 180 degrees captured the region in front of the camera position. 見る者が周りを見まわすと、見る者は、後ろを向いたときにシミュレートされた背景(黒い空虚ではない)を見、見る者は、正面を向いたときに映像を見る。 Turning a look around see who is, who looks, look at the simulated background (not a black emptiness) when facing the back, the viewer, see the video at the time of facing the front.

[00021] 合成環境は相互作用し得、いくつかの実施形態ではそうである。 [00021] Synthesis environment resulting interact, in some embodiments be. いくつかの実施形態では、異なる顧客宅内装置のユーザ等の複数の実際の見る者は、ユーザが仮想3D環境において彼/彼女の友達とゲームを視ることができ、ユーザが現実にスタジアムにいるようにみえるよう、シミュレートされた環境に含まれる。 In some embodiments, the plurality of the fact of the viewer such as a user of different customer premises equipment, the user can see his / her friends and the game in a virtual 3D environment, the user is in the stadium to reality to appear as, they are included in the simulated environment.

[00022] ユーザの画像は、シミュレートされた環境を生成することにおける使用のために、顧客宅内装置に含まれた、または、取り付けられたカメラによって取り込まれ、サーバに供給され、グループのメンバ等の他のユーザに提供され得、いくつかの実施例ではそうされる。 [00022] User image, for use in generating a simulated environment, included in the customer premises equipment, or is taken up by a camera mounted, is provided to the server, a member of the group, such as be provided for the other users, in some embodiments it is so.

[00023] 方法は、符号化し、リアルタイムで、または、ほぼリアルタイムでコンテンツをエンコードし、提供するために使用され得るが、このようなリアルタイム用途に限定されない。 [00023] The method encodes, in real time, or to encode the content in near real-time, but may be used to provide, is not limited to such real-time applications. 複数のユーザへのリアルタイムやほぼリアルタイムのエンコーディングとストリーミングをサポートする能力を与えられ、この中に記載された方法及び装置は、個々人がイベントを見て、ステージやフィールドを注視するだけでなく、振り向いて、スタジアムや観客等の環境を見ることを鑑賞することができることを好む、スポーツイベント、コンサート、及び/または、他の会場のシーンをストリーミングするために好適である。 Given the ability to support real-time or near real-time encoding and streaming to multiple users, the method and apparatus described therein, the individual watches events not only watch the stage or field, turned around Te, prefer to be able to watch to see the environment such as stadiums and spectators, sporting events, concerts, and / or, it is preferable to stream the scene of other venues. 360度視野と3Dをサポートすることによって、本発明の方法と装置は、ユーザが環境中に居て、ユーザの頭部が左、右、または、後ろを向いたとした場合にあるように、向きを変えて、異なる視野角からシーンを注視する自由度をもった3D没入体験をユーザに提供することが意図されたヘッドマウントディスプレイとともに使用するために好適である。 By supporting a 360-degree field of view and 3D, the method and apparatus of the present invention, the user to stay in the environment, so that the user's head is in the case of a facing left, right, or behind, in different directions, which is suitable for use with a head-mounted display which is intended to provide flexibility 3D immersive experience with a user to watch a scene from different viewing angles.

[00024] 例えば、360度視界に対応したコンテンツ等の画像コンテンツを通信するための方法及び装置が記載される。 [00024] For example, it is described a method and apparatus for communicating image content such as content corresponding to 360 degrees field of view. 様々な実施形態において、視界は、環境の異なる部分、例えば、前部、少なくとも1つの後ろの部分、頂部、及び、底部、に対応する。 In various embodiments, the field of view, different parts of the environment, for example, the front, at least one rear portion, top and bottom, corresponding to the. いくつかの実施形態において、環境の左と右の後部例えば、背部、は、別々に生成され、及び/または、通信される。 In some embodiments, the rear e.g., back, left and right of the environment are generated separately, and / or communicated. 再生デバイスは、ユーザの頭の位置を監視し、例えば、ユーザが所定の時間に見ている環境の部分に対応し、その時、ユーザに表示される立体視画像等の画像を生成する。 Playback device monitors the position of the user's head, for example, a user corresponding to the portion of the environment looking at a given time, that time to generate an image such as a stereoscopic image displayed to the user. 立体視再生の場合には、別個の左と右の眼の画像が生成される。 In the case of stereoscopic playback, the image of separate left and right eye are generated. 生成された画像は、例えば、環境の部分等の1つ以上のシーンに対応して行われ得、いくつかの実施態様では行われる。 The generated image may, for example, performed in response to one or more scenes, such as part of the environment, in some embodiments is performed.

[00025] 再生の起動時に、ユーザの前方を見る頭のレベル位置が、デフォルトとして、前方シーン部分に対応するように設定される。 [00025] when starting reproduction, the level position of the head to see the front of the user, as a default, is set to correspond to the front scene portion. ユーザが彼/彼女の頭を回し、及び/または、彼または彼女の頭を上げるか下げるかずると、環境の他の部分がユーザの視界に入って来ることができる。 User turned his / her head, and / or, if cunning or reduce his or raise her head, it is possible that other parts of the environment comes into the field of view of the user.

[00026] 多くの再生デバイスの帯域幅及び画像デコード機能は、装置の処理容量及び/または画像コンテンツを受信するための帯域幅によって制限される。 [00026] Many bandwidth and image decoding function of reproducing device is limited by the bandwidth for receiving the processing capacity and / or image content of the device. いくつかの実施形態では、再生デバイスは、環境のどの部分がユーザの主たる視界に対応するかを決定する。 In some embodiments, the playback device, which part of the environment to determine whether the corresponding primary field of view of the user. そして、装置は、ストリームが、優先度の観点から、主要なストリームとして指定されて、例えば、フル解像度等の高いレートで受信されるべき当該部分を選択する。 The device stream, in terms of priority, is designated as the primary stream, for example, selects the portion to be received at a high rate of full resolution or the like. 環境の他の部分に対応するコンテンツを提供する1つ以上の他のストリームからのコンテンツも受け取られ得るが、通常は、より低いデータレートである。 While the content may be received from one or more other streams that provide content corresponding to the other parts of the environment, usually a lower data rate. 特定のストリームのためのコンテンツ配信は、例えば、コンテンツ配信をトリガするために使用される信号を送ることにより、再生デバイスによって起動され得る。 Content distribution for a particular stream, for example, by sending a signal used to trigger the content delivery can be started by the reproducing device. 信号は、環境の部分に対応するコンテンツを提供する、または、切り替えられるデジタル放送の配信を開始するマルチキャストグループに参加するために使用され得る。 Signal provides a content corresponding to the portion of the environment, or may be used to join a multicast group to start distribution of digital broadcasting is switched. マルチキャストグループ参加信号等の要求または他の信号を必要としない放送コンテンツの場合には、装置は、コンテンツが利用可能になっているチャネルに同調することによって受信を開始し得る。 In the case of broadcast contents that do not require a request or other signal such as a multicast group join signal, the device may begin to receive by tuning to the channel content is available.

[00027] コンテンツが、スポーツイベント、ロックコンサート、ファッションショー、または、いくつかの様々なイベントに対応する場合、前方視野部分は、主たるアクションが通常特に進行する場所であるので、ユーザが、通常、環境の前方視野部分に主たる関心をもっているとして、いくつかの実施形態では、環境の前方視野部分は、データ伝送優先度が与えられる。 [00027] content, sporting events, rock concerts, fashion shows or, if that correspond to some of the various events, the forward field of view part, because the main action is in the usual place to progress in particular, the user, usually, as it has major interest in the forward field of view portion of the environment, in some embodiments, the forward field of view portion of the environment, the data transmission is given priority. 少なくともいくつかの実施形態では、前方視野部分に対応する画像は、360度環境の1つ以上の他の部分よりも高いレートでストリーミングされる。 In at least some embodiments, an image corresponding to the forward field of view portion is streamed at a rate higher than one or more other parts of the 360-degree environment. 環境の他の部分に対応する画像は、より低いデータレートで送信されるか、または、静止画像として送られる。 Image corresponding to the other parts of the environment is either transmitted at a lower data rate, or sent as a still image. 例えば、1つ以上の静的画像、例えば、空等の頂部、地面等の底部、が送信され得る。 For example, one or more static images, for example, the top of such air, the bottom of such ground, may be transmitted.

[00028] いくつかの実施形態において、取り込まれた複数の静止画像が、後方視野部分または空部分等の環境の1つ以上の部分のために送信される。 [00028] In some embodiments, a plurality of still images captured is transmitted to one or more portions of the environment, such as rear-view partial or empty portions. いくつかの実施形態では、制御情報が、環境の部分のために静止画像のどの1つが所与の時間に使用されるべきかを示して、送信される。 In some embodiments, control information, but one which the first still image for portions of the environment indicates should be used at a given time, it is transmitted. 環境の部分のための静止画像が送られる場合において、それらはエンコードされた形式で送られ、そして、他の画像内容との組み合わせで使用するためにデコードされた形式でメモリに記憶される。 In the case where the still image is sent to the part of the environment, they are sent in encoded form, and is stored in memory in decoded form for use in combination with other image content. この方法では、イベントの間に必要とされるデコード用のリソースは、複数のストリームが同じフレームレートで並行してデコードされる必要がないので、低減され得る。 In this method, resources for decoding required between events, since a plurality of streams does not need to be decoded in parallel at the same frame rate may be reduced. 静止画像は、メインイベントのコンテンツをストリーミングする前に送信されてもよい。 Still image may be transmitted before streaming the content of the main event. 代替的に、前方視野位置からユーザの頭の位置に変化があって、再生の間にそれらが必要となった場合に、いくつかの画像が環境の異なる部分のために送信され、記憶されてもよい。 Alternatively, if there is a change from the forward field of view position to the position of the user's head, when they become necessary during the playback, several images are transmitted to the different parts of the environment, stored it may be. 静止の、または、たまにしか変わらない画像は、前方視界方向等の主たるコンテンツを提供するコンテンツストリームの一部としてエンコードされ、送信されてもよく、または、別個のコンテンツストリームとして送られてもよい。 Stationary, or not change only occasionally image is encoded as part of the content stream to provide a main content such as a forward viewing direction, it may be transmitted, or may be sent as a separate content stream.

[00029] 環境の前方部分に対応するコンテンツは、例えば、リアルタイムで等、イベントが進行中の間に取り込まれ、ストリーミングされるコンテンツを含み得る、及び、多くの場合には含むが、後方に対応する静止画像は、イベントの前に取り込まれた画像であってよく、時には、そうである。 [00029] content corresponding to the front portion of the environment, for example, like in real time, an event is taken during ongoing may include content that is streamed, and, including in many cases, corresponding to the rear stationary image may be an image that has been taken before the event, at times, this is the case.

[00030] 例えば、2つの異なる後部視野シーンが通信され、再生デバイスに記憶される場合を考える。 [00030] For example, two different rear viewing scene is communicated, consider the case to be stored in the playback device. 1つのシーンは立った位置である観客に対応し、他の画像は座った位置にある観客に対応し得る。 One scene corresponds to the audience is standing positions, it may correspond to the audience in the other images seated position. ユーザが、環境の後ろ部分が可視となる位置に彼/彼女の頭を向けたとしたら、所与の時点で、座った、または、立った位置の観客画像が用いられるかどうかを、制御情報は示し得る、及び、いくつかの実施形態では示す。 Users, if we back part of the environment toward his / her head in the position to be visible, at a given point in time, sitting, or, whether the audience image of a standing position is used, the control information It may indicate, and show in some embodiments.

[00031] 同様に、空の複数の画像が再生デバイスに通信され、エンコードされた、または、デコードされた形態で再生デバイスに記憶される。 [00031] Similarly, an empty plural images are communicated to the playback device, encoded, or are stored in the playback device in decoded form. いくつかの実施形態では、空部分のどの画像が所与の時点で用いられるべきであるかは、制御情報において通信される。 In some embodiments, any image of the sky portion is either should be used at a given time, be communicated in the control information. 他の実施形態において、空のどのシーンが使用されるべきであるかは、例えば、明るい前方シーン領域が検出され、ほとんど雲のない明るい空の画像の選択を制御するために使用され得る等、選択されている前方環境シーン部分に一致するか近い空部分をもった前方シーン領域に対応する1つ以上の画像の輝度に基づいて自動的に決定される。 In another embodiment, Which scene sky is to be used, for example, a bright front scene area is detected, etc. may be used to control the most selective of clouds without bright sky image, It is automatically determined based on the brightness of the one or more images corresponding to the forward scene area having a close or empty part matches the front environment scene moiety that is selected. 同様に、いくつかの実施形態において、暗い前方環境領域空の検出は、暗い曇り空画像が使用される結果をもたらす。 Similarly, in some embodiments, the detection of dark forward environment space empty, results in a dark cloudy images are used.

[00032] 視界における環境の部分のための画像が利用可能でない場合には、シーンの部分が、例えば、利用可能である環境の他の部分からの情報やコンテンツから、合成され得る。 [00032] When the image for the portion of the environment is not available in the field of view, part of the scene, for example, from the information and content from other parts of the environment is available, can be synthesized. 例えば、後部画像部分が利用可能でない場合、前方シーン領域の左及び/または右側からのコンテンツが、環境の欠落している後ろ部分に代えて埋めるために、コピーされ、使用され得る。 For example, if the rear image portion is not available, the contents of the left and / or right side of the front scene area, in order to fill in place behind a portion missing in the environment, is copied, may be used. コンテンツの複製に加えて、ぼかし及び/または他の画像処理動作が、いくつかの実施形態において、環境の欠落部分に代えて埋めるために使用され得る。 In addition to content duplication, blurring and / or other image processing operations, in some embodiments, it may be used to fill in place of the missing part of the environment. 代替的に、いくつかの実施形態では、描画情報がコンテンツストリームにおいて提供され、再生デバイスは欠落部分のための完全な合成画像を生成する。 Alternatively, in some embodiments, the drawing information is provided in the content stream, the playback device to generate a complete composite image for the missing parts. ビデオゲームコンテンツと同様に、そのようなコンテンツは、本質的に現実味があり得、再生デバイスに記憶された描画及び/または他の画像生成ルールから生成される広範な画像効果及び/またはコンテンツを含み得る。 Similar to the video game content, such content may be inherently realistic obtained includes a wide range of image effect and / or content generated from the stored drawing and / or other image generation rule to the playback device obtain.

[00033] いくつかの実施形態による、再生システムを動作させる例示的な方法は、 [00033] according to some embodiments, an exemplary method of operating a reproduction system,
見る者の頭の位置を決定することであって、頭の位置は現在の視界に対応することと、 And it was to determine the position of the viewer's head, and that the position of the head corresponding to the current field of view,
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、 And receiving a first content stream to provide a content corresponding to the first portion of the environment,
第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、i)環境の第2の部分に対応する記憶されたコンテンツ、または、ii)環境の第2の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する1つ以上の出力画像を生成することと、 At least some of the received content included in the first content stream, and, i) stored content corresponding to a second portion of the environment or,, ii) simulating a second portion of the environment composite image, on the basis, and generating one or more output image corresponding to the current field of view,
第1の出力画像を出力し、または、表示することであって、第1の出力画像は1つ以上の生成された出力画像の1つであることと、 And that outputs a first output image, or, the method comprising: displaying the first output image is one of one or more of the generated output image,
を含む。 including.
いくつかの実施形態による、例示のコンテンツ再生システムは: According to some embodiments, the exemplary content reproduction system:
見る者の頭の位置を決定するように構成された見る者の頭位置決定モジュールであって、頭の位置が現在の視界に対応することと、 And that a head position determination module viewer that is configured to determine the position of the viewer's head, the head position corresponds to the current view,
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成されたコンテンツストリーム受信モジュールと、 A first configuration content stream receive module to receive the content stream to provide a content corresponding to the first portion of the environment,
第1のコンテンツに含まれた少なくともいくつかのコンテンツ、及び、i)環境の第2の部分に対応する記憶されたコンテンツ、または、ii)環境の第2の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する1つ以上の出力画像を生成するよう構成された出力画像コンテンツストリームベース生成モジュールと、 At least some of the contents included in the first content, and the stored content corresponding to a second portion of i) environment, or synthetic images that simulate the second portion of ii) environment, based on the output image content stream based generation module configured to generate one or more output image corresponding to the current field of view,
第1の出力画像を出力するよう構成された出力モジュール、または、第1の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、 Output module configured to output a first output image, or at least one of a display module configured to display the first output image,
を含む。 including.

[00034] 多くの変形及び実施形態が可能であり、以下の詳細な説明で検討される。 [00034] are possible many variations and embodiments are discussed below in the Detailed Description.

[00035] 図1は、1人以上のユーザによる環境の1つ以上の合成された部分とともに引き続いた表示のためにコンテンツを取り込み、ストリーミングするために使用され得る、本発明のいくつかの実施形態に従って実装される例示的なシステムを示す。 [00035] Figure 1 takes the content for display in subsequent together with one or more synthetic portions of the environment by one or more users can be used for streaming, some embodiments of the present invention It illustrates an exemplary system implemented in accordance with. [00036] 図2Aは、例えば、分割されていない完全な360度の立体視シーン等の例示的な立体視シーンを示す。 [00036] Figure 2A is, for example, shows an exemplary stereoscopic scene, such as stereoscopic scene full 360 degrees undivided. [00037] 図2Bは、例示的な一実施形態に従って、3つの例示的なシーンに分割されている例示的な立体視シーンを示す。 [00037] Figure 2B, according to an exemplary embodiment, an exemplary stereoscopic scene is divided into three exemplary scenes. [00038] 図2Cは、例示的な一実施形態に従って、4つのシーンに分割されている例示的な立体視シーンを示す。 [00038] Figure 2C, according to an exemplary embodiment, an exemplary stereoscopic scene is divided into four scenes. [00039] 図3は、1つの例示的な実施形態に従って、例示的な360度の立体視シーンをエンコードする例示的なプロセスを示す。 [00039] FIG. 3, according to one exemplary embodiment, an exemplary process for encoding a stereoscopic scene exemplary 360 degrees. [00040] 図4は、入力画像部分が、同じ入力画像部分の異なるエンコードされたバージョンを生成するために様々なエンコーダを使って、どのようにエンコードされるかを例示的に示す図である。 [00040] Figure 4 is an input image portion, using a variety of encoders to generate different encoded versions of the same input image portion is a diagram schematically illustrating how the encoded. [00041] 図5は、3つの部分に分割されている入力立体視シーンの、エンコードされて、記憶された部分を示す。 [00041] Figure 5 is the input stereoscopic scene is divided into three parts, is encoded, indicating the storage portion. [00042] 図6は、図1のシステムを使用して実装される例示的な実施形態によって、コンテンツをストリーミングする例示的な方法のステップを示すフローチャートである。 [00042] Figure 6, by the exemplary embodiment which is implemented using the system of FIG. 1 is a flow chart illustrating the steps of an exemplary method for streaming content. [00043] 図7は、本発明の特徴によって、コンテンツをエンコードし、ストリーミングするために使用されることができるエンコーディング機能を含む例示的なコンテンツ配信システムを示す。 [00043] Figure 7 by the features of the present invention, encodes the content, shows an exemplary content delivery system including an encoding function which can be used for streaming. [00044] 図8は、図7のシステムによってストリーミングされたコンテンツを受け取り、デコードし、表示するために使用することができる例示的なコンテンツ再生システムを示す。 [00044] FIG. 8 receives the streamed content by the system of FIG. 7, decodes illustrates an exemplary content reproduction system that can be used to display. [00045] 図9は、3つの異なる搭載位置に搭載された3つのカメラペアをもった例示的なカメラリグを、カメラのリグを較正するために使用され得る較正ターゲットとともに示す図を表す。 [00045] FIG. 9 shows a diagram of an exemplary camera rig having three camera pairs mounted on three different mounting positions, together with a calibration target may be used to calibrate the camera rig. [00046] 図10は、カメラリグに搭載された3つのカメラペアをもったカメラリグのより集中された概観を示す図である。 [00046] FIG. 10 is a diagram showing a more-focused overview of camera rig having three cameras pair mounted on camera rig. [00047] 図11は、1つの例示的な実施形態に従って実装された例示的なカメラリグの詳細図を示す。 [00047] FIG. 11 shows a detailed view of the implemented exemplary camera rig according to one exemplary embodiment. [00048] 図12は、360度シーンの異なる部分を取り込む、それぞれのカメラの異なるカメラ位置に対応する異なる視野領域/部分に分割され得る、例えば、360度シーン領域等の例示的な360度シーン環境を示す。 [00048] FIG. 12 is 360 degrees capturing different portions of the scene, can be divided into different field areas / portions corresponding to the different camera positions of the respective cameras, for example, the exemplary 360-degree scene such as 360-degree scene area It shows the environment. [00049] 図13は、例示的な360度シーン領域の視野領域/部分をカバーするために、対応する異なるカメラによって取り込まれ、及び/または、位置付けられ得る、図12の例示の360度シーン領域の異なる部分を示す、3つの異なる図を含む。 [00049] FIG. 13 is to cover the viewing area / portion of the exemplary 360-degree scene area taken up by corresponding different cameras, and / or may be positioned, examples of 360-degree scene region in FIG. 12 indicating different portions of, it contains three different views. [00050] 図14Aは、本発明の例示的な実施形態による、再生デバイスを動作させる例示的な方法のステップを示すフローチャートの第1の部分である。 [00050] Figure 14A in accordance with an exemplary embodiment of the present invention, a first portion of a flowchart illustrating the steps of an exemplary method of operating a playback device. [00051] 図14Bは、本発明の例示的な実施形態に従った、再生デバイスを動作させる例示的な方法のステップを示すフローチャートの第2の部分である。 [00051] Figure 14B in accordance with an exemplary embodiment of the present invention, a second portion of a flowchart illustrating the steps of an exemplary method of operating a playback device. [00052] 図14は、図14Aと図14Bの組み合わせを含む。 [00052] Figure 14, comprising the combination of Figure 14A and Figure 14B. [00053] 図15は、例示的な実施形態によるストリーム選択サブルーチンのステップを示すフローチャートである。 [00053] Figure 15 is a flow chart illustrating the steps of a stream selection subroutine according to an exemplary embodiment. [00054] 図16は、例示的な実施形態によるストリーム優先度付けサブルーチンのステップを示すフローチャートである。 [00054] FIG. 16 is a flow chart illustrating the steps of a stream prioritization subroutine according to an exemplary embodiment. [00055] 図17は、例示的な実施形態による描画サブルーチンのステップを示すフローチャートである。 [00055] Figure 17 is a flow chart illustrating the steps of drawing subroutines in accordance with an exemplary embodiment. [00056] 図18は、複数のコンテンツストリームに対応するストリーム情報を含む例示的なテーブルを示す。 [00056] Figure 18 illustrates an exemplary table containing stream information corresponding to a plurality of content streams. [00057] 図19は、本発明に従って実装された例示的な再生システムを示す。 [00057] Figure 19 shows an exemplary playback system implemented in accordance with the present invention. [00058] 図20Aは、例示的な実施形態に従った、コンテンツ再生システムを動作させる例示的な方法のフローチャートの第1の部分である。 [00058] Figure 20A, in accordance with an exemplary embodiment, a first portion of a flowchart of an exemplary method of operating a content reproduction system. [00059] 図20Bは、例示的な実施形態に従った、コンテンツ再生システムを動作させる例示的な方法のフローチャートの第2の部分である。 [00059] Figure 20B, in accordance with an exemplary embodiment, a second portion of a flowchart of an exemplary method of operating a content reproduction system. [00060] 図20Cは、例示的な実施形態に従った、コンテンツ再生システムを動作させる例示的な方法のフローチャートの第3の部分である。 [00060] Figure 20C, according to an exemplary embodiment, a third portion of a flowchart of an exemplary method of operating a content reproduction system. [00061] 図20Dは、例示的な実施形態に従った、コンテンツ再生システムを動作させる例示的な方法のフローチャートの第4の部分である。 [00061] Figure 20D, according to an exemplary embodiment, a fourth portion of a flowchart of an exemplary method of operating a content reproduction system. [00062] 図20Eは、例示的な実施形態に従った、コンテンツ再生システムを動作させる例示的な方法のフローチャートの第5の部分である。 [00062] Figure 20E, in accordance with an exemplary embodiment, a fifth part of a flowchart of an exemplary method of operating a content reproduction system. [00063] 図20は、図20A、図20B、図20C、図20D、及び、図20Eの組み合わせを含む。 [00063] Figure 20 includes FIG. 20A, FIG. 20B, FIG. 20C, FIG. 20D, and a combination of FIG. 20E. [00064] 図21は、例示的な実施形態による、ディスプレイに接続されたコンテンツ再生システム、または、コンピュータシステム等の例示的なコンテンツ再生システムの図である。 [00064] Figure 21, in accordance with an exemplary embodiment, a display connected to the content playback system, or a diagram of an exemplary content reproduction system such as a computer system. [00065] 図22は、図21の例示的なコンテンツ再生システムに含まれ得るモジュールの例示的なアセンブリの図である。 [00065] FIG. 22 is a diagram of an exemplary assembly of an exemplary content module which may be included in the playback system of FIG. [00066] 図23は、いくつかの実施形態に従った、図19の再生システムに用いることができる例示的なストリーム選択モジュールを示す図である。 [00066] Figure 23, according to some embodiments is a diagram showing an exemplary stream selection module that can be used in the reproduction system of FIG. [00067] 図24は、図23のストリーム選択モジュールの部分として、または、個別のモジュールとして実装され得る例示的なストリーム優先度付けモジュールを示す図である。 [00067] Figure 24 is a part of the stream selection module of FIG. 23, or is a diagram showing an exemplary stream prioritization module may be implemented as a separate module.

詳細な説明 Detailed description

[00068] 図1は、本発明のいくつかの実施形態に従って実装される例示的なシステム100を示す。 [00068] Figure 1 illustrates an exemplary system 100 implemented in accordance with some embodiments of the present invention. システム100は、顧客宅内に配置された生成装置/コンテンツプレーヤ等の1つ以上の顧客装置に、例えば、画像コンテンツ配信等のコンテンツ配信をサポートする。 System 100 includes one or more customer devices, such as a generator / content player located at the customer premises, for example, to support content distribution image content delivery or the like. システム100は、例示の画像取り込みデバイス102、コンテンツ配信システム104、通信ネットワーク105、及び、複数の顧客宅内106、. The system 100, exemplary image capture device 102, the content distribution system 104, a communication network 105 and, a plurality of customer premises 106,. . 、110含む。 , Including 110. 画像取り込みデバイス102は、立体視画像の取り込みをサポートする。 Image capture device 102 supports stereoscopic image capture. 画像取り込みデバイス102は、発明の態様に従って、画像コンテンツを取り込み、処理する。 Image capture device 102, in accordance with aspects of the invention captures an image content, processes. 通信ネットワーク105は、例えば、光ファイバ−同軸ハイブリッド(hybrid fiber-coaxial:HFC)ネットワーク、衛星ネットワーク、及び/または、インターネットであってよい。 Communication network 105 may, for example, optical fiber - coaxial hybrid (hybrid fiber-coaxial: HFC) network, a satellite network, and / or may be the Internet.

[00069] コンテンツ配信システム104は、エンコーディング装置112とコンテンツストリーミング装置/サーバ114を含む。 [00069] Content distribution system 104 includes an encoding device 112 and the content streaming device / server 114. エンコーディング装置112は、本発明に従って、画像データをエンコードするための1つまたは複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。 Encoding apparatus 112, in accordance with the present invention may comprise one or more encoder for encoding image data, and includes in some embodiments. エンコーダは、シーンの異なる部分をエンコードするために、及び/または、異なるデータレートを有するエンコードされたバージョンを生成するようにシーンの所与の部分を符号化するために、並行に使用され得る。 Encoder to encode different portions of the scene, and / or, to encode a given portion of the scene so as to generate an encoded version having a different data rates may be used in parallel. リアルタイム、または、ほぼリアルタイムのストリーミングがサポートされるべき場合、並行して複数のエンコーダを使用することは、特に有用である。 Real-time or, if substantially to real-time streaming is supported, the use of multiple encoders in parallel, is particularly useful.

[00070] コンテンツストリーミング装置114は、例えば、通信ネットワーク105上を、1つ以上の顧客装置にエンコードされた画像コンテンツを配信するために、エンコードされたコンテンツを、例えば、送信する等、ストリーミングするように構成される。 [00070] Content streaming apparatus 114, for example, a communication network 105 on, to deliver image content encoded in one or more customer devices, the encoded content, for example, equal to send, to stream configured. ネットワーク105を介して、コンテンツ配信システム104は、通信ネットワーク105を横断するリンク120によって図に示されているように、情報を送り、及び/または、顧客宅内106、110に設けられた装置と情報を交換することができる。 Via the network 105, the content distribution system 104, as shown in the figure by a link 120 that traverses the communication network 105, sends information, and / or device information provided in the customer premises 106, 110 it is possible to exchange.

[00071] エンコーディング装置112とコンテンツ配信サーバ114は、図1の例において個別の物理的な装置として示されているが、いくつかの実施形態において、それらは、コンテンツをエンコードし、ストリーミングする単一の装置として実装される。 [00071] Encoding device 112 and the content distribution server 114, a single are shown as separate physical devices in the example of FIG. 1, in some embodiments, they may, for encoding the content, streaming It is implemented as the device. エンコーディングプロセスは、3D画像視聴がサポートされ得るように、シーン部分の左と右の眼の視野に対応する情報がエンコードされ、エンコードされた画像データに含まれる3D、例えば、立体視の、画像エンコーディングプロセスであり得る。 Encoding process, such that the 3D image viewing can be supported, 3D information corresponding to the left and right eye field of view of the scene portions are encoded, contained in the encoded image data, for example, a stereoscopic image encoding It may be in the process. 使用される特定のエンコーディング方法は、本出願に重要ではなく、広範囲のエンコーダが、エンコーディング装置112として、または、エンコーディング装置112を実装するために使用され得る。 Particular encoding method used is not critical to the present application, a wide range of encoder, as the encoding device 112, or may be used to implement the encoding device 112.

[00072] 各顧客宅内106、110は、コンテンツストリーミング装置114によってストリーミングされた画像コンテンツをデコードし、再生/表示するために使用される、再生システム等の複数の装置/プレーヤを含み得る。 [00072] each customer premises 106 and 110, decodes the image content that is streamed by the content streaming apparatus 114, is used to play / display may comprise a plurality of devices / players, such as reproduction system. 顧客宅内1 106は、ディスプレイデバイス124に接続されたデコーディング機器/再生デバイス122を含み、他方、顧客宅内N 110は、ディスプレイデバイス128に接続されたデコーディング機器/再生デバイス126を含む。 Customer premises 1 106 includes a decoding device / playback device 122 connected to a display device 124, on the other hand, the customer premises N 110 includes a decoding device / playback device 126 connected to the display device 128. いくつかの実施形態では、ディスプレイデバイス124、128は、ヘッドマウント立体視ディスプレイデバイスである。 In some embodiments, the display device 124, 128 is a head-mounted stereoscopic display device. いくつかの実施形態では、再生デバイス122/126とヘッドマウント装置124/128が、共に、再生システムを形成する。 In some embodiments, the playback device 122/126 and head-mounted device 124/128 may together form a playback system.

[00073] 様々な実施形態において、デコーディング装置122、126は、対応するディスプレイデバイス124、128に画像コンテンツを提示する。 [00073] In various embodiments, the decoding apparatus 122 and 126 presents the image content to the corresponding display devices 124 and 128. デコーディング機器/プレーヤ122、126は、コンテンツ配信システム104から受け取られた画像をデコーディングし、デコードされたコンテンツを用いて画像を生成し、ディスプレイデバイス124、128上に、例えば、3D画像コンテンツ等の画像コンテンツを描画することができる装置であり得る。 Decoding device / player 122 and 126, decodes the image received from the content distribution system 104, to generate an image using the decoded content, on the display device 124 and 128, for example, 3D image content or the like It may be able to draw the image content device. デコーディング機器/再生デバイス122、126の何れかは、図8に示されたデコーディング機器/再生デバイス800として使用さえ得る。 Either decoding apparatus / reproducing device 122 and 126, to obtain even used as a decoding apparatus / reproducing device 800 shown in FIG. 図8及び図19に示された装置等のシステム/再生デバイスは6、デコーディング装置/再生デバイス122、126のいずれかとして使用されることができる。 System / reproducing device of the apparatus such as shown in FIGS. 8 and 19 can be 6, it is used either as the decoding apparatus / reproducing device 122, 126.

[00074] 図2Aは、分割されているフル360度立体視シーン等の例示的な立体視シーン200を示す。 [00074] Figure 2A shows an exemplary stereoscopic scene 200 of 360 degrees, such as stereoscopic scene full being divided. 立体視シーンは、単一の映像取り込みプラットフォームまたはカメラマウントに搭載された、例えば、映像カメラ等の複数のカメラから取り込まれる画像データを組み合わせた結果であり得、通常は結果である。 Stereoscopic scene, mounted on a single image capture platform or camera mount, for example, give a result of combining the image data captured from a plurality of cameras such as video cameras, it is usually the result.

[00075] 図2Bは、シーンが、例えば、1つの例示的な実施形態に従って、正面180度部分、左後方90度部分、及び、右後方90度部分等の3つ(N=3)の例示的な部分に分割されている、例示的な立体視シーンの分割されたバージョン250を示す。 [00075] Figure 2B, scene, for example, according to one exemplary embodiment, the front 180 part, left rear 90 degrees moiety, and, examples of three such right rear 90 degrees portion (N = 3) It is divided into partial, showing a divided version 250 of the exemplary stereoscopic scene.

[00076] 図2Cは、1つの例示的な実施形態に従って、4つ(N=4)の部分に分割されている例示的な立体視シーン200の他の分割されたバージョン280を示す。 [00076] Figure 2C, according to one exemplary embodiment, a four (N = 4) other divided version 280 of the exemplary stereoscopic scene 200 that is divided into portions of.

[00077] 図2Bと2Cは2つの例示的な分割を示すが、他の分割が可能であることが理解されるべきである。 [00077] shows the FIG. 2B and 2C are two exemplary division, it should be understood that it is capable of other division. 例えば、シーン200は、12個(N=12)の30度部分に分割され得る。 For example, the scene 200 may be divided into 30-degree portion of the 12 (N = 12). 1つのそのような実施形態では、各部分を個別にエンコードするよりもむしろ、複数の部分が一緒にグループ化され、グループとしてエンコードされる。 In one such embodiment, rather than encoding each part individually, the plurality of parts are grouped together and encoded as a group. 部分の異なるグループは、符号化され、シーンの合計度数に関して同じである各グループのサイズをもつが、ユーザの頭の位置、例えば、0から360度のスケールで測定された視野角、に応じてストリーミングされ得る画像の異なる部分に対応して、エンコードされ、ユーザにストリーミングされ得る。 Different groups of parts, is encoded, but with the size of each group is the same for the total power of the scene, the position of the user's head, for example, depending on the viewing angle, which is measured on a scale from 0 to 360 degrees corresponding to the different parts of streamed may images are encoded, it may be streamed to the user.

[00078] 図3は、1つの例示的な実施形態に従った、例示的な360度立体視シーンをエンコーディングする例示的なプロセスを示す。 [00078] Figure 3 illustrates in accordance with one exemplary embodiment, an exemplary process of encoding an exemplary 360 degree stereoscopic scene. 図3に示された方法300への入力は、例えば、シーンの360度視野を取り込むよう構成された複数のカメラによって取り込まれた360度立体視画像データを含む。 The input to the method 300 shown in FIG. 3 includes, for example, a 360-degree stereoscopic image data captured by multiple cameras that are configured to capture a 360-degree field of view of the scene. 例えば、立体視映像等の立体視画像データは、様々な既知の形式のいずれかであってもよく、ほとんどの実施形態では、3D体験を可能にするために用いられる左と右眼の画像データを含む。 For example, stereoscopic image data, such as stereoscopic video may be any of a variety of known type, in most embodiments, the image data of the left and right eye used to enable 3D experience including. 方法は、立体視映像のために特に適しているが、この中に記載された技術及び方法は、また、例えば、360度または小さいシーン領域の、2D(2次元)画像に適用され得る。 The method is particularly suitable for stereoscopic video, the techniques and methods described herein can also, for example, 360 ° or smaller scene area, may be applied to 2D (2-dimensional) images.

[00079] ステップ304において、シーンデータ302は、例えば、異なる視野方向に対応するN個のシーン領域等の異なるシーン領域に対応するデータに分割される。 In [00079] Step 304, the scene data 302 is, for example, is divided into data corresponding to different scenes regions like the N scene area corresponding to the different view directions. 図2Bに示されたもの等の1つの実施形態において、360度シーン領域は、90度部分に対応する左後方部分、正面180度部分、右後方90度部分といった3つの分割に部分化される。 In one embodiment such as that shown in FIG. 2B, 360 ° scene region is partially of the left rear portion corresponding to the 90-degree portion, the front 180 part, the three divided such right rear 90 degrees portion . 異なる部分は、異なるカメラによって取り込まれていてもよいが、これは必須ではなく、実際には、360度シーンは、図2Bと図2Cに示されるようにN個のシーン領域に分割される前に、複数のカメラから取り込まれたデータから構成されてもよい。 Before different parts may be captured by different cameras, but this is not essential, in fact, 360 ° scene, which is divided into N scene area as shown in Figure 2B and Figure 2C to, may be composed of data taken from a plurality of cameras.

[00080] ステップ306において、異なるシーン部分に対応するデータは、本発明に従ってエンコードされる。 In [00080] Step 306, data corresponding to different scene portions are encoded according to the present invention. いくつかの実施形態では、各シーン部分は、各部分についての複数の可能なビットレートストリームをサポートするために、複数のエンコーダによって独立にエンコードされる。 In some embodiments, each scene portion to support the plurality of possible bit rate stream for each part is encoded independently by a plurality of encoders. ステップ308において、エンコードされたシーン部分は、顧客の再生デバイスにストリーミングするために、例えば、コンテンツ配信システム104のコンテンツ配信サーバ114に、記憶される。 In step 308, the encoded scene part, to stream the playback device customers, for example, the content distribution server 114 of the content distribution system 104, is stored.

[00081] 図4は、例えば、シーンの180度正面部分等の入力画像部分が、同じ入力画像部分の異なるエンコードされたバージョンを生成するために、様々なエンコーダを用いて、どのようにエンコードされるかを示す例を示す図400である。 [00081] Figure 4, for example, an input image portion, such as 180 degrees front portion of the scene, in order to generate different encoded versions of the same input image portion, by using a variety of encoders are encoded how it is a diagram 400 illustrating an example showing Luke.

[00082] 図400に示されるように、例えば、シーンの180度正面部分である入力シーン部402は、エンコーディングのために複数のエンコーダに供給される。 [00082] As shown in FIG. 400, for example, the input scene unit 402 is 180 degrees front part of the scene is supplied to a plurality of encoders for encoding. 例では、異なる解像度をもち、画像コンテンツの異なるデータレートストリームをサポートするためにエンコードされたデータを生成するような異なるエンコーディング技術を用いる、入力データをエンコードするK個の異なるエンコーダがある。 In the example, different have the resolution, using different encoding techniques such as to generate the encoded data to support different data rates streams of image contents, there are K different encoder for encoding input data. 複数のK個のエンコーダは、高精細(high definition:HD)エンコーダ1 404、標準画質(standard definition:SD)エンコーダ2 406、低減されたフレームレートSDエンコーダ3 408、・・・、および、高圧縮の低減されたフレームレートSDエンコーダK 410を含む。 A plurality of K encoder, high-definition (high definition: HD) encoder 1 404, standard definition (standard definition: SD) encoder 2 406, frame rate SD encoder 3 408 are reduced, ..., and, a high compression including a reduced frame rate SD encoder K 410 was the.

[00083] HDエンコーダ1 404は、高ビットレートHDエンコード画像412を生成するためにフル高解像度(HD)エンコーディングを実行するよう構成される。 [00083] HD encoder 1 404 is configured to perform a full High Definition (HD) encoding to generate a high bit rate HD encoded image 412. SDエンコーダ2 406は、入力画像のSDエンコードバージョン2 414を生成するために、低解像度の標準画質エンコーディングを実行するように構成される。 SD encoder 2 406 in order to generate the SD encoded version 2 414 of the input image, configured to perform standard quality encoding for low resolution. 低減されたフレームレートSDエンコーダ3 408は、入力画像の低減されたレートSDエンコードバージョン3 416を生成するために、低減されたフレームレートの低解像度SDエンコーディングを実行するように構成される。 Reduced frame rate SD encoder 3 408 were, in order to generate a rate SD encoding version 3 416 reduced the input image, configured to perform a low-resolution SD encoding of reduced frame rate. 低減されたフレームレートは、例えば、エンコーディングのためにSDエンコーダ2 406によって使用されるフレームレートの半分であってよい。 Reduced frame rate, for example, be a half of the frame rate used by the SD encoder 2 406 for encoding. 高圧縮の低減されたフレームレートSDエンコーダK 410は、入力画像の高度に圧縮された、低減されたレートSDを生成するために、高圧縮での低減されたフレームレート、低解像度SDエンコーディングを実行するように構成される。 Frame rate SD encoder K 410 which reduced the high compression, a highly compressed input image to generate a reduced rate SD, reduced frame rate at high compression, perform a low-resolution SD encoding configured to.

[00084] 従って、データ圧縮のレベルも、単独で、または、1つ以上の所望のデータレートをもってシーン部分に対応するデータストリームを生成するために、空間的及び/または時間的な解像度の制御に加えて、使用され得るように、空間的及び/または時間的解像度の制御は、異なるデータレートのデータストリームと他のエンコーダ設定の制御を生成するために使用され得る。 [00084] Thus, the level of data compression is also alone, or to generate a data stream corresponding to the scene moiety has one or more desired data rate, the spatial and / or control of temporal resolution in addition, as may be used, control of the spatial and / or temporal resolution may be used to generate the control data stream and the other encoder setting different data rates.

[00085] 図5は、3つの例示的な部分に分割された入力立体視シーンの記憶されたエンコードされた部分500を示す。 [00085] Figure 5 shows an encoded portion 500 stored in three exemplary split input stereoscopic scene portion. 記憶されたエンコードされた部分は、例えば、メモリ内のデータ/情報として、コンテンツ配信システム104に記憶され得る。 Stored encoded portion, for example, as the data / information in memory may be stored in the content distribution system 104. 立体視シーンの記憶されたエンコードされた部分500は、エンコード部分の3つの異なる組を含み、各部分は異なるシーン領域に対応し、各組は、対応するシーン部分の複数の異なるエンコードされたバージョンを含む。 Portion 500 that is encoded stored stereoscopic scene includes three different sets of encoded portions, each portion corresponds to a different scene area, each set has a plurality of different encoding of the corresponding scene portion version including. 各エンコードされたバージョンは、エンコードされた映像データのバージョンであり、従って、コード化されている複数のフレームを表す。 Each encoded version is a version of the encoded image data, thus, representing a plurality of frames being coded. 映像であるエンコードされたバージョン510、512、516の各々は複数の時間期間に対応し、ストリーミング時に、再生されている時間期間に対応する、例えば、フレーム等の部分は、伝送目的のために使用されることが理解されるべきである。 Each version 510,512,516 encoded a video corresponding to a plurality of time periods, when streaming, corresponding to a time period that is being reproduced, for example, portions of such frames are used for transmission purposes is the it should be understood.

[00086] 図4に関して図示及び上述されたように、例えば、正面、後方シーン部分等の各シーン部分は、同じシーンの部分のK個の異なるバージョンを生成するために、複数の異なるエンコーダを用いてエンコードされ得る。 [00086] Figure 4 illustrates and as described above with respect to, for example, the front, each scene portion such as rear scene part, in order to generate K different versions of parts of the same scene, with a plurality of different encoders It may be encoded Te. 所与の入力シーンに対応する各エンコーダの出力は、組として共にグループ化され、記憶される。 The output of each encoder corresponding to a given input scene, grouped together as a set, are stored. エンコードされたシーン部分502の第1の組は正面の180度シーン部分に対応し、正面180度のエンコードされたバージョン1 510、正面180度シーンのエンコードされたバージョン2 512、・・・、正面180度シーンのエンコードされたバージョンK 516を含む。 The first set corresponds to a 180-degree scene portion of the front, version 1 510 encoded in the front 180, Version 2 512 encoded in the front 180 degrees scene of the encoded scene portions 502, ..., front including the encoded version K 516 180 degree scene. エンコードされたシーン部分504の第2の組は、例えば、90度左後方部分等のシーン部分2に対応し、90度左後方シーン部分のエンコードされたバージョン1 520、90度左後方シーン部分のエンコードされたバージョン2 522、・・・、90度左後方シーン部分のエンコードされたバージョンK 526を含む。 A second set of encoded scene portion 504, for example, 90 degrees corresponding to the scene part 2 such as the left rear portion, the encoded version 1 520,90 degrees to the left rear scene portions 90 degree left rear scene portion encoded version 2 522, ..., includes a version K 526 encoded in 90-degree left rear scene portions. 同様に、エンコードされたシーンの部分506の第3の組は、例えば、90度右後方シーン部分等のシーン部分3に対応し、90度右後方シーン部分のエンコードされたバージョン1 530、90度右後方シーン部分のエンコードされたバージョン2 532、・・・、90度右後方シーン部分のエンコードされたバージョンK 536を含む。 Similarly, the third set of parts 506 of the encoded scene, for example, corresponds to a scene portion 3, such as 90 degrees to the right rear scene part, version 1 530,90 degree encoded the 90-degree right rear scene portion encoded version 2 532 of the right rear scene portions, ..., includes a version K 536 encoded in 90-degree right rear scene portions.

[00087] 360度シーンの様々な異なる記憶されたエンコーされた部分は、顧客再生デバイスに送るように、様々な異なるビットレートストリームを生成するために使用され得る。 [00087] 360-degree range of different stored encoded portion of the scene, to send to the customer playback device, may be used to produce a variety of different bit rate stream.

[00088] 図6は、例示的な実施形態に従った、画像コンテンツを提供する例示的な方法のステップを示すフローチャート600である。 [00088] Figure 6, according to an exemplary embodiment, a flow chart 600 showing the steps of an exemplary method for providing image content. フローチャート600の方法は、図1に示した取り込みシステムを用いて、いくつかの実施形態において実施される。 The method of flowchart 600, using the acquisition system shown in FIG. 1, is implemented in some embodiments.

[00089] 方法は、例えば、配信システムが電源投入され、初期化されると、ステップ602で開始する。 [00089] The method may, for example, the distribution system is powered on and initialized, it begins at step 602. 方法は、開始ステップ602からステップ604に進む。 The method proceeds from start step 602 to step 604. ステップ604において、例えば、システム104の中のサーバ114等、コンテンツ配信システム104は、例えば以前にエンコードされた番組への、または、ある場合には、例えば、イベントがまだ進行中である間等、リアルタイムまたはほぼリアルタイムでエンコードされ、ストリーミングされているライブイベントへの要求等、コンテンツの要求を受け取る。 In step 604, for example, between like server 114 in the system 104, the content distribution system 104, for example, to a previously encoded the program, or, in some cases, for example, the event is still in progress and the like, Real-time or encoded in near real time, request or the like to a live event being streamed, receiving a request for content.

[00090] 要求に応答して、ステップ606において、サーバ114は、配信のために利用可能なデータレートを決定する。 [00090] In response to the request, in step 606, the server 114 determines the data rate available for delivery. データレートは、サポートされるデータレートを示す要求に含まれた情報から、及び/または、要求している装置にコンテンツを配信するために利用可能である最大帯域幅を示すネットワーク情報等の他の情報から、決定され得る。 Data rate, the supported information contained in the request indicating the data rate is, and / or other such network information indicating the maximum bandwidth that is available for delivering content to the requesting device the information may be determined. 理解されるように、利用可能なデータレートは、ネットワーク負荷に応じて変化し、コンテンツがストリーミングされている時間期間中に変化し得る。 As will be appreciated, the data rate available will vary depending on the network load, the content may change during the time period that is streamed. 変化は、ユーザ装置によって報告され得、または、ネットワークが使用されているデータレートをサポートする困難さを有していること、及び、現在利用可能なデータレートが使用のために利用可能であると決定された元のデータレートより低いことを示すことになる、パケットが欠落されるか所望の時間量を超えて遅延することを示すメッセージまたは信号から検出され得る。 Changes may be reported by the user equipment, or that the network has a difficulty to support data rate being used, and the currently available data rate is available for use it will show a lower determined original data rate, it can be detected from the message or signal indicating that the delay beyond the desired amount of time the packet is missing.

[00091] 動作は、ステップ606からステップ608に進み、例えば、要求の時点での現在の頭の位置等のコンテンツへの要求が初期化されるユーザ装置の現在の頭の位置が0度位置であるようにされる。 [00091] Operation proceeds from step 606 to step 608, for example, at the current head 0 degree position of the user device current request for content such as the position of the head is initialized at the time of the request It is a certain way. 0度または前方を見ている位置は、いくつかの実施形態において、再初期化が起こるべきであることを再生デバイスが信号で知らせて、ユーザによって再初期化され得る。 0 degree or position looking forward, in some embodiments, the playback device to notify the signal that re-initialization should occur, may be re-initialized by the user. 時間が経つにつれて、ユーザの頭の位置、及び/または、例えば元の頭の位置に対するユーザの頭部の位置の変化は、コンテンツ配信システム104に通知され、更新された位置がコンテンツ配信決定を行うために、以下に説明するように使用される。 Over time, the position of the user's head, and / or, for example, a change in position of the user's head with respect to the position of the original head is notified to the content distribution system 104, updated position makes a content distribution decision to be used as described below.

[00092] 動作は、ステップ608から610に進み、要求されたコンテンツに対応する360度シーンの部分が、再生デバイスを初期化するために送られる。 [00092] Operation proceeds from step 608 610, requested portion of the 360-degree scene corresponding to the content is sent to initialize the playback device. 少なくともいくつかの実施形態では、初期化は、例えば、360度シーンがN個の部分に分割されているN個の部分等、シーンデータの360度フルの組を送ることを含む。 In at least some embodiments, initialization, for example, include sending 360 ° scene like N parts that are divided into N parts, 360-degree full set of scene data.

[00093] ステップ610における初期化の結果として、再生デバイスは、360度の可能な視野領域の異なる部分の各々に対応するシーンデータを有する。 [00093] As a result of the initialization in step 610, the playback device has a scene data corresponding to each of the different parts of the 360-degree possible viewing area. 従って、再生デバイスのユーザが突然後方に向いた場合少なくともいくつかのデータは、ユーザが彼の頭を回す前に見ていた部分と同じに最新でない場合でも、ユーザに表示するために利用可能である。 Therefore, at least some of the data when the user of the playback device is directed suddenly backward, even if the user is not the same up-to-date and have parts that look before turning his head, available for display to the user is there.

[00094] 動作は、ステップ610からステップ612とステップ622に進む。 [00094] Operation proceeds from step 610 to step 612 and step 622. ステップ622は、グローバル更新期間毎に少なくとも1回、360度シーン全体の更新されたバージョンを再生デバイスが受け取ることを確実にするために使用される、グローバルシーン更新経路に対応する。 Step 622, at least once every global update period, are used to ensure that the received playback device an updated version of the entire 360-degree scene, corresponding to the global scene update path. ステップ610で初期化されているとして、グローバルな更新プロセスは、所定時間期間の間の待機ステップ622において遅延される。 As has been initialized in step 610, a global update process is delayed in the waiting step 622 for a predetermined time period. そして、ステップ624で、360度のシーン更新が行われる。 Then, in step 624, 360 degrees of the scene update is performed. 破線矢印613は、シーン部分が、ステップ622に対応する補助期間の間に再生デバイスに通信されていた情報の通信を表す。 Dashed arrows 613, the scene part, represents the communication of the information has been communicated to the playback device during the preliminary period that corresponds to the step 622. ステップ624において、360度シーン全体が送信され得る。 In step 624, 360 the entire scene can be transmitted. しかし、いくつかの実施形態では、全てではない部分がステップ624において送信される。 However, in some embodiments, not all parts are transmitted in step 624. 待機期間622の間に更新されるシーンの部分は、いくつかの実施形態において、それらが、ユーザの頭の位置に基づいてシーンの少なくともいくつかの部分を送る通常のストリーミングプロセス中に既にリフレッシュされているので、ステップ624において実行される更新から除かれる。 Part of the scene to be updated during the waiting period 622, in some embodiments, they may already be refreshed during normal streaming process of sending at least some parts of the scene based on the position of the user's head since it is, it is excluded from the update performed in step 624.

[00095] 動作は、ステップ624から待機ステップ622に戻り、待機が、次のグローバル更新の前に実行される。 [00095] Operation returns from step 624 to the standby step 622, waiting is performed before the next global update. なお、ステップ622において使用される待機期間を調節することによって、異なるグローバルリフレッシュレートが使用され得ることが理解されるべきである。 Incidentally, by adjusting the waiting time period used at step 622, it should be understood that different global refresh rates may be used. いくつかの実施形態では、コンテンツサーバは、提供されているシーンコンテンツの種類に基づいて、待機期間を、従って、グローバル基準期間を選択する。 In some embodiments, content server, based on the type of scene content provided, the waiting period, thus, selects the global reference period. 主なアクションが前方に面した領域にあり、リフレッシュのための理由の1つが屋外の照明条件の変化の可能性であるスポーツイベントの場合には、待機期間は、例えば、分または数分のオーダーで、比較的長くすることができる。 In the area where the main action is forward facing, one of the reasons for refreshing but in the case of sporting events is the potential for outdoor lighting conditions change, the waiting period, for example, minutes or minutes order in, it can be relatively long. アクションや観衆の行動が異なる曲が演じられる度に頻繁に変わり得るロックコンサートの場合において、ユーザは、振り向き、観衆のリアクションを見て、正面のステージ視野領域で進行中のことに加えて、観衆に起きていることの雰囲気を得たいので、グローバルリフレッシュレートはスポーツイベントのためよりも高くあり得る、いくつかの実施形態ではそうある。 In the case of a rock concert the action of the action and spectators may vary frequently every time played a different song, the user, it turned around, look at the reaction of the crowd, in addition to in-progress stage viewing area in front of crowd We want to give the atmosphere of what is happening in the global refresh rate may be higher than for sports events, so there is in some of the embodiments.

[00096] いくつかの実施形態では、グローバル参照期間は、ストリーミングされるプレゼンテーションの部分の関数として変更される。 [00096] In some embodiments, global reference period is changed as a function of the portion of the presentation to be streamed. 例えば、スポーツイベントのゲーム部分の間、グローバルリフレッシュレートが比較的低いが、タッチダウン後のしばらくの間、または、イベントにおける人または再生デバイスを介してイベントを見ている人が前方の主たる領域から彼または彼女の頭の向きを変える可能性が高いタイムアウトまたは休憩の間は、グローバル基準レートは、ステップ622で使用される、例えば、リフレッシュ期間制御等の待機時間を減らすことによって、増加することができる。 For example, during the game part of the sports event, but a relatively low global refresh rate, some time after touchdown, or, a person looking at the event through a human or playback device from a main area of ​​the front in the event during his or her head orientation likely timeout or breaks changing the global reference rate is used in step 622, for example, by reducing the waiting time of the refresh period control, etc., to increase it can.

[00097] グローバルリフレッシュプロセスがステップ622及び624を参照して説明されているが、シーンの部分の通常の供給が記載される。 [00097] Although the global refresh process is described with reference to steps 622 and 624, it is described normal supply of parts of the scene. 理解されるように、シーンまたはシーン部分の通常のリフレッシュは、サポートされている映像フレームレートで、データレートが可能にして、少なくとも一部について起こる。 As will be appreciated, the normal refresh scene or scene portion, at video frame rates supported, to allow data rate occurs for at least some. 従って、少なくとも1つのフレーム部分について、例えば、彼または彼女の頭が向いていることを示されている部分は、利用可能なデータレートが十分であると想定すると、フル映像ストリーミングフレームレートで供給される。 Thus, for at least one frame part, for example, his or her part head shown that is facing, when the data rate available is assumed to be sufficiently supplied with full video streaming frame rate that.

[00098] ステップ612において、シーンの部分は、ユーザの、例えば、視野角度等の示された頭の位置に基づいて提供されるために選択される。 [00098] In step 612, the portion of the scene, the user, for example, is selected to be provided based on the position of the indicated Intelligent viewing angle and the like. 選択された部分は、例えば、定期的なベースで、再生装置に、例えば、ストリーミングされる等、送信される。 Selected portion, for example, on a regular basis, the reproducing apparatus, for example, like to be streamed and transmitted. 部分に対応するデータがストリーミングされるレートは、いくつかの実施形態において、映像フレームレートに依存する。 Rate at which data is streamed corresponding to the portion, in some embodiments, depending on the video frame rate. 例えば、少なくとも1つの選択された部分は、サポートされているフルフレームレートでストリーミングされる。 For example, at least one selected portion is streamed at full frame rate supported. 少なくとも1つのシーン部分がステップ612で選択されるが、例えば、ユーザが面しているシーン部分並びに次に最も近いシーン部分等の複数のシーン部分が、通常、選択される。 At least one scene portions is selected in step 612, for example, a scene portion and a plurality of scenes portions such as nearest scene section to the next user is facing is usually selected. 追加のシーン部分も選択され、利用可能なデータレートが複数のフレーム部分の通信をサポートするのに十分である場合に供給され得る。 Additional scene portion is also selected, may be supplied when the data rate available is sufficient to support communication of a plurality of frame sections.

[00099] ストリーミングされるべきシーン部分がステップ612で選択された後、動作はステップ614に進み、例えば、利用可能なデータレートやユーザの視野位置に基づいて、選択されたストリーム部分のエンコードバージョンが選択される。 [00099] After the scene part to be streamed has been selected at step 612, operation proceeds to step 614, for example, based on the field position of the available data rate and the user, the encoding version of the selected stream portion It is selected. 例えば、現在報告されている頭の部分によって示されるような、ユーザが面しているシーン部分のフルレート高解像度バージョンが、通常、ストリーミングされ得る。 For example, as indicated by the portion of the head that is currently reported, full-rate high-resolution version of the scene portions which the user is facing is usually be streamed. 現在の頭の位置の左及び/または右への1つ以上のシーン部分は、現在見られていないシーンを送信するために必要とされる帯域幅の量を低減する、より低い解像度、より低い時間レート、または、他のエンコーディング手法を用いるとして、ストリーミングされるように選択され得る。 Left and / or one or more scenes portion to the right of the current position of the head reduces the amount of bandwidth required to transmit a scene that is not currently being viewed, lower resolution, lower time rate or, as use other encodings techniques may be selected to be streamed. 隣接するシーン部分のエンコードバージョンの選択は、現在見られているシーン部分の高品質バージョンが送信された後にストリーミングする帯域幅の量に依存する。 Selection encoding version of adjacent scene parts, high-quality version of the scene portions being viewed currently is dependent on the amount of bandwidth to stream after transmission. 現在見られていないシーン部分が、より低い解像度のエンコードバージョンとして、または、フレーム間のより大きな時間的間隔をもったエンコードバージョンとして送られ得るが、フル解像度の高品質バージョンは、利用可能な十分な帯域幅がある場合、定期的に、または、頻繁に送られ得る。 Scene part not seen currently, as the encoding versions lower resolution, or, but may be sent as encoded version having a greater time interval between frames, high-quality version of the full resolution available sufficient If there is a bandwidth it may periodically, or, frequently sent.

[000100] ステップ616において、選択されたシーン部分の選択されたエンコードバージョンが、コンテンツを要求した再生デバイスに送られる。 [000100] In step 616, the selected encoded version of the selected scene portion is sent to a playback device that requested the content. 従って、ステップ616において、例えば、複数の連続したフレームに対応する立体視映像コンテンツ等の1つ以上の部分に対応するエンコードされたコンテンツが、再生デバイスにストリーミングされる。 Accordingly, in step 616, for example, encoded content corresponding to one or more portions, such as stereoscopic video content corresponding to a plurality of consecutive frames are streamed to the playback device.

[000101] 動作はステップ616からステップ618に進み、ユーザの現在の頭の位置を示す情報が受け取られる。 [000101] Operation proceeds from step 616 to step 618, information indicating the current position of the head of the user is received. この情報は、定期的に、及び/または、頭の位置の変化を検出することに応答して再生デバイスから送られ得る。 This information is periodically and / or, in response to detecting a change in the position of the head may be sent from the playback device. 頭の位置の変化に加えて、利用可能なデータレートの変化が、何のコンテンツがストリーミングされるかに影響し得る。 In addition to changes in the position of the head, changes in the data rate available is, what content can affect either streaming. 動作は、ステップ618からステップ620に進み、再生デバイスへのコンテンツ配信のために使用することができる現在のデータレートの決定がなされる。 Operation proceeds from step 618 to step 620, determining the current data rate that can be used for content delivery to the playback device is made. 従って、コンテンツ配信システムは、要求している装置へのストリーミングをサポートするために利用可能な帯域幅の量の変化を検出することができる。 Accordingly, the content distribution system may be used to detect changes in the amount of available bandwidth to support streaming to requesting device.

[000102] 動作はステップ620からステップ612に進み、コンテンツが配信されきる、例えば、番組またはイベントの終了、まで、または、コンテンツを要求した再生デバイスから、セッションが終了されるべきであることを示す信号が受け取られるまで、または、再生デバイスがもはやコンテンツサーバ114との通信状態にないことを示す、頭の位置更新が検出される等の再生デバイスからの期待される信号を受けることに失敗するまで、ストリーミングが継続する。 [000102] Operation proceeds from step 620 to step 612, content as possible is delivered, for example, indicates that the end of the program or event, or until, that is from the playback device that requested the content, to the session is terminated until the signal is received, or until the failure to receive the expected signal from the playback device or the like indicating that no in communication with the content server 114 playback device anymore, the location update of the head is detected , streaming continues.

[000103] 上述の方法で配信されたシーンデータから、再生デバイスは、ユーザが彼または彼女の頭を素早く回した場合に表示するために、それに利用可能な各シーン部分に対応する少なくともいくつかのデータを有する。 [000103] from the scene data distributed in the manner described above, the reproduction device, in order to display when the user has turned quickly his or her head, at least some of which correspond to each scene portion available to it with the data. ユーザが彼らの頭を非常に短い時間期間で完全に回すことは、これが多くの人にとって見る位置における不快な変化であるので、めったにないことが理解されるべきである。 The user is completely turn it in a very short period of time their head, because this is an unpleasant change in the position to see for many people, it should be rarely is understood. 従って、フル360度シーンが常時送信されていないが、所与の時間に見られる可能性が最も高いシーン部分(または、複数の部分)の高品質バージョンがストリーミングされ、ユーザに利用可能にされる。 Thus, although a full 360-degree scene has not been transmitted at all times, the highest scene section may be seen at any given time (or, more parts) High-quality version of the streaming is available to the user .

[000104] エンコーディングプロセスは、シーンのN個の部分が、各個々のユーザのために別々にコンテンツをエンコードする必要なく、異なるユーザに対して異なって送信され、処理されることを可能にするので、コンテンツ配信システム104は、多くの数の同時のユーザをサポートすることができる。 [000104] Encoding process, N number of partial scene separately without the need to encode the content for each individual user, are transmitted differently for different users, because it allows to be processed , the content distribution system 104 may support the concurrent users of many numbers. 従って、スポーツまたは他のイベントのリアルタイムまたはほぼリアルタイムのストリーミングを可能にするために、リアルタイムエンコーディングをサポートするように、いくつかの並列エンコーダが使用され得るが、使用されるエンコーダの数は、コンテンツがストリーミングされる再生デバイスの数よりもはるか少なくなる傾向がある。 Therefore, in order to allow for real-time or near real-time streaming of sports or other events, to support real-time encoding, although several parallel encoders may be used, the number of encoders used, the content there is much less tendency than the number of playback devices to be streamed.

[000105] コンテンツの部分は360度視野に対応する部分として記載されるが、シーンは、いくつかの実施形態では、また、垂直方向の次元を有する空間の平坦化バージョンを表し得る、及び、いくつかの実施形態では表すことが理解されるべきである。 [000105] portion of the content is described as a portion corresponding to the 360-degree field of view, scenes, in some embodiments, also may represent a flattened version of the space having a vertical dimension, and a number it should be understood that expressed in Kano embodiment. 再生デバイスは、例えば、宇宙等の3D環境のモデルを使用してシーン部分をマッピングし、垂直方向の視野位置に合わせて調整することができる。 Playback device, for example, may use the model of the 3D environment, such as space mapping a scene portion to adjust the viewing position in the vertical direction. 従って、本願で検討されている360度は、ユーザが、彼の凝視レベルを保持しながら、彼の視野角を左または右に変えたかのように、水平に関する頭の位置をいう。 Therefore, the 360-degree being considered in this application, the user, while holding his gaze level, as if his viewing angle was changed to the left or right, refer to the position of the head about the horizontal.

[000106] 図7は、本発明の態様に従って、コンテンツをエンコードし、ストリーミングするために使用され得るエンコード能力をもった例示的なコンテンツ配信システム700を示す。 [000106] FIG. 7, in accordance with aspects of the present invention, encodes the content, shows an exemplary content delivery system 700 having an encoding capacity that may be used for streaming.

[000107] システムは、本発明の態様に従って、エンコーディング、記憶、及び、送信、及び/または、コンテンツ出力を実行するために使用され得る。 [000107] The system in accordance with aspects of the present invention, encoding, storage, and transmission, and / or may be used to perform content output. いくつかの実施形態では、システム700、または、その中の要素は、図6に示されたプロセスに対応する動作を実行する。 In some embodiments, system 700, or elements therein, executes an operation corresponding to the process illustrated in FIG. コンテンツ配信システム700は、図1のシステム104として使用され得る。 Content distribution system 700 may be used as the system 104 of FIG. 図7に示されたシステムはコンテンツのエンコーディング、処理、及び、ストリーミングのために使用されるが、システム700は、また、例えば、オペレータに、処理され及び/またはエンコードされた画像データを、デコードし、表示する機能を含み得ることが理解されるべきである。 The system shown in encoding of the content in FIG. 7, process, and, are used for streaming, the system 700 may also, for example, the operator is processed and / or the encoded image data and decodes it should be understood that may include a function of displaying.

[000108] システム700は、ディスプレイ702、入力デバイス704、入力/出力(I/O)インターフェース706、プロセッサ708、ネットワークインターフェース710、及び、メモリ712を含。 [000108] System 700, including a display 702, input device 704, an input / output (I / O) interface 706, a processor 708, a network interface 710, and memory 712. システム700の様々なコンポーネントは、システム700のコンポーネント間でデータが通信されることを可能にするバス709を介して共に接続される。 The various components of system 700 are connected together via a bus 709 that allow data to be communicated between components of the system 700.

[000109] メモリ712は、プロセッサ708によって実行されたとき、システム700を、本発明に従った、分割、エンコーディング、記憶、及び、ストリーミング/送信、及び/または、出力動作を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。 [000109] Memory 712, when executed by the processor 708, the system 700, according to the present invention, division, encoding, storage, and streaming / transmission, and / or controls to implement the output operation, for example, including various modules routines like.

[000110] メモリ712は、プロセッサ708によって実行されたとき、コンピュータシステム700を、本発明に従った、没入型立体視映像取り込み、エンコーディング、記憶、及び、送信及びまたは出力の方法を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。 [000110] Memory 712, when executed by the processor 708, the computer system 700, in accordance with the present invention, immersive stereoscopic image capture, encoding, storage, and control so as to implement the method of transmission and or output to, for example, include various modules routines like. メモリ712は、制御ルーチン714、分割モジュール716、エンコーダ(または、複数のエンコーダ)718、ストリーミング制御部720、例えば、シーンの360度立体視映像等の受け取られた入力画像732、エンコードされたシーン部分734、及び、タイミング情報736を含む。 Memory 712, the control routine 714, the segmentation module 716, the encoder (or, more encoders) 718, a streaming control unit 720, for example, an input image 732 received the like 360 ​​degree stereoscopic image of the scene, the encoded scene portion 734, and includes timing information 736. いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実装される。 In some embodiments, the module is implemented as a software module. 他の実施形態では、モジュールは、モジュールが対応する機能を実行する回路として各モジュールが実装される、例えば、個別の回路として等、ハードウェアで実装される。 In another embodiment, the module, the module each module is implemented as a circuit for performing a corresponding function, for example, such as a separate circuit, implemented in hardware. 更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。 In yet another embodiment, the module is implemented using a combination of software and hardware.

[000111] 制御ルーチン714は、システム700の動作を制御するために装置制御ルーチンと通信ルーチンを含む。 [000111] control routine 714 includes communications routines with device control routine for controlling the operation of the system 700. 分割モジュール716は、本発明の態様に従って、シーンの受け取られた立体視360度バージョンをN個のシーン部分に分割するように構成される。 Split module 716, in accordance with aspects of the present invention, configured to divide scenes the received stereoscopic 360 version into N scene portions.

[000112] エンコーダ(または、複数のエンコーダ)718は、本発明の態様に従って、例えば、シーンの360度バージョン及び/または1つ以上のシーン部分等の受け取られた画像コンテンツをエンコードするように構成された複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。 [000112] Encoder (or, more encoders) 718, in accordance with aspects of the present invention, for example, it is configured to encode the image content received with such 360-degree version and / or one or more scenes portion of the scene It may include a plurality of encoders, and includes in some embodiments. いくつかの実施形態において、エンコーダ(または、複数もエンコーダ)は、各々のエンコーダが、所与のビットレートストリームをサポートするために立体視シーン及び/または分割されたシーン部分をエンコードするように構成されている、複数のエンコーダを含む。 In some embodiments, the encoder (or, s encoders), each encoder configured to encode a stereoscopic scene and / or divided scene portion to support a given bit rate stream It is, including a plurality of encoders. 従って、いくつかの実施形態において、各シーン部分は、各シーンについて複数の異なるビットレートストリームをサポートするために複数のエンコーダを用いてエンコードされ得る。 Thus, in some embodiments, each scene portion may be encoded using a plurality of encoders to support a plurality of different bit rate stream for each of the scenes. エンコーダ(または、複数のエンコーダ)718の出力は、例えば、再生デバイス等の顧客装置へのストリーミングのためにメモリに記憶されるエンコードされたシーン部分734である。 Encoder (or, more encoders) output of 718, for example, a scene portion 734 which is encoded and stored in memory for streaming to customer equipment such as a playback device. エンコードされたコンテンツは、ネットワークインターフェース710を介して1つ以上の異なる装置にストリーミングされ得る。 The encoded content may be streamed to one or more different devices via the network interface 710.

[000113] ストリーミング制御部720は、例えば、通信ネットワーク105上で、エンコードされた画像コンテンツを1つ以上の顧客装置に配信するためのエンコードされたコンテンツのストリーミングを制御するために構成される。 [000113] streaming control unit 720, for example, configured to control over the communication network 105, a streaming encoded content for distributing encoded image content to one or more customer devices. 様々な実施形態において、フローチャート600の様々なステップは、ストリーミング制御部720の様相によって実装される。 In various embodiments, various steps of flowchart 600 is implemented by aspects of the streaming control unit 720. ストリーミング制御部720は、要求処理モジュール722、データレート決定モジュール724、現在の頭の位置決定モジュール726、選択モジュール728、及び、ストリーミング制御モジュール730を含む。 Streaming control unit 720, the request processing module 722, the data rate determination module 724, a position determining module 726 of the current head, the selection module 728 and, includes streaming control module 730. 要求処理モジュール722は、顧客再生装置からの受け取られた画像コンテンツの要求を処理するように構成される。 Request processing module 722 is configured to process requests of the received image content from the customer reproducing apparatus. 様々な実施形態において、コンテンツの要求は、ネットワークインターフェース710における受信器を介して受け取られる。 In various embodiments, the request for content is received via the receiver in the network interface 710. いくつかの実施形態において、コンテンツの要求は、要求している再生デバイスの特定を示す情報を含む。 In some embodiments, a request for content includes information indicating a specific playback device requesting. いくつかの実施形態において、コンテンツの要求は、顧客再生デバイスによってサポートされるデータレート、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を含み得る。 In some embodiments, a request for content data rates supported by the customer playback device, for example, may include the position of the current head of the user such as the position of the head-mounted display. 要求処理モジュール722は、受け取られた要求を処理し、更なるアクションをとるために、ストリーミング制御部720の他の要素に受け取られた情報を提供する。 Request processing module 722 processes the requests received, in order to take further action, providing information received to other elements of the streaming control unit 720. コンテンツの要求は、データレート情報と現在の頭の位置情報を含み得るが、様々な実施形態において、再生デバイスによりサポートされるデータレートは、ネットワークテスト、及び、システム700と再生デバイスとの間の他のネットワーク情報交換から決定され得る。 Request for content, which may include data rate information and the positional information of the current head, in various embodiments, the data rates supported by the playback device, between the network test, and a system 700 and playback device It may be determined from other network information exchange.

[000114] データレート決定モジュール724は、顧客装置に画像コンテンツをストリーミングするよう構成され、例えば、複数のエンコードされたシーン部分がサポートされるので、コンテンツ配信システム700は、複数のデータレートで、コンテンツを顧客装置にストリーミングすることをサポートし得る。 [000114] Data rate determination module 724 is configured to stream the image content to the customer device, for example, since a plurality of the encoded scene portion is supported, the content distribution system 700, a plurality of data rates, the content may support that the streaming to the customer equipment. データレート決定モジュール724は、更に、システム700からのコンテンツを要求している再生デバイスによってサポートされるデータレートを決定するように構成される。 Data rate determination module 724 is further configured to determine the data rates supported by the playback device requesting the content from the system 700. いくつかの実施形態において、データレート決定モジュール724は、ネットワーク測定に基づいて、画像コンテンツの配信のための利用可能なデータレートを決定するように構成される。 In some embodiments, data rate determination module 724, based on network measurements, configured to determine a data rate available for delivery of the image content.

[000115] 現在の頭の位置決定モジュール726は、再生デバイスから受け取られた情報から、例えば、ヘッドマウントディスプレイの位置等、ユーザの現在の視野角及び/または現在の頭の位置を決定するように構成される。 [000115] location determining module 726 of the current head, the information received from the playback device, for example, the position of the head-mounted display, so as to determine the current viewing angle and / or position of the current head of the user constructed. いくつかの実施形態において、再生デバイスは、定期的に、現在の頭の位置情報をシステム700に送り、そこでは、現在の頭の位置決定モジュール726が、現在の視野角、及び/または、現在の頭の位置を決定するために、情報をadプロセス(ad processes)で受け取る。 In some embodiments, the playback device may periodically send the position information of the current head system 700, where the position determination module 726 of the current head, the current viewing angle, and / or the current to the determine the position of the head, receives information in ad process (ad processes).

[000116] 選択モジュール728は、ユーザの現在の視野角/頭の位置情報に基づいて、360度シーンのどの部分を再生デバイスにストリーミングするかを決定するように構成される。 [000116] Selection module 728, based on the position information of the current viewing angle / head of the user, configured to determine whether streaming playback device which portion of the 360-degree scene. 選択モジュール728は、更に、コンテンツのストリーミングをサポートするために利用可能なデータレートに基づいて、決定されたシーン分のエンコードバージョンを選択するように構成される。 Selection module 728 is further based on the data rate available to support streaming content, configured to select the determined encoded version of the scene content.

[000117] ストリーミング制御部730は、本発明の態様に従って、様々なサポートされたデータレートで、例えば、360度立体視シーンの複数の部分等の画像コンテンツのストリーミングを制御するように構成される。 [000117] streaming controller 730, in accordance with aspects of the present invention, a variety of supported data rates, for example, configured to control the streaming image content such as a plurality of portions of 360-degree stereoscopic scene. いくつかの実施形態において、ストリーミング制御モジュール730は、再生装置におけるシーンメモリを初期化するために、コンテンツを要求している再生装置に360度立体視シーンのストリームのN部分を制御するように構成される。 In some embodiments, the streaming control module 730 to initialize the scene memory in the playback device, configured to control the N portion of the stream of 360-degree stereoscopic scene playback device requesting the content It is. 様々な実施形態において、ストリーミング制御モジュール730は、例えば、決定されたレート等で、定期的に、決定されたシーン部分の選択されたエンコードバージョンを送るように構成される。 In various embodiments, the streaming control module 730, for example, at the determined rate, etc., periodically, configured to send the selected encoded version of the determined scene portions. いくつかの実施形態では、ストリーミング制御モジュール730は、更に、例えば、毎分に1回等の時間間隔に応じて、再生装置に360度シーン更新を送るように構成される。 In some embodiments, the streaming control module 730 may further, for example, depending on the time interval, such as once every minute, configured to send a 360-degree scene update the playback apparatus. いくつかの実施形態において、360度シーン更新を送ることは、フル360度立体視シーンのN個のシーン部分またはN−X個のシーン部分を送ることを含み、ここで、Nは、フル360度立体視シーンが分割されている総数であり、Xは、最近再生装置に送られた、選択されたシーン部分を表す。 In some embodiments, the sending 360 ° scene update includes sending the N scenes moiety or N-X-number of the scene portions of the full 360-degree stereoscopic scene, where, N is a full 360 the total number of degrees stereoscopic scene is divided, X is sent to the recently playback device, representing the selected scene portion. いくつかの実施形態において、ストリーミング制御モジュール730は、360度シーン更新を送る前に初期化のために最初にN個のシーン部分を送った後、所定の時間の間待機する。 In some embodiments, the streaming control module 730, after first sending the N-number of the scene section, and waits for a predetermined time to initialize before sending a 360-degree scene update. いくつかの実施形態において、360度シーン更新の送りを制御するためのタイミング情報は、タイミング情報736に含まれる。 In some embodiments, the timing information for controlling the feed of 360 degrees scene update is included in the timing information 736. いくつかの実施形態において、ストリーミング制御モジュール730は、更に、リフレッシュ間隔中に再生デバイスに送信されていないシーン部分を特定し、リフレッシュ間隔中に再生デバイスに送信されなかった特定されたシーン部分の更新バージョンを送信するように構成される。 In some embodiments, the streaming control module 730 is further configured to identify the scene portions that have not been transmitted to the playback device during a refresh interval, updated transmission have not been identified scene portion playback device during a refresh interval configured to send the version.

[000118] 様々な実施形態において、再生デバイスが、各リフレッシュ期間の間に少なくとも1度、前記シーンの260度バージョンをフルにリフレッシュすることを可能にするために、ストリーミング制御モジュール730は、定期的なベースで、再生デバイスにN個の部分の少なくとも十分な数を通信するように構成される。 [000118] In various embodiments, the playback device, at least once during each refresh period, in order to be able to refresh the 260-degree version of the scene to the full, the streaming control module 730 periodically in a base configured to communicate at least a sufficient number of N portions in the playback device.

[000119] 図8は、本発明に従って実装された再生システム800を示し、図1と7に示されたものように、コンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、表示するために使用され得る。 [000119] Figure 8 shows a reproduction system 800 implemented in accordance with the present invention, as that shown in FIG. 1 and 7, the image content received from the content distribution system, receives, decodes, and stores, It may be used to display. システム800は、ディスプレイ802を含む単一の再生デバイス800'として、または、コンピュータシステム800に接続された、例えば、ヘッドマウントディスプレイ805等の外部ディスプレイ等の要素の組み合わせとして実装され得る。 System 800, as a single playback device 800 'that includes a display 802, or, connected to the computer system 800, for example, may be implemented as a combination of elements such as an external display such as a head-mounted display 805.

[000120] 少なくともいくつかの実施形態において、再生システム800は、3Dヘッドマウントディスプレイ含む。 [000120] In at least some embodiments, the reproduction system 800 includes 3D head-mounted display. ヘッドマウントディスプレイは、ヘッドマウントディスプレイ805を含み得る、OCULUS社のRIFT(商標)のVR(virtual reality)ヘッドセットを用いて実装され得る。 Head-mounted display may include a head-mounted display 805 may be implemented using a VR (virtual reality) headsets OCULUS Inc. RIFT (TM). 他のヘッドマウントディスプレイも使用され得る。 Other head-mounted display may also be used. いくつかの実施形態では、ヘッドマウントヘルメットまたは他のヘッドマウントデバイスは、1つ以上のディスプレイスクリーンが、ユーザの左と右の眼にコンテンツを表示するために使用される。 In some embodiments, the head-mounted helmet or other head-mounted devices, one or more display screens are used to display the content on the left and right eye of the user. 単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別々に知覚される左と右の眼の画像を表示するために使用され得る。 By displaying different images to the left and right eye on a single screen, a single display, displays an image of the left and right eye is perceived differently by the left and right eye of the viewer It may be used for. いくつかの実施形態において、セルフォンスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。 In some embodiments, the cell phone screen is used as a display of the head mounted display device. 少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウント装置に挿入され、セルフォンは、画像を表示するために使用される。 In at least some such embodiments, the cellphone is inserted into the head-mounted device, cellphone is used to display an image.

[000121] 再生システム800は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像及び/またはモノ(単一の画像)等の受け取られたエンコード画像データをデコードし、例えば、3D画像としてユーザによって知覚される異なる左と右の眼の視野を描画し、表示することによって、顧客への表示のために3D画像コンテンツを生成する能力を有する。 [000121] playback system 800, for example, decodes the encoded image data received of such left and right eye images and / or mono (single image) corresponding to the different parts of the environment or scene, for example, the field of view of the different left and right eye perceived drawn by the user as a 3D image, by displaying, with the ability to generate 3D image content for display to the customer. いくつかの実施形態において、再生システム800は、家庭やオフィス等の顧客宅内場所に配置されるが、同様に、画像取り込みサイトに配置されてもよい。 In some embodiments, the reproduction system 800, but are located at the customer premises locations, such as homes and offices, as well, may be disposed in the image capture site. システム800は、本発明に従って、信号受信、デコーディング、表示、及び/または、他の動作を実行することができる。 System 800, in accordance with the present invention, the signal reception, decoding, displaying, and / or may perform other operations.

[000122] システム800は、ディスプレイ802、ディスプレイデバイスインターフェース803、入力デバイス804、入力/出力(I/O)インターフェース806、プロセッサ808、ネットワークインターフェース810、及び、メモリ812を含む。 [000122] System 800 includes a display 802, a display device interface 803, an input device 804, an input / output (I / O) interface 806, a processor 808, a network interface 810, and memory 812. システム800の様々なコンポーネントは、データがシステム800のコンポーネント間で通信されることを可能にするバス809を介して、及び/または、他の接続によって、または、無線インターフェースを介して、共に接続される。 The various components of system 800, data via a bus 809 that allows it to be communicated between components of system 800, and / or by other connection, or via a radio interface, are connected together that. いくつかの実施形態において、ディスプレイ802は、破線の枠を用いて図示されているように、オプションとしての要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス805が、ディスプレイデバイスインターフェース803を介して再生デバイスに接続され得る。 In some embodiments, the display 802, as illustrated with a dashed box, is included as elements of an optional, in some embodiments, for example, such as head-mounted stereoscopic display device external display device 805 may be connected to the playback device via a display device interface 803.

[000123] 例えば、セルフォンプロセッサがプロセッサ808として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合に、システムは、ヘッドマウント装置の部分として、プロセッサ808、ディスプレイ802、及び、メモリ812を含み得る。 [000123] For example, the cell phone processor is used as the processor 808, when the cell phone generates an image in the head-mounted displays, the system, as part of the head-mounted device, a processor 808, a display 802, and memory 812 It may include. プロセッサ808、ディスプレイ802、及び、メモリ812は、全て、セルフォンの部分であってよい。 Processor 808, display 802 and memory 812 may all be part of the cell phone. システム800の他の実施形態において、プロセッサ808は、ディスプレイ805がヘッドマウント装置に搭載され、ゲームシステムに接続されている、XBOX、または、PS4等のゲームシステムの部分であってよい。 In another embodiment of the system 800, processor 808, display 805 is mounted on the head-mounted device, which is connected to the game system, XBOX, or may be a part of the game system, such as PS4. プロセッサ808またはメモリ812が、頭部に装着される装置に設けられるか否かは重要なことではなく、理解され得るように、いくつかの場合において、ヘッドギアにプロセッサを共に設けることは便利かもしれないが、少なくともいくつかの場合には、電力、熱、及び、重量の観点から、ディスプレイを含むヘッドギアにプロセッサ808とメモリ812を接続されるようにすることが望ましくあり得る。 Processor 808 or memory 812, not that important whether provided in the apparatus to be worn on the head, as can be appreciated, in some cases, may conveniently be provided together processors headgear no, but in at least some cases, power, heat, and, in terms of weight, it may be desirable to be connected to a processor 808 and memory 812 to the headgear including a display.

[000124] 様々な実施形態がヘッドマウントディスプレイ805または802を想定しているが、方法および装置は、また、3D画像をサポートすることができるヘッドマウントでないディスプレイで使用され得る。 [000124] While various embodiments have assumed head-mounted display 805 or 802, the method and apparatus also can be used in the display is not the head mount can support the 3D image. 従って、多くの実施形態において、システム800はヘッドマウントディスプレイを含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。 Thus, in many embodiments, the system 800 but includes a head-mounted display, it may also be implemented using a display not head-mounted.

[000125] メモリ812は、プロセッサ808によって実行されたとき、再生デバイス800を、本発明に従ったデコーディングと出力動作を実行するように制御する、例えば、ルーチン等の様々なモジュールを含む。 [000125] Memory 812 includes when executed by the processor 808, the playback device 800 is controlled so as to perform the decoding and output operation in accordance with the present invention, for example, the various modules of the routines and the like. メモリ812は、制御ルーチン814、コンテンツの要求生成モジュール816、頭の位置及び/または視野角決定モジュール818、デコーダモジュール820、3D画像生成モジュールとも呼ばれる立体視画像描画モジュール822、受け取られたエンコードされた画像コンテンツ824を含むデータ/情報、デコードされた画像コンテンツ826、360度のデコードされたシーンバッファ828、及び、生成された立体視コンテンツ830を含む。 Memory 812, the control routine 814, the request generating module 816 of the content, head position and / or viewing angle determination module 818, the stereoscopic image rendering module 822 also referred to as decoder module 820,3D image generation module, encoded received data / information including image content 824, scene buffer 828 the decoded image content 826,360 degrees decoded, and includes the generated stereoscopic content 830.

[000126] 制御ルーチン814は、デバイス800の動作を制御するために、制御ルーチンと通信ルーチンを含む。 [000126] control routine 814 for controlling the operation of the device 800, including communication routines and control routine. 要求生成モジュール816は、コンテンツを提供するためのコンテンツ配信システムに送るために、コンテンツ要求を生成するように構成される。 Request generation module 816, to send the content distribution system for providing content, configured to generate a content request. 様々な実施形態において、コンテンツの要求は、ネットワークインターフェース810を介して送られる。 In various embodiments, the request for content is sent via the network interface 810. 頭の位置及び/または視野角決定モジュール818は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の視野角及び/または現在の頭の位置を決定し、決定された位置及び/または視野角情報をコンテンツ配信システム700に報告するよう構成される。 Location and / or viewing angle determination module 818 of the head, for example, the current viewing angle and / or to determine the position of the current head, the determined position and / or the viewing angle information of the user such as the position of the head-mounted display a configured to report to the content delivery system 700. いくつかの実施形態では、再生デバイス800は、定期的に、現在の頭の位置情報をシステム700に送る。 In some embodiments, the playback device 800 periodically sends the location information of the current head system 700.

[000127] デコーダモジュール820は、デコードされた画像データ826を生成するために、エンコードされた画像コンテンツ824をデコードするよう構成される。 [000127] Decoder module 820, in order to generate the image data 826 is decoded, configured to decode the image content 824 encoded. デコードされた画像データ826は、デコードされた立体視シーン及び/またはデコードされたシーン部分を含み得る。 Image data 826 which has been decoded may include a decoded stereoscopic scene and / or decoded scene portions.

[000128] 3D画像描画モジュール822は、ディスプレイ802及び/またはディスプレイデバイス805上でのユーザへの表示のために、例えば、デコードされた画像コンテンツ826を使用して、本発明の態様に従って、3D画像として知覚される方法で表示される、例えば、左と右の眼の画像といった3D画像を生成する。 [000128] 3D image rendering module 822 for display to the user on display 802 and / or display device 805, for example, using image content 826 which is decoded in accordance with an aspect of the present invention, 3D image displayed in a way that is perceived as being, for example, to generate a 3D image such as the left and right eye images. 生成された立体視画像コンテンツ830は、3D画像生成モジュール822の出力である。 Generated stereoscopic image content 830 is the output of the 3D image generation module 822. 従って、描画モジュール822は、ディスプレイに3D画像コンテンツ830を描画する。 Accordingly, the drawing module 822 draws the 3D image content 830 on the display. いくつかの実施形態において、ディスプレイデバイス805は、Oculus社のRift等の3Dディスプレイ機器の部分であってよい。 In some embodiments, the display device 805 may be a part of the 3D display apparatus such as Rift of Oculus Corporation. 再生デバイス800のオペレータは、入力デバイス804を介して1つ以上のパラメータを制御し、及び/または、例えば、3Dシーンを表示するために選択する等、実行されるべき動作を選択し得る。 The operator of the playback device 800 can control one or more parameters via the input device 804, and / or, for example, equal to choose to view the 3D scene may select the operation to be performed.

[000129] 図9は、3つの異なる搭載位置に搭載された3つのカメラペア902、904、906を有した、時にはカメラリグまたはカメラアレイと呼ばれる例示的なカメラアセンブリ900と、カメラアセンブリ900を較正するために使用され得る較正ターゲット915とを示す図を表す。 [000129] FIG. 9 had three cameras pairs 902, 904, 906 mounted on the three different mounting positions, sometimes an exemplary camera assembly 900, referred to as camera rig or camera array, to calibrate the camera assembly 900 It represents a graph showing the calibration target 915 may be used for. カメラのリグ900は、本発明のいくつかの実施形態に従って、画像コンテンツを取り込むために使用される。 Rig 900 of the camera, according to some embodiments of the present invention, it is used to capture image content. いくつかの実施形態において、カメラリグ900は、図1の画像取り込みデバイス102として用いられる。 In some embodiments, camera rig 900 is used as an image capture device 102 of FIG. カメラリグ900は、示された位置にカメラ、立体視カメラ(901、903)、(905、907)、(909、911)の3つのペア902、904、906で合計6台のカメラ、を保持する支持構造(図11に示される)を含む。 Camera rig 900 includes a camera in the position shown, the stereoscopic camera (901, 903), (905, 907), holds a total of six cameras, three pairs 902, 904 of the (909,911) comprising a support structure (shown in FIG. 11). 支持構造は、カメラを支持し、カメラが搭載されるプレートが固定され得る搭載板(図11に示された要素1120を参照)とこの中で呼ばれる基部1120を含む。 Support structure, a camera support, comprising camera mounting plate plate mounted can be secured (see element 1120 shown in FIG. 11) a base 1120 called in this. 支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料で作られ得、カメラ間の間隔との関係を示すためにも使用される三角形を形成する線によって表される。 The support structure is represented by a line forming plastic, metal, or give made of composite material such as graphite or glass fibers, the triangle is also used to indicate the relation between the distance between the camera. 点線が交差する中心点は、いくつかであるが、必ずしも全てではない実施形態において、カメラペア902、904、906が回転し得る中心節点を表す。 Center point dotted line intersect, although some, in embodiments but not necessarily all, represents the center nodes camera pair 902, 904, 906 can rotate. いくつかの実施形態において、中心結節点は、三角形の線によって表されたカメラ支持フレーム912が回転する中心となる、例えば、三脚基部の、スチールロッドまたはネジ切りされた中央マウントに対応する。 In some embodiments, the central nodal point is central to the camera support frame 912 represented by the line of the triangle is rotated, for example, a tripod base, corresponding to the steel rod or threaded central mount. 支持フレームは、その中にカメラが搭載されるプラスチック筐体、または、三脚構造であってよい。 The support frame, a plastic housing camera is mounted therein, or may be a tripod structure.

[000130] 図9において、カメラの各ペア902、904、906は、異なるカメラペア位置に対応する。 [000130] In FIG. 9, each pair 902, 904 of the camera corresponds to a different camera pairs position. 第1のカメラペア902は、正面に向いた位置に対して前方0度に対応する。 The first camera pair 902 corresponds to the front 0 degrees with respect to the position facing the front. この位置は、例えば、スポーツゲームがプレイされているフィールド、ステージ、または、主なアクションが起こる可能性があるいくつかの他の領域等の主たる関心のシーン領域に通常対応する。 This position may, for example, sports game field being played, stage or, generally corresponding to the scene region of the major interest, such as some other areas that might main action takes place. 第2のカメラペア904は、120度のカメラ位置に対応し、右後方視野領域を取り込むために使用される。 Second camera pair 904 corresponds to the camera position 120 degrees, are used to capture the right rear-view region. 第3のカメラペア906は、240度位置(0度位置に対して)で、左後方視野領域に対応する。 Third camera pair 906, 240 degree position (with respect to 0 degree position), corresponding to the left rear-view region. 3つのカメラ位置が120度離れていることを注記する。 Three camera positions is noted that apart 120 degrees. 各カメラ視野位置は、図9において1つのカメラペアを含み、各カメラペアは、画像を取り込むために使用される左カメラと右カメラを含む。 Each camera view positions includes one camera pairs 9, each camera pair including a left camera and a right camera used to capture the image. 左カメラは、時に左眼画像と呼ばれるものを取り込み、右カメラは、時に右眼画像と呼ばれるものを取り込む。 Left camera is sometimes takes in what is referred to as a left-eye image, the right camera is sometimes take in what is referred to as a right-eye image. 画像はビューシーケンスの部分であるか、1回以上取り込まれた静止画像であってよい。 Image or a partial view sequence, may be a still image captured at least once. 通常、カメラペア902に対応する少なくとも正面カメラ位置は、高品質映像カメラで定着される。 Usually, at least the front camera position corresponding to the camera pair 902 is fixed by the high quality video camera. 他のカメラ位置は、高品質のビデオカメラでも、低画質映像カメラでも、静止またはモノ画像を取り込むために使用される単一のカメラで定着されてもよい。 Other camera position, even high-quality video cameras, even in low-quality video cameras, may be fixed with a single camera is used to capture a still or mono image. いくつかの実施形態において、第2及び第3のカメラ実施形態は未定着のまま残され、第1のカメラペア902が3つのカメラ位置に対応するが、異なる回に画像を取り込むことを可能にして、カメラが搭載された支持板が回転される。 In some embodiments, the second and third camera embodiments are left unfixed, the first camera pair 902 corresponding to the three camera positions, makes it possible to capture images in different times Te, support plate camera is mounted is rotated. いくつかのそのような実施形態では、左と右後方の画像は、以前に取り込まれて記憶され、その後、前方カメラ位置の映像がイベント中に取り込まれる。 In some such embodiments, the left and right rear images are stored previously captured, then the image of the front camera position is taken during the event. 取り込まれた画像は、1つ以上の再生デバイスに、例えば、イベントがまだ進行中の間、リアルタイムでエンコードされ、ストリーミングされ得る。 Captured image, the one or more playback devices, for example, the event is encoded still during ongoing, in real time, may be streamed.

[000131] 図9に示された第1のカメラペアは、左カメラ901と右カメラ903とを含む。 [000131] The first camera pair shown in FIG. 9 includes a left camera 901 and right camera 903. 左カメラ901は、第1のカメラに固定された第1のレンズアセンブリ920を有し、右カメラ903は、右カメラ903に固定された第2のレンズアセンブリ920を有する。 Left camera 901 has a first lens assembly 920 which is fixed to the first camera, the right camera 903 has a second lens assembly 920 which is fixed to the right camera 903. レンズアセンブリ920、920'は、広角視界が取り込まれることを可能にするレンズを含む。 Lens assembly 920, 920 'includes a lens that allows the wide angle field of view is captured. いくつかの実施形態では、各レンズアセンブリ920、920'は、魚眼レンズを含む。 In some embodiments, the lens assembly 920, 920 'includes a fish-eye lens. 従って、カメラ902、903の各々は、180度視界または約180度を取り込み得る。 Thus, each of the cameras 902 and 903 may incorporate a 180-degree field of view or about 180 degrees. いくつかの実施形態では、180度より少ないものが取り込まれるが、いくつかの実施形態では、隣接するカメラペアから取り込まれた画像中で少なくとも幾分かの重複が依然として存在する。 In some embodiments, although with less than 180 degrees are captured, in some embodiments, at least some overlapping in captured from adjacent cameras paired images it is still present. 図9の実施形態において、カメラペアは、第1(0度)の、第2(120度)の、第3(240度)のカメラ搭載位置の各々に設けられ、各ペアは環境の少なくとも120度またはそれ以上を取り込むが、多くの場合には、各カメラペアは、環境の180度またはほぼ180度を取り込む。 9 embodiment, camera pair, the first (0 degree), the second (120 degrees), provided in each of the camera mounting position of the third (240 degrees), each pair of environment at least 120 capturing degrees or more, but in many cases, each camera pair captures a 180 degree or substantially 180 degrees of the environment.

[000132] 第2 904、及び、第3 906のカメラペアは、第1のカメラペア902と同じまたは類似であるが、正面の0度位置に対して120と240度のカメラ搭載位置に設けられる。 [000132] and second 904, a camera pair of the third 906 is the same as or similar to the first camera pair 902, provided in the camera mounting position of 120 and 240 degrees with respect to the 0 degree position of the front . 第2のカメラペア904は、左カメラ905と左レンズアセンブリ922と右カメラ907と右カメラレンズアセンブリ922'を含む。 Second camera pair 904 includes a left camera 905 and the left lens assembly 922 right camera 907 and right camera lens assembly 922 '. 第3のカメラペア906は、左カメラ909と左レンズアセンブリ924と右カメラ911と右カメラレンズアセンブリ924'とを含む。 Third camera pair 906 includes a left camera 909 and the left lens assembly 924 and the right camera 911 and right camera lens assembly 924 '.

[000133] 図9において、Dは、カメラ901、903の第1の立体視ペアの軸間距離を表す。 [000133] In FIG. 9, D represents the center distance between the first stereo pair camera 901 and 903. 図9の例では、Dは、平均的な人の左と右の眼の瞳孔間の距離と同じであるか、同等である117mm(ミリメートル)である。 In the example of FIG. 9, D can be the same as the distance between the pupils of an average human left and right eye are equivalent 117 mm (millimeters). 図9における破線950は、パノラマアレイの中心点から右カメラレンズ920'の入射瞳までの距離(別名、節オフセット(nodal offset))を示す。 Dashed line 950 in FIG. 9 indicates the distance from the center point of the panoramic array to the entrance pupil of the right camera lens 920 '(also known as node offset (nodal offset)). 図9の例に対応する一実施形態では、参照番号950によって示される距離は315mm(ミリメートル)であるが、他の距離も可能である。 In one embodiment corresponding to the example of FIG. 9, the distance indicated by reference numeral 950 is a 315 mm (millimeter), other distances are also possible.

[000134] 1つの特定の実施形態では、カメラリグ900のフットプリント(footprint)は、640mm2(平方ミリメートル)またはそれより小さい水平領域であって、比較的小さい。 [000134] In one particular embodiment, the footprint of the camera rig 900 (footprint) is, 640Mm2 a (mm) or less horizontal space than it relatively small. このような小さなサイズは、例えば、ファンや観客が通常居るか位置される着座位置において等、カメラリグが観客の中に設置されることを可能にする。 Such small size, for example, equal in the seating position the fan and spectators are positioned either normally there, camera rigs to allow it to be placed in the audience. 従って、いくつかの実施形態では、見る者が、そのような効果が望まれる観客の一員であるとの感覚をもつことを可能にして、カメラリグは観客エリアに設置される。 Thus, in some embodiments, viewer is to allow to have a sense of a member of the audience that such effects are desired, the camera rig is installed in the audience area. いくつかの実施形態でのフットプリントは、いくつかの実施形態においてセンター支持ロッドを含む支持構造が搭載され、または、支持タワーが設けられる基部のサイズに対応する。 Footprint in some embodiments, some of the support structure comprising a center support rod in the embodiment is mounted, or, corresponding to the size of the base support tower is provided. 理解されるように、いくつかの実施形態におけるカメラリグは、カメラの3つのペアの間の中心点に対応する基部の中心点の周りに回転し得る。 As will be appreciated, camera rigs in some embodiments, may rotate around the center point of the base corresponding to the center point between the three pairs of cameras. 他の実施形態では、カメラは固定されており、カメラアレイの中心の周りを回転しない。 In other embodiments, the camera is fixed and does not rotate about the center of the camera array.

[000135] カメラリグは比較的近いだけでなく、明瞭な被写体を取り込むことが可能である。 [000135] rig is not only relatively close, it is possible to take a clear subject. 1つの特定の実施形態において、カメラアレイの最小撮像距離は649mm(ミリメートル)であるが、他の距離も可能であり、この距離は何ら重要ではない。 In one particular embodiment, the minimum imaging distance of the camera array is 649Mm (millimeters), other distances are also possible, this distance is not in any way critical.

[000136] カメラアセンブリの中心から第1と第3のカメラ部品の視野の交点951までの距離は、第1と第2のカメラペアによって取り込まれた画像を較正するために使用され得る例示的な較正距離を表す。 [000136] The distance from the center of the camera assembly to the first and third intersecting point of camera parts of the field of view 951, exemplary which may be used to calibrate the images captured by the first and second camera pairs representing the calibration distance. ターゲット915は、最大歪みの領域に、または、それをわずかに越えて設けられたカメラペアからの既知の距離に置かれ得ることを注記する。 Target 915 is the region of maximum strain, or is noted that can be placed at a known distance from the camera pairs provided over it slightly. 較正ターゲットは、既知の固定された較正パターンを含む。 Calibration target includes a known fixed calibration pattern. 較正ターゲットは、カメラペアのカメラによって取り込まれる画像のサイズを較正するために使用され得、使用される。 Calibration target may be used to calibrate the size of the image captured by the camera pair camera, it is used. そのような較正は、較正ターゲットの大きさと位置が較正ターゲット915の画像を取り込むカメラに対して既知であるので、可能である。 Such calibration, since the size and position of the calibration target is known to the camera to capture images of the calibration target 915 are possible.

[000137] 図10は、図9に示されたカメラアレイのより詳細な図1000である。 [000137] FIG. 10 is a more detailed diagram of the camera array 1000 shown in FIG. カメラリグは、再び、6台のカメラとともに示されているが、いくつかの実施形態では、カメラリグは、例えば、カメラペア902等、2つのみのカメラで定着される。 Camera rig again is shown with six cameras, in some embodiments, camera rig, for example, a camera pair 902 and the like, are fixed at only two cameras. 示されているように、カメラペア搭載位置の各々の間に120度の分離がある。 As shown, between each of the camera pair mounting position is 120 degrees separation. 第1のカメラ搭載位置が0度に対応し、第2のカメラ搭載位置が120度に対応し、第3のカメラ搭載位置が240度に対応する場合のように、例えば、各カメラペアの間の中心がカメラ搭載位置の方向に対応するかを考える。 First camera mounting position corresponds to 0 °, a second camera mounting position corresponds to 120 degrees, as in the case of the third camera mounting position corresponds to 240 degrees, for example, between each camera pair center consider whether corresponding to the direction of the camera mounting position. 従って、各カメラ搭載位置は、120度だけ分離される。 Thus, each camera mounting position, are separated by 120 degrees. これは、各カメラペア902、904、906の中心を通って延びる中心線が延長されたように見られ得、線間の角度が測定される。 This could centerline extending through the center of each camera pair 902, 904, 906 is seen as extended, the angle between the lines is measured.

[000138] 図10の例では、カメラのペア902、904、906は、カメラリグ基部の位置を変更する必要なく、異なる視野が異なる回に取り込まれることを可能にして、カメラリグの中心点の周りを回転し得る、及び、いくつかの実施形態では回転する。 In the example of [000138] FIG. 10, camera pair 902, 904, 906 without the need to change the position of the camera rig base, to allow the different views are captured at different times, around the center point of the camera rigs It may rotate, and rotate in some embodiments. 即ち、カメラがリグの中心支持部の周りを回転され、それが2つのみのカメラで定着されるが、図10に示されたリグを用いて360度シーン取り込みを可能にすべく、異なる回に異なるシーンを取り込むことを可能にされ得る。 That is, the camera is rotated about the central support of the rig, but it is fixed at only two cameras, to permit 360 degree scene capture by using the rig shown in Figure 10, different times It may be permitted to incorporate different scenes. そのような構成は、立体視カメラのコストを考慮したコストの観点から特に好ましく、同じ視点からであるが、スポーツイベントまたは他のイベントの間の主たるアクションを含む正面シーンが起こり得る時点とは異なる時点で取り込まれる背景を示すことが望まれ得る多くの用途に適している。 Such an arrangement is particularly preferred from the viewpoint of costs in consideration of the cost of the stereoscopic camera, but from the same viewpoint, different from the time when the possible frontal scene containing a primary action during sporting events or other events It is suitable for many applications that may be desirable to show the background to be taken at a time. 例えば、イベントの間に、主たるイベントの間に示されないことが好ましいカメラの後ろに被写体が置かれ得ることを考える。 For example, consider that during the event, the object behind is preferred camera not shown between the main event may be placed. そのようなシナリオでは、後方画像は主たるイベントの前に取り込まれ得、時には取り込まれ、画像データの360度の組を提供するために、主たるイベントのリアルタイムで取り込まれた画像データと共に利用可能にされる。 In such a scenario, the rearward image is be incorporated before the main event, sometimes incorporated, in order to provide a set of 360-degree of the image data, it is available along with the image data captured in real time of the main event that.

[000139] 図11は、1つの例示的な実施形態に従って実装される例示的なカメラリグ1100の詳細図を示す。 [000139] FIG. 11 shows a detailed view of an exemplary camera rig 1100 implemented in accordance with one exemplary embodiment. 図11から理解され得るように、カメラリグ1100は、いくつかだが全てではない実施形態において立体視カメラである3つのカメラのペア1102、1104、及び、1106を含む。 As can be seen from FIG. 11, camera rig 1100, but some is a stereoscopic camera in the embodiment but not all three cameras pairs 1102, 1104, and includes 1106. 各カメラペアは、いくつかの実施形態において、2つのカメラを含む。 Each camera pair, in some embodiments, comprises two cameras. カメラペア1102、1104、及び、1106は、図9−10について上述されたカメラペア902、904、906と同じまたは類似である。 Camera pairs 1102, 1104, and 1106 are the same as or similar to the camera pair 902, 904, 906 described above for Figure 9-10. いくつかの実施形態では、カメラペア1102、1104、及び、1106がカメラリグ1100の支持構造1120上に搭載される。 In some embodiments, a camera pairs 1102, 1104, and 1106 are mounted on the support structure 1120 of the camera rigs 1100. いくつかの実施形態では、カメラの3ペア(6台のカメラ)1102、1104、及び、1106が、それぞれのカメラペア搭載板を介して支持構造1120上に搭載される。 In some embodiments, three pairs of the camera (6 cameras) 1102, 1104, and 1106 are mounted on the support structure 1120 via a respective camera pair mounting plate. 支持構造1120は、立体視カメラペアを搭載するために3つの搭載位置を含み、各搭載位置は異なる120度視野領域に対応する。 The support structure 1120 comprises three mounting locations for mounting a stereoscopic camera pairs, each mounting position corresponds to a different 120-degree field of view region. 図11の図示された実施形態では、立体視カメラの第1のペア1102が、3つの搭載位置の第1の位置、例えば、正面位置に搭載され、120度の正面視野領域に対応する。 In the illustrated embodiment of FIG. 11, a first pair 1102 of the stereoscopic camera, the first position of the three mounting positions, e.g., mounted in the front position, corresponding to the front visual region of 120 degrees. 立体視カメラの第2のペア1104は3つの搭載位置の第2の搭載位置、例えば、正面位置に対して時計回りに120度回った背景位置、に搭載され、異なる120度の視野領域に対応する。 Second mounting position of the second pair 1104 of three mounting positions of the stereoscopic camera, for example, the background position turned 120 degrees clockwise with respect to the front position, it is mounted on, corresponding to the view area of ​​a different 120-degree to. 立体視カメラの第3のペア1106は3つの搭載位置の第3の搭載位置、例えば、正面位置に対して240度時計回りに回った背景位置に搭載され、他の120度視野領域に対応する。 Third mounting position of the third pair 1106 of three mounting positions of the stereoscopic camera, for example, be mounted behind a position turned 240 degrees clockwise with respect to the front position, corresponding to the other 120 degree field of view region . カメラリグ1100の3つのカメラ搭載位置は、互いに対して120度だけオフセットされているが、いくつかの実施形態では、カメラリグに搭載された各カメラは、周囲180度の視界を有する。 Three cameras mounted position of the camera rig 1100 has been offset 120 degrees relative to each other, in some embodiments, each camera mounted on camera rig, having a field of view 180 degrees around. いくつかの実施形態では、この拡張された視界は、カメラ装置において魚眼レンズを使用することによって達成される。 In some embodiments, the extended field of view is achieved by using a fisheye lens in a camera apparatus.

[000140] 搭載板の全てが、示されている図において見えている訳ではないが、カメラペア1102を搭載するために使用されるカメラ搭載板1110が示される。 [000140] All of the mounting plate, but not visible in the view shown, the camera mounting plate 1110 that is used for mounting the camera pair 1102 is shown. カメラのための搭載板は、ねじが支持基部1120におけるスロットを通って底部から搭載板におけるねじ切りされた穴に抜けるように、スロットを有する。 Mounting plate for the camera, it screws so escape the threaded holes in the mounting plate from the bottom through the slot in the support base 1120, a slot. これは、該ペアのための搭載板が、底部からアクセス可能なねじを緩め、カメラペア搭載板を支持構造に固定するためにねじを締めることによって調整されることを可能にする。 This mounting plate for the pair, loosen accessible screws from the bottom, to be adjusted by tightening the screws to secure the camera pair mounting plate to the support structure. 個々のカメラ位置は、同様に調整され、そして、調整の後に固定される。 Individual camera position is adjusted in the same manner, and is fixed after the adjustment. いくつかの実施形態において、個々のカメラは、上部から搭載板に調整/固定され得、カメラ搭載板は、底部から調整/固定され得る。 In some embodiments, the individual cameras, resulting adjusted / secured from above to the mounting plate, the camera mounting plate can be adjusted / secured from the bottom.

[000141] 様々な実施形態において、カメラリグ1100は、支持構造1120が回転可能に搭載される基部1122を含む。 [000141] In various embodiments, camera rig 1100 includes a base 1122 to which the support structure 1120 is mounted rotatably. 従って、様々な実施形態において、支持構造1120上のカメラアセンブリは、基部の中心を通る軸の周りを360度回転され得る。 Accordingly, in various embodiments, the camera assembly on the support structure 1120, about an axis passing through the center of the base may be rotated 360 degrees. いくつかの実施形態では、基部1122は、三脚または他の搭載装置の部分であってよい。 In some embodiments, the base 1122 may be part of a tripod or other mounting devices. 支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料からできている。 Support structure, plastic, metal, or made from a composite material such as graphite or glass fibers. カメラペアは、いくつかの実施形態において、時に中心節点と呼ばれることもある、中心点の周りに回転され得る。 The camera pair, in some embodiments, may also be sometimes referred to as center nodes, may be rotated about the center point.

[000142] 上記要素に加えて、いくつかの実施形態では、カメラリグ1100は、更に、2つのシミュレートされた耳1130、1132を含む。 [000142] In addition to the above elements, in some embodiments, camera rig 1100 further includes two simulated ear 1130. これらのシミュレートされた耳1130、1132は、人間の耳の形状に成形されたシリコンからできている。 These simulated ears 1130, 1132 are made from a molded into the shape of the human ear silicon. シミュレートされた耳1130、1132は、平均的な人の人間の耳の間の間隔に等しいか、ほぼ等しい距離だけ互いに離されている2つの耳をもったマイクロフォンを含む。 Simulated ears 1130, 1132 is equal to the spacing between the average person of the human ear, a microphone having two ears that are separated from each other by a distance approximately equal. シミュレートされた耳1130、1132に搭載されたマイクロフォンは正面を向いているカメラペア1102上に搭載されているが、代わりに、例えば、プラットフォーム120等の支持構造上に搭載されることもできる。 Although the microphone mounted on the simulated ear 1130 is mounted on the camera pair 1102 facing forward, instead, for example, it can also be mounted on the support structure of the platform 120 and the like. シミュレートされた耳1130、1132は、人の耳が人の頭の眼の前面に垂直に位置しているのと同様に、カメラペア1102の前面に垂直に位置付けられる。 Simulated ears 1130, 1132, similar to the human ear is positioned vertically on the front of the eye of a person's head, it is positioned perpendicular to the front face of the camera pair 1102. シミュレートされた耳1130、1132の側面の穴は、シミュレートされた耳の側部の音響の入り口として機能し、シミュレートされた耳と穴は、人の耳が人の耳に含まれた鼓膜に音響を向けるように、シミュレートされた耳の各1つに搭載されたマイクロフォンの方に音響を向けるように組み合わせで機能する。 Holes in the simulated side ear 1130, 1132 functions as an acoustic entrance side ear simulated, ears and holes have been simulated human ear is included in the ear of the human to direct sound to the eardrum, to function in combination to direct sound towards the microphone mounted on each one of the ears simulated. 左と右のシミュレートされた耳1130、1132におけるマイクロフォンは、カメラリグの位置に設けられるならば、カメラリグ1100の場所にいる人が人の左右の耳を介して知覚するものと同様のステレオ音響取り込みを提供する。 Microphone in the left and right of the simulated ears 1130, if provided in a position of the camera rig, similar stereo sound capture and those people in place of camera rig 1100 perceives through the left and right ears of a human I will provide a.

[000143] 図11は3つの立体視カメラペアを有する例示的なカメラリグ1100の一構成を示しているが、他の変形が可能であり、範囲内にあることが理解されるべきである。 [000143] Although FIG. 11 shows a configuration of an exemplary camera rig 1100 with three stereoscopic camera pairs are other variations are possible, it should be understood that in the range. 例えば、1つの実装例では、カメラリグ1100は、例えば、カメラリグの中心点の周りを回転することができる立体視カメラの1つのペアが、360度シーンの異なる部分が異なる回に取り込まれることを可能にする等、単一のカメラペアを含む。 For example, in one implementation, camera rig 1100, for example, allows one pair of stereoscopic cameras that can rotate around the center point of the camera rig is, different portions of the 360-degree scene captured at different times etc. to comprises a single camera pair. 従って、単一のカメラペアは、支持構造上に搭載され、リグの中心支持部の周りを回転され、360度シーン取り込みを可能にして、異なる回に異なるシーンを取り込むことを可能にされ得る。 Thus, the single camera pairs, mounted on the support structure is rotated about the central support of the rig, to allow 360 degree scene uptake, may be permitted to incorporate different scenes at different times.

[000144] 図12は、360度シーンの異なる部分を取り込む、それぞれのカメラの異なるカメラ位置に対応する異なる視野領域/部分に分割され得る、例えば、360度シーン領域等の例示的な360度シーン環境1200を示す。 [000144] FIG. 12 is 360 degrees capturing different portions of the scene, can be divided into different field areas / portions corresponding to the different camera positions of the respective cameras, for example, the exemplary 360-degree scene such as 360-degree scene area It shows the environment 1200. 図示された例において、360度シーン領域1200は、例えば、カメラリグ1100上に搭載され、図9、10、及び、11に示されたように位置付けられたカメラ等の3つの異なるカメラ/カメラペアによって取り込まれる3つの180度ゾーンに対応する3つの部分に分割される。 In the illustrated example, 360 degrees scene region 1200, for example, is mounted on camera rig 1100, 9, 10, and, by three different cameras / camera pairs, such as a camera positioned as shown in 11 It is divided into three parts corresponding to three 180-degree zone incorporated. 360度シーン1200上の0度マークは、シーンの中央であると考えられ得る。 0 degree mark on the 360-degree scene 1200, may be considered to be the center of the scene. 魚眼レンズが使用されないいくつかの実施形態において、各カメラの視界は約120度であり、結果、カメラがほぼ120度のシーン領域を取り込むことを可能にする。 In some embodiments fisheye lens is not used, the field of view of each camera is about 120 degrees, the result, the camera enables to capture substantially 120 degrees of the scene area. そのような実施形態では、異なる120度シーン部分の境界は、360度シーンが各々120度の3つの部分の分割である黒の実線を使用して、図に示される。 In such embodiments, the boundary of different 120-degree scene part, using solid black line is a division of the three parts of the 360-degree scene each 120 degrees, shown in FIG. カメラが魚眼レンズで装着される実施形態において、各カメラの視界は約180度(+5度)に広がり、従って、カメラが、ほぼ180度(+5度)シーン領域を取り込むことを可能にする。 In embodiments where the camera is mounted in a fisheye lens, the field of view of each camera spread approximately 180 degrees (+5 degrees), therefore, the camera enables to capture substantially 180 degrees (+5 degrees) scene area.

[000145] 0度マークの左右90度をカバーする第1のゾーン(270度から90度までの180度正面シーン領域に対応)は、例えば、カメラがほぼ180度の視界をもつことを可能にする魚眼レンズを装着されて、正面シーン領域を取り込むよう位置決めされたカメラペア1102等の第1のカメラによって取り込まれ得る。 [000145] The first zone covering the right and left 90 ° 0 ° mark (corresponding from 270 degrees to 180 degrees front scene area of ​​up to 90 degrees), for example, possible that the camera has a field of view of approximately 180 degrees a fisheye lens to be mounted, may be taken up by the first camera such as a camera pair 1102 positioned to capture a front scene area. 第2のゾーン(ゾーン2)は、例えば、魚眼レンズが装着されて、後方右側シーン領域を取り込むよう位置付けられたカメラペア1104等の第2のカメラによって取り込まれ得る、30度から210度までの180度後方右側シーン領域に対応し、第3のゾーン(ゾーン3)は、例えば、魚眼レンズが装着され、後方左側シーン領域を取り込むよう位置決めされたカメラペア1106等の第3のカメラによって取り込まれ得る、150度から330度までの180度後方左側シーン領域に対応する。 Second zone (zone 2), for example, a fisheye lens is mounted, the rear may be taken up by the right scene to capture region the positioned camera pair 1104, such as a second camera 180 from 30 degrees to 210 degrees corresponding to degrees behind the right scene region, the third zone (zone 3), for example, a fisheye lens is attached, it may be incorporated by a third camera of the camera pair 1106 or the like which is positioned to capture the rear left scene area, 180 degrees from 150 degrees to 330 degrees corresponding to the rear left scene area. 凡例1250は、例えば、異なるゾーン下でカバーされるシーン領域の開始と終了をマーキングする、異なるゾーン境界を示すために使用される異なるラインパターンを特定する情報を含む。 Legend 1250 includes, for example, different starting of covered the scene area under the zone and marks the completion of the information specifying the different line patterns are employed to indicate different zone boundary. 異なるカメラによってカバーされる3つの異なるゾーン下のシーン領域の間に実質的な重複があることが、図から理解され得る。 That there is a substantial overlap between the scene area under the three different zones covered by different cameras it can be appreciated from FIG. 図12の図示された例では、ゾーン1とゾーン2との間の重なりは60度、即ち、30度から90度下のシーン領域であり、ゾーン2とゾーン3との間の重なりは再び60度、即ち、150度から210度下のシーン領域であり、ゾーン3とゾーン1との間の重なりは60度、即ち、270度から330度下のシーン領域である。 In the illustrated example of FIG. 12, the overlap is 60 degrees between zone 1 and zone 2, i.e., a scene region below 90 degrees 30 degrees, the overlap between zone 2 and zone 3 is again 60 time, i.e., a scene region below 210 degrees 150 degrees, the overlap is 60 degrees between zone 3 and zone 1, i.e., a scene area under 330 degrees 270 degrees. 図示された例では、重なりは60度であるが、異なった多様な重複が可能であることが理解されるべきである。 In the illustrated example, the overlap is 60 degrees, it should be understood that it is possible different diverse overlap. いくつかの実施形態では、2つの異なるシーンカバレッジ領域間の重なりは、30度から60度の間である。 In some embodiments, the overlap between two different scenes coverage area is between 30 to 60 degrees.

[000146] いくつかの実施形態では、コンテンツプロバイダは、異なるカメラによって取り込まれた360度シーン領域の異なる部分に対応するコンテンツを含むコンテンツストリームを発行、例えば、マルチキャスト、する。 [000146] In some embodiments, the content provider, issue a content stream comprising a content corresponding to 360 degrees different portions of the scene area captured by different cameras, for example, multicast and. いくつかの実施形態では、異なってエンコードされている、異なるシーン領域に対応するコンテンツの複数のバージョンは、コンテンツプロバイダによってマルチキャストされ、特定のバージョンをサポートする及び/または好む再生デバイスは、デコードし、再生するために、好適なコンテンツストリームを選択し得る。 In some embodiments, are encoded differently, the multiple versions of the content corresponding to different scene area is multicast by the content provider, playback device prefers to and / or support a particular version decodes, to play, may select a suitable content stream. いくつかの実施形態の1つの態様によれば、再生デバイスは、ユーザの現在の視界を示す現在の頭の位置を追跡し、再生における使用のために受け取るために、360度シーン領域の一部に対応するコンテンツを含む利用可能なコンテンツストリームのどの1つ以上を選択するかを決定する。 According to one aspect of some embodiments, the playback device tracks the position of the current head indicating the current field of view of the user, to receive for the use in reproduction, a portion of the 360-degree scene area determining the choice of one or more available content stream comprising content that corresponds to. 例えば、ユーザの頭の位置が、ユーザがまっすぐ前方を見ている/眺めている場合、再生デバイスは、360度シーンの180度前方部分を通信しているストリームをデコードするが、ユーザの頭の位置と視野角が変わった時、再生デバイスは、例えば、360度シーン領域の後方右側、後方左側、後方等のユーザの現在の視野角に適応するシーン部分に対応するストリームをデコードする。 For example, the position of the user's head, when the user is to have / view looking straight forward, playback devices are decodes a stream in communication 180 degrees forward portion of the 360-degree scene, the user's head when the position and the viewing angle is changed, playback device, for example, to decode the rear right side of the 360-degree scene area, rear left, a stream corresponding to the current scene portion to accommodate the viewing angle of the user's posterior like. いくつかの実施形態では、例えば、正面180度等の360度シーン領域の第1の部分に対応するコンテンツを含むストリームは、360度シーンの正面部分を取り込むために使用された正面を向くカメラペアの左右のカメラによって取り込まれたシーン領域を含む。 In some embodiments, for example, a stream containing the content corresponding to the first portion of the 360-degree scene region of the front 180 or the like, a camera pairs face the front which is used to capture the front portion of the 360-degree scene including scene region captured by the right and left cameras.

[000147] 図13は、例示的な360度シーン領域の視野領域/部分をカバーするために位置付けられ得る、例えば、例示的なカメラリグ1100上で、異なるカメラによって取り込まれ得る図12の例示的な360度シーン領域の異なる部分を示す例を図示する。 [000147] FIG. 13 can be positioned to cover the viewing area / portion of the exemplary 360-degree scene area, for example, on the exemplary camera rig 1100, exemplary of Figure 12 that may be captured by different cameras It illustrates an example showing different parts of 360-degree scene area. 図13の例は、例示的な360度シーン領域の異なる部分を示す図1300、1320、及び、1350を含む。 Example of FIG. 13, FIG 1300,1320 illustrating different portions of an exemplary 360-degree scene region, and a 1350. しかし、図から理解され得るように、いくつかの実施形態において、異なるカメラによって取り込まれたシーンの異なる部分の各々の少なくとも部分が重複する。 However, as can be seen, in some embodiments, each of the at least part of the different parts of the captured scene by different cameras overlap. 異なる網掛けパターンが、異なるカメラ位置に対応するシーン領域の部分を示すために、図1300、1320、1350の各々において使用されている。 Different shading patterns, to indicate the portion of the scene area corresponding to a different camera positions are used in each of FIG 1300,1320,1350. いくつかの実施形態では、図1300、1320、1350に示される異なるシーン部分は、異なる視野方向に対応するコンテンツを提供する異なるコンテンツストリームを介して通信される。 In some embodiments, different scenes portion shown in FIG 1300,1320,1350 is communicated via different content streams to provide a content corresponding to the different view directions. 図13の例では、シーン部分が約180度の視野領域をカバーするように示されているが、いくつかの実施形態では、シーン部分は、120度から180度までの間をカバーしてよい。 In the example of FIG. 13 is shown as a scene portion covers the viewing area of ​​approximately 180 degrees, in some embodiments, a scene portion may cover between 120 degrees to 180 degrees .

[000148] 図1300は、360度シーン1200の第1の例示的なシーン部分1305を示す。 [000148] FIG. 1300 shows a first exemplary scene portion 1305 of 360 degrees scene 1200. 第1の例示的なシーン部分1305は、正面視野方向に対応し、360度シーン環境の内の180度またはほぼ180度の視野領域をカバーする。 The first exemplary scene portion 1305 corresponds to the front view direction, covering 180 degrees or approximately 180 degrees of viewing area of ​​the 360-degree scene environment. 第1のシーン部分1305は、0度のカメラ位置に位置付けられた、例えば、第1のカメラペア902または1102によって捕えられ得る。 First scene portion 1305 positioned on the 0-degree camera position, for example, it may be captured by the first camera pair 902 or 1102. 第1の例示のシーンの部分1305下の領域は、斜線パターンを使用して図1300に示される。 Area of ​​the lower part 1305 of the first exemplary scene is shown in Figure 1300 using oblique line patterns. 第1の例示のシーン部分1305は、例えば、正面の視野方向に対応するコンテンツのフレームを通信する第1のストリームによって通信され得る。 The first exemplary scene portion 1305, for example, may be communicated by a first stream communicating frames of the content corresponding to the viewing direction of the front.

[000149] 図1320は、360度シーン1200の第2の例示的なシーン部分1307(図1320に示された部分1307'と1307''を含む)を示す。 [000149] FIG. 1320 shows a second exemplary scene part 1307 of 360 degrees scene 1200 (part 1307 shown in FIG. 1320 'and 1307' including '). 第2の例示的なシーン部分1307は、後方右側視野方向に対応し、30度から210度まで広がる、360度シーン環境の内の180度またはほぼ180度視野領域をカバーする。 The second exemplary scene part 1307 corresponds to the rear right sight extends to 210 degrees 30 degrees, covering 180 degrees or approximately 180 degrees viewing area of ​​the 360-degree scene environment. 第2のシーンの部分1307は、図9−10において示されたような120度カメラ位置に位置付けられた、例えば、第2のカメラペア904によって、取り込まれ得る。 Portion 1307 of the second scene, positioned 120 degrees camera position as shown in Figure 9-10, for example, by a second camera pair 904, it may be incorporated. 第2の例示のシーン部分下の領域1307は、水平線パターンを使用して、図1300に示される。 Region 1307 under the scene portions of the second exemplary uses horizontal line patterns, shown in FIG 1300. 図1300と1320とを考慮する。 To consider and Figure 1300 and 1320. 第1と第2のシーン部分1305と1307の間のシーン領域の重なり部分1308を注記する。 The overlapping portion 1308 of the scene region between the first and second scene portions 1305 and 1307 noted. 重なり部分1308は、シーン領域1200の第1と第2のシーン部分1305、1307の両方に共通である、取り込まれたシーン領域の部分を示す。 Overlapping portion 1308 is common to both the first scene region 1200 and the second scene portions 1305 and 1307, shows a part of a captured scene area. いくつかの実施形態において、第1及び第2のシーン部分1305、1307間の重なりは、プラス、マイナス2−3度の変位をもって、30度と60度の間である。 In some embodiments, the overlap between the first and second scene portions 1305 and 1307, plus, with a displacement of minus 2-3 degrees, between 30 degrees and 60 degrees. 図13の図示された例では、重なり部分1308は、例えば、30度から90度の領域等、60度である。 In the illustrated example of FIG. 13, the overlapping portion 1308, for example, regions such as 90 degrees 30 degrees, and 60 degrees. 従って、いくつかの実施形態において、異なるコンテンツストリームによって提供された、及び/または、異なるカメラによって取り込まれた異なる視野方向に対応するシーン領域の少なくとも部分は、重なる。 Thus, in some embodiments, provided by different content streams, and / or at least part of the scene area corresponding to different viewing directions taken by different cameras overlaps. いくつかの他の実施形態では、異なるカメラによって取り込まれる異なる視野方向に対応するシーン領域の間に重複は存在しない。 In some other embodiments, there is no overlap between the scene area corresponding to different viewing directions that are captured by different cameras. いくつかの実施形態では、第2の例示的なシーン部分1307は、第2の視野方向に対応するコンテンツのフレームを通信する第2のストリームによって通信され得る。 In some embodiments, the second exemplary scene portion 1307 may be communicated by a second stream of communicating a frame of content corresponding to the second line of sight.

[000150] 図1350は、360度シーン1200の第3の例示的なシーン部分1309(図1350に示された部分1309'と1309''を含む)を示す。 [000150] FIG. 1350 shows a third exemplary scene part 1309 of 360 degrees scene 1200 (shown in FIG. 1350 portions 1309 'and 1309' including '). 第3の例示的なシーン部分1309は、後方左側視野方向に対応し、150度から330度まで広がる、360度シーン環境の内の180度またはほぼ180度視野領域をカバーする。 A third exemplary scene part 1309 corresponds to the rear left sight extends to 330 degrees 150 degrees, to cover a 180 ° or approximately 180 ° viewing area of ​​the 360-degree scene environment. 第3のシーン部分1309は、図9−10に示されたような240度カメラ位置に位置付けられた、例えば、第3のカメラペア906等によって取り込まれ得る。 Third scene portion 1309, positioned at 240 ° camera position as shown in Figure 9-10, for example, may be taken up by such third camera pair 906. 第3の例示的なシーン部分1309下の領域は、縦線パターンを使用して、図1300に示される。 The third exemplary scene part 1309 below the region of the uses vertical line patterns, shown in FIG 1300. 図1320と1350を考慮する。 Figure 1320 and to consider the 1350. 第2と第3のシーン部分1307と1309間の重複領域部分を組み合わせて構成する、重複部分1310、1310'を注記する。 Configured by combining the overlapping area portion between the second and third scene portions 1307 and 1309, notes overlapping portions 1310,1310 '. 重複部分1310、1310'下の合同した領域は、シーン領域1200の第2と第3のシーン部分1307、1309の両方に共通である、取り込まれたシーン領域の部分を示す。 Joint areas of the overlapped portion 1310,1310 'below is common to both the second and third scene portions 1307,1309 of the scene area 1200 shows a portion of the captured scene area. いくつかの実施形態において、第2と第3のシーン部分1307、1309の間の重なりは、プラス、マイナス2−3度の変位をもって、30度から60度の間である。 In some embodiments, the overlap between the second and third scene portions 1307,1309, plus, with a displacement of minus 2-3 degrees, is between 30 to 60 degrees. 図13の図示された例では、重なり部分1310、1310'は、共に、例えば、150度から210度までの領域等、約60度カバーを含む。 In the illustrated example of FIG. 13, the overlapping portions 1310,1310 'includes both, for example, regions such as from 150 degrees to 210 degrees, about 60 degrees cover. ここで、更に、図1300と1350を考慮する。 Here, further, consider FIG. 1300 and 1350. 第1と第3のシーン部分1305と1309の間の重複領域部分を示す、重なり部分1312を注記する。 Shows the overlapping area portion between the first and third scene portions 1305 and 1309, the overlapping portion 1312 notes. いくつかの実施形態において、第3の例示的なシーン部分1309は、第3の視野方向に対応するコンテンツのフレームを通信する第3のストリームによって通信される。 In some embodiments, a third exemplary scene part 1309 is communicated by a third stream to communicate frames of the content corresponding to the third field direction.

[000151] 図は、本発明のいくつかの態様を理解することを容易にするための例を図示する図13の例の部分として示しているが、他の変形が可能であり、本開示の範囲内であることが理解されるべきである。 [000151] Although the figures show some examples portion of FIG. 13 illustrates an example to facilitate understanding the embodiments of the present invention, other variations are possible, the present disclosure it is to be understood that within the scope.

[000152] 図14A及び14Bの組合せからなる図14は、本発明の例示的な実施形態による、再生システムを動作させる例示的な方法のステップを示すフローチャート1400である。 [000152] comprising the combination of Figure 14A and 14B FIG. 14, according to an exemplary embodiment of the present invention, a flow chart 1400 showing the steps of an exemplary method of operating a reproduction system. システムは、図8に示された再生システム800、または、応用において示された他の図のいずれかの再生システムであってよい。 System, playback system 800 shown in FIG. 8, or may be any playback system other figures shown in the application.

[000153] 例示的な方法は、例えば、図19の再生デバイス1900または他の図のいずれかの再生デバイス等の再生デバイスが電源投入され、または、初期化されてステップ1402で開始する。 [000153] Exemplary methods are described, for instance, the reproduction device such as any of the playback device reproducing device 1900 or other figures of Fig. 19 is powered on or initialized starting at step 1402. 検討の目的のために、再生システムは、例えば、ユーザの左と右の眼が立体視コンテンツの場合に異なる画像を提示されて、画像コンテンツが提示されるディスプレイを含むヘッドマウントディスプレイデバイス1905に接続されたコンピュータシステム1900'を含むことを考える。 For purposes of discussion, reproduction system, for example, the left and right eye of the user is presented with different image when the stereoscopic contents, connected to the head-mounted display device 1905 includes a display image content is presented It has been considered to include a computer system 1900 '. コンピュータシステム1900'は、ディスプレイを含むヘッドマウントデバイスの外部に示されているが、コンピュータシステム1900'は、それの外部ではなく、ヘッドマウントディスプレイの中に組み込まれ得る。 Computer system 1900 'is shown to the outside of the head-mounted device including a display, the computer system 1900', rather than on its external, it may be incorporated into a head-mounted display.

[000154] 動作は、開始ステップ1402からステップ1404に進む。 [000154] Operation proceeds from start step 1402 to step 1404. ステップ1404において、再生システム1900は、例えば、番組ガイドの部分として等、複数のコンテンツストリーム及び/または初期化データに関する情報を受け取る。 In step 1404, the playback system 1900, for example, receives the like, information on a plurality of content streams and / or initialization data as part of the program guide. 受け取られた情報は、図18に示されたタイプのものであり、コンテンツを要求する、または、コンテンツに同調するために使用され得る、マルチキャストグループ識別子または他の識別子等のストリームを受け取るために使用され得る情報と共に、どのコンテンツストリームが利用可能であるか、または、利用可能になるであろうかを示す情報を含む。 The received information is of the type shown in Figure 18, used to receive requests for content, or may be used to tune to the content, a stream such as a multicast group identifier or other identifier with which it may be information, which content stream are available or includes information indicating whether it will become available. 例えば、コンテンツストリームに関連付けられたマルチキャストアドレスが、コンテンツが切り替えられたデジタル映像を介して供給されているときにコンテンツを要求するために使用され得る、受け取られた情報または番組識別子に含まれ得る。 For example, the multicast address associated with the content stream, may be used to request the content as it is being fed through the digital video content is switched, it can be included in the received information or program identifier. ブロードキャストコンテンツの場合には、受け取られた情報は、特定のコンテンツストリームを受け取るために、再生デバイスが同調すべきチャンネル及び/または周波数を示す同調情報を含み得る、及び、時には含む。 In the case of broadcast content, the received information in order to receive a particular content stream may include tuning information indicating the channel and / or frequency reproducing device should tune, and includes sometimes.

[000155] ステップ1404で受け取られた情報は、1つ以上の番組のための情報を含み得る。 [000155] information received in step 1404 may include information for one or more programs. 例えば、スポーツイベント、コンサート等の所与の番組について、異なるストリームが、コンテンツが対応する環境におけるカメラ位置に対して異なる視野方向に対応するコンテンツを提供して、利用可能であり得る。 For example, sporting events, for a given program, such as concerts, different streams, and provides the content corresponding to different viewing directions with respect to the camera position in an environment in which content corresponds, may be available. カメラ位置は、再生中に、視野位置に対応する。 The camera position is, during playback, corresponding to the field position. 従って、再生中のユーザの視野角は、受け取られ得るコンテンツの中に表された環境の部分に相関する。 Accordingly, the viewing angle of the user during playback, correlated to the portion of the represented environment in received may content. 環境の異なる部分は、異なるストリームで通信され得る。 Different parts of the environment may be communicated in different streams. 環境の各部分、例えば、360度環境の部分について、異なるデータレートに対応する1つ以上のストリームが、提供される情報にリストされ得る。 Each part of the environment, for example, the portion of the 360 ​​° environment, one or more streams corresponding to different data rates can be listed in the information provided. また、環境の頂部と底部が提供され得る。 Further, the top and bottom of the environment can be provided. いくつかの実施形態における個々のストリームのコンテンツは、左と右の眼の画像に対して異なる情報が与えられ、それによって、所望された3D効果を提供するために異なる画像がユーザに表示されることを可能にする、立体視コンテンツである。 The content of the individual streams in accordance with some embodiments, given different information for the left and right eye images, whereby different images to provide the desired the 3D effect is displayed to the user It allows a stereoscopic content. いくつかの実施形態では、球状環境の頂部及び底部は、左右の眼の眺めは同じであり、従って、2つの画像ではなく、1つの画像のみを必要とした、モノ画像として提供される。 In some embodiments, the top and bottom of the spherical environment, views of the left and right eyes is the same, therefore, rather than two images, and requires only one image, are provided as a mono image.

[000156] 番組、環境の部分、及び、ストリームのデータレートについての情報は、コンテンツをストリーミングするために利用可能である限られた帯域幅を考慮して、どのストリームが受け取られるべきかを優先付けするために再生システムによって使用され得、いくつかの実施形態において使用される。 [000156] program, part of the environment and, information about the data rate of the stream, taking into account the limited bandwidth available for streaming content, prioritize what should which stream is received obtained is used by the playback system to be used in some embodiments. 優先付けと所与の時間にどのストリームを受け取るかの選択は、ユーザの頭の位置、及び/または、頭の回転のユーザの現在または過去の方向に基づき得、いくつかの実施形態では基づく。 Selection of either receive which stream preferences and a given time, the position of the user's head, and / or be based on current or past direction of the user's head rotation, based in some embodiments.

[000157] 立体視コンテンツのストリーミングの場合には、限られた帯域幅及び/またはデータ制約を考慮して、受け取るべき好適なストリームの選択が、満足のいく、高品質の視聴体験のために重要であり得る。 [000157] In the case of streaming stereoscopic content, taking into account the limited bandwidth and / or data constraints, selection of a suitable stream to be received is satisfactory, important for high quality viewing experience It can be in. 図18に示された情報と同じか類似であり得る、例えば、ストリーム情報1405等のステップ1404で受け取られた情報は、メモリに記憶され、特定の時点で受け取るためのストリームまたは複数のストリームの選択のため、及び、例えば、選択されたストリームに対応するマルチキャストグループに参加すること、選択されたストリームを提供するチャネルに同調すること、及び/または、所望のストリームが通信される、再生デバイスに供給されるべき切り替えられたデジタル映像チャネルをネットワーク装置に示すことによるストリームの要求された配信によって、選択されたストリームの配信を起動するために使用される。 May be the same or be similar to the information shown in FIG. 18, for example, information received in step 1404, such as a stream information 1405 is stored in the memory, selection of the stream or multiple streams for receiving at a particular point in time for, and, for example, to join a multicast group corresponding to the selected stream, to tune to the channel providing the selected streams, and / or the desired stream is communicated, supplied to the playback device by the delivery streamed request by indicating a switched digital video channel to be in the network device, it is used to start the delivery of selected stream.

[000158] 動作は、ステップ1404からステップ1406に進む。 [000158] Operation proceeds from step 1404 to step 1406. ステップ1406において、初期化の間、ユーザの現在の頭の位置が検出される。 In step 1406, during initialization, the current position of the head of the user is detected. ユーザは、初期化フェーズ中に検出された頭の位置が前方を見ている位置であると仮定されるであろうことを認識して、通常、ステップ1406の間、快適なレベルの前向き位置に彼の頭を維持する。 User, the head position detected during the initialization phase is aware that it will be assumed that the position looking forward, normal, during step 1406, the forward position of the comfort level to keep his head.

[000159] 動作は、ステップ1406からステップ1408に進む。 [000159] Operation proceeds from step 1406 to step 1408. ステップ1408において、ステップ1406で検出されたユーザの頭の位置1407は、前方(0度)環境視野位置として扱われ、ユーザがこの位置に彼/彼女の頭を有している場合に表示される視野は0度環境位置、即ち、環境の特定の部分に対応するコンテンツストリームにその後エンコードされ、含まれる画像を取り込むために使用されるカメラによって取り込まれる前方位置に対応する。 In step 1408, the position 1407 of the head of the detected user at step 1406, is treated as a forward (0 °) environment field position is displayed when the user has his / her head in this position field is 0 degrees environment position, i.e., subsequently encoded into the content stream corresponding to a particular part of the environment, corresponding to the forward position to be captured by the camera used to capture the images included. スポーツイベントの場合において、この位置は、通常、例えば、ストリームまたは複数のストリームがコンサートに対応する場合のステージやストリームがスポーツイベントに対応する場合のフィールドの中央等、環境におけるアクションの主たる領域に対応する。 In the case of sporting events, this position is usually, for example, corresponds to the center or the like, the main area of ​​action in the environment of the field when the stage or the stream when the stream or streams corresponding to the concert correspond to sporting events to. 従って、ステップ1408において、ユーザの視野位置は、例えば、シーン領域の前方/正面部分等のゼロ度視野位置として解釈されるよう設定される。 Accordingly, in step 1408, the visual field position of the user, for example, is set to be construed as a zero degree view position such front / front portion of the scene area. 360度視野の部分は、ユーザが彼/彼女の頭を回した場合に可視になる異なる部分をもった水平方向の視野位置に対応することを注記する。 Part of the 360-degree field of view, be noted that the user corresponding to the field position in the horizontal direction with a different part to become visible in the case of turning his / her head. ユーザの頭を上下に動かすことによって、ユーザは、空の部分及び/または地面の部分を、単独で、または、1つ以上の他の部分との組み合わせて見ることがある。 By moving the user's head up and down, the user, the empty part and / or parts of the ground, alone or it may be viewed in combination with one or more other parts. 水平の頭の位置と仮定すると、主要なシーン領域が360度の回転に沿った部分に分割されるので、そのような部分に対応するストリームが、通常、より多くの帯域幅を割り当てられ、頂部/底部シーン部分は、静止画像を用いて、または、変更頻度の低い画像を用いて表され得る。 Assuming the position of the horizontal head, because the main scene area is divided into portions along a 360 degree rotation, stream corresponding to such a portion is typically allocated more bandwidth, the top / bottom scene part, using a still image, or it may be represented with a less change frequency image.

[000160] 動作は、ステップ1408から、環境深さマップが受け取られるステップ1410に進む。 [000160] Operation proceeds from step 1408 and proceeds to step 1410 where environmental depth map is received. 深さマップは、コンテンツストリームの画像がマッピングされるべき3D環境の表面を規定する。 Depth map defines the surface of the 3D environment to image content stream is mapped. 深さマップを受け取らないと、球体は、環境の画像が表示に先立つ描画の間にマッピングされるべき表面である球体の内側表面をもった、環境のデフォルト推定形状である。 If not receive the depth map, sphere, with the inner surface of a sphere is the surface upon which the image of the environment is mapped during the drawing prior to display, the default estimated shape environment. 深さマップを提供し、使用することによって、コンテンツストリーム内の画像が、シミュレートされるべき環境のより現実的な形状と表面をもつ表面にマッピングされるので、より現実的な経験が得られる。 Providing depth map, by using an image in the content stream, so are mapped to the surface with a more realistic shape and surface of the environment to be simulated, a more realistic experience is gained . 従って、ステップ1410において受け取られた深さマップは、受け取られるためにユーザによって選択されたコンテンツも対応する環境に対応している。 Accordingly, the depth map received in step 1410, in response to corresponding environment is also content selected by the user to be received. ステップ1410で受け取られた環境マップ地図、または、マップが受け取られない場合のデフォルトマップは、画像を描画することにおけるその後の使用のための環境マップ1411として記憶される。 Step 1410 in the received environment map map or default map when the map is not received is stored as an environment map 1411 for subsequent use in drawing a picture.

[000161] 動作は、ステップ1410からステップ1412に進む。 [000161] Operation proceeds from step 1410 to step 1412. ステップ1412において、3D表面の少なくとも一部の上に2D(2次元)画像コンテンツをマッピングするために使用されるべき1つ以上のUVマップが受け取られる。 In step 1412, one or more UV map to be used to map the 2D (2-dimensional) image contents over at least a portion of the 3D surface is received. 一実施形態において、少なくとも1つのUV(UV座標)マップが、異なる個々の画像によって表され得る環境の各部分のために受け取られる。 In one embodiment, at least one UV (UV coordinates) map is received for each portion of different individual environments which may be represented by an image. いくつかの実施形態において、コンテンツストリームによって通信された画像が、異なるカメラ、例えば、左と右の眼のカメラによって取り込まれる場合、異なるUVマップが異なるカメラのために与えられ得、時には与えられる。 In some embodiments, an image communicated by the content stream, different cameras, for example, if captured by the left and right eye of the camera, resulting given for different UV maps of different cameras, are given sometimes. 従って、図14Aの例において、第1のUVマップが、前方部分等の環境の第1の部分に対応してステップ14141で受け取られ、ステップ1416において、左後方部分等の環境の第2の部分に対応する第2のUVマップが受け取られ、及び、ステップ1417において、右後方部分等の環境の第3の部分に対応する第3のUVマップが受け取られる。 Thus, in the example of FIG. 14A, the first UV maps are received in step 14141 so as to correspond to the first part of the environment, such as the front portion, in step 1416, a second portion of the environment, such as the left rear portion second UV maps corresponding is received in, and, in step 1417, a third UV map corresponding to the third portion of the environment, such as the right rear portion is received. 環境の頂部と底部に対応するUVマップは、それぞれ、ステップ1418と1420において受け取られる。 UV map corresponding to the top and bottom of the environment, respectively, received at step 1418 and 1420. 部分が同じサイズのものである場合は、同じUVマップが複数の部分のために使用され得る。 If parts are of the same size and the same UV map it can be used for a plurality of parts. しかし、いくつかの実施形態では、UVマップは、異なるカメラによって取り込まれた画像のために使用される。 However, in some embodiments, UV map is used for the images captured by different cameras.

[000162] 従って、1つのそのような実施形態において、例えば、左と右の眼の画像等の立体視画像データが提供される環境の各部分について、UVマップが特定の左または右の眼の画像コンテンツを取り込むために使用されるカメラアセンブリの特定の特性を考慮することができるように、個別のUVマップが、左と右の眼の画像の各々について受け取られ、記憶され得る。 [000162] Thus, in one such embodiment, for example, for each part of the environment in which stereoscopic image data such as images of the left and right eye are provided, UV map of a particular left or right eye as can be taken into account specific characteristics of the camera assembly to be used to capture the image content, separate UV maps are received for each of the left and right eye images may be stored.

[000163] 各UVマップは、マップが対応するコンテンツストリームの2次元画像を3D環境の表面の対応する部分上にマッピングするために使用されるマップを提供する。 [000163] Each UV map provides map the map is used to map a two-dimensional image on the corresponding portion of the surface of the 3D environment corresponding content stream. このように、カメラによって取り込まれた画像は、2D画像として送信され得、次いで、3Dモデルによって規定される表面または表面の部分上にテクスチャとしてマッピングされる。 Thus, the captured image by the camera, resulting transmitted as a 2D image, and then is mapped as a texture on the part of the surface or surfaces are defined by the 3D model.

[000164] 3Dモデル情報とUVマップが受け取られて、シーン部分のための他のコンテンツの場合におけるデフォルトとして使用され得る画像が受け取られ、記憶され得る。 [000164] is received the 3D model information and UV map, the image is received that may be used as the default in the case of other content for scene portions, may be stored. ステップ1422において、第1、第2、第3、及び、第5のシーン部分の1つ以上に対応する、例えば、画像等のコンテンツは、ステップ1422で受け取られ、記憶される。 In step 1422, first, second, third, and corresponds to one or more of the fifth scene parts, for example, the contents such as images, is received in step 1422, it is stored. いくつかの実施形態では、例えば、背景部分または空の部分等の環境の一部に対応する複数の代替画像がステップ1422で受け取られ、記憶される。 In some embodiments, for example, a plurality of alternative images corresponding to a part of the environment, such as a background portion or empty portion is received in step 1422, are stored. 制御情報は、そのために複数のデフォルト画像が記憶されている部分についてのイベントの間の所与の時点でどのデフォルト画像が使用されるべきであるかを示しつつ受け取られる。 Control information is received while indicates which default image is to be used at a given time during the event of a part in which a plurality of default images therefor are stored. 例えば、いくつかの実施形態において、座っている観客の背景画像と立っている観客の背景領域画像が2つのデフォルト画像として記憶される。 For example, in some embodiments, sitting spectator standing the background image of the audience are background region image is stored as two default images. 制御情報は、イベントの所与の部分にどの背景画像が使用されるかを示すために使用される。 Control information is used to indicate which background images are used in a given part of the event. 例えば、プレイまたはコンサートでのスタンディングオベーションに対応する部分の間に、ユーザが背景方向に向いた場合に表示されるべき背景画像として、立っている観客の画像が信号化される。 For example, while the portion corresponding to the standing ovation of the play or concert, the user as a background image to be displayed when facing the background direction, the image of the audience standing is signaled. しかし、観客が通常座っているであろう、イベントの主たる部分の間に、制御情報は、ユーザが彼/彼女の頭を背景の方に向けた場合に座っている観客のデフォルト画像が使用されるべきであることを信号化する。 However, the audience would sit normally, during the main part of the event, the control information, the default image of the audience that the user is sitting in the case of his / her head was towards the background is used to signaling that the Rubeki. 制御情報は、コンテンツストリームとは別個に信号化され得、または、デフォルト画像の1つ以上が関連する部分とは異なる環境の部分のコンテンツストリームと共に含まれてもよい。 Control information may be separately signaled from the content stream, or may be included with the content stream portions of different environments and one or more relevant portions of the default image. 例えば、前方方向に対応するコンテンツストリームは、例えば、左と右の眼の画像等の前方方向に対応する画像、並びに、例えば、イベントの間の様々な度において、空、地面、右背景、及び、左背景部分のために、どのデフォルト画像が使用されるべきかを示す制御情報を与え得る。 For example, a content stream corresponding to the forward direction, for example, an image corresponding to the forward direction of the image or the like of the left and right eye, and, for example, in various degrees during the event, the sky, the ground, the right background, and It may provide control information indicating whether for the left background part, should any default image is used. 代替的に、再生デバイスは、特定の時点で背景画像の1つ以上の態様への類似の明度に基づいて、どの背景または空の部分を使用するかを決定できる。 Alternatively, the playback device may determine based on the similarity in brightness to one or more aspects of the background image at a particular point in time, to use any background or empty part. 例えば、前景の画像が暗い場合に、これが検出され、曇り空の画像が自動的に検出され得、他方、前景画像が明るいときは、また、これが検出され、雲がより少ない、より明るい空の画像が、受け取られ、記憶された利用可能なデフォルトの空の画像から自動的に選択される。 For example, if the foreground image is dark, it is detected, resulting cloudy images are detected automatically, while when the foreground image is bright, also, this is detected, clouds fewer, brighter sky image but it is received and selected automatically from stored available default empty image.

[000165] ステップ1422において、異なる環境部分に対応するデフォルト画像が、通常、エンコードされた形式で受け取られ、記憶される。 [000165] In step 1422, the default image corresponding to the different environments portion normally received in encoded form, are stored. ステップ1424において、受け取られた画像の1つ以上がデコードされ、そして、デコードされたコンテンツが、ステップ1426において1つ以上の画像バッファに記憶される。 In step 1424, the one or more decoding of the received image, and the decoded content is stored in one or more image buffers in step 1426. この様に、デフォルト画像はデコードされ、再生の間の描画のためにそれらが必要とされたときに再びデコードされる必要がないように、デコードされた形式で記憶される。 Thus, the default image is decoded, so that it does not have to be re-decoded when they are needed for drawing during reproduction, it is stored in a decoded form. デフォルト画像は複数回使用されるので、デコーディングと記憶は、さもなければ、描画時点で、または、描画直前に画像をデコードするために必要とされるに違いないデコーディング要件を低減することができる。 The default image is used multiple times, decoding and memory, otherwise, the drawing point, or, it is possible to reduce the decoding requirements must be required to decode the image immediately before drawing it can. 処理リソースが不足し得ることを考慮すると、予めのデコーディングとデコードされた形式でのデフォルト画像の記憶は、画像が表示する直前にデコードされ、そして、それが必要でなくなったら、例えば、メモリから除かれる等、デコードされた画像が削除される実施形態と比較して、プロセッサリソースの使用を改善する。 Considering that processing resources may lack the storage of default images in advance of decoding and decoded form, decoded immediately before the image is displayed, and, when it is no longer needed, for example, from the memory etc. is removed, compared to the embodiment has decoded picture is removed, improving the use of processor resources.

[000166] 同じデフォルトのデコードされた画像は、例えば、空のため等、複数回使用され得るが、他の受け取られた画像コンテンツと組み合される前に処理され得、それは、環境の見られる部分を生成するためにそれが組み合わされる環境の該他の画像とより近く一致する。 [000166] The same default decoded image is, for example, such as for air, but may be used multiple times, resulting processed before being combined with the image content other received, it portions seen environmental it matches more closely with the said other image of the environment to be combined in order to generate. 例えば、いくつかの実施形態では、デコードされたデフォルト画像は、それらが組み合わされる画像部分い基づいて輝度調整の対象となり、または、デフォルト画像が環境の他の部分に対応する画像と組み合される縁に少なくとも沿ってぼやかされる。 For example, in some embodiments, the default image is decoded, they image part have Based on subject brightness control are combined, or the edges default image is combined with the image corresponding to the other parts of the environment It is blurred along at least. 従って、少なくともいくつかの実施形態での使用の間、画像の明るさ及び/または色特性は、それらが組み合わされる地面の画像の同じ特性に、それらをより似させるためにフィルタされ、または、修正される。 Therefore, during the use of at least some embodiments, brightness and / or color characteristics of the image, the same characteristics of the ground of the image they are combined, filtered to make them more similar to, or modify It is.

[000167] 将来の使用のために初期化データとデフォルト画像とが記憶されて、動作は、受け取られている1つ以上のストリームの組、例えば、現在の選択されたストリームの組、が初期化されるステップ1428に進む。 [000167] and initialization data and default image for future use is stored, operation, one or more streams of the set being received, for example, the current set of selected stream, but the initialization the process proceeds to step 1428 to be. 各ストリームは、立体視またはモノ画像データを提供し得る。 Each stream may provide a stereoscopic or mono image data. オプションとして、対応する音響も、選択されたストリームにおいてだが、より一般的には、1つ以上の個別の音響ストリームにおいて受け取られ得る。 Optionally, the corresponding acoustics, but it in the selected stream, more generally, may be received in one or more individual acoustic stream. 記載は、音響ストリームも、通常、受け取られ、再生デバイスによってデコードされること、及び、音響がステレオ音響を含み得ることの理解をもって、映像ストリームの受け取りに焦点を当てる。 Wherein the acoustic stream is also usually received, it is decoded by the playback device, and, with the understanding that the sound may comprise a stereo sound, focus on receipt of the video stream.

[000168] 例示的なステップ1428において、ストリームの現在の選択された組は、環境の前方/正面部分に対応する第1のストリーム通信コンテンツに等しく設定される。 In [000168] Exemplary steps 1428, the current selected set of streams is set equal to the first stream communication content corresponding to the front / front section of the environment. これは、開始において、初期位置は前方視野位置になるように設定され、従って、初期化の結果として、ユーザは、開始時に、前方シーン領域を見ることを期待するからである。 This, at the start, the initial position is set to be the forward field of view position, therefore, as a result of the initialization, the user, at the start, because you expect to see forward scene area.

[000169] 動作は、ステップ1428からステップ1429に進む。 [000169] Operation proceeds from step 1428 to step 1429. ステップ1429において、リソース割り当て情報が受け取られる。 In step 1429, the resource allocation information is received. リソース割り当て情報は、帯域幅及び/またはデータレート割り当て制御情報の形態であってよい。 Resource allocation information may be in the form of bandwidth and / or data rate allocation control information. ステップ1429で受信された情報は、いくつかの実施形態において、環境の異なる部分に対応する1つ以上の通信ストリームに、どのくらい多くの帯域幅またはデータ通信能力が割り当てられるべきかについての情報を含む。 Information received in step 1429, in some embodiments, includes information about whether the one or more communication streams corresponding to different portions of the environment, to be allocated is how much bandwidth or data communication capabilities . 情報は、データレートが、通常、帯域幅に一致するとの理解をもって、帯域幅またはデータレートについて表現される。 Information, data rate, usually with an understanding of the matching bandwidth, represented for bandwidth or data rate. 例えば、受け取られ得るデータ量は、帯域幅上を通信するために使用されるデータコーディングのタイプを考慮して、帯域幅の量の関数であってよい。 For example, the amount received may data, taking into account the type of data coding used to communicate over the bandwidth, may be a function of the amount of bandwidth.

[000170] ステップ1429で受け取られた情報は、環境の特定の部分に対応する画像の受け取りに割り当てるために、利用可能な通信容量の相対的な最大量を示し得る。 [000170] information received in step 1429, in order to assign to the receipt of an image corresponding to a specific part of the environment may indicate a relative maximum amount of available communication capacity. 例えば、それは、最大で、帯域幅またはサポート可能なデータレートの80%が、例えば、前方データストリーム等の主要なデータストリームに割り当てられ、最後に、帯域幅の20%が1つ以上の他のストリームに割り当てられるべきであることを示し得る。 For example, it is at most 80% of the bandwidth or supportable data rate, for example, assigned to the primary data stream, such as forward data stream, finally, 20% of the bandwidth of one or more other It may indicate that it should be allocated to the stream. 異なる方向へのリソースの割り当ては、環境の対応する部分における画像コンテンツ、及び/または、検出された聴衆フィードバックの関数であり得、いくつかの実施形態においてはそうある。 Allocation of resources to different directions, the image content in the corresponding part of the environment, and / or can be a function of the detected audience feedback, so there is in some embodiments. 例えば、いくつかの実施形態において、コンテンツが対応するイベントの間に起こる休憩中に、ステップ1429で受け取られた情報は、増加された量のリソースが、環境の後ろ部分の一方または両方に対応する画像を受け取ることに割り当てられるべきであることを示し得る。 For example, in some embodiments, during a break occurring during the event content corresponds, the information received in step 1429, increased amount of resources correspond to one or both of the rear part of the environment It may indicate that it should be allocated to receiving the image. これは、休憩中に、ユーザが彼らの頭を回し、メインフィールドやステージから離れたところを見始める可能性がより高くなり、休憩中に聴衆の中で起こっているアクションがあるように見えるように、いくつかの映像が後方のために供給されることが望まれ得るからである。 This is, during the break, the user turn their heads, the start likelihood is higher that seen at a distance from the main field and the stage, so that appears to be an action that is going on in the audience during the break , several video is because it may be desirable to be supplied for backward. 例えば、野球の試合でホットドックを買う、または、席を変える人々の画像が、背景が休憩中はライブで、他の回には静止画で見えるように、送られる。 For example, buy a hot dog at a baseball game, or the image of the people to change the seat, background during a break in the live, in other times so as to be visible in a still image, it is sent. 同様に、背景における看板の画像は、広告及び/または娯楽目的のために、休憩中に変更され得る。 Similarly, billboard image in the background, for advertising and / or entertainment purposes, may be changed during a break. 従って、休憩中に背景部分を受け取るために、イベントの他の部分の間よりも多くのリソースを割り当てるために、再生デバイスを起動することが望ましい。 Therefore, in order to receive the background portion during a break, in order to allocate more resources than during other parts of the event, it is desirable to start the playback device. ステップ1429で受け取られた制御情報は、イベントの休憩時間または他の区別された部分の間より、イベントの主たる部分の間で異なり得、時には異なる。 Control information received in step 1429, than during the rest periods, or other differentiated part of the event, be different between the main portion of the event, sometimes different. 少なくともいくつかの実施形態において、メインイベントの間に、ステップ1429で受け取られた制御情報は、後部より、環境の主たる、例えば、前方の、領域に、より多くの帯域幅及び/またはデータレートが割り当てられるようにさせる。 In at least some embodiments, during the main event, the control information received in step 1429, from the rear, major environmental, for example, in front of the area, more bandwidth and / or data rate let as can be assigned. しかし、休憩または他の区別された部分の間は、後部の一方または両方に割り当てられるデータレートが増加されるようにせしめる。 However, during the break or other differentiated portions and allowed to the data rate to be assigned to one or both of the rear is increased.

[000171] 所与の方向に割り当てられたリソース間の分割は、環境の部分で提示されているコンテンツ、見る者の注目の測定、及び/または、例えば、主たる部分、休憩部分、ショー後の部分、等の進行中であるイベント部分に基づき得る。 [000171] divided among resources assigned to a given direction, content that is presented in the part of the environment, the measurement of the viewer's interest, and / or, for example, major portions, resting portion, a portion after the show may be based on the event portion is in progress and the like. いくつかの実施形態において、ステップ1429で提供される制御情報は、例えば、イベントが進行中の間、環境の1つ以上の部分に対応する画像の受け取りに割り当てられるべき、帯域幅またはデータレートの最大及び/または最小量を特定する。 In some embodiments, the control information provided in step 1429, for example, the event should have during ongoing, assigned to the receiving of the image corresponding to the one or more portions of the environment, the largest and the bandwidth or data rate / or to identify the minimum amount. いくつかの実施形態では、情報は、イベントの間に地面から空の画像部分を受け取ることに、何の帯域幅またはデータも割り当てられるべきではなく、従って、これらの部分は、そのような場合に静止画を用いることが必要とされるときに定着されることができることを示す。 In some embodiments, the information to receiving an empty image portion from the ground during the event, should not be allocated any bandwidth or data, therefore, these parts, in such a case indicating that it can be fixed when it is necessary to use a still image.

[000172] 帯域幅/データレート割り当て制御情報は、異なる情報が異なる回に受け取られて、経時的に変化し得る。 [000172] Bandwidth / data rate allocation control information is received in different information is different times, may change over time. 制御情報は、前方コンテンツストリームの中に埋め込まれ得、及び/または、例えば、制御情報の個別の組として、別々に送られ得る。 Control information is obtained is embedded in the front content stream, and / or, for example, as a separate set of control information may be sent separately.

[000173] 動作は、ステップ1429から、既に受け取られていないストリームの選択された組の中のストリーム(または、複数のストリーム)のコンテンツ配信が起動されるステップ1430に進む。 [000173] Operation proceeds from step 1429 and proceeds to step 1430 that is not already received stream of a selected set of streams in (or, more streams) content distribution is activated. これは、選択されたストリームが対応するマルチキャストグループに参加すること、ネットワーク装置に、選択されたストリームの配信を要求するメッセージを送ること、及び/または、選択されたストリームまたは複数のストリームが伝送されるブロードキャストチャネルに同調すること、を含み得る。 It is to join a multicast group is selected stream corresponding to the network device, sending a message requesting delivery of selected stream, and / or, the selected stream or plurality of streams are transmitted to tune to a broadcast channel that may include. ステップ1430を通る第1の経路の場合には、これが配信のために選択される最初の視野部分として設定されたので、これは、環境の前方部分に対応するコンテンツストリームの配信を開始することを含む。 In the case of the first path through the step 1430, so this is set as the first field portion to be selected for delivery, which, to begin delivering content stream corresponding to the front portion of the environment including. しかし、例えば、ユーザが彼/彼女の頭を左または右に回す等、ユーザの頭の位置が変化すると、選択されるストリームの組は、変化し得る、及び、通常は変化する。 However, for example, such as user turns his / her head to the left or right, if the position of the user's head changes, the set of streams to be selected may vary, and normally changes. 例えば、前方領域と右後方領域の部分が見えてくるように、ユーザが左に彼の頭を回した場合、選択されるストリームの組は、前方領域と左後方部分の両方に対応したコンテンツが受け取られるように変更される。 For example, as the portion of the front region and the rear right region comes into view, if the user turned his head to the left, a set of streams to be selected, the content corresponding to both the front region and the left rear portion It is changed to be received. 左後方部分が受け取られておらず、選択される場合、左後方部分に対応するストリームにおけるコンテンツの配信がステップ1430で起動される。 Not been received left rear portion, when selected, distribution of content in the stream corresponding to the left rear portion is started in step 1430. 両方向における最大データレートストリームがサポートされることができない場合、より低いデータレートの前方ストリームが選択され得、従って、より低いデータレート前方ストリームと左後方コンテンツストリームの両方の開始が起動される。 If it is not possible to maximum data rate streams in both directions are supported, resulting forward stream of lower data rate is selected, therefore, the start of both the lower data rate forward stream and a left rear content stream is activated. 選択された組の外のストリームは、新たに選択された組内のストリームの受け取りの前に終了される。 Stream outside of the selected set is terminated before the receipt of the newly selected set within the stream. 受け取られているコンテンツにおける動的な変化、及び/または、一時的なギャップが、ストリーム切り替えが起こるときの画像の品質またはソースにおける変化の著しさを低減するために使用されている、ぼやかし及び/またはフィルタリングを用いて最小化されるように、ストリームの終了と開始は円滑に行われる。 Dynamic changes in the content being received, and / or temporary gaps, have been used to reduce the authored of change in quality or the source of the image when the stream switching occurs blurring and / or as will be minimized by using the filtering, the start and end of stream smoothly. 例えば、ぼやかしは、描画または表示プロセスの部分として、一緒に縫い合わされる画像の部分にわたって実装され得る。 For example, blurring is as part of the drawing or display process may be implemented over a portion of the image stitched together.

[000174] 選択されたストリームの現在の組のために起動されるコンテンツ配信をもって、動作は、ステップ1430からステップ1432に進む。 [000174] with the content distribution to be invoked for the current set of selected stream, then operation proceeds from step 1430 to step 1432. ステップ1432において、コンテンツは、コンテンツストリームの選択された組におけるストリームから受け取られる。 In step 1432, the content is received from the stream in the selected set of content stream. これは、例えば、視界の主な部分に対応するコンテンツを提供するストリーム等の最も高い優先度のストリームに対応するコンテンツ、及び、例えば、視界に対応する画像コンテンツの小さい部分を提供する部分等の環境の1つ以上の他の部分に対応するコンテンツを受け取ることを含み得る、及び、様々な実施形態では含む。 This, for example, content corresponding to the highest priority stream with the stream such as to provide a content corresponding to the major portion of the field of view, and, for example, a portion such that provides a small portion of the image content corresponding to the field of view It may include receiving a content corresponding to one or more other parts of the environment, and includes a variety of embodiments. 現在の視界のためのコンテンツの小部分を提供するストリームは、2次的ストリームとして記載され得る。 Stream that provides a small portion of the content for the current field of view, may be described as a secondary stream. 単一ストリームがフルの視界のためのコンテンツを提供する一実施形態において、例えば、ユーザが視界の外側の方向に向いた場合に視界外であるコンテンツを提供すること等、1つ以上の2次的またはより低い優先度のストリームを受け取るために、利用可能な帯域幅/サポート可能な受け取りデータレートの20%またはそれ以下が留保され、使用される。 In one embodiment in which a single stream to provide content for the full field of view, for example, like the user to provide content that is sight outside when facing in the direction of the outside of the field of view, one or more secondary to receive a stream of or lower priority, 20% of the bandwidth / supportable receive data rate available or less are retained and used. 視界が、2つの異なるコンテンツストリームに対応する領域間のほぼ対等な分離である場合に、各ストリームには、それらがほぼ互角の形で寄与し、2つのストリームが提供する画像が対する領域の外の環境の領域を見るために、ユーザが急に位置を変えることはほとんどないので、利用可能なデータレート/受け取りデータレートの約半分を割り当てられる。 Visibility, when a substantially equal separation between regions corresponding to the two different content streams, each stream, they contribute almost evenly matched shape, outside of the area where an image in which two streams are provided against to see a region of the environment, since the user rarely changes position suddenly assigned approximately half the data rate / receive data rate available.

[000175] コンテンツ受け取りが開始されると、ステップ1432において、画像等のコンテンツが、ストリームの選択された組から受け取られる。 [000175] When the content receiving is started, in step 1432, the content of the image or the like, is received from the stream of selected set. 主たる、例えば、最も高い優先度の、ストリームは、通常、左と右の眼の画像コンテンツの両方がストリームにおいて受け取られている、立体視コンテンツである。 Principal, for example, the highest priority, the stream, generally both the image content of left and right eye is received in the stream is a stereoscopic content. 優先度の低いストリーム及び/または低いデータレートを割り当てられたストリームについて、単一の画像が左と右の眼の画像の両方への表示のために受け取られて、モノ画像が受け取られ得る。 The stream that has been assigned the lower priority streams and / or lower data rates, a single image is received for display on both the left and right eye images, the mono image can be received. 前方シーン部分は、通常、立体視コンテンツとして受け取られるが、1つ以上の後方部分は、モノ画像ストリームとして提供され得る。 Forward scene part is usually taken as the stereoscopic content, one or more of the rear portion may be provided as mono image stream.

[000176] エンコードされた画像コンテンツは、ステップ1432において、通常、ストリームの中で受け取られる。 [000176] encoded image content, in step 1432, usually received in the stream. ステップ1434において、受け取られたコンテンツがデコードされ、そして、接続ノードA 1436を介して到達するステップ1438において、デコードされたコンテンツが1つ以上の画像バッファに記憶される。 In step 1434, the received content is decoded, and in step 1438 to reach via connecting node A 1436, the decoded content is stored in one or more image buffers. いくつかの実施形態では、デコードされた画像バッファは、環境の各部分のために維持される。 In some embodiments, image buffers which are decoded are maintained for each part of the environment. 受け取られた画像の一部のみが最終的に表示される場合でも、フルの受け取られたフレームが、通常、デコードされ、バッファリングされる。 Even if only a portion of the received image is finally displayed, frames received full is usually decoded and buffered. デコードされたバッファ画像は、それが同じシーン部分のためのより最近の画像で置き換えられるまで、メモリに維持され得、いくつかの実施形態では維持される。 Decoded buffer image until it is replaced by more recent image for the same scene portions, resulting is maintained in memory, in some embodiments it is maintained. 従って、任意の所定の時間において、デコードされた画像は、現在の視界に基づいて必要とされるだけ最終的な出力画像を描画することにおいて使用するために、環境の各部分について利用可能である。 Thus, at any given time, the decoded image, for use in drawing a final output image only needed based on the current field of view, are available for each part of the environment . デコードされた画像コンテンツは、それがより最近のデコードされた画像によって置き換えられるまで、メモリに維持されるので、360度環境の部分の各々に対応する画像のデコーディングは、各フレーム時間中に起こる必要はない。 Image content decoded until it is replaced by more recent decoded image, because it is maintained in the memory, the decoding of the image corresponding to each portion of the 360 ​​° environment occurs during each frame time You need not be. 従って、毎秒30フレームのフレームレートがサポートされ得るが、150フレームは、例えば、頂部、底部、前方、左後方、右後方部分の各々について1つ等、各フレーム期間にデコードされる必要はないが、むしろ、主たる視界に対応する部分よりも低いレートで更新される、以前にデコードされた静止画像または以前にデコードされた画像部分から出る画像のいくつかの部分をもって、サポートされ得るフレームレートに等しいか、または、わずかに高いフレームのより少ない数がデコードされ得る。 Thus, although the frame rate of 30 frames per second can be supported, 150 frames, for example, top, bottom, front, left rear, etc., one for each of the right rear portion, need not be decoded in each frame period rather, with some parts of the main field of view to be updated at a lower rate than the portion corresponding exits from a previously decoded still image or a previously decoded image portion image, equal to a frame rate that can be supported or may fewer slightly higher frame is decoded.

[000177] 従って、ステップ1438で更新された後、現在のデコードされたフレームは、ユーザの現在の視界に基づいて画像を描画することにおける使用のために利用可能である。 [000177] Accordingly, after being updated in step 1438, it frames current decoded is available for use in drawing a picture based on the current field of view of the user.

[000178] 動作は、ステップ1438からステップ1440に進む。 [000178] Operation proceeds from step 1438 to step 1440. ステップ1440において、画像バッファ(または、複数の画像バッファ)から利用可能であるデコードされたコンテンツ、例えば、テクスチャ等、1つ以上の画像部分が適用されるべき表面を規定する環境マップ、及び、2Dのデコードされた画像を3D表面のモデルにどのように適用するかの情報を与えるUVマップ(または、複数のUVマップ)を用いて、コンテンツが描画される。 In step 1440, image buffer (or, more image buffers) content decoded is available from, for example, texture, etc., one or more image portions environment map that defines a surface to be applied, and, 2D how to apply one of UV map providing information decoded image to the model of the 3D surface (or, more UV maps) with the content is rendered. 環境の3Dメッシュモデルは、環境の画像が適用されるべき表面を規定するメッシュモデルの頂点に対応するUVマップにおける点をもった、グリッドの形態であってよい。 3D mesh model environment, with a point in the UV map corresponding to the vertices of the mesh model defining the surface upon which the image of the environment is applied, may be in the form of a grid.

[000179] 描画の部分として、異なるストリームから受け取られたコンテンツに対応する画像部分は、単一のストリームからのコンテンツがユーザの視界をフルに占める部分を提供することができない場合にユーザの視界に対応する環境の画像を生成するために、組み合わされる。 [000179] As part of the drawing, an image portion corresponding to the content received from different streams, the user's view when the content of a single stream is not able to provide a portion that occupies the field of view of the user to the full to generate an image of the corresponding environment, it is combined. フィルタリング、または、ぼやかしが、ユーザ視界に対応する複合画像を形成するために結合される画像にわたって適用され得る、及び、いくつかの実施形態では適用される。 Filtering, or blurs can be applied over an image to be combined to form a composite image corresponding to the user field of view, and are applied in some embodiments. これは、継ぎ合わせがユーザにどの程度目立つかを低減する方向に向かう。 It is directed in a direction to reduce or seaming is conspicuous how the user. 加えて、複合画像の部分を与える画像部分の輝度は、いくつかの実施形態において、複合画像を形成するために組み合される画像部分間の輝度差を低減するために調整され、複合画像を形成するために組み合される画像部分への輝度調整をする場合に、後部、頂部、側部の輝度値より上の優先度を与えられて前方視野の輝度値が始まる。 In addition, the luminance of the image portion to provide a portion of the composite image, in some embodiments, is adjusted to reduce the luminance difference between the image portion to be combined to form a composite image to form a composite image when the brightness adjustment of the image portion to be combined to the rear, top, given a priority above the luminance value of the side luminance value of the forward field of view starts with.

[000180] 異なるコンテンツストリームから受け取られた画像の1つ以上の画像部分の複合であり得る描画された画像は、ステップ1442において、記憶され、表示され、または、伝送される。 [000180] different may be a composite of one or more image portions of the received image from the content stream rendered image, in step 1442, stored, displayed, or transmitted. これは、選択されたコンテンツストリームの現在の組に基づいて、コンテンツの1つ以上のフレームの生成と表示を表す。 This is based on the current set of selected content stream represents the generation and display of one or more frames of the content.

[000181] 経時的に、通信チャネル状態またはネットワーク問題における変化に起因して、最大のサポート可能なデータレートが変わり得る。 [000181] over time, due to changes in the communication channel conditions or network problems may vary the maximum supportable data rate. これは、ステップ1443で検出され、どのコンテンツストリームまたは複数のストリームが受け取られ、処理されるべきであるかを選択する場合に考慮され得る。 This is detected at step 1443, which content stream or multiple streams are received, it may be considered when selecting or should be processed. ステップ1443において、最大のサポートされるデータレート及び/または帯域幅は、後続のステップで使用されるためのデータ1444によって表されるように決定される。 In step 1443, the maximum supported data rate and / or bandwidth is determined as represented by the data 1444 for use in subsequent steps. ステップ1445において、ユーザの現在の頭の位置が検出される。 In step 1445, the current position of the head of the user is detected. これは、ヘッドマウントディスプレイを含むヘッドギア上の位置センサを使用することによって行われ得る。 This can be done by using a position sensor on the headgear including a head-mounted display.

[000182] 動作は、ステップ1445から、ユーザの頭の位置が変わったかどうかについて決定がなされるステップ1446に進む。 [000182] Operation proceeds from step 1445 to step 1446 to determine whether the changed location of the user's head is made. ユーザの頭の位置が変わっていない場合、動作は、現在の利用可能な最大帯域幅または最大のサポート可能なデータレートが、例えば、ストリーム選択がなされた最後の時点から、変化したかどうかについてのチェックがなされる、ステップ1447に進む。 When the position of the user's head is not changed, the operation is currently available maximum bandwidth or maximum supportable data rate, for example, from the last time the stream selection is made, as to whether a change a check is made, the process proceeds to step 1447. 最大のサポート可能なデータレートまたは頭の位置に変化が検出されなかった場合、以前のストリーム選択が有効なまま残り、コンテンツストリームの選択された組に変更はなされない。 If a change in the position of maximum supportable data rate or head is not detected, no remains valid previous stream selection, change in the selected set of content streams made. 従って、再生システムは、変わらないままであるユーザの現在の視界に対応するコンテンツを受け取り続ける。 Therefore, the reproduction system continues to receive the content corresponding to the current field of view of the user remains unchanged. ステップ1447において変更が検出されない場合、動作は、接続ノードB 1456を介して、ステップ1429に戻る。 If the change in step 1447 is not detected, operation, via connecting node B 1456, returns to step 1429.

[000183] しかし、ステップ1446または1447のいずれかにおいて変化が検出された場合、動作は、ストリーム選択サブルーチンの呼び出しを含むストリーム選択ステップ1448に進む。 [000183] However, if a change in either step 1446 or 1447 is detected, operation proceeds to stream selection step 1448 to include a call stream selection subroutine. このように、頭の位置及び/またはサポート可能なデータレートにおける検出された変化が考慮され得、ストリームの選択が、ユーザの頭の位置、及び/または、例えば、画像コンテンツ等のデータを受け取るために使用され得るサポート可能なデータレートの観点で再考慮される。 Thus, obtained is considered is detected change in position and / or supportable data rates of the head, selection of the stream, the position of the user's head, and / or, for example, for receiving data such as image content re considered in terms of supportable data rates that may be used.

[000184] ストリームがストリーム選択サブルーチンによって選択されると、動作は、選択されたストリームが選択されたストリームの現在の組と異なるか否かについてチェックがなされるステップ1450に進む。 [000184] When a stream is selected by the stream selection subroutine, the operation proceeds to step 1450 where a check is made as to whether the current set differs whether the stream selected stream is selected. 新たに選択された組が、使用中であるストリームの現在の選択された組と同じ場合、受け取られているストリームについての変更はなされる必要がなく、ステップ1452において、ストリームの現在の選択された組が変更されないで残され、動作は、接続ノードB 1456を介してステップ1429に進む。 Set the newly selected set is the same when the current selected set of in use stream, need not be made is changed for a stream being received, in step 1452, that is currently selected stream There are left without being changed, operation proceeds to step 1429 via connecting node B 1456. しかし、ストリームの新たに選択された組が選択されたストリームの現在の組から異なる場合、例えば、現在選択された組がストリーム選択サブルーチンによって選択されたストリームの新たに選択された組に等しく設定される等、ストリームの選択された組における変更を反映するために、ステップ1454において、ストリームの現在の選択された組が更新される。 However, if the newly selected set of streams is different from the current set of selected stream, for example, set equal to the newly selected set of streams set the currently selected is selected by the stream selection subroutine that like, in order to reflect changes in the stream of the selected set, in step 1454, the current selected set of the stream is updated.

[000185] 動作は、ステップ1454から、ストリームの更新された現在選択された組の中に含まれていないストリームの受け取りが終了されるステップ1455に進む。 [000185] Operation proceeds from step 1454 to step 1455 which receives a stream that is not contained in the stream of updated current selected set is terminated. これは、再生システムが、それがもはや受け取られないストリームに対応するマルチキャストグループのメンバであることを望まないことを信号で知らせること、または、例えば、新たに選択されたストリームまたは複数のストリームの受け取り等、他の目的のために終了されているストリームを受け取るために使用されるチューナ等のリソースを使用するために他のアクションをとることを含む。 This reproduction system, it is possible to notify the signal that do not wish to be a member of the multicast group corresponding to no longer received stream, or, for example, receipt of the newly selected stream or streams etc., including take other actions in order to use the resources of the tuner used to receive the stream being terminated for other purposes.

[000186] 動作は、ステップ1455から、接続ノードB 1456を介してステップ1429に進む。 [000186] Operation proceeds from step 1455 and proceeds to step 1429 via connecting node B 1456. そして、ステップ1430において、任意の新たに選択されたストリームの受け取りが開始され、受け取られたコンテンツは、1つ以上の画像を描画するために使用される。 Then, in step 1430, any new receipt of selected stream is started, the content received, is used to render one or more images. 従って、経時的に、ユーザが彼または彼女の頭の位置を変える、及び/または、サポートされ得るデータレートが変わると、選択されたストリームも同様に変わり得る。 Thus, over time, the user changes the position of his or her head, and / or, if supported may data rate is changed may vary similarly selected stream.

[000187] 図15は、図14の方法のステップ1448において呼び出されるストリーム選択サブルーチンとして使用され得る、例示的な実施形態によるストリーム選択サブルーチンのステップを示すフローチャートである。 [000187] Figure 15 can be used as a stream selection subroutine called in step 1448 of the method of FIG. 14 is a flowchart illustrating the steps of a stream selection subroutine according to an exemplary embodiment.

[000188] ストリーム選択サブルーチンは、例えば、図14のステップ1448によって、サブルーチンが呼び出されるとき、ステップ1502で始まる。 [000188] stream selection subroutine, for example, in step 1448 of FIG. 14, when the subroutine is called, begins at step 1502. 動作は、開始ステップ1592からストリーム選択ステップ1504に進む。 Operation proceeds from start step 1592 to stream selection step 1504. ストリーム選択ステップ1504への入力は、帯域幅及び/またはデータレート制約1503を含む。 The input to the stream selection step 1504 includes the bandwidth and / or data rate constraints 1503. これらは、1つ以上のシーン部分、ストリーム、及び/または、ストリーム方向に割り当てられるべき利用可能な帯域幅または合計受け取りデータレートの最大部分の情報を含み得る。 These may include one or more scene portions, streams, and / or, the information of the largest portion of the available bandwidth to be allocated to the stream direction or the total receiving data rate. 制約は、また、シーン部分、ストリーム、及び/または、視野方向への最小の帯域幅またはデータ割り当てを含み得る。 Constraints also scene portions, streams, and / or may comprise a minimum bandwidth or data allocation in the sight. 従って、アクションが、イベント休憩時間の間に、後方領域等の環境部分で起こっている場合に、ある方向に対応する部分が、少なくともまれに、または、特定の回数で更新されるように、制約は、特定の方向に対応するコンテンツを受け取ることに割り当てられるリソースの最大量を制限し、及び/または、ある方向に割り当てられたリソースの最小量に権限を付与し得る。 Therefore, actions, during the event breaks, as if taking place in environment moieties such as the rear region, a portion corresponding to a certain direction, at least in rare cases, or is updated at certain times, the constraint limits the maximum amount of resources allocated to receiving the content corresponding to the particular direction, and / or may grant permission to the minimum amount of resources allocated to a certain direction.

[000189] 最大サポート可能なデータレー及び/または最大利用可能な帯域幅1444は、選択ステップ1504への他の入力である。 [000189] Maximum supportable data rate and / or maximum available bandwidth 1444 is another input to the selection step 1504. この情報1444は、コンテンツを受け取るために利用可能な最大の帯域幅、及び/または、コンテンツストリームの1つまたは組み合わせの受け取りをサポートするために使用され得る最大のサポート可能なデータレートを示す。 The information 1444 indicates a maximum bandwidth of available to receive content and / or the maximum supportable data rate that may be used to support one or a combination receipt of the content stream. ユーザの現在の頭の位置1407、及び、例えば、図18に示されたもの等のなどのストリームガイド情報といった利用可能なストリームに関する情報1405は、また、ステップ1504への入力である。 Position 1407 of the current head of the user and, for example, information 1405 about the available streams like stream guide information such as such as that shown in Figure 18, also an input to step 1504.

[000190] ストリーム選択ステップ1504において、例えば、いくつかの場合には進行中のリアルタイムイベント等の番組またはイベントに対応する1つ以上のコンテンツストリームが選択される。 [000190] The stream selection step 1504, for example, in some cases one or more content streams corresponding to a program or event, such as a real-time event in progress is selected. 1つ以上のストリームの選択は、ユーザの現在の頭の位置、ストリーム帯域幅またはストリームデータレートの要件等のストリーム情報、及び/または、最大サポート可能データレートまたは最大サポート可能帯域幅についての情報に基づく。 Selection of one or more streams, the current position of the head of the user, the stream information requirements such as the stream bandwidth or stream data rate, and / or, the information about the maximum supportable data rate or maximum supportable bandwidth based. 視野方向上にあること、または、ストリーム優先度に基づき得る帯域幅及び/またはデータレート制約1503は、また、ステップ1504においてストリーム選択をすることにおいて考慮され、使用され得、時には使用される。 Be on sight, or bandwidth and / or data rate constraints 1503 may be based on the stream priority, also be considered in making the stream selected in step 1504, resulting in use, sometimes used.

[000191] 例示的なストリーム選択ステップ1504は、ストリームが、ユーザの現在の及び/または過去の頭の位置に基づいて優先度付けされるステップ1506を含む。 [000191] Exemplary stream selection step 1504, stream, comprising the step 1506 to be prioritized based on the current and / or position of the previous head of the user. これは、図16に示されたもの等、ストリーム優先度付けサブルーチンの呼び出しを含み得る。 This is like that shown in FIG. 16, it may include a stream prioritization subroutine call.

[000192] 同じ環境方向に対応するストリームは、いくつかの実施形態では、同じ優先度を割り当てられる。 [000192] stream corresponding to the same environmental direction, in some embodiments, are assigned the same priority. 従って、環境及び/または視野方向の同じ部分に対応するコンテンツに対応する複数のストリームは、同じ優先度を割り当てられ得、時には割り当てられる。 Thus, a plurality of streams corresponding to the content corresponding to the same portion of the environment and / or field direction, be assigned the same priority is assigned sometimes. ストリームが同じ視線方向に対応するが、いくつかのストリームが、高フレームレートで高解像度の立体的コンテンツを提供し、ある場合には、より低い解像度ストリームが、モノ画像コンテンツ及び/または並解像度画像を提供し、及び/または、低フレーム(画像)レートをサポートして、ある場合にストリームは、異なるデータレートを有する。 Although the stream corresponds to the same line of sight direction, a number of streams, providing higher resolution three-dimensional content at a high frame rate, in some cases, lower resolution stream, mono image content and / or parallel-resolution image providing, and / or supports a low frame (image) rate, stream when there have different data rates. 従って、特定の方向は高優先度とみなされ得、高優先度方向に対応するコンテンツを提供する全てのストリームは同じであるが、選択は、そこで、いくつかの実施形態において、特定の方向に対応するコンテンツを受け取るために利用可能な帯域幅の量に基づいてなされる。 Thus, obtained is considered a high priority a specific direction, but all streams to provide a content corresponding to the high priority direction is the same, the selection, where, in some embodiments, in a specific direction It is made based on the amount of bandwidth available to receive the corresponding content.

[000193] コンテンツストリームの優先度付けした後、動作は、ステップ1506からステップ1508に進む。 [000193] After prioritized content stream, then operation proceeds from step 1506 to step 1508. ステップ1508において、最も高い優先度を有するストリームのために使用のための最大帯域幅及び/またはデータレートが決定される。 In step 1508, the maximum bandwidth and / or data rate for use for the stream with the highest priority is determined. この決定は、最も高い優先度のストリームのために割り当てられるべき利用可能な受け取りリソースの最大、最小、または、部分を示し得る、帯域幅または他の制約1503に基づいてなされ得る。 This determination is the highest priority of the maximum available receive resources to be allocated for the stream, a minimum, or may show partial, may be made based on bandwidth or other constraints 1503. いくつかの実施形態では、最も高い優先度のストリームのための最小帯域幅/データレート割り当てが50%以上であるが、他の割り当ても可能である。 In some embodiments, the minimum bandwidth / data rate allocation for the highest priority stream is 50% or more, other allocation are possible.

[000194] ステップ1510において、より低い優先度を有した各ストリームのために使用されるべき最大帯域幅及び/またはデータレートが決定される。 [000194] In step 1510, the maximum bandwidth and / or data rate to be used for each stream having a lower priority is determined. いくつかの実施形態では、データレートまたは帯域幅の少なくとも20%が、2次またはより低い優先度のストリームのために使用される。 In some embodiments, at least 20% of the data rate or bandwidth is used for the second or lower priority streams.

[000195] 異なる優先度のストリームのために使用されるデータレートがステップ1508、1510で決定されていて、動作は、最も優先度の高いストリームが、最も高い優先度のストリームのための最大帯域幅及び/またはデータレートに基づいてサポートされることができるかどうかを決定するためにチェックがなされるステップ1512に進む。 [000195] Data rate used for different priority streams have been determined in step 1508 and 1510, operation, the highest priority stream, maximum bandwidth for the highest priority streams and / or the flow proceeds to step 1512 where a check is made to determine whether the supported can based on the data rate. 最も高い優先度に対応するストリームのいずれか1つがサポートされることができる場合には、ステップ1512の決定は肯定となり、動作は、最も高い優先度に対応する最も高い品質のストリームが選択されるステップ1514に進む。 When any one of the stream corresponding to the highest priority can be supported, the determination of step 1512 becomes YES, the operation is the highest quality of the stream corresponding to the highest priority is selected the process proceeds to step 1514. これは、通常、最も高い優先度を割り当てられたストリームの組から最も高いデータレートのストリームを選択することを含む。 This usually involves selecting the stream highest data rate from the set of streams that are assigned the highest priority. 例えば、前方方向におけるストリームが最も高い優先度を割り当てられる場合、最も高い優先度のコンテンツストリームのために利用可能なデータレートを与えられてサポートされ得る、最も高いデータレートの前方方向コンテンツストリームが選択されることを考慮する。 For example, if the assigned the highest priority streams in a forward direction, the highest priority is given to data rate available for the content stream may be supported, forwardly content stream selection of the highest data rate consider is that is.

[000196] 動作は、ステップ1514からステップ1516に進む。 [000196] Operation proceeds from step 1514 to step 1516. ステップ1516において、2番目に高い優先度のストリームがサポートされ得るか否かについて決定がなされる。 In step 1516, a determination is made whether or not the second highest priority stream can be supported. これは、いくつかの実施形態において、最も優先度の高いストリームが選択された後、どれだけの帯域幅/データレートが利用可能か、及び、受け取られた制約に基づいて2番目に高い優先度のストリームのために、帯域幅/データのどれだけが使用され得るか、を決定することを含む。 This, in some embodiments, most after higher priority stream is selected, how much bandwidth / data rate or available, and the second highest based on the received constraint priority comprising in order the stream, how much bandwidth / data may be used, to determine the. 2番目に優先度が高いストリームに何の制約も置かれない場合、帯域幅/データ受け取り能力のフルの量が、2番目に高い優先度のストリームのために使用され得る。 If the stream is the second highest priority is not put any restrictions, the amount of full-bandwidth / data receiving capacity can be used for high priority stream to the second. ステップ1516において、2番目に優先度の高いストリームがサポートされ得ると決定される場合、動作は、例えば、2番目に高い優先度を割り当てられた1以上のストリームの組から、2番目に高い優先度のストリームが選択されるステップ1518に進む。 In step 1516, if the stream of high priority in the second it is determined that can be supported, operation, for example, from the second to the high priority of one or more streams assigned a set, the second highest priority the process proceeds to step 1518 where every stream is selected. ステップ1518は、サポートされ得、2番目に高い優先度を有する、最も高いデータレートのストリームを選択することを含み得る、及び、いくつかの実施形態において含む。 Step 1518, supported obtain, having the second highest priority may include selecting a stream of highest data rate, and includes in some embodiments. 例えば、2番目に高い優先度が環境の右後方部分に対応している場合、ステップ1518は、環境の右後方部分に対応してサポートされ得る最も高いデータレートのストリームを選択することを含む。 For example, if the second highest priority corresponds to the right rear portion of the environment, step 1518 includes selecting the stream highest data rate that can be supported in correspondence with the right rear portion of the environment.

[000197] ほとんどの場合、最も高い優先度と2次のストリームがサポートされるが、例えば、見られていないもの等、環境の他の部分に対応するいくつかのコンテンツを受け取るために、当該2つの最も高い優先度のストリームの選択の後、十分な帯域幅を残してある。 [000197] In most cases, the highest priority and secondary streams are supported, for example, those not seen like in order to receive some of the content corresponding to the other parts of the environment, the two after selection of One of the highest priority stream, but retained a sufficient bandwidth. 動作は、ステップ1518からステップ1520に、または、2番目に高い優先度のストリームがサポートされることができない場合、ステップ1516から直接ステップ1520に進む。 Operation proceeds from step 1518 to step 1520, or if the second highest priority streams can not be supported, directly to step 1520 from step 1516.

[000198] ステップ1520において、例えば、第1及び/または第2の優先度のストリームが選択された後で利用可能な帯域幅/データ受け取りリソースを使用して、3番目に高い優先度のストリームがサポートされ得るか否かについてチェックがなされる。 [000198] In step 1520, for example, using the bandwidth / receive data resources available after the first and / or second priority stream is selected, the high priority Third Stream check is made as to whether or may be supported. ステップ1520において、3番目に最も高い優先度のストリームがサポートされ得ると決定される場合、動作は、例えば、サポートされ得る残りの帯域幅/データレートを使用して、3番目に最も優先度の高いストリームが選択されるステップ1522に進む。 In step 1520, if the highest priority streams third is determined to be supported, operation, for example, using the remaining bandwidth / data rate that can be supported, the highest priority in the third the process proceeds to step 1522 where a high stream is selected. 動作は、ステップ1522からステップ1524に、または、3番目に最も優先度が高いストリームが、利用可能な帯域幅、及び/または、受け取られたデータ及び/または帯域幅制約を与えられて、サポートされ得ない場合、ステップ1520からステップ1524に直接に進む。 Operation, in step 1524 from step 1522, or, highest priority streams thirdly, available bandwidth, and / or, given the received data and / or bandwidth limitations, supported If you give not, directly to the proceeds from step 1520 to step 1524.

[000199] ステップ1524において、他のストリーム選択の後、追加のコンテンツを受け取るために使用され得る残りの、例えば、データを受け取るための容量等の任意の帯域幅があるかを決定するためのチェックがなされる。 In [000199] Step 1524, after the other stream selection, the remainder may be used to receive additional content, for example, checks to determine whether there is any bandwidth capacity, etc. for receiving data It is made. 追加の帯域幅が残っている場合は、動作は、1つ以上のより低い優先度のストリームが、残りの利用可能な帯域幅/データレートを使用するために選択されるステップ1526に進む。 If so additional bandwidth, operation, one or more lower priority stream, the process proceeds to step 1526 is selected to use the remaining available bandwidth / data rate. ステップ1526から、動作は、ステップ1530に進む。 From step 1526, operation proceeds to step 1530. 追加の帯域幅が利用できない場合、動作は、はステップ1524から戻りステップ1530に進む。 If additional bandwidth is not available, the operation proceeds to step 1530 returns from step 1524.

[000200] 戻りステップ1530は、例えば、ルーチン1500によって新たに選択されたストリームの組が決定されて、ストリーム選択サブルーチン1500が呼び出された所に処理を戻させる。 [000200] return step 1530, for example, been determined to set the newly selected stream by the routine 1500 causes return the process where the stream selection subroutine 1500 is called.

[000201] 図16は、例示的な実施形態に係る、ストリーム優先度付けサブルーチンのステップを示すフローチャートである。 [000201] FIG. 16 is, in accordance with an exemplary embodiment, a flow chart illustrating the steps of a stream prioritization subroutine. 図1600は、例えば、この中に記載された他のルーチンまたはサブルーチンの1つ以上によって呼び出され、使用され得る、例示的なストリーム優先度付けルーチンを示す。 Figure 1600 is, for example, this is called by one or more other routines or subroutines described in, can be used, it illustrates an exemplary stream prioritization routine. 例えば、図15のステップ1506は、サブルーチン1600の呼び出しによって実装され得る。 For example, step 1506 in FIG. 15 may be implemented by a call to a subroutine 1600. ストリーム優先度付けサブルーチン1600は、ルーチンが呼び出されたとき、ステップ1602で始まる。 Stream prioritization subroutine 1600, when the routine is called, begins at step 1602. 動作は、開始ステップ1602からステップ1604に進む。 Operation proceeds from start step 1602 to step 1604. ステップ1604において、ユーザの現在の視界が、ユーザの検出された頭の位置に基づいて決定される。 In step 1604, the current field of view of the user is determined based on the detected head position of the user. ユーザの視野が180度未満であることを考えると、現在の視界は、例えば、前方視認カメラ位置といった単一のカメラの位置から取り込まれる環境の部分に対応し得る。 Considering that the field of view of the user is less than 180 degrees, the current field of view, for example, may correspond to the portion of the environment to be captured from the position of a single camera such as a forward viewing camera position. しかし、ユーザが、例えば、頭を左または右に振る、及び/または、上または下を見る等、彼の頭を動かす場合、ユーザの視界は、異なるカメラ位置に位置付けられるカメラによって取り込まれる環境の部分に対応し得る。 However, the user, for example, shaking his head to the left or right, and / or the like See up or down, when moving his head, the user field of view, the environment to be captured by the camera positioned at different camera positions It may correspond to the part. 例えば、異なるカメラによって取り込まれる画像が合致するまたは重なる所に対応する環境の部分を視ている場合、ユーザの視界は、2つの異なるストリームで通信されるコンテンツに対応し得る。 For example, if you have viewed a portion of the environment corresponding to the image matches or overlaps where captured by different cameras, the user's view may correspond to the content being communicated in two different streams. 視界の最も大きい部分に対応する画像を提供するストリームは、通常、いくつかの実施形態において、最も高い優先度を与えられる。 Stream to provide an image corresponding to the largest part of the field of view, typically, in some embodiments, it is given the highest priority.

[000202] ステップ1604において、ユーザの視界が決定されており、動作は、ユーザの現在の視界に対応する、例えば、モノ画像、または、左と右の眼の画像を含む立体視画像ペア等のコンテンツを通信するストリームが特定されるステップ1605に進む。 In [000202] Step 1604, and determines the field of view of the user, operation corresponds to the current field of view of the user, for example, mono image, or the like stereoscopic image pair comprising a left image and right eye the process proceeds to step 1605 where the stream is identified to communicate content. そして、動作は、特定されたストリームから利用可能なユーザの現在の視野に対応するシーン領域の、例えば、画像部分等の部分または複数の部分のサイズが決定されるステップ1606に進む。 The operation of the scene area corresponding to the current view of the user available from a particular stream, for example, the process proceeds to step 1606 where the size of the portion or portions of such image portion is determined. 従って、ステップ1606の終わりでは、ストリームが、現在の視界に対応する画像コンテンツと当該部分の相対サイズとを提供する情報が利用可能であり、例えば、ストリームを優先度付けする等、ランク付けするために使用され得る。 Thus, at the end of step 1606, the stream are possible information to be provided and the relative size of the image content and the portion corresponding to the current field of view available, for example, equal to attach a stream priority, to rank It may be used to.

[000203] 動作は、ステップ1606からステップ1608に進む。 [000203] Operation proceeds from step 1606 to step 1608. ステップ1608において、優先度が、ユーザの現在の視界に対応する画像コンテンツを提供する1つ以上のストリームに割り当てられる。 In step 1608, the priority is assigned to one or more streams to provide an image content corresponding to the current field of view of the user. 例えば、ランク付け等の優先度付けは、ストリームが提供するユーザの視界の部分または複数の部分のサイズに基づく。 For example, prioritization of ranking, etc., based on the size of the field of view of the portion or portions of the user that the stream is provided. 例えば、ユーザの視界の80%に対応する画像コンテンツを提供するストリームは、ユーザの視界の15%に対応する画像コンテンツを提供するよりも高位にランク付けされ、例えば、頂部または底部等の残りの5%を提供するストリームは、視界の80%の部分に対応する画像(または、複数の画像)を提供するストリームに割り当てられた最も高い優先度よりも低い3番目の優先度を付与される。 For example, the stream to provide an image content corresponding to 80% of the user's field of view, are high ranked than to provide an image content corresponding to 15% of the user's view, for example, the remaining such top or bottom stream to provide a 5%, the image corresponding to 80% of the portion of the field of view (or, more images) is applied to the third priority lower than the highest priority assigned to the stream to provide.

[000204] ステップ1608は、ステップ1610及び/またはステップ1612を含み得、いくつかの実施形態では、含む。 [000204] Step 1608 may include steps 1610 and / or step 1612, in some embodiments, it includes. ステップ1610において、最も高い優先度が、視界の最も大きい部分を提供するストリームに割り当てられる。 In step 1610, the highest priority is assigned to the stream to provide the largest portion of the field of view. ステップ1610は、主たるストリームとして、視界の最も大きい部分を提供するストリームを指定することを含み得る。 Step 1610, as the main stream may include specifying a stream that provides the largest portion of the field of view. ステップ1612は、最も優先度の高いストリームによって寄与される部分の外側にある視界の部分に寄与するストリームに次に高い優先度または複数の優先度を割り当てることを含む。 Step 1612 includes assigning a next highest priority or priorities to contribute stream portion of the field of view outside the portion contributed by the highest priority streams. そのようなストリームは、より小さい部分に寄与し得るストリームがより低い優先度を割り当てられて、現在の視界に寄与し得る部分のサイズに基づいて、ステップ1612において優先度付けされる。 Such stream is the stream is assigned a lower priority that may contribute to smaller portions, based on the size of the portion that may contribute to the current field of view, are prioritized in step 1612.

[000205] 潜在的に、異なる解像度またはフレームレートであるが、例えば、異なるデータレートを有する、複数のストリームが視界の同じ部分に寄与し得ると想定すると、複数のストリームは同じ優先度を割り当てられ得、例えば、前方視野に対応するストリームが同じ優先度を割り当てられ得、左後方視野を提供するストリームが、例えば、前方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得、右後方視野を提供するストリームが、例えば、前方または左後方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得る。 [000205] potentially is a different resolution or frame rate, for example, assigned with different data rates, the plurality of streams is assumed that may contribute to the same portion of the field of view, multiple streams of the same priority obtained, for example, be assigned the same priority stream corresponding to the forward field of view, the stream to provide a left rear-view, for example, in the priority different from priorities assigned forward stream are assigned the same priority the resulting stream to provide a right rear-view is, for example, in the priority different from the priorities assigned to the forward or rear left streams may be assigned the same priority.

[000206] 従って、ステップ1608において、視界に寄与するストリームは、ランク付け、即ち優先度付けされている。 [000206] Thus, in step 1608, contributing to the field of view stream are ranked, i.e. prioritization. 優先度付けは、最も高い優先度を割り当てられている主たるストリーム(または、複数のストリーム)と、より低い優先度を割り当てられている他のストリームを有した、ランク付けされたリストにおいてストリームをリスト化することで表され得る。 Prioritized a list the main stream has been assigned the highest priority (or, multiple streams), had other streams that are assigned a lower priority, the stream in ranked list It may be represented by reduction.

[000207] 全てではないストリームが視界に対応し得る。 [000207] not all streams may correspond to the field of view. 例えば、頂部または底部のシーン部分が視界外であってもよく、従って、そのような視野を提供するストリームはステップ1608において優先度付けされない。 For example, it is a scene portion of top or bottom is an outside view, therefore, the stream to provide such field is not prioritized in step 1608. 動作は、ステップ1608からステップ1614に進む。 Operation proceeds from step 1608 to step 1614. ステップ1614において、優先度付けされるべき任意の残りのストリームがあるか否かについて決定がなされる。 In step 1614, a determination is made whether there are any remaining streams to be prioritized. 例えば、ストリームの全てがユーザの現在の視界に対応するから、優先度付けされるべき残りのストリームがない場合、動作は、戻りステップ1630に進む。 For example, since all of the stream corresponding to the current field of view of the user, if there is no remaining streams to be prioritized, the operation proceeds to the return step 1630. しかし、ステップ1614において、優先度付けされるべき1つ以上のストリームが残っていると決定された場合、動作は、ステップ1616に進む。 However, in step 1614, if it is determined that there remain one or more streams to be prioritized, the operation proceeds to step 1616.

[000208] ステップ1616において、優先度は、例えば、現在の視界の外のストリーム等、コンテンツを通信する1つ以上の追加のストリームに割り当てられる。 [000208] In step 1616, the priority is, for example, stream, etc. outside the current field of view, are assigned to one or more additional streams of communicating content. ステップ1616で実行される優先度付けは、いくつかの実施形態において、現在の視界において可視のコンテンツに優先度付けられているストリームによって提供されるコンテンツの近接に基づく、及び/または、ユーザの現在または過去の頭の回転の方向に基づく。 Prioritization executed in step 1616, in some embodiments, is based on the proximity of the content provided by the stream that is prioritized in the visible content in the current view, and / or the current user or based on the direction of rotation of the past of the head. 例えば、いくつかの実施形態において、ストリームが、現在の視界に直接隣接する環境の部分に対応する画像コンテンツを提供する場合、それは、ユーザの現在の視界から更に離れた画像部分に対応するコンテンツを提供するストリームよりも高い優先度を割り当てられる。 For example, in some embodiments, the stream, to provide an image content corresponding to the portion of the immediately adjacent environment to the current field of view, it is the content corresponding to more distant image portion from the current field of view of the user It assigned a higher priority than streams provide. 同様に、頭の回転の方向にあるコンテンツが、頭の回転の検出された方向から離れる反対の方向にあるコンテンツよりも、ユーザの視界に直ぐに入ってくる可能性がより高いとの仮定の下、ユーザの頭の回転の方向の画像コンテンツを提供するストリームは、ユーザの検出された頭の回転から離れる回転の方向のコンテンツより、より高い優先度が与えられる。 Similarly, the content in the direction of rotation of the head, than the content in the opposite direction away from the detected direction of rotation of the head, under the assumption that there is more likely to come immediately to the user's view stream, from the direction of the content of rotation away from the rotation of the detected head of the user, a higher priority is given to provide an image content in the direction of rotation of the user's head.

[000209] 少なくとも1つの実施形態において、ステップ1616は、頭の位置の変化は、頭の回転、例えば、頭を上または下に傾けることと対照的に左または右に回す、を示したか決定するためにチェックがなされるステップ1618を含む。 [000209] In at least one embodiment, step 1616, the change in position of the head, the head rotation, for example, head turned to the contrast left or right and tilting up or down, to determine showed comprising 1618 a check is made for. 頭の回転がステップ1618で検出されなかった場合、動作は、いくつかの実施形態において、ユーザの現在の視界に対してストリームが提供する画像データのどの部分かに基づいて、ストリームが優先度付けされるステップ1620に進む。 If the rotation of the head is not detected in step 1618, operation, in some embodiments, based on which part of the image data provided by the stream for the current field of view of the user, the stream is prioritized the process proceeds to step 1620 to be. 頂部及び/または底部を提供するストリームは、頂部と底部、並びに、左または右後方部分が視野外である場合、デフォルトでは、左または右後方部分を提供するストリームよりも低い優先度を割り当てられ得る。 Stream to provide top and / or bottom, top and bottom, and, if the left or right rear portion is outside the field of view, by default, be assigned a lower priority than streams to provide a left or right rear portion . 動作は、ステップ1620から戻りステップ1630に進む。 Operation proceeds to step 1630 returns from step 1620.

[000210] ステップ1618において、ユーザの頭の回転が検出されたと決定された場合、動作は、ステップ1622に進む。 In [000210] Step 1618, when the rotation of the user's head is determined to have been detected, operation proceeds to step 1622. ステップ1622において、頭の回転の方向が、例えば、ユーザの頭が左または右に回っているかどうかで、決定される。 In step 1622, the direction of rotation of the head, for example, a user's head on whether turning to the left or right, is determined. これは、環境の隣の部分がユーザの視野に入ってくることが、頭の回転の方向から離れる方向ではなく、頭の回転の方向にある方がより可能性が高いので、頭の回転方向が考慮されることを可能にする。 This is, that the next part of the environment enters the field of view of the user, rather than in a direction away from the direction of rotation of the head, because the more likely the person who is in the direction of rotation of the head, head direction of rotation of the There to allow it to be taken into account.

[000211] 動作は、ステップ1622から、優先度が、頭の回転の方向に基づいて、例えば、視界外のストリーム等の1つ以上のコンテンツストリームに割り当てられるステップ1624に進む。 [000211] Operation proceeds from step 1622, the priority is based on the direction of rotation of the head, for example, the process proceeds to step 1624 to be assigned to one or more content streams, such as sight outside the stream. 少なくとも1つの実施形態において、ステップ1624は、次に最も低い未使用の優先度が、頭の回転方向における環境の部分に対応するコンテンツを提供するストリームに割り当てられるステップ1626を含む。 In at least one embodiment, step 1624, then the lowest unused priority comprises the step 1626 to be assigned to the stream to provide a content corresponding to the portion of the environment in the direction of rotation of the head. 例えば、環境の前方部分を見ているユーザが、彼の頭を右に回している場合、視界外の右後方コンテンツを提供するストリームが、同じく視界外にある左後方コンテンツを提供するストリームよりも高い優先度を割り当てられる。 For example, a user looking at the front portion of the environment, if the turning his head to the right, the stream to provide a right rear content outside visibility, similarly than stream to provide a left rear content that is outside the field of view It is assigned a higher priority. 動作は、ステップ1624から、既に優先度付けされていない残りのストリームが、優先度が既に割り当てられているにストリームよりも、より低い重要度を示し、より低い優先度を割り当てられる、ステップ1628に進む。 Operation proceeds from step 1624, already remaining which has not been prioritized stream, than stream priority has already been assigned, showed lower importance are assigned a lower priority, in step 1628 move on.

[000212] 動作は、ステップ1628から戻りステップ1630に進む。 [000212] Operation proceeds to step 1630 returns from step 1628. 戻りステップ1630に到達されるときまでに、コンテンツストリームは、優先度に従って、優先度付け、例えば、ランク付けまたは順序付け、がなされる。 By the time that is reached in the return step 1630, content stream according to the priority, prioritization, for example, ranking or ordering is performed.

[000213] 図17は、例示的な実施形態による描画サブルーチンのステップ1700のフローチャートである。 [000213] FIG. 17 is a flow chart of steps 1700 drawing subroutines in accordance with an exemplary embodiment.

[000214] 描画サブルーチン1700は、画像描画が要求されるとき、1つ以上のルーチンにより呼び出され得る。 [000214] drawing subroutine 1700, when the image drawing is required, may be invoked by one or more routines. 立体視コンテンツの場合には、個別の画像が、ユーザの左と右の眼の各々について描画される。 In the case of stereoscopic contents, the individual image is drawn for each of the user's left and right eye. モノコンテンツの場合、単一の画像が描画され、ユーザの左と右の眼の各々のために使用される。 For mono content, a single image is drawn and used for each user of the left and right eye. 描画は、しばしば、1つまたは複数のストリームからの画像コンテンツの組み合わせを含む。 Drawing, often include a combination of image content from one or more streams. 従って、環境のいくつかの部分はモノコンテンツとして提供され得るが、他の部分は立体視コンテンツとして提供され得、その場合、コンテンツのいくらかが立体であり、他のコンテンツがモノであるが、環境の少なくとも部分が立体視コンテンツとして提示される場合に、単一の画像が、左と右の眼の画像の各々のために生成されて、異なる左と右の眼の画像が描画されえる。 Thus, although some parts of the environment can be provided as mono-content, resulting the other portion is provided as a stereoscopic content, in which case, some of the content is solid, but other content is a mono, environmental when at least part of the are presented as stereoscopic content, single image, are generated for each of the left and right eye images, images of different left and right eye can be drawn.

[000215] 描画ルーチン1700は、開始ステップ1702で始まり、描画ステップ1706に進む。 [000215] drawing routine 1700, begins with the start step 1702, and the process proceeds to the drawing step 1706. 描画ステップ1706への入力は、環境マップ1411、1つ以上の視野に対応するデコードされたコンテンツ1703、環境マップ1411によって規定された表面上に1つ以上のデコードされた画像をマッピングするために使用されるUVマップ1704を含む。 The input to the drawing step 1706, used to map the one or more decoded images on a defined surface which decoded contents 1703 corresponding to the environment map 1411,1 more than one field, the environment map 1411 including the UV map 1704 to be. 上述したように、環境マップ1411は、より複雑な幾何学形状が与えられない場合に、球体に初期設定され、画像が球体の内側面にマッピングされる。 As described above, the environment map 1411, if more complex geometries is given, is initially set to the sphere, the image is mapped to the inner surface of the sphere.

[000216] いくつかの実施形態において、描画ステップ1706は、ユーザの現在の視界に対応する少なくとも1つの画像を生成するために、ユーザの現在の視界に対応する1つ以上のコンテンツストリームに含まれた画像をデコードすることによって生成されたコンテンツと、環境マップ、並びに、少なくとも1つのUVマップを使用することを含む、ステップ1708を含む。 [000216] In some embodiments, the drawing step 1706, in order to generate at least one image corresponding to the current field of view of the user, contained in one or more content streams corresponding to the current field of view of the user images and content generated by decoding was, environment maps, and involves the use of at least one UV map, including step 1708. 例えば、3D等の立体視画像コンテンツの場合、描画は、左と右の眼の画像が表示するのに適した形式で生成される結果となる。 For example, if the stereoscopic image content, such as 3D, drawing, results are generated in the form of left and right eye images suitable for display. 描画された左と右の眼の画像における違いは、いくつかの実施形態では、ユーザに、画像を3Dで知覚させる。 The difference in the drawn left and right eye images, in some embodiments, the user to perceive images in 3D.

[000217] 動作は、ステップ1706から、描画された画像を、ディスプレイデバイスに供給される、記憶される、及び/または、出力されるために、プログラムまたはルーチンに戻させる戻りステップであるステップ1710に進む。 [000217] Operation proceeds from step 1706, the rendered image, is supplied to the display device, stored, and / or, to be outputted, the step 1710 is the return step of back a program or routine move on.

[000218] 描画サブルーチン1700は、フレームまたは視界の更新されたバージョンが表示されるべき各度に呼び出され得る。 [000218] drawing subroutine 1700, updated version of a frame or field of view may be called each time to be displayed. 従って、描画は、通常、例えば、フレーム、表示レート等、画像と一致したレートで起こる。 Therefore, drawing is usually, for example, the frame, the display rate, etc., occur in matching rate and image.

[000219] 図18は、複数のコンテンツストリームに対応するストリーム情報を含む例示的なテーブル1800を示す。 [000219] Figure 18 illustrates an exemplary table 1800 containing stream information corresponding to a plurality of content streams. いくつかの実施形態では、例示的なテーブル1800に含まれるストリーム情報は、例えば、番組ガイド等の再生システムが受け取ることを選択し得るコンテンツストリームに関する情報を提供するガイド情報の一部として受け取られる。 In some embodiments, the stream information included in the exemplary table 1800, e.g., received as part of a guide information that provides information about content stream may choose to receive the reproduction system of the program guide or the like. 凡例1840は、テーブル1800に含まれる情報において略語として使用される様々な文字の意味を示す情報を含む。 Legend 1840 includes information indicating the meaning of the various characters used as an abbreviation in the information contained in the table 1800.

[000220] テーブル1800に含まれる情報は、情報が対応するコンテンツストリームにアクセスするために使用されることができる。 [000220] information included in the table 1800 may be information used to access the corresponding content stream. いくつかの実施形態において検討されるように、ストリーム情報は、複数の利用可能なコンテンツストリームについて、所定の対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストアドレス、所定のコンテンツストリームを提供するために使用される切換えデジタルビデオチャネル(switched digital video channel)へのアクセスを要求するために使用され得る情報、または、所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように再生システムのチューナを制御するために使用され得るチャネル同調情報の1つを含む。 As discussed in some embodiments, the stream information is provided for a plurality of available content streams, the multicast address of the multicast group that can participate in order to receive a predetermined corresponding content stream, a predetermined content stream switching digital video channel used to (switched digital video channel) information may be used to request access to or the tuner of the reproduction system to tune to a broadcast channel in which a predetermined content stream is broadcast, It may be used to control comprises one of channel tuning information.

[000221] テーブル1800において、各行は、コンテンツを通信する個々のコンテンツストリームに対応し、行が対応するコンテンツストリームは、列1812における対応するエントリに示されたストリーム識別子によって特定される。 In [000221] Table 1800, each row corresponds to an individual content stream communicating content, rows corresponding content stream is identified by the stream identifier indicated in the corresponding entry in column 1812. 列1804における各エントリは、行が対応する個々のコンテンツストリームによって通信される番組コンテンツを特定する。 Each entry in column 1804 identifies the program content row is communicated by corresponding individual content stream. テーブル1800から理解され得るように、行の第1のグループ1820は、列1804内の対応するエントリに示されるように番組/イベントのタイトルを示すことができる、「サッカー」の番組コンテンツに対応する。 As can be seen from the table 1800, a first group 1820 of rows may indicate the title of the program / event as shown in the corresponding entry in column 1804 corresponds to the program content of "soccer" . 様々な異なる番組/イベントに対応する、複数のそのようなグループが存在し得る。 Corresponding to a variety of different programs / events, a plurality of such groups may be present. 各グループは、検討されるように、各々が視野方向に対応し、所与のデータレートをサポートするコンテンツストリームを含む。 Each group, as discussed, each corresponding to a visual field direction, including the content stream to support a given data rate. 簡略化のために、2つのグループのみが図示され、第2のグループ1822に対応する行は、概念を例示するためだけに部分のみが示されている。 For simplicity, only two groups are shown, the row corresponding to the second group 1822, only just the portion to illustrate the concept are shown. 行の第2のグループ1822は、列1804における対応するエントリによって示されるように「HI」の番組コンテンツに対応する。 A second group 1822 of rows corresponds to the program content of "HI" as indicated by the corresponding entry in column 1804.

[000222] 列1806の各エントリは、対応するコンテンツストリームによって通信される、例えば、360度シーン領域1200等のシーン領域の部分を示す。 [000222] Each entry in the column 1806 is communicated by the corresponding content stream, for example, shows a portion of the scene area, such as 360-degree scene area 1200. 従って、グループ1820における最初の3行は、各々が異なるコンテンツストリームに対応するが、正面シーン部分(例えば、270度から90度までの視野領域をカバーする、図12に示されたゾーン1にマッピングする)を通信する。 Thus, the first three lines in group 1820, but each corresponding to a different content stream, the front scene moiety (e.g., covering the viewing area from 270 degrees to 90 degrees, mapped to the zone 1 shown in FIG. 12 to) to communicate. グループ1820における次の3行は、各々が異なるコンテンツストリームに対応するが、後方右側シーン部分(例えば、30度から210度の視野領域をカバーする、図12に示されたゾーン2にマッピングする)を通信する。 The next three lines in the group 1820, but each corresponding to a different content stream, rear right scene moiety (e.g., covering a field of view region of 210 degrees from 30 degrees, mapped to the zone 2 shown in FIG. 12) to communicate. グループ1820における最後の3行は、各々が異なるコンテンツのストリームに対応するが、後方左側シーン部分(例えば、150度から330度の視野領域をカバーする、図12に示されたゾーン3にマッピングする)を通信する。 The last three lines in group 1820, but each corresponding to a stream with a different content, rear left scene moiety (e.g., covering a field of view region of 330 degrees from 150 degrees, mapped to zone 3 shown in FIG. 12 ) to communicate.

[000223] 列1808における各エントリは、対応するコンテンツストリームがサポートするデータレートを示す。 Each entry in the [000223] column 1808 indicates a data rate corresponding to the content stream is supported. 列1810における各エントリは、列1812における対応するエントリに示されたストリーム識別子によって特定される対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストグループ識別子/アドレスを示す。 Each entry in the column 1810 indicating the multicast group identifier / address of the multicast group that can participate in order to receive the corresponding content stream is identified by a corresponding stream identifier indicated in the entry in column 1812. 列1814における各エントリは、列1812における対応するエントリにおいて示されたストリーム識別子によって特定される対応するコンテンツストリームについてのストリーム記述子を含む。 Each entry in column 1814 includes a stream descriptor for the corresponding content stream identified by the stream identifier indicated in the corresponding entry in column 1812. 列1816における各エントリは、対応するコンテンツストリームをアクセスする、または、要求するために使用され得る、例えば、同調パラメータ及び/または他のアクセスパラメータ等のアクセス情報を含む。 Each entry in column 1816 accesses the corresponding content stream, or can be used to request, for example, including access information, such as tuning parameters and / or other access parameters.

[000224] 例示的なテーブル1800から理解され得るように、図示の例では、再生における使用のために利用可能である、所与の視野方向に対応する各コンテンツストリームの複数、例えば、3つ、の異なるバージョンが存在し、コンテンツストリームの各バージョンは、異なるデータレートをサポートする。 [000224] As can be seen from the exemplary table 1800, in the illustrated example, are available for use in reproduction, a plurality of each content stream corresponding to a given line of sight, for example, three, different versions of the present, the version of the content stream, support different data rates. 従って、再生システムは、図14−17に関して詳細に検討されたような本発明の特徴に従って、例えば、サポートされる帯域幅、データレート、ユーザの頭の位置等の1つ以上の要因に基づいて、再生に使用するために、1つ以上のストリームの選択を行うことができる。 Therefore, the reproduction system, in accordance with features of the present invention as discussed in detail with respect to Figure 14-17, for example, supported bandwidth, data rate, based on one or more factors such as the position of the user's head , for use in reproduction, it is possible to select the one or more streams.

[000225] 1つ以上のコンテンツストリームを選択する、及び/または、アクセスするために、テーブル1800における情報が再生システムによってどのように利用され得るかをより明確に理解するために、グループ1820における最初の行と、列1804、1806、1808、1810、1812、1814、及び、1816の各々における最初のエントリを考慮する。 [000225] selects one or more content streams, and / or, in order to access, for information in the table 1800 to understand what can be utilized how the playback system more clearly, the first in the group 1820 and row, column 1804,1806,1808,1810,1812,1814, and considers the first entry in each of 1816. 列1804の最初のエントリは、列1812に含まれたストリーム識別子S1D1によって特定される第1のコンテンツストリームによって、「サッカー」のイベント/番組が通信されることを示す。 The first entry in column 1804, the first content stream identified by the stream identifier S1D1 included in column 1812 indicates that an event / program "Soccer" is communicated. 列1806における対応するエントリは、第1のストリームが、前方シーン部分(例えば、270度から90度までの視野領域)に対応するコンテンツを通信することを示す。 Corresponding entry in column 1806 indicates that the first stream communicates the contents corresponding to the front scene portion (e.g., the viewing area from 270 to 90 degrees). この視野領域情報は、現在の視界に対応する、ユーザ/見る者の現在の頭の位置に対応するコンテンツを通信する1つ以上のストリームを特定するために、再生システムによって使用される。 The viewing area information corresponding to the current field of view, in order to identify one or more streams for communicating the contents corresponding to the location of the user / viewer's current head, used by the playback system. 例を続けると、列1808における対応する最初のエントリは、第1のコンテンツストリームが、データレートD1をサポートする、及び/または、必要とすることを示す。 Continuing the example, the first entry corresponding in column 1808, the first content stream, supports data rates D1, and / or indicate that it requires. 列1810における対応するエントリは、第1のコンテンツストリームが、マルチキャストグループM1に参加することによってアクセスされ得ることを示し、M1は、マルチキャストグループアドレス、及び/または、アドレスにマッピングする識別子を示す。 Corresponding entry in column 1810, the first content stream, indicates that may be accessed by joining a multicast group M1, M1 is the multicast group address, and / or indicates an identifier that maps to the address. 列1814における対応するエントリは、第1のストリームが対応するカメラ視野角(V1)、第1のストリームに対応するコーデックタイプ(C1)、サポートされるデータレート(D1)、フレームレート(F1)を示す、第1のコンテンツストリームに対応するストリーム記述子「V1C1D1F1」を含む。 Corresponding entry in column 1814, the camera viewing angle first stream corresponding (V1), the codec type corresponding to the first stream (C1), supported data rates (D1), frame rate (F1) shows, including stream descriptor "V1C1D1F1" corresponding to the first content stream. 最後の列1816における対応するエントリは、アクセス同調パラメータ、及び/または、第1のコンテンツストリームをアクセスする、または、要求するために使用され得る他のアクセスパラメータ(A123として示される)を示す。 Corresponding entry in the last column 1816, access tuning parameters, and / or to access the first content stream, or show other access parameters that may be used to request (shown as A123).

[000226] 使用され得る利用可能なコンテンツストリームに関する上述のような情報を用いて、再生システム1900等の再生システムは、本発明の特徴に従って、再生に使用するための1つ以上のコンテンツストリームを選択し、アクセスし得る。 [000226] Using the information described above relating to available content streams that may be used, playback system, such as reproduction system 1900, in accordance with features of the present invention, selecting one or more content streams for use in reproducing and, it may be accessed. より良い理解のために、ユーザの頭の位置が、ユーザが360度シーンの正面部分を見ていることを示していると、再生システムが決定する、1つの単純な例を考える。 For a better understanding, the position of the user's head, the user indicates that looking at the front side of a 360-degree scene playback system determines, consider one simple example. 一実施形態におけるそのような場合には、再生システムは、正面シーン部分を通信する少なくとも1つのコンテンツストリームを選択する。 In such cases in one embodiment, regeneration system selects at least one content stream to communicate a front scene portions. 利用可能な帯域幅、サポート可能なデータレート、ストリーム帯域幅、及び/または、データレート制約等の図14−17について検討されたような様々な他の要因に応じて、再生システムは、正面シーン部分を通信する3つの異なる利用可能なストリーム(S1D1、S1D2,S1D3)からストリームを選び出すことができる。 Available bandwidth, supportable data rate, stream bandwidth, and / or, depending on various other factors, such as discussed for FIG. 14-17 data rate constraints, etc., the reproduction system, the front scene moiety can select a stream from three different available streams of communicating (S1D1, S1D2, S1D3). 制約が許すならば、再生システムは、正面シーン部分に対応する複数のコンテンツストリームからの3つの対応するコンテンツストリームから、最高品質のストリーム、例えば、ストリームS1D1、を選択する。 If constraints permit, playback system, the three corresponding content stream from a plurality of content streams corresponding to the front scene part, the highest quality stream, for example, selects a stream S1D1,. テーブル1800において提供される情報は、選択を行うために使用され得る情報の少なくともいくつかがストリーム情報1800によって提供されるので、再生における使用のための適切なストリームの選択を容易にする。 Information provided in the table 1800, since at least some of the information that may be used to make the selection is provided by the stream information 1800, to facilitate the selection of appropriate stream for use in reproduction. ストリーム選択の後、再生システムは、選択されたストリームに対応するマルチキャストグループ、例えば、M1、に参加することによって、または、コンテンツストリームを取得するためにアクセス情報を用いることによって、コンテンツ配信、例えば、コンテンツの受け取り、を起動するために、再びストリーム情報1800を使用し得る。 After stream selection, the playback system, the multicast group corresponding to the selected stream, for example, by participating in M1,, or, by using the access information to obtain the content stream, content distribution, for example, to start receiving the content and may use the stream information 1800 again.

[000227] 図19は、コンテンツ配信システムから受け取られる画像コンテンツを受け取り、デコードし、記憶し、及び、表示するために使用され得る、本発明に従って実装された再生システム1900を示す。 [000227] Figure 19 receives the image content received from the content distribution system, decode, store, and can be used to display, indicating the reproduction system 1900 implemented in accordance with the present invention. システム1900は、ディスプレイ1902を含む単一の再生デバイス1900'として、または、コンピュータシステム1900'に接続された外部ディスプレイ、例えば、ヘッドマウントディスプレイ1905等の要素の組み合わせとして、実装され得る。 System 1900 ', or as a computer system 1900' single playback device 1900 includes a display 1902 external display connected to, for example, as a combination of elements such as a head mounted display 1905, may be implemented.

[000228] 再生システム1900は、少なくともいくつかの実施形態において、3Dヘッドマウントディスプレイ含む。 [000228] playback system 1900, at least some embodiments, including 3D head-mounted display. ヘッドマウントディスプレイは、ヘッドマウントディスプレイ1905を含み得る、Oculus社のRIFT(商標) VR(バーチャルリアリティ)ヘッドセットを使用して実装され得る。 Head-mounted display may include a head mounted display 1905, may be implemented using Oculus Inc. RIFT (TM) VR (virtual reality) headset. また、他のヘッドマウントディスプレイも使用され得る。 Further, other head-mounted display may also be used. いくつかの実施形態では、1つ以上のディスプレイスクリーンがユーザの左と右の眼にコンテンツを表示するために使用されるヘッドマウントヘルメットまたは他のヘッドマウントデバイスが、デバイス1905として使用される。 In some embodiments, the head-mounted helmet or other head-mounted devices one or more display screens are used to display the content on the left and right eye of the user is used as a device 1905. 単一のスクリーンの異なる部分を異なる眼に露出するよう構成されたヘッドマウントを用いて、単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別個に知覚される左と右の眼の画像を表示するために使用され得る。 Using a head-mounted configured to expose different eyes different parts of a single screen, by displaying different images to the left and right eye on a single screen, a single display, see It may be used to display an image of separately perceived left and right eye by the users of the left and right eye. いくつかの実施形態において、セルフォンのスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。 In some embodiments, the screen of the cellphone is used as a display of the head mounted display device. 少なくともいくつかのそのような実施形態において、セルフォンはヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。 In at least some such embodiments, the cell phone is inserted into the head-mounted device, cellphone is used to display an image. いくつかの実施形態では、表示デバイス1905は、Oculus社のRift等の3Dディスプレイ装置の部分であってもよい。 In some embodiments, the display device 1905 may be a part of the Oculus Inc. 3D display apparatus such as Rift of.

[000229] 再生システム1900は、受け取られた、エンコードされた画像データ、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び/または、モノ(単一の画像)、をデコードし、例えば、ユーザによって3D画像として知覚される異なる左と右の眼の画面を描画し、表示することによって、顧客への表示のための3D画像コンテンツを生成する能力を有する。 [000229] reproduction system 1900, the received, encoded image data, for example, the left and right eye images corresponding to the different parts of the environment or scene, and / or mono (single image), the decoding, for example, the user by drawing the screen different left and right eye are perceived as 3D images, by displaying, with the ability to generate 3D image content for display to the customer. いくつかの実施形態における再生システム1900は、家庭やオフィス等の顧客建物位置に配置されるが、同様に、画像取り込みの場所に配置されてもよい。 Reproduction system 1900 in some embodiments are located at the customer building location, such as homes and offices, as well, it may be placed in a location of the image capture. システム1900は、本発明に従った信号受け取り、復デコード、表示、及び/または、他の動作を実行することができる。 System 1900 receives signals in accordance with the present invention, recovery decoding, displaying, and / or may perform other operations.

[000230] システム1900は、ディスプレイ1902、ディスプレイデバイスインターフェース1903、入力デバイス1904、入力/出力(I/O)インターフェース1906、プロセッサ1908、ネットワークインターフェース1910、及び、メモリ1912を含む。 [000230] System 1900 includes a display 1902, a display device interface 1903, an input device 1904, an input / output (I / O) interface 1906, a processor 1908, a network interface 1910 and includes a memory 1912. システム1900の様々なコンポーネントは、データがシステム1900のコンポーネントの間を通信されることを可能にするバスを介して、及び/または、他の接続によって、または、無線インターフェースを介して、共に接続される。 Various components of the system 1900, the data via the bus to allow it to be communicated between components of the system 1900, and / or by other connection, or via a radio interface, they are connected together that. いくつかの実施形態において、ディスプレイ1902は、破線枠を用いて示されるオプション要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス1905が、ディスプレイデバイスインターフェース1903を介して再生デバイスに接続され得る。 In some embodiments, the display 1902 is included as optional elements shown with dashed frame, in some embodiments, for example, an external display device 1905, such as a head-mounted stereoscopic display device, a display device via the interface 1903 may be connected to the playback device.

[000231] 例えば、セルフォンプロセッサがプロセッサ1908として使用され、セルフォンが画像を生成し、ヘッドマウントで表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ1908、ディスプレイ1902、及び、メモリ1912を含み得る。 [000231] For example, the cell phone processor is used as a processor 1908, cell phone generates an image, to display in the head-mounted, the system, as part of the head-mounted device, a processor 1908, a display 1902 and a memory 1912 It may include. プロセッサ1908、ディスプレイ1902、メモリ1912は、全て、セルフォンの部分であってもよい。 Processor 1908, a display 1902, memory 1912 may all be part of the cell phone. システム1900の他の実施形態は、プロセッサ1908は、ディスプレイ1905がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、XBOXまたはPS4等のゲームシステムの部分であってよい。 Other embodiments of the system 1900, the processor 1908, display 1905 is mounted on the head mount devices, are connected to the game system may be a part of the game system, such as XBOX or PS4. プロセッサ1908、または、メモリ1912が、頭に装着されるデバイスに設けられるか否かは、重要ではなく、理解され得るように、いくつかの場合には、電力、熱、及び、重量の観点から、ヘッドギアにプロセッサを共同設置することが便利であり得るが、少なくともいくつかの場合には、ディスプレイを含むヘッドギアに接続されたプロセッサ1908とメモリを有することが望まれ得る。 Processor 1908 or the memory 1912, whether provided in a device to be mounted on the head, not critical, as can be appreciated, in some cases, power, heat, and, in terms of weight Although it may be convenient to co-located processor headgear, in at least some cases, it may be desirable to have a processor 1908 and a memory coupled to the headgear including a display.

[000232] 様々な実施形態は、ヘッドマウントディスプレイ1905または1902を企図しているが、方法及び装置は、また、3D画像をサポートし得るヘッドマウントでないディスプレイとともに使用されることができる。 [000232] Various embodiments include, but contemplates a head mounted display 1905, or 1902, the method and apparatus can also be used with the display not head-mounted which can support 3D images. 従って、多くの実施形態において、システム1900はヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。 Thus, in many embodiments, the system 1900 but includes a head-mounted display, it may also be implemented using a display not head-mounted.

[000233] 再生システム1900のオペレータは、入力デバイス1904を介して1つ以上のパラメータを制御し、及び/または、例えば、3Dシーン表示を選択する等、実行されるべき動作を選択し得る。 Operator [000233] playback system 1900 can control one or more parameters via the input device 1904, and / or, for example, equal to select a 3D scene display, may select the operation to be performed. I/Oインターフェース1906を介して、システム1900は、外部デバイスに接続され、及び/または、他のデバイスと信号及び/または情報を交換し得る。 Through the I / O interface 1906, system 1900 is connected to an external device, and / or may exchange with other devices signal and / or information. いくつかの実施形態では、I/Oインターフェース1906を介して、システム1900は、カメラリグ900等のカメラリグの部分であり得る様々なカメラによって取り込まれた画像を受け取ることができる。 In some embodiments, via the I / O interface 1906, system 1900 can receive the images captured by different cameras, which can be a part of the camera rigs of such camera rigs 900.

[000234] 例えば、CPU等のプロセッサ1908は、ルーチン1914を実行し、再生システム1900を本発明に従って動作するように制御するために、様々なモジュールを使用する。 [000234] For example, a processor 1908 such as a CPU, executes the routines 1914, a reproduction system 1900 to be controlled to operate in accordance with the present invention, using the various modules. プロセッサ1908は、再生システム1900の全般的な動作を制御する責任がある。 The processor 1908 is responsible for controlling the overall operation of the reproduction system 1900. 様々ないくつかの実施形態において、プロセッサ1908は、再生デバイスによって実行されているとして検討された機能を実行するように構成される。 In various some embodiments, the processor 1908 is configured to perform the functions discussed as being performed by the playback device.

[000235] ネットワークインターフェース1610を介して、システム1900は、例えば、通信ネットワーク105等の通信ネットワーク上で、様々な外部デバイスに、通信及び/または情報(例えば、画像及び/またはビデオコンテンツを含む)を通信し、及び/または、受け取る。 [000235] through a network interface 1610, system 1900, for example, over a communication network such as communication network 105, to a variety of external devices, communication and / or information (e.g., including image and / or video content) communicate, and / or receive. ネットワークインターフェース1910は、それを介して受信と送信の動作が実行される受信機1911及び送信機1913を含む。 Network interface 1910 includes a receiver 1911 and transmitter 1913 operation of transmission and reception is performed through it. いくつかの実施形態では、システムは、コンテンツプロバイダから、ネットワークインターフェース1910を介して1つ以上の選択されたコンテンツストリームを受け取る。 In some embodiments, the system, from the content provider, receive one or more of the selected content stream through the network interface 1910. いくつかの実施形態では、システム1900は、インターフェース1910の受信機1911を介して、再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取る。 In some embodiments, the system 1900 via the receiver 1911 of interface 1910, for use for regeneration, receiving one or more selected content stream. 受け取られたコンテンツストリームは、例えば、エンコードされたシーン部分1952等のエンコードされたデータとして受け取られ得る。 The received content stream, for example, may be received as encoded data 1952 such as the encoded scene portions. 受信機1911は、更に、例えば、番組ガイドの部分として、ストリーム情報1946、及び/または、初期化データを受け取るよう構成される。 Receiver 1911 is further example, as part of the program guide, stream information 1946, and / or configured to receive initialization data. システム1900は、更に、例えば、受信機1911を介して、異なる視野方向のための帯域幅制約を含む、帯域幅及び/またはデータレート割り当て制御情報1952を受け取り、個々の帯域幅制約は、当該個々の帯域幅制約に対応する視野方向に対応したコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大帯域幅を指定する。 System 1900 may further, for example, via the receiver 1911, including bandwidth constraints for different viewing directions, receive bandwidth and / or data rate allocation control information 1952, each of bandwidth constraints, the individual specify the maximum bandwidth to be used to receive one or more content streams to provide a content corresponding to the viewing direction corresponding to the bandwidth constraints. いくつかの実施形態では、受信機1911は、更に、例えば、初期化フェーズまたは他の時間の間等、3D表面の少なくとも一部の上に画像コンテンツをマッピングするために使用されるために、3D表面を規定する3D深さマップ等の少なくとも1つの環境マップ、及び、1つ以上のUVマップを受け取るように構成される。 In some embodiments, the receiver 1911 may further, for example, such as during the initialization phase or other time, to be used to map the image content on at least a portion of the 3D surface, 3D at least one environment map of a 3D depth map such as defining a surface and configured to receive one or more UV map. いくつかの実施形態では、受信機1911は、シーン環境の第1の部分に対応する第1のUVマップ、当該シーン環境の第2の部分に対応する第2のUVマップ、シーン環境の第3の部分に対応する第3のUVマップは、第4の部分に対応する第4のUVマップ、シーン環境の第5の部分に対応する第5のマップを受け取る。 In some embodiments, receiver 1911, a first UV map corresponding to the first portion of the scene environment, a second UV map corresponding to the second portion of the scene environment, the third scene environment the third UV map corresponding to the portion, a fourth UV map corresponding to the fourth portion, receiving a fifth map corresponding to the fifth portion of the scene environment. いくつかの実施形態において、初期化の間に、システム1900は、例えば、インターフェース1910の受信機を介して、シーンの第1、第2、第3、第4、及び、第5の部分の1つ以上に対応する、例えば、画像等のコンテンツを受け取る。 In some embodiments, during initialization, the system 1900, for example, via a receiver interface 1910, the first scene, second, third, fourth, and one of the fifth portion corresponding to more than One, for example, receives the content of the image or the like.

[000236] メモリ1912は、プロセッサ1908によって実行されたとき、再生システム1900を、本発明に従って、デコードと出力動作を実行するよう制御する、例えば、ルーチン等の様々なモジュールを含む。 [000236] Memory 1912, when executed by the processor 1908, the playback system 1900 according to the present invention performs control to perform a decoding and output operation, for example, include various modules routines like. メモリ1912は、制御ルーチン1914、頭の位置決定モジュール1916、現在の視野位置初期化モジュール1918、デコーダモジュール1920、現在選択されるストリーム初期化モジュール1922、コンテンツ配信起動モジュール1924、画像バッファ(または、複数のバッファ)1926、画像バッファ更新モジュール1928、画像生成モジュールとも呼ばれる画像描画モジュール1930、利用可能な帯域幅及び/またはサポートされるデータレート決定モジュール1932、頭の位置変化決定モジュール1934、利用可能な帯域幅及び/またはサポートされるデータレート変化決定モジュール1936、ストリーム選択モジュール1938、選択されたストリームの組変更決定モジュール1940、選択されたスト Memory 1912, a control routine 1914, positioning module 1916 of the head, the current view position initialization module 1918, a decoder module 1920, the stream initialization module 1922 is currently selected, the content delivery activation module 1924, an image buffer (or, more buffer) 1926, an image buffer update module 1928, an image rendering module 1930 is also called an image generating module, the data rate determination module 1932, head position change determination module 1934 which is bandwidth and / or support available, the available bandwidth data rate change determination module 1936 is the width and / or support, stream selection module 1938, a set change determination module 1940 of the selected stream, the selected list ームの組更新モジュール1942、ストリーム(または、複数のストリーム)終了モジュール1944、受け取られたストリーム情報を含むデータ/情報1946、受け取られた、帯域幅及び/またはデータレート割り当て情報1948、決定された現在の最大の利用可能な帯域幅及び/またはサポート可能なデータレート1950、受け取られたエンコードされた画像コンテンツ1952、受け取られた環境マップ1954、受け取られたUVマップ(または、複数のUVマップ)1956、デコードされた画像コンテンツ1958、及び、生成された3Dコンテンツ1960を含む。 Set update module 1942 over arm, the stream (or, more streams) exit module 1944, the data / information 1946 including the stream information received, the received bandwidth and / or data rate assignment information 1948, determined current maximum available bandwidth and / or supportable data rate 1950, the received encoded image content 1952, the received environment map 1954, the received UV map (or a plurality of UV map) 1956 , image content 1958 is decoded, and a 3D content 1960 generated.

[000237] 制御ルーチン1914は、システム1900の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。 [000237] Control routine 1914 to control the operation of the system 1900 includes a communications routine with device control routine. 頭の位置決定モジュール1916は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を決定するように構成される。 Location determining module 1916 of head, for example, configured to determine the position of the current head of the user such as the position of the head-mounted display. 例えば、頭の位置決定モジュール1916は、ヘッドマウントディスプレイを含むヘッドギア上にあってもよい位置センサと統合されてもよく、及び/または、連携して動作してもよい。 For example, the head position determination module 1916, a head mount display may be integrated with a position sensor may be on the headgear including, and / or may operate in conjunction. 現在の視野位置初期化モジュール1918は、例えば、初期化フェーズ中に、検出されたユーザの現在の頭の位置を前方(0度)視野位置に設定することによって、ユーザの現在の視野位置を、前方(0度)環境視野位置に初期化するように構成される。 Current field position initialization module 1918, for example, during the initialization phase, by setting forward (0 °) viewing position the position of the current head of the detected user, the current field of view position of the user, configured to initialize forward (0 °) environment field position.

[000238] デコーダモジュール1920は、デコードされた画像データ1958を生成するために、コンテンツ配信システム700からの受け取られたエンコードされた画像コンテンツ1952をデコードするよう構成される。 [000238] Decoder module 1920, to generate the image data 1958 decoded, configured to decode the image content 1952 encoded received from the content distribution system 700. デコードされた画像データ1958は、デコードされた立体視シーン、及び/または、デコードされたシーン部分を含み得る。 Image data 1958 that has been decoded, the decoded stereoscopic scene, and / or may include decoded scene portions. デコードされたコンテンツは、いくつかの実施形態では、1つ以上の画像バッファ1926に記憶される。 Decoded content, in some embodiments, is stored in one or more image buffers 1926. 現在選択されるストリーム初期化モジュール1922は、受け取られるべく選択される1つ以上のコンテンツストリームの現在の組を初期化するように構成される。 Stream initialization module 1922 that is currently selected is composed of the current set of one or more content streams to be selected to be received so as to initialize. 現在選択されるストリーム初期化モジュール1922は、ストリームの現在選択された組を、環境/シーンの前方/正面部分に対応するコンテンツを通信する第1のストリームに設定するよう構成される。 Stream initialization module 1922 that is currently selected is configured to set the current selected set of streams, the first stream communicating content corresponding to the front / front section of the environment / scene.

[000239] コンテンツ配信起動モジュール1924は、選択されたコンテンツストリーム(または、複数のストリーム)の配信を起動するように構成される。 [000239] Content delivery activation module 1924 is configured to start the delivery of the selected content stream (or, multiple streams). いくつかの実施形態では、コンテンツ配信起動モジュール1924が、既に受け取られていない選択された組におけるコンテンツストリームの配信を起動する。 In some embodiments, the content delivery activation module 1924 activates the delivery of content streams in the set selected not already received. いくつかの実施形態では、コンテンツ配信起動モジュール1924は、例えば、ストリームの現在の選択された組に対応するコンテンツを通信するコンテンツストリームに対応したマルチキャストグループ等、選択されたコンテンツストリームに対応するマルチキャストグループ(または、複数のマルチキャストグループ)に参加するための要求信号を送るように構成される。 In some embodiments, the content delivery activation module 1924, for example, the current selected multicast group or the like corresponding to the content stream to communicate the content corresponding to the set, the multicast group corresponding to the content stream selected streams (or, more multicast groups) configured to send a request signal for participating in. いくつかの他の実施形態では、コンテンツ配信起動モジュール1924は、ネットワーク内のデバイスに、選択されたコンテンツストリームが通信される切り替えデジタルチャネルの配信を要求する要求を生成し、送るように構成される。 In some other embodiments, the content delivery activation module 1924, a device in the network, generates a request for requesting distribution of switching digital channels selected content stream is communicated, configured to send .

[000240] 画像バッファ更新モジュール1928は、例えば、コンテンツストリームの選択された組によって通信される、更新されたコンテンツが受け取られ、デコードされたとき、画像バッファ(または、複数の画像バッファ)1926を更新されたコンテンツで更新するように構成される。 [000240] image buffer update module 1928, e.g., communicated by a selected set of content streams, updated content is received, when it is decoded, an image buffer (or, more image buffers) the 1926 update configured to update at content.

[000241] 画像描画モジュール1930は、ディスプレイ1902及び/またはディスプレイデバイス1905上でユーザに表示するために、例えば、デコードされた画像コンテンツ1958を用いて、本発明の特徴に従って、3D画像として知覚されるような方法で表示される、例えば、左と右の眼の画像等の3D画像を生成する。 [000241] image drawing module 1930 for display to the user on the display 1902 and / or display device 1905, for example, by using the image content 1958 that is decoded, in accordance with a feature of the present invention, is the perceived as a 3D image It is displayed in such a way that, for example, to generate a 3D image such as an image of the left and right eye. いくつかの実施形態において、画像描画モジュール1930は、ユーザの現在の視野領域に対応する、デコードされた画像コンテンツ1958、環境マップ1954、及び、UVマップを使用した表示のためにコンテンツを描画するよう構成される。 In some embodiments, the image rendering module 1930 corresponds to the current viewing area of ​​the user, the image content 1958 is decoded, the environment map 1954, and, to render the content for display using the UV map constructed. 従って、いくつかの実施形態では、画像描画モジュール1930は、図17に示されたステップに関して検討された機能を実行するように構成される。 Thus, in some embodiments, the image rendering module 1930 is configured to perform the functions discussed with respect to steps shown in FIG. 17. 生成された画像コンテンツは、3D画像生成モジュール1930の出力である。 Generated image content is the output of the 3D image generation module 1930. 従って、描画モジュール1930は、ディスプレイに、3D画像コンテンツ1960を描画する。 Accordingly, the drawing module 1930, the display renders the 3D image content 1960. いくつかの実施形態では、画像描画モジュール1930は、例えば、ディスプレイデバイスに、または、他のデバイスに、1つ以上の生成された画像を出力するように構成される。 In some embodiments, the image rendering module 1930, for example, a display device, or other device configured to output one or more of the generated images. 生成された画像は、ネットワークインターフェース1910及び/またはディスプレイデバイスインターフェース1930を介して出力され得る。 The generated image may be output via the network interface 1910 and / or display device interface 1930.

[000242] 利用可能な帯域幅及び/またはサポートされるデータレート決定モジュール1932は、例えば、コンテンツストリームを受け取るために、所与の時間に利用可能であり得る、現在の最大の利用可能な帯域幅及び/または現在の最大のサポート可能なデータレートを決定するように構成される。 [000242] Data rate determination module 1932 which is available bandwidth and / or support, for example, to receive the content stream may be available at a given time, the current maximum available bandwidth and / or configured to determine the current maximum supportable data rate. 利用可能な帯域幅及び/またはサポート可能なデータレートが、通信チャネル状態またはネットワーク問題における変化により時間とともに変化し得るので、いくつかの実施形態では、決定モジュール1932は、利用可能な帯域幅及び/またはサポートされるデータレートにおける変化を検出するために、継続的ベースで、モニタ及び/または決定を実行する。 Since the bandwidth and / or supportable data rate available, it may vary with time due to changes in the communication channel conditions or network problem, in some embodiments, the determination module 1932, available bandwidth and / or to detect changes in data rates supported, a continuous basis, to perform the monitoring and / or determination. 決定された現在の最大のサポート可能なデータレート及び/または帯域幅1950は、決定モジュール1932の出力であり、必要があるときに更新され得る。 Current maximum support determined data rate and / or bandwidth 1950 is an output of determination module 1932 can be updated when necessary.

[000243] 頭の位置変化決定モジュール1934は、例えば、頭の位置決定モジュール1916の出力における変化をチェック及び比較することによって、ユーザの頭の位置に変化があったかどうかを決定するように構成される。 [000243] position change determination module 1934 of the head, for example, by checking and comparing the change in the output of the position determination module 1916 of the head, configured to determine whether there has been a change in the position of the user's head . 利用可能な帯域幅及び/またはサポートされるデータレート変化決定モジュール1936は、決定モジュール1932によって決定される、現在の最大の利用可能な帯域幅及び/または現在の最大のサポート可能なデータレートと比較して、利用可能な帯域幅及び/またはサポートされるデータレートに変化があるかどうかを検出するように構成される。 Data rate change determination module 1936 which is available bandwidth and / or support is determined by the determining module 1932, a current maximum available bandwidth and / or the current maximum supportable data rate comparison to, configured to detect whether there is a change in bandwidth and / or a supported data rate is available.

[000244] ストリーム選択モジュール1938は、ユーザの現在の頭の位置に基づいて、所定の時間での再生における使用のために、複数のコンテンツストリームのどれを受け取るかを選択するよう構成される。 [000244] stream selection module 1938, based on the current position of the head of the user, for use in reproducing at a given time, configured to select a receive or which of the plurality of content streams. ユーザの現在の頭の位置及び/または他の要因における変化に基づいて、ストリーム選択モジュール1938は、異なる度に異なるストリーム(または、複数のストリーム)を選択することができる。 Based on the change in position and / or other factors of the current head of the user, the stream selection module 1938 may select different degrees in different streams (or, multiple streams). ストリームの現在選択された組1961は、ストリーム選択モジュール1938の出力であり、受け取るために現在選択されたコンテンツストリームの組を示す。 Currently selected set of stream 1961 is an output of the stream selection module 1938, it shows a set of currently selected content stream to receive. いくつかの実施形態では、ストリーム選択モジュール1938は、ストリーム選択動作の部分として、様々な機能を実行するように構成される複数のサブモジュールを含む。 In some embodiments, the stream selection module 1938, as part of the stream selection operation, including a plurality of sub-module configured to perform various functions. 図23は、ストリーム選択モジュール1938、及び、その中に含まれる様々なモジュールをより詳細に示し、後述される。 Figure 23 is a stream selection module 1938, and show the various modules contained therein in more detail, it will be described later.

[000245] 選択されたストリームの組変更決定モジュール1940は、例えば、選択モジュールが1つ以上の追加のコンテンツストリームを選択することに因り、及び/または、受け取られている1つ以上のストリームが終了された/停止されたことに因り、ストリームの現在選択された組1961において変更があったかどうかを決定するよう構成される。 [000245] set change determination module 1940 of the selected stream, for example, due to the fact that the selection module selects one or more additional content stream, and / or, one or more streams being received is finished it has been / due to the fact that the stop, configured to determine whether there is a change in the currently selected set 1961 of the stream. 選択されたストリームの組更新モジュール1942は、例えば、ストリーム1961の選択された組へのコンテンツストリームの追加または終了に因り、ストリームの選択された組への変更があった場合に、ストリームの選択された組への任意の変更を反映するために、現在の選択されたストリームの組1961を更新するように構成される。 Set update module 1942 of the selected stream, for example, due to the addition or completion of the content stream to a selected set of streams 1961, if there is a change to the stream of selected set, the selected streams and to reflect any changes to the set, configured to update a set 1961 of the current selected stream. ストリーム(または、複数のストリーム)終了モジュール1944は、例えば、ストリームの現在選択された組1961がストリームの選択における変更故に更新されることに因り、以前に受け取られていたが、もはやストリームの現在選択される組にはない1つ以上のコンテンツストリームを受け取ることを終了/停止するよう構成される。 Stream (or, more streams) termination module 1944, for example, due to the fact that currently selected set 1961 of the stream is changed because the update in the selection of the stream has been received previously, no longer the currently selected stream configured to terminate / stop to receive one or more content streams not in the set is.

[000246] ストリーム情報1946は、受け取ること、及び、再生における使用のために利用可能であり得る複数のコンテンツストリームに関する情報を含む。 [000246] stream information 1946 includes receiving, and includes information on a plurality of content streams that may be available for use in reproduction. ストリーム情報1946に含まれる情報は、図18に示され、先に検討されたのと同じまたは同様である。 Information included in the stream information 1946 is shown in FIG. 18, the same or similar as that discussed above. 受け取られた、帯域幅及び/またはデータレート割り当て制御情報1948は、異なる視野方向のための帯域幅制約、及び/または、様々な異なる視野方向のためのコンテンツを提供するコンテンツストリームに対応するデータレート上の制約を示す情報を含む。 Received, bandwidth and / or data rate allocation control information 1948, different bandwidth constraints for sight, and / or data rate corresponding to the content stream to provide content for a variety of different viewing directions including information indicating the above constraints. 決定された現在の最大のサポート可能なデータレート及び/または帯域幅1950は、所与の時間に、再生システム1900によって決定される最大のサポート可能なデータレート及び/または帯域幅を示す。 Determined current maximum supportable data rate and / or bandwidth 1950, at a given time, indicating a maximum supported data rate and / or bandwidth determined by the playback system 1900.

[000247] 受け取られた環境マップ1954は、3D表面を規定する環境の3D深さマップを含む。 [000247] environment map 1954 received includes 3D depth map of the environment that defines the 3D surface. 関心のある環境に対応する1つ以上のそのような深さマップは、いくつかの実施形態では、再生システム1900によって受け取られ得る。 One or more such depth map corresponding to the environment of interest, in some embodiments, may be received by the reproduction system 1900. 受け取られたUVマップ(または、複数のUVマップ)1956は、関心のある環境/シーンの部分に対応する1つ以上のUVマップを含む。 The received UV map (or a plurality of UV maps) 1956 comprises one or more UV map corresponding to the portion of the environment / scene of interest. デコードされたデータ1958は、デコーダ1920によって、本発明に従ってデコードされたデータを含む。 Decoded data 1958, by the decoder 1920 includes a decoded data in accordance with the present invention. デコードされたデータ1958は、ストリームの選択された組によって通信された環境のシーンまたはシーン部分を含むコンテンツを含む。 Decoded data 1958 includes a content including a scene or scenes portion of the communication environment by the stream of the selected set.

[000248] いくつかの実施形態では、上述の様々なモジュールは、ソフトウェアモジュールとして実装される。 [000248] In some embodiments, the various modules described above are implemented as a software module. 他の実施形態では、モジュールは、例えば、各モジュールが、モジュールが対応する機能を実行するための回路として実装される個々の回路として、ハードウェアで実装される。 In another embodiment, the module, for example, each module, as individual circuits implemented as circuitry for performing the functions module supports, are implemented in hardware. 更に、他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。 Furthermore, in other embodiments, the module is implemented using a combination of software and hardware.

[000249] メモリ1912に含まれる例が図19に示されるが、再生デバイス1900に含まれる図示されたモジュールは、例えば、個々の回路として、プロセッサ1908の中にハードウェアで全体が実装され得、及び、いくつかの実施形態では実装される。 [000249] While the examples included in the memory 1912 is shown in Figure 19, the module illustrated included in the reproduction device 1900, for example, as individual circuits, resulting whole is implemented in hardware within the processor 1908, and, in some embodiments it is implemented. モジュールは、例えば、異なるモジュールに対応する個別の回路として、ハードウェアで全体が実装され得る、及び、いくつかの実施形態では実装される。 Module, for example, as individual circuits corresponding to the different modules, the entire hardware can be implemented, and, in some embodiments are implemented. 他の実施形態において、モジュールのいくつかが、例えば、回路として、プロセッサ1908の中に実装され、他のモジュールが、プロセッサ1908の外部で接続される、例えば、回路として、実装される。 In other embodiments, some modules, e.g., as a circuit, is implemented within the processor 1908, other modules are connected external to the processor 1908, for example, as a circuit, is implemented. 理解されるべきであるように、プロセッサ上のモジュールの統合のレベル、及び/または、プロセッサの外部にあるいくつかのモジュールと共に、設計事項の1つであり得る。 As should be understood, the level of integration of modules on a processor, and / or, with some modules external to the processor, may be one of design choice. 代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム1900のメモリ1912に記憶され得、モジュールが、例えば、プロセッサ1908等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するために、システム1900の動作を制御する。 Alternatively, rather than being implemented as a circuit, all or some of the modules are implemented in software, obtained is stored in the memory 1912 of the system 1900, the module, for example, performed by a processor of the processor 1908, etc. when, in order to implement the function corresponding to the module, it controls the operation of the system 1900. 更に他の実施形態では、様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路がプロセッサ1908への入力を提供し、そして、プロセッサ1908が、ソフトウェア制御の下で、モジュールの機能の部分を実行するよう動作する。 In still other embodiments, the various modules are implemented as a combination of hardware and software, for example, to provide input for other external circuits processor to processor 1908 and processor 1908, the software control under operative to perform portions of the functionality of the module.

[000250] 図23は、再生システム1900において使用されるストリーム選択モジュールとその中に含まれる各種のモジュールとをより詳細に示す。 [000250] Figure 23 shows the various modules included therein a stream selection module to be used in reproduction system 1900 in greater detail. ストリーム選択モジュールは、図14−16に関連して詳細に説明されたように、本発明の方法に従って1つ以上のコンテンツストリームを選択するように構成される。 Stream selection module, as described in detail in connection with Figure 14-16, configured to select one or more content streams in accordance with the method of the present invention. いくつかの実施形態では、ストリーム選択モジュールは、ユーザの頭の位置、ストリーム情報1946、及び/または、最大のサポート可能なデータレートに基づいて、複数のコンテンツストリームのどれを受け取るかを選択するように構成される。 In some embodiments, the stream selection module, the position of the user's head, the stream information 1946, and / or, based on the maximum supportable data rate, to select receive or which of the plurality of content streams configured. いくつかの実施形態では、ストリーム選択モジュール1938は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度付けをするように構成されたストリームの優先度付けモジュール2306を含む。 In some embodiments, the stream selection module 1938 includes on the basis of the position of the user's head, the prioritization module 2306 configured stream to the prioritization of the content stream. ストリームの優先度付けモジュール2306の出力は、例えば、割り当てられた優先度でコンテンツストリームの優先度付けリストである。 The output of the prioritization module 2306 of the stream is, for example, a prioritized list of the content stream at the assigned priorities. ストリームの優先度付けモジュール2306は、以下に、図24に関して更に詳細に説明される。 Prioritization module 2306 in streams below, described in further detail with respect to FIG. 24.

[000251] ストリーム選択モジュール1938は、更に、例えば、帯域幅及び/またはデータレート制約に基づいて、最も高い優先度を有するストリームのために使用されるべき最大の帯域幅及び/またはデータレートを決定するように構成される最も高い優先度のストリームの最大の帯域幅及び/またはデータレート決定モジュール2308と、より低い優先度を有する各ストリームのために使用されるためのより低い優先度ストリーム(または、複数のストリーム)の最大の帯域幅及び/またはデータレート決定モジュール2310とを含む。 [000251] stream selection module 1938 may further, for example, based on the bandwidth and / or data rate constraints, determines the maximum bandwidth and / or data rate to be used for the stream with the highest priority the maximum bandwidth of the highest priority stream is configured to, and / or data rate determination module 2308, a lower priority streams to be used for each stream having a lower priority (or , and a maximum bandwidth and / or data rate determination module 2310 of the plurality of streams). 決定モジュール2308、2310は、いくつかの実施形態におけるそれぞれの決定を行うために、帯域幅制御情報1948とストリーム優先度付けモジュール2306の出力を使用する。 Determination module 2308, 2310 in order to perform the respective determinations in some embodiments, uses the output of the bandwidth control information 1948 and stream prioritization module 2306. したがって、ストリーム選択モジュール1938は、例えば、ネットワークデバイス/サーバから、再生システムに通信された帯域幅制約に基づいて、少なくとも1つのコンテンツストリームのための帯域幅を決定するように構成された1つ以上のストリームの帯域幅決定モジュールを含み得る。 Thus, the stream selection module 1938, e.g., from a network device / server, based on the bandwidth constraints which are communicated to the reproducing system, one or more configured to determine the bandwidth for at least one content stream It may include the bandwidth determination module of the stream.

[000252] ストリーム選択モジュール1938は、更に、最も高い優先度のストリーム(または、複数のストリーム)のために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅及び/またはサポート可能なデータレートに基づいて、最も高い優先度のストリームがサポートされ得るかどうかを決定するよう構成されたモジュール2312と、サポートされ得る最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2314とを含む。 [000252] stream selection module 1938 is further highest priority stream (or, multiple streams) based on the maximum bandwidth and / or data rate determined for, and available bandwidth and / or on the basis of the supportable data rate selection, a module 2312 configured to determine whether the highest priority stream may be supported, the highest data rate stream of the highest priority that can be supported and a module 2314 configured to. いくつかの実施形態では、選択モジュール2314は、最高の優先度を割り当てられた複数のコンテンツストリームから1つのコンテンツストリームを選択するように構成され、最も高い優先度に割り当てられた各コンテンツストリームは、同じ優先度を有する複数のコンテンツストリームから選択するように構成されることの部分として、同じ視線方向に対応するコンテンツを提供する。 In some embodiments, the selection module 2314 includes a plurality of content streams assigned the highest priority so as to select one content stream, each content stream assigned the highest priority, as part of being configured to select from a plurality of content streams having the same priority, to provide a content corresponding to the same line of sight direction. いくつかの実施形態において、モジュール2314は、利用可能な帯域幅の決定された量に基づいて、例えば、最も高い優先度等の同じ優先度を有する複数のコンテンツストリームから選択するように構成される。 In some embodiments, module 2314, based on the determined amount of available bandwidth, for example, configured to select from a plurality of content streams having the same priority with the highest priority, etc. . 従って、いくつかの実施形態では、同じ優先度を有する複数のストリームが利用可能である、例えば、いくつかが、より低いデータレート要求を有する他のものと比較して高いデータレート要求をもつ、場合に、選択モジュール2314は、利用可能な帯域幅及び/またはサポート可能なデータレート、及び、帯域幅制約がそのような選択を可能にするならば、例えば、高データレートストリーム等の最も高い品質のストリームを選択する。 Thus, in some embodiments, is available a plurality of streams having the same priority, for example, some may have a higher data rate requirements compared to others with a lower data rate request, If the selection module 2314, available bandwidth and / or supportable data rate, and if the bandwidth constraints to enable such selection, for example, the highest quality such as high data rate streams to select a stream.

[000253] ストリーム選択モジュール1938は、更に、2番目に最も高い優先度ストリームのために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅(例えば、合計の利用可能な、または、残りの利用可能な)及び/またはサポート可能なデータレートに基づいて、2番目に最も高い優先度のストリームがサポートされ得るかどうかを決定するように構成されたモジュール2316、サポートされ得る2番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2318、3番目に最も高い優先度のストリーム(または、複数のストリーム)のために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅(例えば、合計の利用可能 [000253] stream selection module 1938 is further based on the maximum bandwidth and / or data rate determined for the highest priority streams Second, and available bandwidth (e.g., total available, or, based on the remaining available) and / or supportable data rate, the highest priority in the second stream is configured to determine whether may be support module 2316, the highest priority to 2318,3 th modules configured to select the highest data rate stream of highest priority in the second that can be supported streams (or, multiple streams) maximum determined for based on the bandwidth and / or data rate, and, the available bandwidth (e.g., total available 、または、残りの利用可能な)及び/またはサポート可能なデータレートに基づいて、3番目の最も高い優先度ストリームがサポートされ得るかどうかを決定するよう構成されたモジュール2320、及び、サポートされ得る3番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2322を含む。 Or, on the basis of the remaining available) and / or supportable data rate, the third highest priority module 2320 streams is configured to determine whether may be supported, and may be supported a module 2322 that is configured to select the highest data rate stream of highest priority third. 従って、いくつかの実施形態では、ストリーム選択モジュール1938は、例えば、優先度付けモジュール2306により、最も高い優先度を割り当てられている1つ以上のコンテンツストリームを選択するように構成される。 Thus, in some embodiments, the stream selection module 1938, for example, by prioritization module 2306, configured to select one or more content streams assigned the highest priority.

[000254] ストリーム選択モジュール1938は、更に、例えば、1つ以上のより高い優先度のストリームが受け取りのために選択された後、追加のコンテンツストリームを受け取りための任意の残りのまたは追加の利用可能な帯域幅があるかどうかを決定するように構成される追加の容量/帯域幅利用可能性決定モジュール2324を含む。 [000254] stream selection module 1938 may further, for example, one or more higher after the priority of the stream has been selected for receipt of any remaining for receiving additional content streams or additional available bandwidths including additional capacity / bandwidth availability determination module 2324 configured to determine whether there is. いくつかの実施形態では、ストリーム選択モジュール1938は、更に、1つ以上のより低い優先度ストリームのための最大の決定された最大帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅及び/またはサポート可能なデータレートに基づいて、サポートされ得る1つ以上のより低い優先度のストリームを選択するよう構成されたモジュール2326を含む。 In some embodiments, the stream selection module 1938 is further based on the maximum of the maximum bandwidth and / or data rate determined for one or more lower priority stream, and the available bandwidth based on the width and / or supportable data rates, including a module 2326 configured to select one or more lower priority streams that can be supported.

[000255] 図24は、ストリーム選択モジュール1938の、例えば、サブモジュールとして等の部分として、または、個別のモジュールとして実装され得るストリーム優先度付けモジュール2306を示す。 [000255] Figure 24, the stream selection module 1938, e.g., as part of such a sub-modules, or shows a stream prioritization module 2306 that may be implemented as a separate module. ストリームの優先度付けモジュール2306は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度を決定するように構成される。 Prioritization module 2306 of the stream, based on the position of the user's head, configured to determine the priority of the content stream. コンテンツストリームが優先度付けされると、ストリーム選択モジュール1938は、優先度付けされたコンテンツストリームからのストリーム選択を行うことができる。 When the content stream is prioritized, stream selection module 1938 may perform stream selection from prioritized content stream. いくつかの実施形態では、ストリーム優先度付けモジュール2306は、ユーザの現在の頭の位置に基づいて、ユーザが見ているシーン領域の部分を示す、ユーザの現在の視界を特定するように構成された現在の視界特定モジュール2404と、ユーザの現在の視界に対応するコンテンツを通信するストリーム(または、複数のストリーム)を特定するよう構成された現在の視界ストリーム(または、複数のストリーム)特定モジュール2404を含む。 In some embodiments, the stream prioritization module 2306, based on the current position of the head of the user, indicating the parts of the scene area that the user is watching, is configured to identify the current field of view of the user and the current field of view determination module 2404, a stream of communicating content corresponding to the current field of view of the user (or, more streams) current view stream configured to identify (or multiple streams) specifying module 2404 including. 現在の視界ストリーム(または、複数のストリーム)特定モジュール2404の出力は、いくつかの実施形態ではメモリ1912に記憶され得る特定されたストリームのリストであり、リストは、ユーザの頭の位置、従って、視界が変化すると更新され得る。 Current view stream (or, multiple streams) output of a specific module 2404, in some embodiments is a list of specified streams may be stored in the memory 1912, the list, the position of the user's head, therefore, visibility can be updated with changes. 従って、様々な実施形態では、様々な利用可能なコンテンツストリームを優先度付けするために、まず、ユーザの現在の視界が頭の位置に応じて特定され、視界に対応するコンテンツを通信するストリームが特定される。 Accordingly, in various embodiments, to attach a variety of available content stream priority, firstly, the current field of view of the user is identified according to the position of the head, the stream of communicating content corresponding to the field of view be specific.

[000256] いくつかの実施形態では、ストリーム優度付けモジュール2306は、更に、特定されたストリーム(または、複数のストリーム)から、利用可能な、ユーザの現在の視界に対応するシーン領域の部分の大きさを決定するよう構成されたモジュール2406と、各ストリームが提供する部分の大きさに基づいて、ユーザの現在の視界に対応するシーン領域の部分を提供する1つ以上のストリームに優先度付与するように構成された優先度付与/割り当てモジュール2408を含む。 [000256] In some embodiments, the stream likelihood with module 2306 is further specified stream (or, more streams) from the available, current portion of the scene area corresponding to the user's view a module 2406 configured to determine the size, based on the size of the portion where each stream is provided, the priority given to one or more streams to provide a portion of the scene area corresponding to the current field of view of the user containing configured to priority giving / allocation module 2408. いくつかの実施形態において、優先度付与/割り当てモジュール2408は、現在の視界に対応するシーンの最も大きな部分を提供するストリームをプライマリストリームとして指定する等、視界の最も大きい部分を提供するストリームに最も高い優先度を付与するように構成されたモジュール2410を含む。 In some embodiments, prioritization / allocation module 2408, etc. to specify a stream to provide the largest portion of the scene corresponding to the current field of view as the primary stream, most stream to provide the largest portion of the field of view a module 2410 that is configured to impart a higher priority. いくつかの実施形態では、優先度付与/割り当てモジュール2408は、更に、例えば、視界のより大きな部分を提供するストリームが、現在の視界に対応するシーンのより小さい部分を提供する他のストリームよりも高い優先度と指定を与えられて、残りのストリームの各々が提供する視界の部分の大きさに基づいて、残りのストリームに、次に最も高い優先度(または、複数の優先度)を付与し、指定する(例えば、2次、3次、等)ように構成されたモジュール2412を含む。 In some embodiments, prioritization / allocation module 2408 may further, for example, the stream to provide a larger portion of the field of view, than the other streams providing a smaller portion of the scene corresponding to the current field of view given the designated high priority, based on the size of the portion of the field of view provided by each of the remaining streams, the remaining stream, next highest priority (or, more priority) was applied includes specifying (e.g., second, third, etc.) module 2412 that is configured to.

[000257] いくつかの実施形態では、ストリーム優先度付けモジュール2306は、更に、現在の視界外のシーン領域に対応するコンテンツを提供するストリーム等、優先度付けされるべき残りのストリームが存在するかどうかを決定するように構成されたモジュール2414を含む。 [000257] In some embodiments, whether the stream prioritization module 2306 is further stream such as to provide a content corresponding to the current field of view outside the scene region, the remaining streams to be prioritized present a module 2414 that is configured to determine whether.

[000258] いくつかの実施形態では、ストリーム優先度付けモジュール2306は、更に、現在の視界への画像コンテンツの近接、または、頭の回転の方向の一方に基づいて、ユーザの現在の視界の外側のコンテンツを提供する1つ以上の追加のストリームに、例えば、優先度を付与する等の優先度付けをするよう構成されたモジュール2416を含む。 [000258] In some embodiments, the stream prioritization module 2306 is further proximity of the image content of the current field of view, or based on one of the direction of rotation of the head, outside the current field of view of the user content to one or more additional streams to provide, for example, includes a module 2416 configured to prioritizing such grant priority. いくつかの実施形態において、モジュール2416は、現在の視界の領域に接する画像コンテンツを通信するコンテンツストリームが、現在の視界の外で更に離れたコンテンツストリームより高い優先度を付与されるように、通信される画像コンテンツの現在の視界への近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームを優先度付けするように構成される。 In some embodiments, module 2416, as the content stream to communicate an image content in contact with the area of ​​the current field of view, is given a higher priority than more distant content stream outside the current field of view, the communication is based on proximity to the current field of view of image content is composed of one or more additional streams to communicate the content corresponding to the outer portion of the current field of view so as to prioritize.

[000259] いくつかの実施形態において、モジュール2416は、ユーザの頭の回転が、例えば、ユーザの頭の位置における変化の部分として、検出されるかどうかを決定するように構成される頭の回転決定モジュール2418を含む。 [000259] In some embodiments, module 2416, the rotation of the user's head, for example, as part of the change in position of the user's head, the rotation head configured to determine whether the detected including the determination module 2418. いくつかであるが全てではない実施形態において、ユーザが、空や屋根に向かって見上げる、または、地面に向かって見下ろす場合、頭の位置におけるそれからの変化はあるが、そのような頭の動きは頭の回転とはみなされない。 In embodiments not all although some users, look up into the sky and a roof, or, if looking down towards the ground, there is a change from that in the position of the head, but movement of such head not considered with the rotation of the head. いくつかの実施形態において、現在の視界の外だが、頭の回転の方向にある画像コンテンツを提供するコンテンツストリームが、頭の回転の方向から離れた方向で現在の視界の外にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与されるように、モジュール2416は、ユーザの頭の回転の方向に基づいて、1つ以上の追加のコンテンツストリームを優先度付けするよう構成される。 In some embodiments, but outside of the current field of view, the content stream to provide an image content in the direction of rotation of the head, the image content that is outside the current field of view in the direction away from the direction of rotation of the head as given a higher priority than other content streams to provide, module 2416, based on the direction of rotation of the user's head, configured to prioritize one or more additional content stream. いくつかのこのような実施形態では、モジュール2416は、更に、現在の視界の外のシーンの部分、例えば、シーン環境の頂部または底部、に対応するコンテンツを提供するストリームに、次により低い優先度(例えば、より高い優先度が、視界に対応するコンテンツを提供するストリームに付与された後)とストリーム指定、例えば、3次、を付与するように構成されたモジュール2420を含む。 In some such embodiments, module 2416 is further portion outside the scene of the current field of view, for example, the stream to provide a content corresponding to the top or bottom of the scene environment, is lower than the next priority (e.g., higher priority, after being applied to the stream to provide a content corresponding to the field of view) includes a stream specified, for example, cubic, a module 2420 that is configured to impart. いくつかの実施形態では、頭の回転がないと決定された場合、頭の回転決定モジュールは、追加のストリームに優先度を付与するために、モジュール2420に制御入力を提供する。 In some embodiments, when it is determined that there is no rotation of the head, the head rotation determination module, in order to impart a priority to add the stream, to provide a control input to module 2420.

[000260] いくつかの実施形態において、モジュール2416は、更に、先の頭の位置に対するユーザの頭の回転の方向、例えば、左または右、を決定するよう構成される頭の回転の方向決定モジュール2422を含む。 [000260] In some embodiments, module 2416 is further direction of rotation of the user's head with respect to the position of the previous head, for example, left or right, head direction determination module rotation configured to determine the including the 2422. いくつかの実施形態では、モジュール2416は、更に、頭の回転の方向を考慮して、現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームに優先度を付与するように構成されたモジュール2424を含む。 In some embodiments, module 2416 is further in consideration of the direction of rotation of the head, to grant priority to one or more additional streams to communicate the content corresponding to the outer portion of the current field of view a module 2424 that is configured to. いくつかの実施形態において、モジュール2424は、頭の回転の方向にあるシーンの部分に対応するコンテンツを提供するストリームに、次により低い優先度(例えば、より高いものから次に利用可能な優先度)と、指定、例えば、3次ストリーム、とを付与するように構成されたモジュール2426を含む。 In some embodiments, module 2424, to the stream to provide a content corresponding to the portion of the scene in the direction of rotation of the head, lower priority than the next (e.g., the next available priority from higher ones a) includes specifying, for example, tertiary streams, a module 2426 that is configured to impart a city. 従って、頭の回転が検出された場合、ストリームへの優先度の付与は、いくつかの実施形態において、頭の回転の方向に基づいて行われることが理解されるべきである。 Therefore, if the rotation of the head is detected, granted priority to the stream, in some embodiments, it should be made based on the direction of rotation of the head is understood. いくつかの実施形態において、モジュール2416は、更に、考慮されている残りのストリームのいずれかにより低い優先度を付与するように構成された追加モジュール2428を含む。 In some embodiments, module 2416 further comprises an additional module 2428 configured to impart a lower priority by one of the remaining streams being considered.

[000261] 単一のプロセッサ、例えば、コンピュータ、として、図19の実施形態に示されるが、プロセッサ1908は、例えば、1つ以上のコンピュータ等の1つ以上のプロセッサとして実装されてもよいことが理解されるべきである。 [000261] A single processor, e.g., computer as, but shown in the embodiment of FIG. 19, the processor 1908, for example, be may be implemented as one or more processors, such as one or more computer it should be understood. ソフトウェアで実施される場合、モジュールは、プロセッサ1908によって実行されると、プロセッサ1908をモジュールに対応する機能を実装するように構成するコードを含む。 If implemented in software, a module includes when executed by the processor 1908, a code configured to implement the function corresponding processor 1908 to module. 図19、23、及び、24に示される様々なモジュールがメモリ1912に記憶される実施形態では、メモリ1912は、例えば、プロセッサ1908等の少なくとも1つのコンピュータにモジュールが対応する機能を実装させるために、例えば、各モジュールのための個別のコード等のコードを備える、コンピュータが読出し可能な媒体を備えるコンピュータプログラム製品である。 Figure 19 and 23, and, in embodiments where the various modules illustrated in 24 is stored in the memory 1912, the memory 1912, for example, in order to implement the function module corresponding to the at least one computer processor 1908, such as , for example, a code such as a separate code for each module, a computer program product included in the computer readable medium.

[000262] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用され得る。 [000262] Completely hardware based or completely software based modules may be used. しかし、例えば、回路に実装されたモジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得る。 However, for example, any combination of software and hardware, such as mounted on a circuit module can be used to implement the functions. 理解されるべきであるように、図19、23、及び、24に示されたモジュールは、図14のフローチャート1400に示された、及び/または、記載された対応するステップの機能を実行し、図15−17に示された対応するステップの機能を実行するために、システム1900、または、プロセッサ1908等のその中の要素を制御し、及び/または、構成する。 As should be appreciated, Figure 19 and 23, and, the module shown in 24, is shown in the flowchart 1400 of FIG. 14, and / or perform the functions of the corresponding steps described, to perform the functions of the corresponding steps shown in Figure 15-17, the system 1900 or, to control the elements in the processor 1908, etc., and / or constitute.

[000263] 図20A、図20B、図20C、図20D、及び、図20Eの組合せを備える図20は、様々な例示的な実施形態に従ってコンテンツ再生システムを動作させる例示的な方法のフローチャート2000である。 [000263] FIG. 20A, FIG. 20B, FIG. 20C, FIG. 20D and FIG. 20 comprising the combination of Figure 20E is a flowchart 2000 of an exemplary method of operating a content reproduction system according to various exemplary embodiments . コンテンツ再生システムは、例えば、様々な実施形態に従って、ディスプレイに接続されたコンテンツ再生デバイスまたはコンピュータシステムである。 Content reproduction system, for example, in accordance with various embodiments, a connected content reproduction device or computer system to the display.

[000264] 例示的な方法の動作は、コンテンツ再生システムが電源投入され、初期化されるステップ2002で開始する。 [000264] Operation of the exemplary method, the content playback system is powered on, begins at step 2002 is initialized. 動作は、ステップ2002から、コンテンツ再生システムが、前記環境の第1の後方視野部分に対応する第1の画像を受け取るステップ2004に進む。 Operation proceeds from step 2002, the content reproduction system proceeds to step 2004 to receive a first image corresponding to the first rear-view part of the environment. 動作は、ステップ2004から、コンテンツ再生システムが前記環境の前記第1の後方視界部分に対応する前記受け取られた第1の画像を記憶するステップ2006に進む。 Operation proceeds from step 2004 to step 2006 for storing a first image in which content playback system has been the received corresponding to the first rear view parts of the environment. 動作は、ステップ2006から、コンテンツ再生システムが、前記環境の前記第1の後方視野部分に対応する少なくとも第2の画像を含む、前記環境の第1の後方視野部分に対応する1つ以上の追加の画像を受け取るステップ2008に進む。 Operation, the additional steps 2006, the content reproduction system comprises at least a second image corresponding to the first rear-view part of the environment, one or more corresponding to the first rear-view part of the environment the process proceeds to step 2008 to receive the images. 動作は、ステップ2008から、コンテンツ再生システムが、前記環境の前記第1の後方視野部分に対応する前記受け取られた1つ以上の追加の画像を記憶するステップ2010に進む。 Operation proceeds from step 2008, the content reproduction system, the process proceeds to step 2010 to store one or more additional images the received corresponding to the first rear-view part of the environment. 動作は、ステップ2010からステップ2012に進む。 Operation proceeds from step 2010 to step 2012.

[000265] ステップ2012において、コンテンツ再生システムは、前記環境の第2の後方視野部分に対応する第1の画像を受け取る。 In [000265] Step 2012, the content reproduction system receives a first image corresponding to the second rear-view part of the environment. 動作は、ステップ2012から、コンテンツ再生システムが前記環境の前記第2の後方視野部分に対応する前記受け取られた第1の画像を記憶するステップ2014に進む。 Operation proceeds from step 2012 to step 2014 for storing a first image in which content playback system has been the received corresponding to the second rear-view part of the environment. 動作は、ステップ2014から、前記環境の前記第2の後方視野部分に対応する少なくとも第2の画像を含む、前記環境の前記第2の後方視野部分に対応する1つ以上の追加の画像を受け取るステップ2016に進む。 Operation proceeds from step 2014 includes at least a second image corresponding to the second rear-view part of the environment, receive one or more additional image corresponding to the second rear-view part of the environment the process proceeds to step 2016. 動作は、ステップ2016から、コンテンツ再生システムストアが、前記環境の前記第2の後方視野部分に対応する前記受け取られた1つ以上の追加の画像を記憶するステップ2018に進む。 Operation proceeds from step 2016, the content playback system store, the process proceeds to step 2018 to store one or more additional images the received corresponding to the second rear-view part of the environment. 動作は、ステップ2018からステップ2020に進む。 Operation proceeds from step 2018 to step 2020.

[000266] ステップ2020において、コンテンツ再生システムは、前記環境の空の視野部分に対応する1つ以上の画像を受け取る。 In [000266] Step 2020, the content reproduction system receives one or more images corresponding to the empty field portion of the environment. 動作は、ステップ2020から、コンテンツ再生システムが、前記環境の前記空の視野部分に対応する前記受け取られた1つ以上の画像を記憶するステップ2022に進む。 Operation proceeds from step 2020 to step 2022 where the content playback system, to store one or more images the received corresponding to the empty field portion of the environment. 動作は、ステップ2022から、コンテンツ再生システムが、前記環境の地面の視野部分に対応する1つ以上の画像を受け取るステップ2024に進む。 Operation proceeds from step 2022 to step 2024 where the content playback system receives one or more images corresponding to the field of view portion of the ground of the environment. 動作は、ステップ2024から、コンテンツ再生システムが、前記環境の前記地面の視野部分に対応する前記受け取られた1つ以上の画像を記憶するステップ2026に進む。 Operation proceeds from step 2024, the content reproduction system, the process proceeds to step 2026 for storing one or more images the received corresponding to the visual field portion of the ground of the environment. いくつかの実施形態では、空の視野と地面の視野は、見る者の名目上の頭の位置の眺望に関して上と下の方向を指し、屋内環境だけでなく、屋外環境にも適用するために使用される。 In some embodiments, an empty field and the field of ground, points in the direction of the top and bottom with respect to view position of the viewer's nominal head, as well as an indoor environment, is used to apply to outdoor environment that.

[000267] いくつかの実施形態では、画像は、例えば、特定の実施形態に応じて、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分の内のいくつかであるが、必ずしも全てではないものに対応して受け取られ得る。 [000267] In some embodiments, the image may be, for example, depending on the particular embodiment, the first rear-view part, the second rear-view part, empty field portion, and, among the field portion of the ground it is some of, but may be received in response to that but not necessarily all.

[000268] 動作は、ステップ2026から、接続ノードA 2028を介して、ステップ2030に、ステップ2034に進み、及び、接続ノードB 2036を介して、ステップ2028、2040、2042、2044、2046、2048、2050、及び、2052に進む。 [000268] Operation proceeds from step 2026 via connecting node A 2028, step 2030, the process proceeds to step 2034, and, via connecting node B 2036, step 2028,2040,2042,2044,2046,2048, 2050, and, the process proceeds to 2052. ステップ2030に戻って、ステップ2030において、コンテンツ再生システムは、見る者の頭の位置を決定し、前記頭の位置は、現在の視界に対応する。 Returning to step 2030, in step 2030, the content reproduction system determines the position of the viewer's head, the position of the head, corresponding to the current field of view. 動作は、ステップ2030から、決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するステップ2032に進む。 Operation proceeds from step 2030, based on the position of the determined head, the flow proceeds to step 2032 to determine the current view of the viewer. 動作は、ステップ2032から、ステップ2030に進む。 Operation, from step 2032, the process proceeds to step 2030. ステップ2030と2032は、例えば、継続ベースで、繰り返し実行され、現在の視界は、例えば、リフレッシュされる等、更新される。 Step 2030 and 2032, for example, on an ongoing basis, is repeatedly executed, the current field of view, for example, like to be refreshed and updated. 決定された現在の視界は、出力画像の生成に使用されるために利用可能である。 Current vision determined are available to be used to generate the output image.

[000269] ステップ2034では、コンテンツ再生システムは、環境の第1の部分、例えば、前方部分の視野、に対応するコンテンツを提供する第1のコンテンツストリームを受け取る。 [000269] In step 2034, the content playback system, the first part of the environment, for example, receives a first content stream to provide a content corresponding to the field of view, the front portion.

[000270] ステップ2038において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第1の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。 In [000270] Step 2038, the content reproduction system during the reproduction time as measured against reproduction times indicated in the first content stream, corresponding to the first rear-view part of the environment which of the plurality of previously communicated image receives control information indicating whether to be displayed. ステップ2040において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第1の後方視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。 In step 2040, the content reproduction system, during the portion of the event, receiving image selection information indicating Which one should be used for a plurality of images corresponding to the first rear-view part of the environment.

[000271] ステップ2042において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。 In [000271] Step 2042, the content reproduction system during the reproduction time as measured against reproduction times indicated in the first content stream, corresponding to the second rear-view part of the environment which of the plurality of previously communicated image receives control information indicating whether to be displayed. ステップ2044において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第2の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。 In step 2044, the content reproduction system, during the portion of the event, receiving image selection information indicating which of the plurality of images corresponding to the second rear-view part of the environment should be used.

[000272] ステップ2046では、コンテンツ再生デバイスは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。 [000272] In step 2046, the content playback device, during the reproduction time as measured against reproduction times indicated in the first content stream, a plurality corresponding to the empty field portion of the environment any of the previously communicated image receiving control information indicating whether to be displayed. ステップ2048において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。 In step 2048, the content reproduction system, during the portion of the event, receiving image selection information indicating Which one should be used for a plurality of images corresponding to the empty field portion of the environment.

[000273] ステップ2050において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の前記地面の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。 In [000273] Step 2050, the content reproduction system, during said reproduction time as measured against reproduction times indicated in the first content stream, the plurality corresponding to said field of view portion of the ground of the environment any of the previously communicated image receiving control information indicating whether to be displayed. ステップ2052において、コンテンツ再生デバイスは、前記イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。 In step 2052, the content playback device, during the portion of the event, receiving image selection information indicating which of the plurality of images corresponding to the field of view portion of the ground environment should be used.

[000274] 動作は、ステップ2032、ステップ2034から、及び、並列に実行され得るステップ(2038、2040、2042、2044、2046、2048、2050、及び、2052)から接続ノードC 2054を介して、接続ノードD 2056を介して、ステップ2058に進む。 [000274] operation, step 2032, from step 2034, and steps that may be performed in parallel (2038,2040,2042,2044,2046,2048,2050, and 2052) via connecting node C 2054 from the connection through the node D 2056, the process proceeds to step 2058.

[000275] いくつかの実施形態では、ステップ2038、2040、2042、2044、2046、2048、2050、及び、2052からの制御情報は、制御情報が使用されるべきステップ2034の対応する第1のストリームコンテンツに、例えば、一度に少しずつの態様で、わずかに先立って送られる。 [000275] In some embodiments, steps 2038,2040,2042,2044,2046,2048,2050, and, the control information from 2052, the corresponding first stream of step 2034 to the control information is used the content, for example, in the form of a bit at a time, fed slightly advance. いくつかの他の実施形態では、制御情報のブロックが、第1のコンテンツストリームを受け取ることの開始に先立って、または、同時に、受け取られる。 In some other embodiments, the block of control information, prior to the start of receiving a first content stream, or at the same time, are received.

[000276] ステップ2058において、コンテンツ再生システムは、 In [000276] Step 2058, the content reproduction system,
環境の前方部分の視野等の第1の部分の視野に対応する第1のコンテンツストリームから受け取られたコンテンツ、 The first portion first content received from a content stream corresponding to the visual field of the visual field such as the forward portion of the environment,
環境の第1の後方視野部分に対応する、記憶された受け取られた画像、 Corresponding to the first rear-view part of the environment, stored received image,
環境の第2の後方視野部分に対応する、記憶された受け取られた画像、 Corresponding to the second rear-view part of the environment, stored received image,
環境の空の視野部分に対応する、記憶された受け取られた画像、 Corresponding to an empty field of view portion of the environment, stored received image,
環境の地面の視野部分に対応する、記憶された受け取られた画像、または、 Corresponding to the visual field portion of the ground environment, the stored received image, or
画像が利用可能でない現在の視界の部分に対応する合成された画像、 Combined image corresponding to the portion of the current field image is not available,
の内の少なくとも1つに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。 Based on at least one of the, it generates one or more output image corresponding to the current field of view. ステップ2058は、ステップ2060、2062、2064、2066、2068、2076、及び、2078を含む。 Step 2058, Step 2060,2062,2064,2066,2068,2076, and comprises 2078.

[000277] ステップ2060において、コンテンツ再生システムは、1つ以上の出力画像を生成することにおいて使用されるように、現在の視界に基づいて、例えば、そのために利用可能なデータがある、視野部分の組を決定する。 In [000277] Step 2060, the content reproduction system, as used in generating one or more output image, based on the current field of view, for example, there is data available for that, the viewing portion determining a set. いくつかの例示的な決定された組は、例えば、{}、{正面視野部分}、{第1の後方視野部分}、{第2の後方視野部分}、{空の視野部分}、{地面の視野部分}、{正面視野部分、空の視野部分}、{正面視野部分、地面の視野部分}、{正面視野部分、第1の後方視野部分}、{正面視野部分、第2の後方視野部分}、{正面視野部分、第1の後方視野部分、空の部分}、{正面視野部分、第2の後方視野部分、空の視野部分}、{正面視野部分、第1の後方視野部分、地面の視野部分}、{正面視野部分、第2の後方視野部分、地面の視野部分}、{第1の後方視野部分、空の視野部分}、{第1の後方視野部分、地面の視野部分}、{第1の後方視野部分、第2の後方視野部分}、{第1の後方視野部分、第2の後方視野部分、 Some exemplary determined set of, for example, {}, {front visual portion}, {first rear-view partial}, {second rear-view partial}, {empty field portion}, {ground field portion}, {front visual portion, empty field portion}, {front visual portion of the viewing portion}, {front visual portion of the ground, the first rear-view partial}, {front visual portion, a second rear-view partial}, {front visual portion, a first rear-view part, empty part}, {front visual portion, a second rear-view part, empty field portion}, {front visual portion, a first rear-view part, field portion}, {front visual portion of the ground, the second rear-view part, field portion of the ground}, {first rear-view part, empty field portion}, {first rear-view part, field portion of the ground }, {first rear-view part, the second rear-view partial}, {first rear-view part, the second rear-view part, の視野部分}、{第1の後方視野部分、第2の後方視野部分、地面の視野部分}、{第2の後方視野部分、空の視野部分}、及び、{第2の後方視野部分、地面の視野部分}、を含む。 Field portion}, {first rear-view part, the second rear-view part, field portion of the ground}, {second rear-view part, empty field portion}, and {second rear-view part of, field portion of the ground}, including.

[000278] 動作は、ステップ2060からステップ2062に進む。 [000278] Operation proceeds from step 2060 to step 2062. ステップ2062において、コンテンツ再生システムは、以下の2つの条件が満たされているか否かを決定する:(i)ステップ2060からの決定された視野部分の組は、第1の視野部分のみを含む、及び、(ii)第1の視野部分の外の現在の視界の部分はない。 In step 2062, the content playback system, the following two conditions to determine whether is satisfied: (i) a set of determined viewing portion from step 2060 includes only the first field portion, and, (ii) no current view of part of the outside of the first field portion. 該決定が、決定された組が第1の視野部分のみを含み、第1の視野部分の外に現在の視界の部分はないことである場合、動作は、ステップ2062からステップ2064に進み、そうでなければ、動作は、ステップ2062からステップ2066へ進む。 The decision, determined set comprises only the first field portion, when out of the first field portion is that no portion of the current field of view, the operation proceeds from step 2062 to step 2064, so Otherwise, operation proceeds from step 2062 to step 2066.

[000279] ステップ2064において、コンテンツ再生システムは、第1のコンテンツストリームからの受け取られたコンテンツに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。 [000279] In step 2064, the content reproduction system, based on the received content from the first content stream, to generate one or more output images corresponding to the current field of view.

[000280] ステップ2066において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の何れかの部分があるかどうかを決定する。 [000280] In step 2066, the content playback system, the image to determine whether there is any part of the current field of view not available. コンテンツ再生システムが、画像が利用可能でない現在の視界の少なくとも1つの部分があると決定した場合、動作は、ステップ2066からステップ2076に進み、そうでない場合は、動作は、ステップ2066からステップ2068に進む。 If the content reproduction system, image is determined to be at least one portion of the current field of view is not available, operation proceeds from step 2066 to step 2076, otherwise, operation proceeds from step 2066 to step 2068 move on.

[000281] ステップ2068において、コンテンツ再生システムは、1つ以上の出力画像を生成することにおいて使用されるように、視野部分の決定された組に基づいて、現在の視界に対応する1つ以上の出力画像を生成する。 In [000281] Step 2068, the content reproduction system, as used in generating one or more output image, based on a determined set of field portions, one or more corresponding to the current field of view to generate an output image. ステップ2068は、コンテンツ再生システムは、第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、前記環境の第2の部分に対応する記憶されたコンテンツとに基づいて、現在の視界に対応する1つ以上の出力画像を生成するステップ2070を含み得る、もしくは、時々含む。 Step 2068, the content reproduction system, a content of at least some of the received included in the first content stream, based on the stored content corresponding to a second portion of the environment, the current field of view It may include step 2070 of generating a corresponding one or more output image, or comprises from time to time. いくつかの実施形態において、ステップ2070は、ステップ2072、及び、2074の一方または両方を含む。 In some embodiments, step 2070, step 2072, and comprises one or both of 2074. ステップ2072において、コンテンツ再生システムは、受け取られた画像選択情報に基づいて、環境の第2の部分の視野に対応する画像を選択する。 In step 2072, the content reproduction system, based on the image selection information received, selects an image corresponding to the visual field of the second part of the environment. 動作は、ステップ2072から2074に進む。 Operation proceeds from step 2072 to 2074. ステップ2074において、コンテンツ再生システムは、時間の第2の点で取り込まれた前記第1のストリームから得られたコンテンツを、時間の前記第1の点に対応する第1の画像と組み合わせ、ここで、時間の前記第1と第2の点は異なる。 In step 2074, the content reproduction system, a content obtained from the first stream taken in by the second point of time, the first image and the combination corresponding to the first point of time, wherein , different first and second points of time.

[000282] いくつかの実施形態では、第1の画像は、環境の第2の部分の第1の画像であり、第2の部分は、環境の第1の後方視野部分と環境の第2の後方視野部分の一方である。 [000282] In some embodiments, the first image is a first image of the second portion of the environment, the second portion, the first environment rear-view part and the environment second one in which the rear-view portion. いくつかのそのような実施形態では、時間における第1の点は、時間における第2の点に先立つ時間に対応する。 In some such embodiments, the first point in time, corresponds to a time prior to the second point in time. いくつかのそのような実施形態では、時間における第1の点は、第1のコンテンツストリームにおける画像が取り込まれる間のライブイベントの時間に先行する。 In some such embodiments, the first point in time, preceding the time of the live event while the image in the first content stream is captured.

[000283] ステップ2076に戻って、ステップ2076は、画像が利用可能でない各部分のために実行される。 [000283] Returning to step 2076, step 2076 is performed for each partial image is not available. ステップ2076において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の部分のために画像を合成する。 In step 2076, the content reproduction system combines the images for the portion of the current field image is not available. 動作は、ステップ2076からステップ2078に進む。 Operation proceeds from step 2076 to step 2078. ステップ2078において、コンテンツ再生システムは、1つ以上の出力画像及び/または1つ以上の合成された画像を生成することにおいて使用されるように、環境の視野部分の決定された組に基づいて、現在の視界に対応する1つ以上の出力画像を生成する。 In step 2078, the content reproduction system, as used in generating one or more output image and / or one or more synthetic images, based on the determined set of viewing portions of the environment, It generates one or more output image corresponding to the current field of view. ステップ2078によって生成される出力画像は、全体に合成された画像、合成された画像からのコンテンツと第1のコンテンツストリームからのコンテンツを含む画像、合成された画像からのコンテンツと第1のコンテンツストリームからのコンテンツと記憶された画像からのコンテンツを含む画像、及び、合成された画像からのコンテンツと記憶された画像からのコンテンツを含む画像を含み得る。 Step 2078 the output image generated by the image combined in whole, the content from the synthesized image image including content from the first content stream, synthesized contents of the first content stream from the image image containing a content from the content and the stored images from, and may include an image containing a content from the content and the stored image from the combined image. 様々な実施形態では、ステップ2078は、ステップ2080と2082の一方または両方を含み得、時には含む。 In various embodiments, step 2078 may include one or both of steps 2080 and 2082, including at times.

[000284] ステップ2080において、コンテンツ再生システムは、第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、環境の例えば第2の部分等の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。 [000284] In step 2080, the content reproduction system, based a content of at least received several included in the first content stream, a portion such as, for example, the second portion of the environment to the simulated composite image Te, generates one or more output image corresponding to the current field of view. ステップ2082において、コンテンツ再生デバイスは、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせる。 In step 2082, the content playback device, in order to generate an image corresponding to the current field of view, the combined image is combined with at least part of the received image.

[000285] 現在の視界は、経時的に変化し得る、及び、一般的には変化することが理解されるべきである。 [000285] Current view may change over time, and, in general, it should be changed is understood. 現在の視界の変化に応答して、出力画像を生成するために使用される、視野部分の異なる組が、ステップ2060において決定され、異なる画像が、例えば、画像のない視界の異なる部分に対応して、必要とされ得、ステップ2076において合成される。 In response to a change in the current field of view, is used to generate an output image, different sets viewing portion is determined in step 2060, different images, for example, corresponds to a different portion of no image visibility Te, obtained is required, it is combined in step 2076. 加えて、異なる度に、受け取られた制御情報に基づいて、異なる度に組み合された出力画像を生成することにおいて使用されるべく、異なる記憶された画像が特定され得る。 In addition, the different time, based on the received control information, to be used in generating the output image are combined in different degrees, it may be identified differently stored images.

[000286] 動作は、ステップ2058から、接続ノードE 2084を介して、コンテンツ再生システムが、生成された1つ以上の出力画像を出力する、及び/または、表示するステップ2086に進む。 [000286] Operation proceeds from step 2058 via connecting node E 2084, the content reproduction system, and outputs one or more output images generated, and / or, the process proceeds to step 2086 to display. ステップ2086は、コンテンツ再生システムが、第1の出力画像を出力し、及び/または、表示し、第1の出力画像は1つ以上の生成された出力画像の1つであるステップ2088を含む。 Step 2086 includes content reproduction system, outputs the first output image, and / or displays, a first output image step 2088 is one of one or more of the generated output image.

[000287] いくつかの実施形態では、現在の視界に対応する、例えば、ステップ2070で生成された、生成された出力画像は、環境の第1の部分、環境の第2の部分、及び、環境の第3の部分からの情報を含み得、時には含む。 [000287] In some embodiments, corresponding to the current field of view, for example, generated in step 2070, the generated output image, a first part of the environment, the second part of the environment and,, the environment It includes information from the third portion of, including sometimes. いくつかの実施形態では、第1のコンテンツストリームに対応する環境の第1の部分は、正面視野部分であり、環境の第2の部分は、環境の、例えば、右後方視野部分である第1の視野部分、及び、例えば、左後方視野部分である第2の後方視野部分の一方であり、環境の第3の部分は、環境の空の視野部分と地面の視野部分の一方である。 In some embodiments, the first part of the environment corresponding to the first content stream is a front visual portion, the second portion of the environment, the environment, for example, first a right rear-view part field portion and, for example, a one second rear-view part is the left rear-view part, the third part of the environment is one of a blank field portion and the field portion of the ground environment. いくつかのそのような実施形態では、第1の部分に対応するコンテンツは、イベントが進行中の間、取り込まれ、前記再生システムにストリーミングされるリアルタイムコンテンツを含み、第2及び第3の部分に対応するコンテンツは、リアルタイムでない画像である。 In some such embodiments, the content corresponding to the first portion, the event during the progress, incorporated, includes a real-time content that is streamed to the playback system, corresponds to the second and third portions content is an image not in real-time.

[000288] 様々な実施形態では、現在の視界に対応する出力画像を生成するためにコンテンツを組み合わせることは、例えば、環境の正面視野部分に対応する第1のコンテンツストリームから得られる画像、環境の第1の後方視野部分に対応する記憶された画像、環境の第2の後方視野部分に対応する記憶された画像、環境の空の視野部分に対応する記憶された画像、環境の地面視野部分に対応する記憶された画像、及び、画像がない現在の視界における領域に対応する合成された画像の内の任意の2つの間の境界領域といった1つ以上の境界領域において、フィルタリング、ぼかし、輝度変化、及び/または、色変化を行うことを含む。 [000288] In various embodiments, combining the content to generate an output image corresponding to the current field of view, for example, an image obtained from the first content stream corresponding to the front visual part of the environment, environmental stored images corresponding to the first rear-view part, the stored image corresponding to the second rear-view part of the environment, stored images corresponding to the empty field portion of the environment, the ground field portion of the environment corresponding stored image, and, in one or more boundary regions such any two boundary regions between the inside of the synthesized image corresponding to the region in the image is not the current view, filtering, shading, brightness change and / or includes performing a color change.

[000289] いくつかの実施形態では、第1のコンテンツストリームに対応する、第1の、例えば、正面視野部分、及び、受け取られた画像が記憶される1つ以上の追加の部分によって覆われない、環境のいくつかの部分がある。 [000289] In some embodiments, corresponding to the first content stream, first, for example, front visual portion, and, not covered by the one or more additional parts image received it is stored , there are some parts of the environment. 様々な実施形態では、環境のそれらの覆われていない部分のために、画像が合成される。 In various embodiments, because of their uncovered portion of the environment, the image is synthesized. 例えば、一実施形態では、空の視野部分に対応する記憶された画像が存在しないことがあり、現在の視界が空の視野の部分を含む場合、画像が合成される。 For example, in one embodiment, may store images corresponding to the empty field portion does not exist, if the current field of view includes a portion of the blank field, an image is synthesized. 他の例では、第1の後方視野部分と第2の後方視野部分との間に、例えば、覆われていない領域等の良く見えない場所(dead spot)が存在し得る。 In another example, between the first rear-view portion and a second rear-view part, for example, may invisible places such as areas not covered (dead spot) may be present. いくつかの実施形態では、画像を合成することは、環境中の隣接領域に対応して、例えば、記憶された画像の部分、または、受け取られた第1のコンテンツストリームから得られた画像の部分等の画像の部分を繰り返すことを含む。 In some embodiments, to synthesize an image, corresponding to the adjacent regions of the environment, for example, portions of the stored image or portion of an image obtained from the first content stream received, comprising repeating the portion of the image and the like.

[000290] いくつかの実施形態では、ステップ2034において受け取られた第1の画像コンテンツは、例えば、左と右の眼の画像のペアが受け取られるといった、左眼の画像と右眼の画像を含む立体視画像コンテンツである。 [000290] In some embodiments, first the image content received at step 2034, for example, such pair of left and right eye image is received, includes an image of the image and the right eye left eye it is a stereoscopic image content. いくつかのそのような実施形態において、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分に対応して受け取られ、記憶された画像は、左の眼の画像と右の眼の画像とを、例えば、ペアで、含む。 In some such embodiments, the first rear-view part, the second rear-view part, empty field portion, and are received in response to the visual field portion of the ground, the stored image is left an image and right eye image of the eye, for example, in pairs, including. 従って、例えば、ステップ2070において、現在の視界に対応する1つ以上の出力画像を生成する場合、例えば、正面視野部分といった第1の視野部分に対応する第1のコンテンツストリームからの左眼の画像は、環境の1つ以上の他の部分に対応する記憶された左眼の画像と組み合され、例えば、正面視野部分等の第1の視野部分に対応する第1のコンテンツストリームからの右眼の画像は、環境の1つ以上の他の部分に対応する記憶された右画像と組み合される。 Thus, for example, in step 2070, to generate one or more output image corresponding to the current field of view, for example, the left eye from the first content stream corresponding to the first field portion such front visual partial image is combined with the stored left-eye image corresponding to one or more other parts of the environment, for example, the right eye from the first content stream corresponding to the first field portion such as front visual portion images are combined with the stored right image corresponds to one or more other parts of the environment.

[000291] いくつかの他の実施形態では、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分に対応する、受け取られ、記憶された画像は、画像の元のペアからの左眼の画像または右眼の画像を含み、または、例えば、視野部分を取り込むために単独で動作している単一のカメラからの、単一(モノ)の画像を含む。 [000291] In some other embodiments, the first rear-view part, the second rear-view part, empty field portion, and correspond to the visual field portion of the ground, received, stored images It includes an image of the image or the right eye left eye from an image original pair, or, for example, from a single camera operating alone to capture that portion of the visual field, an image of a single (mono) including. 従って、そのような実施形態において、例えば、ステップ2070において、現在の視野に対応する1つ以上の出力画像を生成するとき、例えば、正面視野部分に対応する、第1のコンテンツストリームからの左眼画像と第1のコンテンツストリームからの対応する右眼の画像の両方が、他の視野部分からの同じ記憶された画像と組み合わされる。 Accordingly, in such embodiments, for example, in step 2070, when generating one or more output image corresponding to the current field of view, for example, corresponds to the front visual portion, the left eye from the first content stream both the corresponding right-eye image from the image of the first content stream is combined with the same stored image from another viewing portion.

[000292] 更に他の実施形態において、記憶された画像のいくつかは、左と右の眼の画像ペアの両方を含み、他方、他のものは単一の記憶された画像を含む。 [000292] In yet another embodiment, some of the stored images, including both image pairs left and right eye, while others include images single storage. 例えば、第1の後方視野部分に対応する記憶された受け取られた画像は、左と右の眼の画像のペアを含み得るが、他方、空の視野部分に対応する記憶された受け取られた画像は、ペアではなく、例えば、モノ画像といった単一の画像を含み得る。 For example, an image stored the received image corresponding to the first rear-view part, which may comprise a pair of left and right eye images, the other, received stored corresponding to the empty field portion , not in pairs, for example, it may include a single image, such as mono image.

[000293] いくつかの実施形態において、例えば、第1のコンテンツストリームに対応する、環境の第1の部分は、第1の視野部分であり、環境の第2の部分は、例えば、見る者の右後方に対応する第1の後方視野部分、または、見る者の左後方に第2の後方視野部分等の後方視野部分であり、環境の第3の部分は空の視野部分または地面の視野部分である。 [000293] In some embodiments, for example, corresponding to the first content stream, the first part of the environment is a first field portion and a second portion of the environment, for example, viewer's the first rear-view portion corresponding to the rear right or a rear-view part of such second rear-view portion on the left rear of the viewer, the third part is the viewing portion of the empty field portion or ground environment it is. いくつかのそのような実施形態では、画像は、第1、第2、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分についてより、前記第1の部分に対応するイベントのために、より多くの画像が受け取られる。 In some such embodiments, the images are first, second, and are received at different rates corresponding to the third portion, and more for the second portion, corresponding to the first portion for event, more image is received. いくつかのそのような実施形態では、前記第3の部分についてよりも、前記第2の部分に対応して、より多くの画像が受け取られる。 In some such embodiments, than for the third portion, corresponding to the second portion, the more the image is received.

[000294] いくつかの実施形態に従って、コンテンツ再生システムを動作させる例示的な方法は、以下を含む: [000294] According to some embodiments, an exemplary method of operating a content reproduction system, comprising:
見る者の頭の位置を決定すること、前記頭の位置は現在の視界対応する、 Determining the position of the viewer's head, the position of the head corresponding current field of view,
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ること、 Receiving a first content stream to provide a content corresponding to the first portion of the environment,
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像に基づいて、1つ以上の出力画像を生成すること、及び、 Wherein the first at least some of the received content included in the content stream, and, i) stored content corresponding to a second portion of the environment, or the second portion of ii) the environment based on the simulated composite image, generating one or more output image and,
第1の出力画像を出力する、または、表示すること、前記第1の出力画像は、1つ以上の生成された出力画像の1つである。 Outputs the first output image, or to display, the first output image is one of one or more of the generated output image.
いくつかの実施形態において、コンテンツ再生システムは、コンテンツ再生デバイスである。 In some embodiments, the content reproduction system, which is a content playing device. いくつかの再生システムは、ディスプレイに接続されたコンピュータシステムである。 Some playback systems are connected to a computer system to display.

[000295] 様々な態様において、方法は、更に、以下を含む: [000295] In various embodiments, the method further includes:
前記環境の第2の部分に対応する第1の画像を受け取ること、及び、 Receiving a first image corresponding to the second portion of the environment, and,
前記環境の前記第2の部分に対応する前記第1の画像を記憶すること。 Storing the first image corresponding to the second portion of the environment.

[000296] いくつかの実施形態では、前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、現在の視界に対応する1つ以上の出力画像を生成することは、時間の第2の点で取りこまれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせることを含み、時間の前記第1と第2の点は異なる。 [000296] In some embodiments, the first image of the second portion of the environment, generate one or more output image corresponding to the first point of time, corresponding to the current field of view it is the content obtained from the first content stream captured by the second point of time, the method comprising combining a first image corresponding to the first point of time, the time to different first and second points. いくつかのそのような実施形態では、時間における前記第1の点は、時間における前記第2の点に先行する時間に対応する。 In some such embodiments, the first point in time, corresponds to a time preceding the second point in time. いくつかのそのような実施形態では、前記第1のコンテンツストリームに含まれた画像が取り込まれる間のライブイベントの時間に先行する。 In some such embodiments, preceding the live event time during which the image included in the first content stream is captured.

[000297] 様々な実施形態において、方法は、更に、前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取ることを含み、前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む。 [000297] In various embodiments, the method further includes receiving one or more additional image corresponding to the second portion of the environment, corresponding to the second portion of the environment the one or more additional image includes at least a second image.

[000298] いくつかの実施形態において、方法は、前記第1のコンテンツストリームに示された再生時間に対して計測されたような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを含む。 [000298] In some embodiments, the method, during the reproduction time as measured against reproduction times indicated in the first content stream, corresponding to the second portion of the environment any of the communicated image into a plurality of previously includes receiving control information indicating whether to be displayed.

[000299] いくつかの態様では、前記環境の第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。 [000299] In some embodiments, the second portion of the environment, the first rear-view part, the second rear-view part, empty field portion, or one of the field portion of the ground.
いくつかのそのような実施形態において、方法は、更に、前記環境の第3の部分に対応する1つ以上の画像を受け取ることを含む。 In some such embodiments, the method further includes receiving one or more images corresponding to the third portion of the environment.

[000300] 様々な実施形態において、前記環境の前記第1の部分は正面視野部分であり、前記第3の部分は、空の視野または地面の視野部分の1つであり、画像は、前記第1、第2、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分についてより、前記第1の部分に対応するイベントに対応するイベントのために、より多くの画像が受け取られる。 [000300] In various embodiments, the first portion of the environment is a front viewing portion, said third portion is one of an empty field or field portion of the ground, the images, the first 1, the second, and be received at different rates corresponding to the third portion, the more, because of the event corresponding to the event corresponding to the first part for said second part, more images It is received.

[000301] 様々な実施形態において、前記第1の部分に対応するコンテンツは、イベントが進行中であった間に前記再生デバイスに取り込まれ、ストリーミングされたリアルタイムコンテンツを含み、前記第2及び第3の部分に対応する前記画像に対応するコンテンツは、リアルタイムでない画像である。 [000301] In various embodiments, the content corresponding to the first portion, the event is taken into the playback device during was in progress, including streamed real-time content, the second and third content corresponding to the image corresponding to the part is the image non-real time. いくつかのそのような実施形態では、前記イベントの部分の間に、環境の前記第2の部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取り、少なくともいくつかの受け取られたコンテンツに基づいて、現在の視界に対応する1つ以上の出力画像を生成することは、受け取られた画像選択情報に基づいて、環境の第2の部分に対応する画像を選択することを含む。 In some such embodiments, during the portion of the event, it receives the image selection information indicating which of the plurality of images corresponding to the second portion of the environment should be used, at least several the received based on the content, to generate one or more output image corresponding to the current field of view, based on the image selection information received, the image corresponding to the second part of the environment It includes selecting.

[000302] 様々な実施形態では、例示的な方法は、画像が前記現在の視界の部分のために利用可能でないことを決定すること、画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成すること、及び、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせることを含む。 [000302] In various embodiments, the exemplary method, the image to determine that it is not available for part of the current field of view, for the said portion of the current field image is not available synthesizing an image to be used, and, in order to generate an image corresponding to the current field of view, comprising combining the combined image, at least part of the received image.

[000303] 様々な実施形態において、第1の画像コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである。 [000303] In various embodiments, the first image content is stereoscopic image content including an image of the image and the right eye left eye.

[000304] 図21は、図1と7に示されたもの等のコンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、処理し、表示するために使用され得る、本発明に従って実装された例示的なコンテンツ再生システム2100を示す。 [000304] Figure 21 is an image content received from a content distribution system such as that shown in Figure 1 and 7, receiving, decoding, storing, processing, may be used to display, present invention It shows an exemplary content reproduction system 2100 implemented in accordance with. システム2100は、ディスプレイ2102を含む単一の再生デバイス2100'として、または、コンピュータシステム2100に接続された、例えば、ヘッドマウントディスプレイといった外部ディスプレイ等の要素の組み合わせとして、実装され得る。 System 2100, as a single playback device 2100 'that includes a display 2102, or, connected to the computer system 2100, for example, as a combination of elements such as an external display such as a head-mounted display can be implemented.

[000305] 少なくともいくつかの実施形態では、コンテンツ再生システム2100は、3Dヘッドマウントディスプレイ含む。 [000305] In at least some embodiments, the content reproduction system 2100 includes 3D head-mounted display. ヘッドマウントディスプレイは、ヘッドマウントディスプレイ2105を含み得るOculus社のRIFT(商標) VR(バーチャルリアリティ)ヘッドセットを使用して実装され得る。 Head-mounted display can be implemented using a head mounted display 2105 may include Oculus Inc. RIFT (TM) VR (virtual reality) headset. いくつかの実施形態では、ヘッドマウントディスプレイ2105は、ヘッドマウントディスプレイ805と同じである。 In some embodiments, a head mounted display 2105 is the same as the head mounted display 805. 他のヘッドマウントディスプレイも使用され得る。 Other head-mounted display may also be used. いくつかの実施形態では、1つ以上の表示スクリーンを有するヘッドマウントディスプレイ、または、他のヘッドマウントデバイスが、ユーザの左と右の眼にコンテンツを表示するために使用される。 In some embodiments, a head-mounted display having one or more display screens, or other head-mounted devices are used to display the content on the left and right eye of the user. ヘッドマウントは、異なる眼に単一のスクリーンの異なる部分を晒すように構成され、単一のスクリーン上に左と右の眼に異なる画像を表示することによって、単一のディスプレイは、見る者の左と右の眼によって別々に知覚される左と右の眼の像を表示するために使用され得る。 Head mount is configured to expose different portions of a single screen in a different eye, by displaying different images to the left and right eye on a single screen, the single display, viewer's may be used to display the image of the left and right eye is perceived differently by the left and right eye. いくつかの実施形態では、セルフォンの画面が、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。 In some embodiments, the screen of the cell phone is used as a display of the head mounted display device. 少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。 In at least some such embodiments, the cellphone is inserted into the head-mounted device, cellphone is used to display an image.

[000306] コンテンツ再生システム2100は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び/または、モノ(単一画像)である、受け取られたエンコードされた画像データをデコードし、例えば、ユーザによって3D画像として知覚される、異なる左と右の眼の画像を描画し、表示することによって、顧客に対する表示のための3D画像コンテンツを生成する能力を有する。 [000306] content reproduction system 2100, for example, the left and right eye images corresponding to the different parts of the environment or scene, and / or a mono (single image), the image data encoded received decoding, for example, a user with perceived as a 3D image, draw a picture of the different left and right eye, by displaying, with the ability to generate 3D image content for display to the customer. いくつかの実施形態では、コンテンツ再生システム2100は、家庭やオフィス等の顧客の宅内に設けられるが、同様に、画像取り込みサイトに設けられてもよい。 In some embodiments, the content reproduction system 2100 is provided to the customer's premises, such as homes and offices, as well, it may be provided in the image capture site. コンテンツ再生システム2100は、本発明に従って、信号受け取り、デコード、処理、生成、表示、及び/または、他の動作を実行し得る。 Content reproduction system 2100, in accordance with the present invention, receives signals, decoding, processing, generating, displaying, and / or may perform other operations.

[000307] システム2100は、ディスプレイ2102、ディスプレイデバイスインターフェース2103、入力デバイス2104、入力/出力(I/O)インターフェース2106、プロセッサ2108、ネットワークインターフェース2110、及び、メモリ2112を含む。 [000307] System 2100 includes a display 2102, a display device interface 2103, an input device 2104, an input / output (I / O) interface 2106, a processor 2108, a network interface 2110, and memory 2112. メモリ2112は、例えば、ソフトウェアモジュールのアセンブリといったモジュール2114のアセンブリと、データ/情報2116を含む。 Memory 2112 includes, for example, the assembly of modules 2114, such as assembly of a software module, the data / information 2116. いくつかの実施形態では、システム2100は、例えば、回路等のハードウェアモジュールのアセンブリ等のモジュール2115のアセンブリを含む。 In some embodiments, the system 2100 includes, for example, an assembly of modules 2115 of the assembly, such as a hardware module such as a circuit. システム2100の様々なコンポーネントは、データがシステム2100のコンポーネント間で、及び/または、他の接続によって、または、無線インターフェースを介して通信されることを可能にするバス2109を介して互いに接続される。 The various components of system 2100, data between components of the system 2100, and / or by other connection, or they are connected to each other via a bus 2109 that allows it to be communicated via a wireless interface . いくつかの実施形態において、ディスプレイ2102は、破線の枠を用いて図示されるオプションの要素として含まれているが、ヘッドマウント立体視ディスプレイデバイス等の外部のディスプレイデバイス2105が、ディスプレイデバイスインターフェース2103を介して再生デバイスに接続され得る。 In some embodiments, the display 2102 is included as optional elements illustrated with dashed box, an external display device 2105, such as a head-mounted stereoscopic display device, a display device interface 2103 through it may be connected to the playback device.

[000308] 例えば、セルフォンプロセッサがプロセッサ2108として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ2108、ディスプレイ2102、及び、メモリ2112を含み得る。 [000308] For example, the cell phone processor is used as a processor 2108, cell phone generates an image in the head-mounted, to display, the system, as part of the head-mounted device, a processor 2108, a display 2102 and a memory 2112 It may include. プロセッサ2108、ディスプレイ2102、メモリ2112は、全て、セルフォンの部分であってよい。 Processor 2108, a display 2102, memory 2112 may all be part of the cell phone. システム2100の他の実施形態では、プロセッサ2108は、ディスプレイ2105がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、XBOXまたはPS4等のゲームシステムの部分であってよい。 In another embodiment of the system 2100, the processor 2108, display 2105 is mounted on the head mount devices, are connected to the game system may be a part of the game system, such as XBOX or PS4. プロセッサ2108及び/またはディスプレイ2112が、頭に装着されるデバイスに設けられるか否かは重要ではなく、理解され得るように、いくつかの場合には、電力、熱、重量の観点から、ヘッドギアの中にプロセッサ2108を共存させることは便利であり得るが、少なくともいくつかの場合には、プロセッサ2108とメモリ2112を、ディスプレイを含むヘッドギアに接続されるようにすることが望まれ得る。 Processor 2108 and / or display 2112, whether provided in a device that is mounted on the head not critical, as can be appreciated, in some cases, power, heat, from the viewpoint of the weight, the headgear Although may be convenient to coexist processor 2108 in the case of at least some links the processor 2108 and memory 2112, it may be desirable to be connected to a headgear including a display.

[000309] 様々な実施形態は、ヘッドマウントディスプレイ2105または2102を企図するが、方法と装置は、また、3D画像をサポートすることができる、ヘッドマウントでないディスプレイで使用され得る。 [000309] Various embodiments include, but contemplates a head mounted display 2105, or 2102, the method and apparatus can also support the 3D image may be used in the display is not the head mount. 従って、多くの実施形態において、システム2100は、ヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装されることができる。 Thus, in many embodiments, the system 2100 includes a head-mounted display, it can also be implemented using a display not head-mounted.

[000310] メモリ2112は、プロセッサ2108によって実行されたとき、本発明に従った動作を実行するようコンテンツ再生システム2100を制御する、例えば、ルーチンといった様々なモジュールを含む。 [000310] Memory 2112 includes when executed by the processor 2108, controls the content reproduction system 2100 to perform an operation in accordance with the present invention, for example, the various modules such as routines. メモリ2112は、例えば、ソフトウェアモジュールのアセンブリといったモジュール2114のアセンブリと、データ/情報2116とを含む。 Memory 2112 includes, for example, the assembly of the assembly, such as the module 2114 of software modules, and data / information 2116.

[000311] データ情報2116は、以下の全ての内の1つ以上を含む: [000311] Data information 2116 includes one or more of the all of the following:
第1の後方視野部分に対応する受け取られた画像2118、 First image 2118 received corresponding to rear-view part,
第2の後方視野部分に対応する受け取られた画像2120、 Image 2120 received corresponding to the second rear-view part,
空の視野部分に対応する受け取られた画像2122、及び、 Image 2122 received corresponding to the empty field portion and,
地面の視野部分に対応する受け取られた画像。 The received image corresponding to the visual field portion of the ground.
後方視野部分に対応する例示的な受け取られた画像は、例えば、立っている聴衆または観衆の画像、座っている聴衆または観衆の画像、異なる可視広告をもった画像、応援している観衆の画像、等を含む。 Exemplary received image corresponding to the rear-view part, for example, standing audience or spectators image, sitting audience or spectators image, images having different visual advertising, spectators are cheering image , and the like. 空の視野に対応する例示的な受け取られた画像は、例えば、晴天、異なる雲のパターン、異なる時間に対応する暗さの異なる程度、等を含む。 Exemplary received image corresponding to an empty field of view includes, for example, clear sky, different cloud patterns, the degree of darkness of different corresponding to different times, and the like.
データ情報2116は、更に、以下の内の1以上または全てを含む: Data information 2116 also includes one or more or all of the following:
第1の後方視野部分に対応する受け取られた制御情報2130、 First control information 2130 received corresponding to rear-view part,
第2の後方視野部分に対応する受け取られた制御情報2132、 Control information 2132 received corresponding to the second rear-view part,
空の視野部分に対応する受け取られた制御情報2134、及び地面の視野部分に対応する受け取られた制御情報2136。 Control information received corresponding to the empty field portion 2134, and control information received corresponding to the visual field portion of the ground 2136.
データ情報2116は、更に、 Data information 2116, further,
決定された現在の見る者の頭の位置2126、 Determined the current position of the viewer's head 2126,
決定された現在の視界2128、 The current field of view 2128 that has been determined,
例えば、正面視野部分に対応する右眼の画像と左眼の画像のペアを含む受け取られた第1のコンテンツストリーム2128、 For example, a first content stream 2128 received including pairs of the right-eye image and the left eye image corresponding to the front visual portion,
例えば、組み合わせるために利用可能な少なくともいくつかの受け取られたコンテンツがある現在の視界に対応する、出力画像を生成することにおいて使用されるべき視野部分の決定された組2138、 For example, the set is determined of the field portion to be used in that corresponding to the current view that there are at least several received content available, to generate an output image to combine 2138,
合成された画像(または、複数の画像)2140、 Synthesized images (or, more images) 2140,
生成された出力画像2142、 The generated output image 2142,
を含む。 including.
生成された出力画像は、例えば、正面といった第1の視野部分に対応する第1のコンテンツストリームからの組み合わされた画像コンテンツを含み、例えば、後方視野部分、空の部分、または、地面の部分からの受け取られ記憶された画像の部分を含み、及び/または、合成された画像または合成された画像の部分を含む、生成された出力画像を含み得、時には含む。 The generated output image, for example, include image content combined from the first content stream corresponding to the first field portion such front, for example, rear-view part, empty part, or, from the portion of the ground It includes a portion of the received stored images, and / or a portion of the combined image or synthesized image can include the generated output image, including at times.

[000312] 図22は、例示的な実施形態に従った図21の例示的なコンテンツ再生システム2100または図8のシステム800に含まれ得るモジュールのアセンブリ2200の図である。 [000312] FIG. 22 is a diagram of an exemplary content reproduction system 2100 or assembly 2200 that may be included modules in the system 800 of FIG. 8 in Figure 21 in accordance with an exemplary embodiment. モジュール2200のアセンブリにおけるモジュールは、例えば個別の回路等のプロセッサ2108の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。 Module in the assembly of modules 2200, for example, may be entirely implemented in separate hardware in the processor 2108 such as a circuit, and is in some embodiments. モジュールのアセンブリ2200におけるモジュールは、例えば、異なるモジュールに対応する個別回路として、モジュールのアセンブリ2115の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。 Modules in the module assembly 2200, for example, as individual circuits corresponding to different modules, can be entirely implemented in hardware in the module assembly 2115, and is in some embodiments. 他の実施形態において、モジュールのいくつかは、プロセッサ2108の中に、例えば、回路として、実装され、他のモジュールは、例えば、プロセッサ2108の外部に接続されたモジュールのアセンブリ2115の中の回路として、実装される。 In other embodiments, some modules within the processor 2108, for example, as a circuit, is mounted, the other modules, for example, as a circuit within the assembly 2115 of module connected to an external processor 2108 , it is implemented. 理解されるべきであるように、プロセッサ上の、及び/または、プロセッサの外部にあるいくつかのモジュールをもった、モジュールの集積のレベルは、設計上の選択肢の1つであってよい。 As should be understood, on the processor, and / or, with some modules external to the processor, the level of integration of the module may be one of design choice.

[000313] 代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム2100のメモリ2112に記憶され、モジュールは、例えば、プロセッサ2108等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するようにシステム2100の動作を制御する。 [000313] Alternatively, rather than being implemented as a circuit, all or some of the modules are implemented in software, stored in the memory 2112 of the system 2100, the module, for example, executed by a processor, such as processor 2108 when it is, it controls the operation of the system 2100 to implement the function corresponding to the module. いくつかのそのような実施形態では、モジュールのアセンブリ2200は、モジュールのアセンブリ2114としてメモリ2112に含まれる。 In some such embodiments, the assembly 2200 of modules included in memory 2112 as an assembly 2114 of the module. 更に他の実施形態において、モジュールのアセンブリ2200における様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路は、プロセッサ2108に入力を提供し、プロセッサは、次に、ソフトウェア制御の下、モジュールの機能の部分を実行するよう動作する。 In yet another embodiment, the module various modules in the assembly 2200, are implemented as a combination of hardware and software, for example, another external circuit of the processor provides an input to the processor 2108, the processor next to, under software control, operates to perform part of the functions of the module. 例えば、コンピュータ等の単一のプロセッサとして図21の実施形態に示されているが、プロセッサ2108は、例えば、複数のコンピュータ等の1つ以上のプロセッサとして実装され得ることが理解されるべきである。 For example, although illustrated in the embodiment of Figure 21 as a single processor such as a computer, processor 2108, for example, it should be understood that may be implemented as one or more processors, such as a plurality of computers .

[000314] ソフトウェアで実装される場合、モジュールは、プロセッサ2108によって実行されると、モジュールに対応する機能を実装するようにプロセッサ2108を構成するコードを含む。 If implemented in [000314] software modules include code that constitutes when executed, the processor 2108 to implement the function corresponding to the module by the processor 2108. モジュール2200のアセンブリがメモリ2112に記憶されている実施形態では、メモリ2112は、例えば、プロセッサ2108等のコンピュータに、モジュールが対応する機能を実装させるために、各モジュールのための個別のコード等のコードを備えるコンピュータ読出し可能な媒体を備えるコンピュータプログラム製品である。 In embodiments where the assembly of modules 2200 is stored in the memory 2112, the memory 2112, for example, in a computer such as a processor 2108, the module in order to implement the corresponding function, such as individual code for each module a computer program product comprising a computer readable medium comprising code.

[000315] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用されてもよい。 [000315] Completely hardware based or may be entirely software based modules may be used. しかし、例えば、回路で実装モジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得ることが理解されるべきである。 However, for example, any combination of software and hardware, such as implemented module circuitry, it should be understood that may be used to implement the functions. 理解されるべきであるように、図22に示されたモジュールは、図20のフローチャート2000の方法に図示され、及び/または、記載された対応するステップの機能を実行するために、システム2100、または、プロセッサ2108等のその中の要素を制御し、及び/または、構成する。 As should be appreciated, the modules illustrated in Figure 22, is illustrated in the method of flowchart 2000 of Figure 20, and / or to perform the functions of the corresponding steps described, the system 2100, or to control the elements therein such as the processor 2108, and / or constitute. 従って、モジュール2200のアセンブリは、図20の1つ以上のステップに対応する機能を実行する様々なモジュールを含む。 Thus, the assembly of modules 2200 includes a variety of modules that perform the functions corresponding to one or more of the steps of FIG. 20.

[000316] モジュール2200のアセンブリは、見る者の頭の位置決定モジュール2202、現在の視界決定モジュール2204、コンテンツストリーム選択モジュール2206、コンテンツストリーム受け取りモジュール2208、画像受け取りモジュール2210、受け取られた画像記憶モジュール2212、制御情報受け取りモジュール2214、出力画像生成モジュール2216、出力モジュール2242、ディスプレイモジュール2244、及び、制御ルーチン2246を含む。 [000316] Assembly of modules 2200, viewer's head position determination module 2202, the current field of view determination module 2204, a content stream selection module 2206, the content stream receiving module 2208, an image receiving module 2210, received image storage module 2212 , the control information receiving module 2214, the output image generation module 2216, output module 2242, display module 2244, and includes a control routine 2246.

[000317] 見る者のヘッド位置決定モジュール2202は、見る者の頭の位置を決定するように構成され、前記頭の位置は、現在の視界に対応する。 [000317] head positioning module 2202 of the viewer is configured to determine the position of the viewer's head, the position of the head, corresponding to the current field of view. 現在の視界決定モジュール2204は、前記決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するように構成される。 Current viewing decision module 2204 based on the position of the determined head configured to determine the current view of the viewer.

[000318] コンテンツストリーム選択モジュール2206は、例えば、見る者等のユーザ入力に基づいて、例えば、複数の代替のコンテンツストリームの中から、コンテンツストリームを選択するように構成される。 [000318] content stream selection module 2206, for example, based on user input of a person or the like to see, for example, a in the content stream of the plurality of alternative, to select the content stream. 異なるコンテンツストリームは、異なるイベントに対応し得る。 Different content streams may correspond to different events. 様々な実施形態では、同じイベントに対応する異なるコンテンツストリームは、例えば、見る者に代替の正面視野観を提供するため等に、異なる方向を指す異なるカメラに対応する。 In various embodiments, different content stream corresponding to the same event, for example, such as to provide a front visual view of an alternative to the viewer, corresponds to a different camera pointing in different directions. いくつかの実施形態では、選択され得る、画像ストリームの少なくともいくつかが、左の眼の画像と右の眼の画像のペアを含む立体視画像コンテンツを含む。 In some embodiments, it may be selected, at least some of the image stream, includes a stereoscopic image content including a pair of the left-eye image and right eye image.

[000319] コンテンツストリーム受け取りモジュール2208は、環境の、例えば、前方部分の視野等の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成される。 [000319] content stream receiving module 2208, the environment, for example, configured to receive a first content stream to provide a content corresponding to a first portion of the field of view such as the forward portion. 様々な実施形態において、第1のコンテンツストリームにおいて受け取られた、第1の画像コンテンツは、左眼の画像と右眼の画像のペアを含む立体視画像コンテンツである。 In various embodiments, received at the first content stream, the first image content is stereoscopic image content including a pair of images of the image and the right eye left eye.

[000320] 画像受け取りモジュール2210は、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分、等の1つ以上の異なる視野部分に対応する画像を受け取るように構成される。 [000320] image receiving module 2210, e.g., a first rear-view part, the second rear-view part, empty field portion, and an image corresponding to the visual field portion, one or more different visual field portions of equal ground configured to receive. 画像受け取りモジュール2210は、前記環境の第2の部分に対応する第1の画像を受け取るように構成される。 Image receiving module 2210 is configured to receive a first image corresponding to the second portion of the environment. いくつかのそのような実施形態では、画像受け取りモジュールは、更に、環境の前記第2の部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、少なくとも第2の画像を含む環境の第2の部分に対応する。 In some such embodiments, the image receiving module is further configured to receive one or more additional image corresponding to the second part of the environment, said one or more additional images , corresponding to the second portion of the environment comprising at least a second image. いくつかの実施形態では、前記環境の第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。 In some embodiments, the second portion of the environment, the first rear-view part, the second rear-view part, empty field portion, or one of the field portion of the ground. いくつかの実施形態では、前記環境の第2の部分は、第1の後方視野部分、または、第2の後方視野部分の1つである。 In some embodiments, the second portion of the environment, the first rear-view part, or is one of the second rear-view portion. いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の第3の部分に対応する1つ以上の画像を受け取るように構成される。 In some embodiments, the image receiving module 2210 is configured to receive one or more images corresponding to the third portion of the environment. いくつかの実施形態では、環境の第1の部分は、正面視野部分であり、環境の第3の部分は、空の視野または地面の視野部分の1つである。 In some embodiments, the first portion of the environment is a front viewing portion, the third portion of the environment is one of the empty field or field portion of the ground.

[000321] いくつかの実施形態において、画像受け取りモジュール2210は、前記環境の第1の後方視野部分に対応する第1の画像を受け取るように構成され、更に、前記環境の前記第1の後方視野部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、前記第1の後方視野部分に対応する少なくとも第2の画像を含む前記第1の後方視野部分に対応する。 [000321] In some embodiments, the image receiving module 2210 is configured to receive a first image corresponding to the first rear-view part of the environment, further, the first rear-view of the environment is configured to receive one or more additional image corresponding to the portion, wherein the one or more additional image, the first rear including at least a second image corresponding to the first rear-view part corresponding to the field of view portion. いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の第2の後方視野部分に対応する第1の画像を受け取るよう構成され、更に、前記環境の第2の後方視野部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、前記第2の後方視野部分に対応する少なくとも第2の画像を含む前記第2の後方視野部分に対応する。 In some embodiments, the image receiving module 2210 is configured to receive a first image corresponding to the second rear-view part of the environment, further, it corresponds to the second rear-view part of the environment 1 one is configured to receive more additional image, wherein the one or more additional image corresponds to the second rear-view portion including at least a second image corresponding to the second rear-view part . いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の空の視野部分に対応する1つ以上の画像を受け取るように構成される。 In some embodiments, the image receiving module 2210 is configured to receive one or more images corresponding to the empty field portion of the environment. いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の地面の視野部分に対応する1つ以上の画像を受け取るように構成される。 In some embodiments, the image receiving module 2210 is configured to receive one or more images corresponding to the field of view portion of the ground of the environment.

[000322] 受け取られた画像記憶モジュール2212は、画像受け取りモジュール2212によって受け取られた画像を記憶するように構成される。 [000322] image storage module 2212 received is configured to store the image received by the image receiving module 2212. 受け取られた画像記憶モジュール2212は、環境の前記第2の部分に対応する第1の画像を記憶するように構成される。 Image storage module 2212 received is configured to store a first image corresponding to the second portion of the environment. 受け取られた画像記憶モジュール2212は、環境の第2の部分に対応する1つ以上の追加の画像を記憶するように構成される。 Image storage module 2212 received is configured to store one or more additional image corresponding to the second part of the environment. 受信された画像記憶モジュール2212は、前記環境の第3の部分に対応する、受け取られた1つ以上の画像を記憶するように構成される。 Image storage module 2212 that is received, corresponding to the third portion of the environment, configured to store one or more images received. 様々な実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記第1の後方視野部分に対応する第1の画像と、前記環境の第1の後方視野部分に対応する1つ以上の追加の画像とを記憶するように構成される。 In various embodiments, the image storing module 2212 received includes a first image corresponding to the first rear-view part of the environment, one or more corresponding to the first rear-view part of the environment configured to store the additional images. 様々な実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記第2の後方視野部分に対応する第1の画像と、前記環境の第2の後方視野部分に対応する1つ以上の追加の画像とを記憶するように構成される。 In various embodiments, the image storing module 2212 received includes a first image corresponding to the second rear-view part of the environment, one or more corresponding to the second rear-view part of the environment configured to store the additional images. いくつかの実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記空の視野部分に対応する1つ以上の画像に記憶するように構成される。 In some embodiments, the image storing module 2212 received is configured to store one or more images corresponding to the empty field portion of the environment. いくつかの実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記地面の視野部分に対応する1つ以上の画像を記憶するように構成される。 In some embodiments, the image storing module 2212 received is configured to store one or more images corresponding to the field of view portion of the ground of the environment.

[000323] 制御情報受け取りモジュール2214は、第1のコンテンツストリームに示された再生時間に対して測定されるような再生時間の間、前記環境の第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 [000323] Control information receiving module 2214, during the reproduction time as measured against reproduction times indicated in the first content stream, is communicated to a plurality of previously corresponding to the second part of the environment and which is configured to receive control information indicating whether to be displayed in the image. 様々な実施形態では、制御情報受け取りモジュール2214は、更に、第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の第3の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 In various embodiments, the control information receiving module 2214 further during the reproduction time as measured against reproduction times indicated in the first content stream, a plurality corresponding to the third portion of the environment which configured to receive control information indicating whether to be displayed previously communicated image. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the part of the event, to receive image selection information indicating whether to which of a plurality of images corresponding to the second portion of the environment is used constructed. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の第3の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the part of the event, to receive image selection information indicating whether to which of a plurality of images corresponding to the third portion of the environment is used constructed.

[000324] いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第1の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 [000324] In some embodiments, the control information receiving module 2214, during the reproduction time as measured against the reproduction time of the first content stream, the first rear-view part of the environment which of the plurality of previously communicated image corresponding to the arranged to receive control information indicating whether to be displayed. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記第1の後方視野部分に対応する複数の画像のどれが表示されるべきかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the part of the event, the image selection information indicating whether to which of a plurality of images corresponding to the first rear-view part of the environment is displayed configured to receive. いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the reproduction time as measured against the reproduction time of the first content stream, corresponding to the second rear-view part of the environment configured as one of the communicated image into a plurality of previously received control information indicating whether to be displayed. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記第2の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, image selection shown during part of the event, which of the plurality of images corresponding to the second rear-view part of the environment should be used configured to receive the information.

[000325] いくつかの実施形態では、情報制御受け取りモジュール2214は、第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 [000325] In some embodiments, information control receiving module 2214, during the reproduction time as measured against the reproduction time of the first content stream, corresponding to the empty field portion of the environment configured as one of the communicated image into a plurality of previously received control information indicating whether to be displayed. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the part of the event, the image selection information indicating which of the plurality of images corresponding to the empty field portion of the environment should be used configured to receive. いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記地面の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the reproduction time as measured against the reproduction time of the first content stream, the plurality corresponding to said field of view portion of the ground of the environment which configured to receive control information indicating whether to be displayed previously communicated image. いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。 In some embodiments, the control information receiving module 2214, during the part of the event, the image selection information indicating which of the plurality of images corresponding to the field of view portion of the ground environment should be used configured to receive.

[000326] 出力画像生成モジュール2216は、環境の第1の部分の視野に対応する第1のコンテンツストリームからの受け取られたコンテンツ、環境の第1の後方視野部分に対応する記憶された受け取られた画像、環境の第2の後方視野部分に対応する記憶された受け取られた画像、環境の空の視野部分に対応する記憶された受け取られた画像、環境の地面の視野部分に対応する記憶された受け取られた画像、または、画像が利用可能でない現在の視界の部分に対応する合成された画像、の少なくとも1つに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。 [000326] output image generation module 2216, received stored corresponding to the received content, the first rear-view portion of the environment from the first content stream corresponding to a field of view of the first part of the environment image, stored corresponding to the second corresponding to the rear-view part stored the received image, the stored received image corresponding to an empty field of view portion of the environment, the visual field portion of the ground environment environment the received image, or the image is synthesized corresponding to portions of the current field of view not available image, based on at least one, to generate one or more output image corresponding to the current field of view constructed. 出力画像生成モジュール2216は、視野部分の組決定モジュール2218、コンテンツストリームのみの決定モジュール2220、欠落部分決定モジュール2222、画像合成器モジュール2224、コンテンツストリーム出力画像生成モジュール2226を含む。 Output image generation module 2216 includes a set determination module 2218 of the field portion, the determination module 2220 of only the content stream, missing part determination module 2222, the image combining module 2224, a content stream output image generation module 2226. 合成された出力画像生成モジュール2228、出力画像のコンテンツストリームベース生成モジュール2230、出力画像のストリームベースでない生成モジュール2236も含む。 Combined output image generation module 2228, a content stream based generation module 2230 of the output image, even generation module 2236 is not a stream-based output image including.

[000327] 視野部分の組決定モジュール2218は、1つ以上の出力画像を生成することにおいて使用されるために、現在の視界に基づいて、前記環境の、例えば、少なくともいくつかの利用可能な画像コンテンツが存在する、視野部分の組を決定するように構成される。 [000327] set determination module 2218 of the field portion, in order to be used in generating one or more output image, based on the current view, the environment, for example, at least some of the available images content exists, configured to determine a set of field portions. いくつかの例示的な決定された組は、例えば、{}、{正面視野部分}、{第1の後方視野部分}、{第2の後方視野部分}、{空の視野部分}、{地面の視野部分}、{正面視野部分、空の視野部分}、{正面視野部分、地面の視野部分}、{正面視野部分、第1の後方視野部分}、{正面視野部分、第2の後方視野部分}、{正面視野部分、第1の後方視野部分、空の視野部分}、{正面視野部分、第2の後方視野部分、空の視野部分}、{正面視野部分、第1の後方視野部分、地面の視野部分}、{正面視野部分、第2の後方視野部分、地面の視野部分}、{第1の後方視野部分、空の視野部分}、{第1の後方視野部分、地面の視野部分}、{第1の後方視野部分、第2の後方視野部分}、{第1の後方視野部分、第2の後方視野部 Some exemplary determined set of, for example, {}, {front visual portion}, {first rear-view partial}, {second rear-view partial}, {empty field portion}, {ground field portion}, {front visual portion, empty field portion}, {front visual portion of the viewing portion}, {front visual portion of the ground, the first rear-view partial}, {front visual portion, a second rear-view partial}, {front visual portion, a first rear-view part, empty field portion}, {front visual portion, a second rear-view part, empty field portion}, {front visual portion, a first rear-view part viewing portion}, {front visual portion of the ground, the second rear-view part, field portion of the ground}, {first rear-view part, empty field portion}, {first rear-view part, the field of view of the ground partial}, {first rear-view part, the second rear-view partial}, {first rear-view part, the second rear-view portion 、空の視野部分}、{第1の後方視野部分、第2の後方視野部分、地面の視野部分}、{第2の後方視野部分、空の視野部分}、及び、{第2の後方視野部分、地面の視野部分}、を含む。 Empty field portion}, {first rear-view part, the second rear-view part, field portion of the ground}, {second rear-view part, empty field portion}, and {the second rear-view moiety, field portion of the ground}, including.

[000328] コンテンツストリームのみの決定モジュール2220は、1つ以上の出力画像が、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分または地面の視野部分、または、合成された画像等の他の部分の視野からの記憶された受け取られた画像に依存する必要なしに、第1のコンテンツストリーム内のコンテンツに基づいて生成されるべきであるかどうかを決定するよう構成される。 [000328] content stream only decision module 2220, one or more of the output image, for example, the first rear-view part, the second rear-view part, empty field portion or field portion of the ground, or synthesized and without the need to rely on the stored received image from the field of view of other portions of such images, it is configured to determine whether it should be generated based on the content in the first content stream that. コンテンツストリームのみの決定モジュール2220は、決定された組が、第1のコンテンツストリームに対応する、例えば、正面の、第1の視野部分である単一の要素を含むかどうかをチェックし、及び、視界が、例えば、正面等の第1の視野部分の中にあるがどうかをチェックするように構成される。 Determining module 2220 of the content stream only, determined set correspond to the first content stream, for example, to check whether to include the front, a single element which is the first field portion, and, visibility, for example, configured as it is in the first field of view portion of the front or the like to check whether.

[000329] 欠落部分決定モジュール2222は、画像が現在の視界の部分のために利用可能でないこと、例えば、画像が、環境の正面視野に対応する第1のコンテンツストリームから、または、環境の他の部分に対応する受け取られた記憶された画像からの何れかから利用可能でないことを決定するように構成される。 [000329] missing part determination module 2222, that the image is not available for the portion of the current field of view, for example, images, from the first content stream corresponding to the front visual environment, or other environmental configured to determine that it is not available from any of the corresponding the received image stored in the part. 画像合成器モジュール2224は、画像が利用可能でない前記現在の視界の部分のために使用されるべき画像を合成するように構成される。 Image combining module 2224 is configured to synthesize an image to be used for the portion of the current field image is not available. 様々な実施形態では、画像合成モジュール2224は、例えば、境界上のいくらかのつなぎを可能にするために、欠落している部分を埋めるために必要とされるよりも僅かに大きい合成された画像を生成する。 In various embodiments, the image combining module 2224, for example, in order to allow some joint on the boundary, a slightly larger composite image than is required to fill a portion missing generated.

[000330] コンテンツストリーム出力画像生成モジュール2226は、決定された組が、例えば、正面視野部分等の第1の視野部分だけを含み、例えば、コンテンツストリームのみの決定モジュール2220によって決定されるように、第1の視野部分の外に現在の視界の部分がない場合に、第1のコンテンツストリームからの受け取られたコンテンツのみに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。 [000330] content stream output image generation module 2226 has been determined set of, for example, includes only the first field portion such as front visual portion, for example, as determined by the determining module 2220 of only the content stream, If there is no outside portion of the current field of view of the first field portion, so that only on the basis of the received content from the first content stream, to generate one or more output images corresponding to the current field of view configured. いくつかの実施形態では、コンテンツストリーム出力画像生成モジュール2226は、第1のコンテンツストリームから得られた画像に対してトリミング動作を実行する。 In some embodiments, the content stream output image generation module 2226 performs a trimming operation on the image obtained from the first content stream.

[000331] 出力画像のコンテンツストリームベース生成モジュール2230は、例えば、正面視野に対応するコンテンツストリームといった第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、i)第1の後方視野、第2の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ、または、ii)画像が利用可能でない視界の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。 [000331] content stream based generation module 2230 of the output image, for example, a content of at least some of the received included in the first content stream and content stream corresponding to the front visual, i) the first rear-view, second rear-view, the stored content corresponding to an empty field of view or the ground of the field, or on the basis of the synthetic images that simulate the portion of the field of view ii) image is not available, corresponding to the current field of view configured to generate one or more output images. 環境の第2の部分に対応する記憶されたコンテンツは、例えば、受け取られた画像記憶モジュール2212によって記憶された、記憶された画像である。 Stored content corresponding to a second portion of the environment, for example, stored in an image storage module 2212 received a stored image. 合成画像は、例えば、モジュール2224によって生成された画像である。 Composite image is an image generated by module 2224. いくつかの実施形態では、出力画像のコンテンツストリームベース生成モジュール2230は、現在の視界に対応する1つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。 In some embodiments, the content stream based generation module 2230 of the output image, as part of being configured to generate one or more output image corresponding to the current field of view, the image selection information received based on configured to select an image corresponding to the second portion of the environment.

[000332] 出力画像のコンテンツストリームベース生成モジュール2230は、生成されている出力画像の中に1つ以上の合成画像を組み込むように構成された合成された画像組み込みモジュール2232を含む。 [000332] content stream based generation module 2230 of the output image includes an image embedded module 2232 that is configured synthesized to incorporate one or more composite images in the output image being generated. 合成された画像組み込みモジュール2232は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、受け取られた第1のコンテンツストリームから得られた、例えば、正面視野部分の、第1の視野部分からの受け取られた画像、または、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つに対応する記憶された受け取られた画像、等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。 The synthesized image embedded module 2232 was, in order to generate an image corresponding to the current field of view, the combined image, for example, obtained from the first content stream received, for example, the front visual portion, the received image from the first field portion, or the first rear-view part, the second rear-view part, empty field portion, or received stored corresponding to one field of view portion of the ground image, at least in part a combination as constituted of the received images and the like. 記憶された画像組込みモジュール2234は、生成されている出力画像に、1つ以上の記憶された画像の部分を組み込むように構成される。 Image embedded module 2234 stored in the output image being generated, configured to incorporate portions of one or more of the stored images. 出力画像を生成することの部分として、モジュール2230、モジュール2232、及び/または、モジュール2234は、境界領域において混ぜ合わせ(ブレンド)を実行する。 As part of generating an output image, module 2230, module 2232, and / or module 2234 performs combined in the boundary region (blend). 様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び/または、色変化を含む。 In various embodiments, be combined include filtering, shading, luminance change, and / or a color change.

[000333] 出力画像のストリームベースでない生成モジュール2236は、i)例えば、第1の後方視野、第2の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ等の環境の部分に対応する記憶されたコンテンツ、または、ii)例えば、画像が利用可能ではない視界の部分をシミュレートする合成画像等の環境の部分シミュレートする合成画像、の少なくとも一方に基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。 [000333] generation module 2236 is not a stream-based output image, i) for example, the first rear-view, the second rear-view, the environment portion of such stored content that corresponds to an empty field of view or the ground of the field corresponding stored content or,, ii) for example, the image is partially simulated environment such as synthetic images that simulate the portion of the field of view is not available composite image, based on at least one of, the current field of view configured to generate a corresponding one or more output images. モジュール2236は、現在の視界が、第1のコンテンツストリームに対応する、例えば、正面視野といった第1の部分に対応する領域の外にある場合、1つ以上の画像を生成する。 Module 2236, the current field of view corresponds to the first content stream, for example, if it is outside of the region corresponding to the first portion such front visual, generates one or more images. いくつかの実施形態では、出力画像のコンテンツストリームベースでない生成モジュール2236は、現在の視界に対応する1つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。 In some embodiments, generating module 2236 is not a content stream based output image, as part of being configured to generate one or more output image corresponding to the current view, image selection information received based on configured to select an image corresponding to the second portion of the environment.

[000334] 出力画像のストリームベースでない生成モジュール2236は、生成されている出力画像の中に、1つ以上の合成された画像を組み込むよう甲構成された合成された画像組込みモジュール2238を含む。 [000334] generation module 2236 is not a stream-based output image in the output image being generated, includes an image embedded module 2238 which is to Jia configured synthesized to incorporate one or more of the combined images. 合成された画像組み込みモジュール2238は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分からの受け取られた画像等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。 The synthesized image embedded module 2238 was, in order to generate an image corresponding to the current field of view, the combined image, for example, the first rear-view part, the second rear-view part, empty field moiety or, configured to combine at least part of the received images, such as the received image from the field part of the ground. 記憶された画像組み込みモジュール2240は、生成されている出力画像に、1つ以上の記憶された画像の部分を組み込むように構成される。 Image embedded module 2240 stored in the output image being generated, configured to incorporate portions of one or more of the stored images. 出力画像を生成することの部分として、モジュール2236、モジュール2232、及び/または、モジュール2234は、境界領域において混ぜ合わせ(ブレンド)を実行する。 As part of generating an output image, module 2236, module 2232, and / or module 2234 performs combined in the boundary region (blend). 様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び/または、色変化を含む。 In various embodiments, be combined include filtering, shading, luminance change, and / or a color change.

[000335] 出力モジュール2242は、例えば、出力画像のコンテンツストリームベース生成モジュール2130、コンテンツストリーム出力画像生成モジュール2226、出力画像のコンテンツストリームベースでない生成モジュール2236によって生成される等の1つ以上の生成された出力画像を出力するように構成され、前記1つ以上の出力画像は、第1の出力画像を含む。 [000335] Output module 2242, for example, the content stream based generation module 2130 of the output image, the content stream output image generation module 2226 is one or more products, such as generated by the generation module 2236 is not a content stream based output image configured to output an output image, wherein the one or more output image includes a first output image. 出力モジュールは、例えば、ネットワークインターフェース2110及び/またはディスプレイデバイスインターフェース2103を介して、第1の出力画像を出力するように構成される。 Output module, for example, via the network interface 2110 and / or display device interface 2103 is configured to output a first output image.

[000336] ディスプレイモジュール2244は、例えば、出力画像のコンテンツストリームベース生成モジュール2230、コンテンツストリーム出力画像生成モジュール2226、及び、出力画像のコンテンツストリームベースでない生成モジュール2136によって生成される、1つ以上の生成された出力画像を表示するように構成され、前記1つ以上の出力画像は第1の出力画像を含む。 [000336] Display module 2244, for example, the content stream based generation module 2230 of the output image, the content stream output image generation module 2226, and are generated by the generation module 2136 is not a content stream based output image, generating one or more is configured to display an output image, said one or more output image includes a first output image. ディスプレイモジュール2244は、例えば、ディスプレイ2102及び/またはディスプレイ2105を介して、第1の出力画像を表示するように構成される。 Display module 2244, for example, via the display 2102 and / or display 2105, configured to display the first output image.

[000337] 制御ルーチン2246は、システム2100の動作を制御するために、デバイス制御ルーチンと通信ルーチンを含む。 [000337] Control routine 2246 is to control the operation of the system 2100 includes a communications routine with device control routine.

[000338] 例えば、図21のシステム2100等の例示的なコンテンツ再生システム、いくつかの実施形態に従って、以下を含む: [000338] For example, exemplary content reproduction system of the system 2100, such as in FIG. 21, in accordance with some embodiments, includes the following:
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュール2202、前記頭の位置は、現在の視界に対応する; Location determining module 2202 configured viewer's head to determine the position of the viewer's head, the position of the head, corresponding to the current field of view;
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成されるコンテンツストリーム受け取りモジュール; The first content stream receive module configured to receive the content stream that provides a content corresponding to the first portion of the environment;
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成するよう構成される出力画像のコンテンツストリームベース生成モジュール2230; 及び、 A content of at least several received included in the first content stream, i) said second stored content corresponding to a portion of the environment or,, ii) simulate a second portion of said environment based on the bets synthesized image, content stream based output image configured to generate one or more output image corresponding to the current field of view generation module 2230; and,
第1の出力画像を出力するように構成された出力モジュール2242、または、第1の出力画像を表示するよう構成されたディスプレイモジュール2244の少なくとも1つ、前記第1の出力画像は、1つ以上の生成された出力画像の1つである。 The first output image output module 2242 is configured to output, or at least one of the display module 2244 configured to display the first output image, wherein the first output image, one or more it is one of the generated output image.

[000339] いくつかの実施形態では、前記コンテンツ再生システム2100は、コンテンツ再生デバイス2100'である。 [000339] In some embodiments, the content reproduction system 2100, which is a content playing device 2100 '. いくつかの実施形態では、コンテンツ再生システム2100は、ディスプレイ2105に接続されたコンピュータシステム2100'である。 In some embodiments, the content reproduction system 2100 is a computer system 2100 'connected to a display 2105.

[000340] いくつかの実施形態では、システムは、更に、以下を備える: [000340] In some embodiments, the system further comprises:
前記環境の前記第2の部分に対応する第1の画像を受け取るように構成された画像受け取りモジュール2210; 及び前記環境の前記第2の部分に対応する前記第1の画像を記憶するように構成された受け取られた画像記憶モジュール2212。 Configured to store the first image corresponding to the second portion of and the environment; it said first image receiving image configured to receive a module 2210 corresponding to a second portion of said environment image storage module 2212 received that is.

[000341] 様々な実施形態では、前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、前記出力画像のコンテンツストリームベース生成モジュール2230は、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせるように構成され、時間の前記第1及び第2の点は異なる。 [000341] In various embodiments, the first image of the second portion of the environment corresponds to a first point of time, the content stream based generation module 2230 of the output image, the time the the contents obtained from the first content stream captured in terms of 2, is configured to combine the first image corresponding to the first point of time, the time of the first and second the points of different. いくつかのそのような実施形態では、時間の前記第1の時点は、時間の前記第2の点に先行する時間に対応する。 In some such embodiments, the first time point of time corresponds to the time preceding the second point of time. 様々な実施形態では、時間の前記第1の点は、その間に前記第1のコンテンツストリームに含まれた画像が取り込まれるライブイベントの時間に先行する。 In various embodiments, the first point of time, prior to the time of the live event, wherein the image included in the first content stream are captured therebetween.

[000342] いくつかの実施形態では、前記画像受け取りモジュール2210は、更に、前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取るように構成され、前記環境の前記第2部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む。 [000342] In some embodiments, the image receiving module 2210 is further configured to receive one or more additional image corresponding to the second portion of the environment, the second of said environment the one or more additional image corresponding to the portion comprises at least a second image.

[000343] 様々な実施形態において、システムは、更に、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成された制御情報受け取りモジュール2214を備える。 [000343] In various embodiments, the system further, during the reproduction time as measured against reproduction times indicated in the first content stream, corresponding to the second portion of the environment a control information receiving module 2214 which of the plurality of previously communicated image is configured to receive control information indicating whether to be displayed to.

[000344] いくつかの実施形態では、前記環境の前記第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。 [000344] In some embodiments, the second portion of the environment, the first rear-view part, the second rear-view part, empty field portion, or one of the field portion of the ground . いくつかのそのような実施形態において、前記画像受け取りモジュール2210は、更に、前記環境の第3の部分に対応する1つ以上の画像を受け取るように構成される。 In some such embodiments, the image receiving module 2210 is further configured to receive one or more images corresponding to the third portion of the environment.

[000345] いくつかの実施形態では、前記環境の前記第1の部分は正面視野部分であり、前記第3の部分は、空の視野または地面の視野部分の1つであり、画像は、前記第1、第2、及び、第3の部分に対応した異なるレートで受け取られ、より多くの画像が、第2の部分のためよりも、第1の部分に対応するイベントのために受け取られる。 [000345] In some embodiments, the first portion of the environment is a front viewing portion, said third portion is one of an empty field or field portion of the ground, the images, the first, second, and are received at different rates corresponding to the third portion, the more images than for the second part, is received for the event corresponding to the first portion.

[000346] いくつかの実施形態では、前記第1の部分に対応する前記コンテンツは、イベントが進行している間に取り込まれ、前記再生デバイスにストリーミングされるリアルタイムコンテンツを含み、前記第2と第3の部分に対応する前記コンテンツは、リアルタイムでない画像である。 [000346] In some embodiments, the content corresponding to the first portion, the event is captured while traveling, including real-time content that is streamed to the playback device, the second and the content corresponding to the third portion is an image not real time. いくつかのそのような実施形態では、前記制御情報受け取りモジュール2214は、更に、前記イベントの部分の間に、環境の前記第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成され、出力画像のコンテンツストリームベース生成モジュール2230は、現在の視界に対応する1つ以上の画像を生成するよう構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。 In some such embodiments, the control information receiving module 2214 further between portions of the event, the Which should be used for a plurality of images corresponding to the second portion of the environment is configured to receive the image selection information indicating the content stream-based generation module 2230 of the output image, as part of being configured to generate one or more images corresponding to the current view, image selection received based on the information, configured to select an image corresponding to the second portion of the environment.

[000347] 様々な実施形態において、システムは、更に、画像が前記視界の部分のために利用可能でないことを決定する欠落部分決定モジュール2222と、画像が利用可能でない前記視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュール2224と、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組込みモジュール2232とを備える。 [000347] In various embodiments, the system further includes a missing part determination module 2222 determines that the image is not available for part of the field of view, for the portion of the field image is not available an image synthesizer module 2224 configured to synthesize an image to be used, to generate an image corresponding to the current view, the synthesized image, is arranged for combining at least portions of the received image comprising the synthesized with the image embedded module 2232.

[000348] 様々な実施形態においては、前記第1の画像コンテンツは、左眼の画像と右眼の映像を含む立体視画像コンテンツである。 [000348] In various embodiments, the first image content is stereoscopic image content including a video image and the right eye left eye.

[000349] いくつかの実施形態では、モジュールのアセンブリ2200は、例えば、図8に示された他のモジュールに加えて、図8のコンテンツ再生システム800に含まれる。 [000349] In some embodiments, the assembly 2200 of the module, for example, in addition to the other modules shown in FIG. 8, included in the content reproduction system 800 of FIG. モジュールのアセンブリ2200内のモジュールは、システム800の中で、バス809に接続され、メモリ812の中に、プロセッサ808の中に、及び/または、プロセッサ808の外部のハードウェアモジュールとして、含まれてもよい。 Module module assembly 2200, in the system 800, coupled to bus 809, into the memory 812, in the processor 808, and / or, as an external hardware module of the processor 808, Including it may be.

[000350] 図23は、いくつかの実施形態に従って再生システム1900において使用され得る例示的なストリーム選択モジュール1938を示す図2300である。 [000350] FIG. 23 is a diagram 2300 showing an exemplary stream selection module 1938 that may be used in the reproduction system 1900 according to some embodiments.

[000351] 図24は、図23のストリーム選択モジュールの部分として、または、個別のモジュールとして実装され得る例示的なストリーム優先度付けモジュール2306を示す図2400である。 [000351] Figure 24 is a part of the stream selection module of FIG. 23, or a diagram 2400 showing an exemplary stream prioritization module 2306 that may be implemented as a separate module.

[000352] いくつかの実施形態は、立体視映像をエンコードし、圧縮するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装する非一時的なコンピュータ可読媒体に向けられる。 [000352] Some embodiments encodes a stereoscopic image, in order to control a computer or other device to compress, for example, non-implementing a set of software instructions, such as computer-executable instructions It is directed to transitory computer readable media. 他の実施形態は、プレーヤ側で映像をデコードし、解凍するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装するコンピュータ可読媒体に向けられた実施形態である。 Other embodiments, decodes the video from the player side, to control a computer or other device so as to decompress, for example, on a computer readable medium that implements a set of software instructions, such as computer-executable instructions which is an embodiment directed. エンコード及び圧縮は可能な別個の動作として述べられるが、エンコードは圧縮を実行するために使用され得、従って、エンコードは圧縮を含み得ることが理解されるべきである。 Although the encoding and compression is set forth as a separate operation possible, the encoding can be used to perform compression, thus, encode it should be understood that may include compression. 同様に、デコードは解凍を含み得る。 Similarly, the decoding may include decompression.

[000353] 様々な実施形態の技術は、ソフトウェア、ハードウェア、及び/または、ソフトウェアとハードウェアの組合せを用いて実装され得る。 [000353] of the various embodiments technology, software, hardware, and / or may be implemented using a combination of software and hardware. 様々な実施形態は、例えば、画像データ処理システム等の機器に向けられる。 Various embodiments, for example, directed to a device such as the image data processing system. 様々な実施形態は、また、例えば、画像データを処理する方法等の方法に向けられる。 Various embodiments may also, for example, is directed to a method such as a method of processing image data. 様々な実施形態は、また、コンピュータ等の非一時的な機器や、例えば、方法の1つ以上のステップを実装するように機器を制御するための機器が読取り可能な命令を含む、ROM、RAM、CD、ハードディスク、等の読取り可能な媒体に向けられる。 Various embodiments may also include non or temporary device such as a computer, for example, a device readable instructions for controlling a device to implement one or more steps of the method, ROM, RAM , CD, hard disk, is directed to a readable media, such as.

[000354] 本発明の様々な特徴は、モジュールを使用して実装される。 [000354] Various features of the present invention are implemented using modules. そのようなモジュールは、ソフトウェアモジュールとして実装され得、また、いくつかの実施形態では実装される。 Such modules may be implemented as software modules, and in some embodiments are implemented. 他の実施形態では、モジュールは、ハードウェアで実装される。 In another embodiment, the module is implemented in hardware. 更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。 In yet another embodiment, the module is implemented using a combination of software and hardware. いくつかの実施形態では、モジュールは、個別の回路として実装され、各モジュールが、該モジュールが対応する機能を実行するための回路として実装される。 In some embodiments, the module is implemented as a separate circuit, each module is implemented as a circuit for performing the functions which the module supports. 多様な実施形態は、例えば、いくつかがハードウェアの中に、いくつかがソフトウェアの中に、いくつかがハードウェアとソフトウェアの組み合わせを使用してといったように、異なるモジュールが異なって実装されるいくつかの実施形態を含むよう企図される。 Various embodiments are, for example, in some of the hardware, some of the in software, some of such like using a combination of hardware and software, are implemented differently different modules contemplated to include some embodiments. また、ルーチン及び/またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアと対照的に、専用のハードウェアで実装されてもよいことを注記する。 Furthermore, routines and / or subroutines, or some of the steps performed by such a routine, in contrast to the software running on a general purpose processor, note that may be implemented in dedicated hardware to. そのような実施形態は、本発明の範囲内に留まる。 Such embodiments remain within the scope of the present invention. 上記の方法または方法ステップの多くは、上述の方法の全てまたは部分を実装するように、例えば、追加のハードウェアをもった、または、もたない汎用コンピュータ等の機械を制御するために、例えば、RAM、フロッピー(登録商標)ディスク等のメモリデバイス等の機械が読取り可能な媒体に含まれる、ソフトウェア等の機械が実行可能な命令を使用して実装され得る。 Many of the above described methods or method steps, to implement all or portions of the methods described above, for example, with additional hardware, or, in order to control the machine of a general-purpose computer or the like without, for example, , RAM, floppy machine such as a memory device, such as (registered trademark) disk is included in the readable medium, machine software, etc. may be implemented using executable instructions. 従って、他のものもある中で、本発明は、例えば、プロセッサ及び関連するハードウェア等の機械に上述された方法(または、複数の方法)のステップの1つ以上を実行させるための機械が実行可能な命令を含む機械が読取り可能な媒体に向けられる。 Thus, among others also others, the present invention is, for example, a processor and associated methods described above in a machine such as a hardware (or, more methods) the machine for executing one or more of the steps machine including executable instructions directed to computer readable media.

[000355] 上述された様々な実施形態の方法及び装置に対する多くの追加の変形が、上記説明に鑑みて、当技術に技量を有する者に明らかである。 [000355] Numerous additional variations on the methods and apparatus of various embodiments described above is, in view of the above description, it is apparent to those skill in the art. そのような変形は、範囲内にあるとみなされるべきである。 Such variations are to be considered within the scope.

Claims (68)

  1. 再生システムを動作させる方法であって、 A method of operating a reproduction system,
    ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第1の時間において、再生システムにおける使用のために受け取るかを選択することと、 And that on the basis of the position of the user's head, which of the plurality of content streams, in a first time, selects the receive or for use in the regeneration system,
    再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取ることと、 For use for reproduction, and to receive one or more of the selected content stream,
    を備える方法。 The method comprises a.
  2. 前記選択することは、前記ユーザの前記頭の位置に基づいて、コンテンツストリームを優先度付けすることを含む、請求項1に記載の方法。 It is based on the position of the head of the user, a content stream comprising prioritizing method of claim 1, wherein said selecting.
  3. 前記優先度付けすることは、 It is assigned the priority,
    前記ユーザの現在の視界に対応するコンテンツを通信する1つ以上のストリームを特定することと、 And identifying one or more streams for communicating the content corresponding to the current field of view of the user,
    各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する1つ以上のコンテンツストリームを優先度付けすることと、 And that each stream based on the size of the portion of the field of view to provide, prioritizing one or more content streams to provide a portion of the scene corresponding to the current field of view,
    を含む、請求項2に記載の方法。 Including method of claim 2.
  4. 前記コンテンツストリームを優先度付けすることは、更に、 To prioritize the content stream is further
    前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームを優先度付けすること、 The proximity of the communication image portion for the current field of view, or, based on at least one of direction of rotation of the head, the current field of view outside the part of the additional one or more communicating content corresponding to give a stream priority,
    を含む、請求項3に記載の方法。 Including method of claim 3.
  5. コンテンツストリームを優先度付けすることは、 To give a content stream priority,
    前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のコンテンツストリームを優先度付けすること、 On the basis of the proximity of the image content that is communicated to the current view, the one or more additional content stream to communicate the content corresponding to the outer portion of the current view to prioritizing,
    を含み、 It includes,
    前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、 The content stream of communicating image content in contact with the area of ​​the current field of view, the outside of the current field of view, is given a higher priority than more distant content stream,
    請求項4に記載の方法。 The method of claim 4.
  6. 前記1つ以上の追加のコンテンツストリームを優先度付けすることは、ユーザの頭の回転の方向に基づき、 The prioritizing the one or more additional content stream is based on the direction of rotation of the user's head,
    前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、 The but outside the current field of view, the content stream to provide an image content in the direction of rotation of the head, outside of said viewing head other to provide an image content in a direction away from the direction of rotation of the a higher priority than the content stream is applied,
    請求項4に記載の方法。 The method of claim 4.
  7. 前記選択することは、最も高い優先度を付与されている1つ以上のコンテンツストリームを選択することを含む、請求項2に記載の方法。 It involves selecting one or more content streams granted the highest priority, the method of claim 2, wherein said selecting.
  8. 前記選択することのステップは、更に、 Step to said selecting further
    コンテンツストリームを受け取るために利用可能な帯域幅を決定することと、 And determining the bandwidth available for receiving the content stream,
    前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択することと、 And that on the basis of the determined amount of the available bandwidth, selecting from a plurality of content streams having the same priority,
    を備える、請求項2に記載の方法。 Comprising a method according to claim 2.
  9. 前記再生システムに通信された帯域幅制約に基づいて、少なくとも1つのコンテンツストリームのための帯域幅を決定することを更に備え、 On the basis of the communication bandwidth constraints to the playback system, further comprising determining a bandwidth for at least one content stream,
    前記同じ優先度を有する複数のコンテンツストリームから選択することは、更に、前記少なくとも1つのコンテンツストリームのための決定された前記帯域幅に基づく、 Selecting from a plurality of content streams having the same priority is further based on the determined the bandwidth for said at least one content stream,
    請求項8に記載の方法。 The method of claim 8.
  10. 異なる視野方向のための帯域幅制約を受け取ることを更に備え、 Further comprising receiving a bandwidth constraint for different viewing directions,
    個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、 Individual bandwidth constraint specifies the maximum bandwidth to be used to receive one or more content streams to provide a content corresponding to the viewing direction corresponding to said individual bandwidth constraints,
    請求項9に記載の方法。 The method of claim 9.
  11. 前記同じ優先度を有する複数のコンテンツストリームから選択することは、最も高い優先度を付与された複数のコンテンツストリームから1つのコンテンツストリームを選択することを含み、 Selecting from a plurality of content streams having the same priority comprises selecting one content stream from a plurality of content streams granted the highest priority,
    前記最も高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応する、 Each content stream granted the highest priority corresponding to the same field of view direction,
    請求項8に記載の方法。 The method of claim 8.
  12. 前記同じ優先度を有する複数のコンテンツストリームから選択することは、2番目に高い優先度を付与された複数のコンテンツストリームから1つのコンテンツストリームを選択することを含み、 Selecting from a plurality of content streams having the same priority comprises selecting one content stream from a plurality of content streams granted the second highest priority,
    前記2番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、 Each content stream granted a higher priority to the second above, to provide content corresponding to the same field of view direction,
    請求項11に記載の方法。 The method of claim 11.
  13. 前記再生システムが受け取ることを選択するコンテンツストリーム上の情報を提供するガイド情報を受け取ることを更に備える、請求項1に記載の方法。 Further comprising The method of claim 1 to receive guide information that provides information on the content stream for selecting said reproduction system receives.
  14. 前記ガイド情報は、ガイド情報が提供される前記コンテンツストリームにアクセスするために使用される情報を含む、請求項13に記載の方法。 The guide information includes information that is used to access the content stream guide information is provided, the method according to claim 13.
  15. 前記ガイド情報は、第1のコンテンツストリームについて、前記第1のコンテンツストリームを受け取るために参加されるマルチキャストグループのマルチキャストアドレス、前記第1のコンテンツストリームを提供するために使用される切り替えられるデジタル映像チャネルへのアクセスを要求するために使用される情報、または、前記第1のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように前記再生システムのチューナを制御するために使用されるチャネル同調情報の1つを含む、請求項14に記載の方法。 The guide information for the first content stream, wherein the first multicast address of the multicast group to join in order to receive the content stream, wherein the first digital video channel to be switched is used to provide content stream information used to request access to, or the first channel tuning information content stream is used to control the tuner of the reproduction system to tune to a broadcast channel to be broadcast 1 One containing a method according to claim 14.
  16. 選択されたコンテンツストリームの配信を起動することを更に備え、 Further comprising to start delivery of the selected content stream,
    前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送ることを含む、 Activating the delivery of the selected content stream includes sending a signal to join the multicast group corresponding to the selected content stream,
    請求項15に記載された方法。 The method of claim 15.
  17. 選択されたコンテンツストリームの配信を起動することを更に備え、 Further comprising to start delivery of the selected content stream,
    前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送ることを含む、 Activating the delivery of the selected content stream requests distribution of digital channels to be switched the selected content stream is communicated, including sending a request to a device in the network,
    請求項15に記載の方法。 The method of claim 15.
  18. ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第1の時間において、再生システムにおける使用のために受け取るかを選択するよう構成されたストリーム選択モジュールと、 Based on the location of the user's head, which of the plurality of content streams, in a first time, the stream selection module configured to select a receive or for use in the regeneration system,
    再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取るよう構成された受信機を含むインターフェースと、 For use for reproduction, an interface comprising one or more selected the receiver configured to receive the content stream,
    を備える再生システム。 Playback system comprising a.
  19. 前記ストリーム選択モジュールは、前記ユーザの前記頭の位置に基づいて、コンテンツストリームを優先度付けするよう構成されたストリーム優先度付けモジュールを含む、請求項18に記載の再生システム。 The stream selection module based on the position of the head of the user, a content stream comprising a stream prioritization module configured to prioritize, reproduction system according to claim 18.
  20. 前記ストリーム優先度付けモジュールは、 The stream prioritization module,
    前記ユーザの現在の視界に対応するコンテンツを通信する1つ以上のストリームを特定するよう構成された特定モジュールと、 A determination module configured to identify one or more streams for communicating the content corresponding to the current field of view of the user,
    各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する1つ以上のコンテンツストリームを優先度付けするよう構成された優先度付与モジュールと、 Based on the size of the portion of the field of view each stream is provided, wherein the prioritization module configured to one or more content streams to provide a portion of the corresponding scene to the current view prioritizing,
    を含む、請求項19に記載の再生システム。 Including, reproduction system according to claim 19.
  21. 前記ストリーム優先度付けモジュールは、更に、前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームを優先度付けするよう構成された追加のストリーム優先度割り当てモジュールを含む、請求項20に記載の再生システム。 The stream prioritization module is further the proximity of the communication image portion for the current field of view, or, based on at least one of direction of rotation of the head, corresponding to the outer portion of the current field of view including additional stream priority allocation module configured to one or more additional streams to communicate the content to prioritize, reproduction system according to claim 20.
  22. 前記追加のストリーム優先度割り当てモジュールは、前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のコンテンツストリームを優先度付けするよう構成され、 The additional stream priority allocation module, based on the proximity of the communication image content above for the current field of view, one or more additional content for communicating the content corresponding to the outer portion of the current field of view the stream is configured to prioritize,
    前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、 The content stream of communicating image content in contact with the area of ​​the current field of view, the outside of the current field of view, is given a higher priority than more distant content stream,
    請求項21に記載の再生システム。 Reproduction system according to claim 21.
  23. 前記追加のストリーム優先度割り当てモジュールは、ユーザの頭の回転の方向に基づき、1つ以上の追加のコンテンツストリームを優先度付けし、 The additional stream priority allocation module, based on the direction of rotation of the user's head, one or more additional content stream to prioritize,
    前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、 The but outside the current field of view, the content stream to provide an image content in the direction of rotation of the head, outside of said viewing head other to provide an image content in a direction away from the direction of rotation of the a higher priority than the content stream is applied,
    請求項21に記載の再生システム。 Reproduction system according to claim 21.
  24. 前記ストリーム選択モジュールは、更に、最も高い優先度を付与されている1つ以上のコンテンツストリームを選択するよう構成される、請求項19に記載の再生システム。 The stream selection module further reproduction system according constituted, to claim 19 to select one or more content streams granted the highest priority.
  25. コンテンツストリームを受け取るために利用可能な帯域幅を決定するよう構成された利用可能な帯域幅及びデータレート決定モジュールを更に備え、 Further comprising a bandwidth and data rate determination module available configured to determine the available bandwidth to receive the content stream,
    前記ストリーム選択モジュールは、前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択するよう構成された選択モジュールを含む、 The stream selection module based on the determined amount of the available bandwidth, comprising a selection module configured to select from a plurality of content streams having the same priority,
    請求項19に記載の再生システム。 Reproduction system according to claim 19.
  26. 前記ストリーム選択モジュールは、更に、前記再生システムに通信された帯域幅制約に基づいて、少なくとも1つのコンテンツストリームのための帯域幅を決定するよう構成されたストリーム帯域幅決定モジュールを備え、 The stream selection module is further based on said communication bandwidth constraints playback system includes a stream bandwidth determination module configured to determine the bandwidth for at least one content stream,
    前記選択モジュールは、前記少なくとも1つのコンテンツストリームのための決定された前記帯域幅に更に基づき、前記同じ優先度を有する前記複数のコンテンツストリームから選択するよう構成される、 The selection module is further based, configured to select from the plurality of content streams having the same priority determined the bandwidth for said at least one content stream,
    請求項25に記載の再生システム。 Reproduction system according to claim 25.
  27. 前記受信機は、更に、異なる視野方向のための帯域幅制約を受け取るよう構成され、 It said receiver is further configured to receive a bandwidth constraint for different viewing directions,
    個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、 Individual bandwidth constraint specifies the maximum bandwidth to be used to receive one or more content streams to provide a content corresponding to the viewing direction corresponding to said individual bandwidth constraints,
    請求項26に記載の再生システム。 Reproduction system according to claim 26.
  28. 前記選択モジュールは、最も高い優先度を付与された複数のコンテンツストリームから1つのコンテンツストリームを選択するよう構成され、 The selection module is configured to select one content stream from a plurality of content streams granted the highest priority,
    前記最も高い優先度を付与された各コンテンツストリームは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、前記同じ視野方向に対応するコンテンツを提供する、 Each content stream granted the highest priority, as part of said being configured to select from a plurality of content streams having the same priority, to provide a content corresponding to the same field of view direction,
    請求項25に記載の再生システム。 Reproduction system according to claim 25.
  29. 前記選択モジュールは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、2番目に高い優先度を付与された複数のコンテンツストリームから1つのコンテンツストリームを選択するよう構成され、 Said selection module, the as part of being configured to select from a plurality of content streams having the same priority, so as to select one content stream from the second-highest priority plurality of content streams granted It is composed,
    前記2番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、 Each content stream granted a higher priority to the second above, to provide content corresponding to the same field of view direction,
    請求項28に記載の再生システム。 Reproduction system according to claim 28.
  30. 前記受信機は、更に、前記再生システムが受け取ることを選択するコンテンツストリーム上の情報を提供するガイド情報を受け取るよう構成される、請求項18に記載の再生システム。 The receiver further reproduction system according to the reproduction system is configured to receive guide information that provides information on the content stream choose to receive, according to claim 18.
  31. 前記ガイド情報は、ガイド情報が提供される前記コンテンツストリームにアクセスするために使用される情報を含む、請求項30に記載の再生システム。 The guide information includes information that is used to access the content stream guide information is provided, the reproduction system of claim 30.
  32. 前記ガイド情報は、第1のコンテンツストリームについて、前記第1のコンテンツストリームを受け取るために参加されるマルチキャストグループのマルチキャストアドレス、前記第1のコンテンツストリームを提供するために使用される切り替えられるデジタル映像チャネルへのアクセスを要求するために使用される情報、または、前記第1のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように前記再生システムのチューナを制御するために使用されるチャネル同調情報の1つを含む、請求項31に記載の再生システム。 The guide information for the first content stream, wherein the first multicast address of the multicast group to join in order to receive the content stream, wherein the first digital video channel to be switched is used to provide content stream information used to request access to, or the first channel tuning information content stream is used to control the tuner of the reproduction system to tune to a broadcast channel to be broadcast 1 One containing, reproduction system according to claim 31.
  33. 選択されたコンテンツストリームの配信を起動するよう構成されたコンテンツ配信起動モジュールを更に備え、 Further comprising a content delivery activation module configured to start the delivery of the selected content stream,
    前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送るよう構成される、 The content delivery activation module is further configured to send a signal to join the multicast group corresponding to the selected content stream,
    請求項32に記載された再生システム。 Reproducing system according to claim 32.
  34. 選択されたコンテンツストリームの配信を起動するように構成されたコンテンツ配信起動モジュールを更に備え、 Further comprising a content delivery activation module configured to activate the delivery of the selected content stream,
    前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送るよう構成される、 The content delivery activation module further requests the delivery of digital channels to be switched the selected content stream is communicated, configured to send a request to a device in the network,
    請求項32に記載の再生システム。 Reproduction system according to claim 32.
  35. プロセッサによって実行されたときに、 When executed by a processor,
    ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第1の時間において、再生システムにおける使用のために受け取るかを選択するように、 Based on the location of the user's head, which of the plurality of content streams, in a first time, to select receive or for use in the regeneration system,
    再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取るように、 For use for regeneration, to receive one or more selected content stream,
    再生システムを制御する、プロセッサが実行可能な命令を含む非一時的なコンピュータによって読み出し可能な媒体。 Controlling a reproduction system, readable medium by a non-transitory computer including processor-executable instructions.
  36. コンテンツ再生システムを動作させる方法であって、 A method of operating a content reproduction system,
    見る者の頭の位置を決定することと、前記頭の位置は現在の視界に対応し、 And determining a position of the viewer's head, the position of the head corresponds to the current field of view,
    環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、 And receiving a first content stream to provide a content corresponding to the first portion of the environment,
    前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することと、 A content of at least several received included in the first content stream, i) said second stored content corresponding to a portion of the environment or,, ii) simulate a second portion of said environment and that based on the preparative synthesized image, and generates one or more output image corresponding to the current field of view,
    第1の出力画像を出力すること、または、表示することと、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、 Outputting a first output image, or, and displaying said first output image is one of generated one or more of the output image,
    方法。 Method.
  37. 前記コンテンツ再生システムは、コンテンツ再生デバイスである、請求項36に記載の方法。 The content reproduction system, which is a content playing device, The method of claim 36.
  38. 前記コンテンツ再生システムは、ディスプレイに接続されたコンピュータシステムである、請求項36に記載の方法。 The content playback system is a computer system connected to the display method of claim 36.
  39. 前記環境の前記第2の部分に対応する第1の画像を受け取ることと、 And receiving a first image corresponding to the second portion of the environment,
    前記環境の前記第2の部分に対応する前記第1の画像を記憶することと、 And storing the first image corresponding to the second portion of the environment,
    を更に備える、請求項36に記載の方法。 Further comprising The method of claim 36.
  40. 前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、 The first image of the second portion of the environment corresponds to a first point of time,
    前記現在の視界に対応する1つ以上の出力画像を生成することは、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせることを含み、 Wherein generating one or more output image corresponding to the current field of view, the content obtained from the first content stream captured in the second point of time, the first point of time comprises combining the corresponding first image,
    時間の前記第1の点と第2の点は異なる、 Different first point and the second point of time,
    請求項39に記載の方法。 The method of claim 39.
  41. 時間の前記第1の点は、時間の前記第2の点に先行する時間に対応する、請求項40に記載の方法。 The first point of time corresponds to the time preceding the second point of time, the method of claim 40.
  42. 時間の前記第1の点は、その間に前記第1のコンテンツストリームに含まれる画像が取り込まれるライブイベントの時間に先行する、請求項41に記載の方法。 The first point of time, prior to the time of the live event that image is captured included in the first content stream therebetween method of claim 41.
  43. 前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取ることを更に備え、 Further comprising receiving one or more additional image corresponding to the second portion of the environment,
    前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む、 The one or more additional image corresponding to the second portion of the environment comprises at least a second image,
    請求項40に記載の方法。 The method of claim 40.
  44. 前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを更に備える、請求項43に記載の方法。 During the reproduction time as measured against reproduction times indicated in the first content stream, which of a plurality of previously communicated image corresponding to the second portion of the environment is displayed further comprising receiving control information indicating whether Rubeki the method of claim 43.
  45. 前記環境の前記第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである、請求項44に記載の方法。 The second portion of the environment, the first rear-view part, the second rear-view part, empty field portion, or one of the field portion of the ground, the method according to claim 44.
  46. 前記環境の第3の部分に対応する1つ以上の画像を受け取ることを更に備える、請求項45に記載の方法。 Further comprising The method of claim 45 to receive one or more images corresponding to the third portion of the environment.
  47. 前記環境の前記第1の部分は、正面の視野部分であり、 The first portion of the environment are viewing portion of the front,
    前記第3の部分は、空の視野または地面の視野部分の1つであり、 It said third portion is one of an empty field or field portion of the ground,
    画像は、前記第1の部分、第2の部分、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分のためよりもより多くの画像が、前記第1の部分に対応するイベントのために受け取られる、 Image, said first portion, second portion, and are received at different rates corresponding to the third portion, the more the image is, the first portion than for said second part received for the corresponding event,
    請求項46に記載の方法。 The method of claim 46.
  48. 前記第1の部分に対応する前記コンテンツは、イベントが進行中であった間に取り込まれ、前記コンテンツ再生システムにストリーミングされたリアルタイムコンテンツを含み、 The content corresponding to the first portion is captured between the event was in progress, including streamed real-time content to the content reproduction system,
    前記第2の部分と第3の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、 The content corresponding to the image corresponding to the second and third portions is an image non-real-time,
    請求項47に記載の方法。 The method of claim 47.
  49. イベントの部分の間に、前記環境の前記第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取ることを更に備え、 During the event portion, further comprising receiving an image selection information indicating Which one should be used for a plurality of images corresponding to the second portion of the environment,
    少なくともいくつかの受け取られたコンテンツに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することは、受け取られた前記画像選択情報に基づいて、前記環境の前記第2の部分に対応する画像を選択することを含む、 Based on at least some of the received content, wherein generating one or more output image corresponding to the current field of view, based on the image selection information received, the second portion of the environment in comprising selecting an image corresponding,
    請求項36に記載の方法。 The method of claim 36.
  50. 画像が前記現在の視界の部分のために利用可能でないことを決定することと、 And determining that the image is not available for part of the current field of view,
    画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成することと、 And synthesizing an image to be used for the portion of the current field image is not available,
    前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせることと、 Wherein in order to generate an image corresponding to the current field of view, and combining the synthesized image; at least part of the received images,
    を更に備える、請求項49に記載の方法。 Further comprising The method of claim 49.
  51. 前記コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである、請求項36に記載の方法。 The content is a stereoscopic image content including an image of the image and the right eye left eye, the method according to claim 36.
  52. コンテンツ再生システムであって、 A content playback system,
    見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュールと、前記頭の位置は現在の視界に対応し、 A position determination module configured viewer's head to determine the position of the viewer's head, the position of the head corresponds to the current field of view,
    環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るよう構成されたコンテンツストリーム受け取りモジュールと、 A first content stream receiving module configured to receive the content stream to provide a content corresponding to the first portion of the environment,
    前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成するよう構成された出力画像のコンテンツストリームベース生成モジュールと、 A content of at least several received included in the first content stream, i) said second stored content corresponding to a portion of the environment or,, ii) simulate a second portion of said environment based on the bets synthesized image, a content stream based generation module constructed output image to generate one or more output image corresponding to the current field of view,
    第1の出力画像を出力するように構成された出力モジュール、または、第1の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、 The first output image constructed output module to output, or at least one of a display module configured to display the first output image, wherein the first output image, one that is generated it is one of more of the output image,
    を備えるシステム。 System comprising a.
  53. 前記コンテンツ再生システムは、コンテンツ再生デバイスである、請求項52に記載のシステム。 The content reproduction system, which is a content playing device system according to claim 52.
  54. 前記コンテンツ再生システムは、ディスプレイに接続されたコンピュータシステムである、請求項52に記載のシステム。 The content playback system is a computer system connected to a display system of claim 52.
  55. 前記環境の前記第2の部分に対応する第1の画像を受け取るよう構成された画像受け取りモジュールと、 An image receiving module configured to receive a first image corresponding to the second portion of the environment,
    前記環境の前記第2の部分に対応する前記第1の画像を記憶するよう構成された受け取られた画像記憶モジュールと、 An image storage module received configured to store the first image corresponding to the second portion of the environment,
    を更に備える、請求項52に記載のシステム。 Further comprising a system of claim 52.
  56. 前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、 The first image of the second portion of the environment corresponds to a first point of time,
    前記出力画像のコンテンツストリームベース生成モジュールは、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせるよう構成され、 Content stream based generation module of the output image, the content obtained from the first content stream captured at the second point in time, said first image corresponding to the first point of time It is arranged for combining,
    時間の前記第1の点と第2の点は異なる、 Different first point and the second point of time,
    請求項55に記載のシステム。 The system of claim 55.
  57. 時間の前記第1の点は、時間の前記第2の点に先行する時間に対応する、請求項56に記載のシステム。 The first point of time corresponds to the time preceding the second point of time, the system of claim 56.
  58. 時間の前記第1の点は、その間に前記第1のコンテンツストリームに含まれる画像が取り込まれるライブイベントの時間に先行する、請求項57に記載のシステム。 The first point of time, prior to the time of the live event that image is captured included in the first content stream during system according to claim 57.
  59. 前記画像受け取りモジュールは、更に、前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取るよう構成され、 The image receiving module is configured further to receive one or more additional image corresponding to the second portion of the environment,
    前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む、 The one or more additional image corresponding to the second portion of the environment comprises at least a second image,
    請求項56に記載のシステム。 The system of claim 56.
  60. 前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るよう構成された制御情報受け取りモジュールを更に備える、請求項59に記載のシステム。 During the reproduction time as measured against reproduction times indicated in the first content stream, which of a plurality of previously communicated image corresponding to the second portion of the environment is displayed further comprising a control information receiving module configured to receive control information indicating whether Rubeki the system of claim 59.
  61. 前記環境の前記第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである、請求項60に記載のシステム。 The second portion of the environment, the first rear-view part, the second rear-view part, empty field portion, or one of the field portion of the ground system of claim 60.
  62. 前記画像受け取りモジュールは、更に、前記環境の第3の部分に対応する1つ以上の画像を受け取るよう構成される、請求項61に記載のシステム。 The image receiving module is further configured to receive one or more images corresponding to the third portion of the environment, according to claim 61 systems.
  63. 前記環境の前記第1の部分は、正面の視野部分であり、 The first portion of the environment are viewing portion of the front,
    前記第3の部分は、空の視野または地面の視野部分の1つであり、 It said third portion is one of an empty field or field portion of the ground,
    画像は、前記第1の部分、第2の部分、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分のためよりもより多くの画像が、前記第1の部分に対応するイベントのために受け取られる、 Image, said first portion, second portion, and are received at different rates corresponding to the third portion, the more the image is, the first portion than for said second part received for the corresponding event,
    請求項62に記載のシステム。 The system of claim 62.
  64. 前記第1の部分に対応する前記コンテンツは、イベントが進行中であった間に取り込まれ、前記コンテンツ再生システムにストリーミングされたリアルタイムコンテンツを含み、 The content corresponding to the first portion is captured between the event was in progress, including streamed real-time content to the content reproduction system,
    前記第2の部分と第3の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、 The content corresponding to the image corresponding to the second and third portions is an image non-real-time,
    請求項63に記載のシステム。 The system of claim 63.
  65. 前記制御情報受け取りモジュールは、前記イベントの部分の間に、前記環境の前記第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るよう更に構成され、 The control information receiving module, during the portion of the event, which of the plurality of images corresponding to the second portion of the environment is further configured to receive image selection information indicating whether to be used,
    前記出力画像のコンテンツストリームベース生成モジュールは、前記現在の視界に対応する1つ以上の出力画像を生成するよう構成されることの部分として、受け取られた前記画像選択情報に基づいて、前記環境の前記第2の部分に対応する画像を選択するよう構成される、 Content stream based generation module of the output image, as part of being configured to generate one or more output image corresponding to the current field of view, based on said received image selection information, the environment configured to select an image corresponding to the second portion,
    請求項64に記載のシステム。 The system of claim 64.
  66. 画像が前記現在の視界の部分のために利用可能でないことを決定するよう構成された欠落部分決定モジュールと、 A missing part determination module configured to determine that the image is not available for part of the current field of view,
    画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュールと、 And an image synthesizer module an image to be used is configured to combine for the portion of the current field image is not available,
    前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組み込みモジュールと、 Wherein in order to generate an image corresponding to the current view, the synthesized image; and synthesizing image embedded module configured to combine at least part of the received images,
    を更に備える、請求項65に記載のシステム。 Further comprising a system of claim 65.
  67. 前記コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである、請求項52に記載のシステム。 The content is a stereoscopic image content including an image of the image and the right eye left eye, according to claim 52 systems.
  68. コンテンツ再生システムのプロセッサによって実行されたときに、 When executed by a processor of the content playback system,
    見る者の頭の位置を決定することと、ここで、前記頭の位置は現在の視界に対応し、 And determining a position of the viewer's head, where the position of the head corresponds to the current field of view,
    環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、 And receiving a first content stream to provide a content corresponding to the first portion of the environment,
    前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することと、 A content of at least several received included in the first content stream, i) said second stored content corresponding to a portion of the environment or,, ii) simulate a second portion of said environment and that based on the preparative synthesized image, and generates one or more output image corresponding to the current field of view,
    第1の出力画像を出力すること、または、表示することと、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、 Outputting a first output image, or, and displaying said first output image is one of generated one or more of the output image,
    のステップを実行するように前記コンテンツ再生システムを制御する、プロセッサにより実行可能な命令を含む非一時的な機械により読取り可能な媒体。 Controlling the content reproduction system to perform the steps, a non-transitory machine by-readable medium comprising instructions executable by a processor.
JP2017515038A 2014-05-29 2015-05-29 Method and apparatus for delivering and / or reproducing content Pending JP2017527230A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US201462004547 true 2014-05-29 2014-05-29
US62/004,547 2014-05-29
PCT/US2015/033420 WO2015184416A1 (en) 2014-05-29 2015-05-29 Methods and apparatus for delivering content and/or playing back content

Publications (1)

Publication Number Publication Date
JP2017527230A true true JP2017527230A (en) 2017-09-14

Family

ID=54699946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017515038A Pending JP2017527230A (en) 2014-05-29 2015-05-29 Method and apparatus for delivering and / or reproducing content

Country Status (6)

Country Link
EP (1) EP3149937A4 (en)
JP (1) JP2017527230A (en)
KR (1) KR20170015938A (en)
CN (1) CN106416239A (en)
CA (1) CA2948642A1 (en)
WO (1) WO2015184416A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
WO2018004933A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for gaze tracking
WO2018050529A1 (en) * 2016-09-13 2018-03-22 Thomson Licensing Method, apparatus and stream for immersive video format
WO2018060334A1 (en) * 2016-09-29 2018-04-05 Koninklijke Philips N.V. Image processing
DE102017009121A1 (en) * 2016-12-05 2018-06-07 Adobe Systems Incorporated Priorisierendes tile-based virtual reality video streaming using adaptive rate allocation
FI20165925L (en) * 2016-12-05 2018-06-06 Rolls Royce Oy Ab Optimizing data stream transmissions from marine vessel

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US8130260B2 (en) * 2005-11-09 2012-03-06 Johns Hopkins University System and method for 3-dimensional display of image data
KR101313797B1 (en) * 2009-12-18 2013-10-01 한국전자통신연구원 Apparatus and method for presenting display of 3D image using head tracking
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
FR2988964A1 (en) * 2012-03-30 2013-10-04 France Telecom Method for receiving immersive video content by client entity i.e. smartphone, involves receiving elementary video stream, and returning video content to smartphone from elementary video stream associated with portion of plan
CN103533340B (en) * 2013-10-25 2016-04-06 深圳市汉普电子技术开发有限公司 3d naked eye playback method and the mobile terminal of the mobile terminal

Also Published As

Publication number Publication date Type
WO2015184416A1 (en) 2015-12-03 application
EP3149937A4 (en) 2018-01-10 application
KR20170015938A (en) 2017-02-10 application
CN106416239A (en) 2017-02-15 application
EP3149937A1 (en) 2017-04-05 application
CA2948642A1 (en) 2015-12-03 application

Similar Documents

Publication Publication Date Title
US6990681B2 (en) Enhancing broadcast of an event with synthetic scene using a depth map
US20100002069A1 (en) System And Method For Improved View Layout Management In Scalable Video And Audio Communication Systems
US20120105611A1 (en) Stereoscopic image processing method and apparatus
US7850306B2 (en) Visual cognition aware display and visual data transmission architecture
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
DeFanti et al. The future of the CAVE
US20100259595A1 (en) Methods and Apparatuses for Efficient Streaming of Free View Point Video
US20120092335A1 (en) 3d image processing method and portable 3d display apparatus implementing the same
US20150055937A1 (en) Aggregating images and audio data to generate virtual reality content
CN101208723A (en) Automatic scene modeling for the 3D camera and 3D video
US20150058102A1 (en) Generating content for a virtual reality system
US20110316853A1 (en) Telepresence systems with viewer perspective adjustment
CN104735464A (en) Panorama video interactive transmission method, server and client end
US20110216167A1 (en) Virtual insertions in 3d video
US20120023540A1 (en) Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
US9363569B1 (en) Virtual reality system including social graph
WO2001028309A2 (en) Method and system for comparing multiple images utilizing a navigable array of cameras
JP2002351438A (en) Image monitor system
US20130194395A1 (en) Method, A System, A Viewing Device and a Computer Program for Picture Rendering
US20070035665A1 (en) Method and system for communicating lighting effects with additional layering in a video stream
EP2352290A1 (en) Method and apparatus for matching audio and video signals during a videoconference
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN1765133A (en) Three-dimensional television system and method for providing three-dimensional television
Gotchev et al. Three-dimensional media for mobile devices
US20090153550A1 (en) Virtual object rendering system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180516