JP2017527230A - Method and apparatus for distributing and / or playing content - Google Patents
Method and apparatus for distributing and / or playing content Download PDFInfo
- Publication number
- JP2017527230A JP2017527230A JP2017515038A JP2017515038A JP2017527230A JP 2017527230 A JP2017527230 A JP 2017527230A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017527230 A JP2017527230 A JP 2017527230A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- stream
- view
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000012913 prioritisation Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 155
- 230000008859 change Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 13
- 210000005069 ears Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010348 incorporation Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000034423 Delivery Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004826 seaming Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Transfer Between Computers (AREA)
Abstract
コンテンツ配信及び再生方法と装置が記載される。方法と装置は、360度環境に対応して、コンテンツの配信と再生のために良好に適用され、スポーツゲーム等のイベントに対応して、例えば、イベントが進行中の間、または、イベントが終了した後、例えば、3Dコンテンツ等のコンテンツのストリーミング、及び/または、リアルタイム配信をサポートするために使用され得る。環境の部分は、異なる位置に設けられたカメラによって取り込まれる。異なる場所から取り込まれたコンテンツは、エンコードされ、配信のために利用可能にされる。再生デバイスは、ユーザの頭の位置に基づいて、受け取られるべきコンテンツを選択する。ストリームは、ユーザの現在の視界、及び/または、頭の回転の方向に基づいて、優先度付けされ、配信のために選択され得る。静止画像または合成された画像が、例えば、背景、空、及び/または、地面のために使用され、1つ以上のストリームからのコンテンツと組み合され得る。A content distribution and playback method and apparatus are described. The method and apparatus are well applied for content distribution and playback, corresponding to 360 degree environment, and corresponding to events such as sports games, for example, while an event is in progress or after an event has ended For example, to support streaming of content such as 3D content and / or real-time delivery. The part of the environment is captured by cameras provided at different locations. Content captured from different locations is encoded and made available for distribution. The playback device selects content to be received based on the position of the user's head. Streams can be prioritized and selected for delivery based on the user's current view and / or direction of head rotation. Still images or synthesized images are used, for example, for the background, sky, and / or ground, and can be combined with content from one or more streams.
Description
[0001] 本発明は、コンテンツ配信及び/または再生、例えば、立体視画像コンテンツの再生、に関する。 [0001] The present invention relates to content distribution and / or reproduction, for example, reproduction of stereoscopic image content.
[0002] 没入型の体験を提供することを意図しているディスプレイデバイスは、通常、ユーザが、頭を回すと、表示されたシーンの対応する変化を体験することを可能にする。
ヘッドマウントディスプレイは、時に、ユーザの頭の位置が変わると変化して表示されるシーンでもって、ヘッドマウントディスプレイを装着している間にユーザが向きを変えることができる、360度の視野をサポートする。
[0002] Display devices intended to provide an immersive experience typically allow a user to experience a corresponding change in the displayed scene as he turns his head.
The head-mounted display sometimes supports a 360-degree field of view that allows the user to change orientation while wearing the head-mounted display, with scenes that change as the user's head position changes. To do.
[0003] そのような装置を用いると、ユーザは、前を見ている時にはカメラ位置の正面で取り込まれたシーンを提示され、ユーザが完全に振り向いたときにはカメラ位置の後ろで取り込まれたシーンを提示されるべきである。ユーザが後方に頭を向けることができるが、任意の時点で限られた視界を知覚する人間の能力の性質により、任意の時点で、ユーザの視界は、通常、120度以下に制限される。 [0003] With such a device, the user is presented with a scene captured in front of the camera position when looking forward, and a scene captured behind the camera position when the user is fully turned. Should be presented. Although the user can turn his head backwards, due to the nature of the human ability to perceive a limited view at any given time, the user's view is usually limited to 120 degrees or less at any given time.
[0004] 360度の視野をサポートするために、見るために利用可能にされるべき360度シーンを生成するために画像が組み合わされるよう、360度シーンは、複数のカメラを使用して取り込まれる。 [0004] In order to support a 360 degree field of view, 360 degree scenes are captured using multiple cameras so that the images are combined to produce a 360 degree scene that should be made available for viewing. .
[0005] 360度視野は、通常のテレビや、時間の特定の点で表示されるべき画像を決定するために用いられる視野角を変更する機会をユーザが持たない多くの他の画像アプリケーションのために通常取り込まれ、エンコードされる単純な前方視野よりかなり多くの画像データを含むことを理解すべきである。 [0005] The 360 degree field of view is for normal television and many other image applications where the user does not have the opportunity to change the viewing angle used to determine the image to be displayed at a particular point in time. It should be understood that it contains significantly more image data than a simple front view that is normally captured and encoded.
[0006] ストリーミングされているコンテンツに関連した、例えば、ネットワークデータ制約等の伝送制約があって、コンテンツを受信し、相互作用することを求めている全ての顧客に、フル高解像度映像で完全な360度視野をストリーミングすることは可能でないかもしれない。これは、特に、コンテンツが、3D視界効果を可能にするために、左と右眼の視野に対応するように意図された画像コンテンツを含む立体視コンテンツである場合である。 [0006] For all customers who have transmission constraints related to the content being streamed, such as network data constraints, and that want to receive and interact with the content, full high-resolution video is complete. It may not be possible to stream a 360 degree view. This is especially the case when the content is stereoscopic content including image content intended to correspond to the left and right eye fields of view in order to enable 3D viewing effects.
[0007] 上記説明の観点で、個々のユーザが、例えば、彼または彼女の頭を振り向くことによって、見る位置を変更し、環境の所望の部分を視ることを可能にするような方法で、コンテンツのストリーミング及び/または再生をサポートするための方法及び装置へのニーズがあることが理解されるべきである。ユーザは、帯域幅または他の配信関連の制約により適用し得るデータストリーミング制約内に留まりながら、彼/彼女の頭の位置を変え、結果、視野方向を変える選択肢を与えられたならば、望ましいであろう。全ての実施形態のために必要なわけではないが、異なる場所にいる複数のユーザが、同時にストリームを受信し、他のユーザによって見られている部分や複数の部分に拘わらず、彼らが望む環境のどんな個々の部分でも見ることを、少なくともいくつかの実施形態が可能にすることが望まれる。 [0007] In view of the above description, in such a way as to allow an individual user to change the viewing position and view the desired part of the environment, for example by turning around his or her head, It should be appreciated that there is a need for a method and apparatus for supporting content streaming and / or playback. It would be desirable if the user was given the option of changing his / her head position and consequently changing the viewing direction while remaining within the data streaming constraints that could be applied due to bandwidth or other delivery related constraints. I will. Although not required for all embodiments, multiple users in different locations receive the stream at the same time, and the environment they want, regardless of the part or parts that are viewed by other users It is desirable that at least some embodiments allow viewing any individual part of the.
[0008] 360度の視野領域に対応する映像または他のコンテンツの配信、例えば、ストリーミング、をサポートする方法及び装置が記載される。本発明の方法と装置は、特に、データ伝送制約が、360度のコンテンツの配信について、最大のサポート品質レベルで、例えば、最良の品質の符号化や最も高いサポートフレームレートを用いて、配信することを困難にするような立体視及び/または他の画像コンテンツのストリーミングのために良く適している。しかし、方法は、立体視コンテンツに限定されるものではない。 [0008] A method and apparatus are described that support the delivery, eg, streaming, of video or other content corresponding to a 360 degree field of view. The method and apparatus of the present invention, particularly for content delivery with 360 degree data transmission constraints, delivers at the highest supported quality level, eg, using the best quality encoding and the highest supported frame rate. It is well suited for stereoscopic viewing and / or other image content streaming that makes it difficult. However, the method is not limited to stereoscopic content.
[0009] 様々な実施形態において、画像コンテンツが得られる環境の3D(3次元)モデル及び/または対応する3D情報が生成され、及び/または、アクセスされる。環境の中でのカメラ位置がドキュメント化される。複数の個々のカメラ位置が環境内に存在し得る。例えば、異なる最終目標カメラ位置と1つ以上の中間フィールドカメラの位置がサポートされ、リアルタイムのカメラ送りを取り込むために用いられ得る。 [0009] In various embodiments, a 3D (three-dimensional) model of the environment from which image content is obtained and / or corresponding 3D information is generated and / or accessed. The camera position in the environment is documented. Multiple individual camera positions may exist in the environment. For example, different final target camera positions and one or more intermediate field camera positions are supported and can be used to capture real-time camera feeds.
[00010] 3Dモデル及び/または他の3D情報は、1人以上のユーザに映像をストリーミングするために使用されるサーバまたは画像取り込み装置に記憶される。 [00010] The 3D model and / or other 3D information is stored on a server or image capture device used to stream video to one or more users.
[00011] 3Dモデルは、画像描画及び合成能力を有する、例えば、顧客宅内装置等のユーザ再生デバイスに提供される。顧客宅内装置は、例えば、ヘッドマウントディスプレイを介して、顧客宅内装置のユーザに表示される環境の3D表現を生成する。 [00011] The 3D model is provided to a user playback device such as a customer premises device having image drawing and composition capabilities. The customer premises device generates, for example, a 3D representation of the environment displayed to the customer premises device user via a head-mounted display.
[00012] 様々な実施形態において、完全な360度環境より少ないものが、任意の時点で、個々の顧客宅内機器にストリーミングされる。顧客宅内装置は、ユーザ入力に基づいて、どのカメラ送りがストリーミングされるべきかを示す。ユーザは、顧客宅内装置の一部であるか取り付けられている入力デバイスを介して、コート及び/またはカメラの位置を選択し得る。 [00012] In various embodiments, less than a full 360 degree environment is streamed to individual customer premises equipment at any given time. The customer premises device indicates which camera feed should be streamed based on user input. The user may select the court and / or camera position via an input device that is part of or attached to the customer premises equipment.
[00013] いくつかの実施形態では、180度の映像ストリームは、例えば、ライブの、リアルタイムの、または、ほぼリアルタイムのストリーム等、コンテンツをストリーミングするために責任があるサーバ及び/または映像カメラから顧客の再生デバイスに伝送される。再生デバイスはユーザの頭の位置を監視し、従って、再生デバイスは、再生デバイスのユーザが再生デバイスにより生成されている3D環境内で見ている視野領域を知る。顧客宅内装置は、映像コンテンツがない状態において提示されるシミュレートされた3D環境を置き換える、または、その代替として表示される3D環境の部分のために利用可能である場合、映像を提示する。再生デバイスのユーザが彼または彼女の頭を振ると、ユーザに提示される環境の部分は、3Dモデルから合成的に生成された、及び/または、映像コンテンツとは異なるときに取り込まれた以前に供給された画像コンテンツである他の部分とともに、再生デバイスに供給された(例えば、ストリーミングされた)映像コンテンツからであってよい。 [00013] In some embodiments, the 180 degree video stream is from a server and / or video camera that is responsible for streaming content, eg, a live, real-time, or near real-time stream. To the playback device. The playback device monitors the position of the user's head, so the playback device knows the viewing area that the user of the playback device is looking in the 3D environment being generated by the playback device. The customer premises device replaces the simulated 3D environment presented in the absence of video content, or presents the video if available for the portion of the 3D environment displayed as an alternative. When the user of the playback device shakes his or her head, the part of the environment presented to the user was previously generated synthetically from the 3D model and / or captured when it is different from the video content It may be from video content supplied (eg, streamed) to a playback device, along with other parts that are supplied image content.
[00014] 従って、再生デバイスは、ゲーム、音楽コンサート、または、他のイベントが、例えば、正面の180度カメラ視野に対応して進行中である間、完全に合成的に、または、異なる回の環境の側部または後部領域の画像コンテンツからの何れかで生成される3D環境の後部及び/または側部とともに、例えば、ストリーミングを介して供給された、映像を表示し得る。 [00014] Accordingly, the playback device may be completely synthetic or different at different times while a game, music concert, or other event is in progress, eg, corresponding to a front 180 degree camera field of view. The video supplied, for example via streaming, may be displayed with the back and / or side of the 3D environment generated either from image content in the side or back region of the environment.
[00015] ユーザは、ストリーミングコンテンツを提供するサーバに位置の変化の信号を送ることによって、カメラの位置の間で選択をすることができるが、ストリーミングコンテンツを提供するサーバは、ストリーミングされていない3D環境の部分のための合成の環境を生成するのに有用な情報を提供し得る。 [00015] A user can select between camera positions by signaling a change of position to a server providing streaming content, but the server providing streaming content is not streamed 3D. Information useful for creating a synthetic environment for a portion of the environment may be provided.
[00016] 例えば、いくつかの実施形態では、複数の後ろや側部の視野が、例えば、コンテンツの部分をストリーミングする以前、または、時間的に早い時点から、異なる回に取り込まれる。画像は、再生デバイスにバッファされる。コンテンツを提供するサーバは、リアルタイムでないシーンまたは画像のどの組が映像ストリームの中で供給されていない環境の部分の合成のために使用されるべきかを、再生デバイスに信号伝送できる、及び、いくつかの実施形態では信号伝送する。例えば、カメラ位置の後ろに座っているコンサート参加者の画像と立っている参加者の別の画像とが、再生デバイスに供給され、記憶され得る。サーバは、記憶された画像データのどの組が特定の時点で使用されるべきかを信号伝送できる。従って、観客が立っているとき、サーバは、立っている観客に対応する画像が画像合成の間に背景の180度視野のために用いられるべきであると信号伝送し得、他方、観客が座っているとき、サーバは、3Dカメラ環境の側部または後部を合成するときに、座っている観客に対応する画像または画像合成情報を用いるべきであることを、顧客宅内装置に示し得る。 [00016] For example, in some embodiments, multiple back and side views are captured at different times, for example, before streaming portions of content or from an earlier point in time. The image is buffered on the playback device. The server providing the content can signal to the playback device which set of non-real-time scenes or images should be used for the synthesis of the parts of the environment that are not supplied in the video stream, and how many In such an embodiment, signal transmission is performed. For example, an image of a concert participant sitting behind the camera position and another image of a standing participant can be supplied to the playback device and stored. The server can signal which set of stored image data is to be used at a particular time. Thus, when the audience is standing, the server may signal that the image corresponding to the standing audience should be used for the 180 degree field of view during image synthesis while the audience is sitting. The server may indicate to the customer premises device that when compositing the side or rear of the 3D camera environment, the image or image compositing information corresponding to the sitting audience should be used.
[00017] 少なくともいくつかの実施形態において、3D環境における1つ以上の位置の各々におけるカメラの向きは、画像取り込みの間、追跡される。環境におけるマーカ及び/または識別する点は、顧客宅内装置によってシミュレートされるべき以前にモデル化された及び/またはマッピングされた3D環境への、例えば、ライブ画像等の取り込まれた画像の配列及び/またはその他のマッピングを容易にするために使用され得る。 [00017] In at least some embodiments, the camera orientation at each of the one or more locations in the 3D environment is tracked during image capture. Markers and / or identifying points in the environment may include an array of captured images, such as live images, to a previously modeled and / or mapped 3D environment to be simulated by the customer premises equipment Can be used to facilitate other mappings.
[00018] 合成環境部分と現実(ストリーミングされた映像)の混合は、臨場感あふれる映像体験を提供する。環境は、映像が利用可能でないとき、例えば、環境が以前にモデル化されていない場合、環境をシミュレートするために使用される3D情報を生成するのに3D測光を用いて測定され、または、モデル化され得、時にはそうされる。 [00018] The mixture of the synthetic environment part and reality (streamed video) provides a realistic video experience. The environment is measured using 3D photometry to generate 3D information that is used to simulate the environment when the video is not available, eg, if the environment has not been previously modeled, or Can be modeled, sometimes.
[00019] 決定された場所での現実空間における基準マーカの使用は、映像の以前に生成された3Dモデルとのキャリブレーションと位置合わせを助ける。 [00019] The use of fiducial markers in the real space at the determined location helps to calibrate and align the video with the previously generated 3D model.
[00020] 各カメラの位置追跡は、映像が取り込まれながら実装される。会場に対するカメラの位置情報、例えば、それは、X、Y、Zと、度での偏揺角(それによって、各カメラが何処を指しているかを知る)をマッピングする。これは、取り込まれた画像が環境のどの部分に対応するかの簡単な検出を可能にし、取り込まれた映像とともに再生デバイスに通信される場合、我々の映像取り込みを、ユーザへの再生等の画像提示の間に再生デバイスによって生成される合成の環境で自動的にオーバーレイするような再生を可能にする。ストリーミングされたコンテンツは、カメラ位置の正面の領域の取り込まれた180度の視野等の360度より少ない視野に制限され得る。見る者が周りを見まわすと、見る者は、後ろを向いたときにシミュレートされた背景(黒い空虚ではない)を見、見る者は、正面を向いたときに映像を見る。 [00020] Position tracking for each camera is implemented as video is captured. Camera position information relative to the venue, for example, it maps X, Y, Z, and yaw angle in degrees (so it knows where each camera is pointing). This allows for easy detection of which part of the environment the captured image corresponds to, and when communicated to the playback device along with the captured video, our video capture can be used as an image for playback to the user, etc. Allows playback to automatically overlay in the synthetic environment generated by the playback device during presentation. Streamed content may be limited to a field of view less than 360 degrees, such as a captured 180 degree field of view in front of the camera location. When the viewer looks around, the viewer sees the simulated background (not black emptiness) when looking back, and the viewer sees the video when looking front.
[00021] 合成環境は相互作用し得、いくつかの実施形態ではそうである。いくつかの実施形態では、異なる顧客宅内装置のユーザ等の複数の実際の見る者は、ユーザが仮想3D環境において彼/彼女の友達とゲームを視ることができ、ユーザが現実にスタジアムにいるようにみえるよう、シミュレートされた環境に含まれる。 [00021] The synthesis environment may interact, in some embodiments. In some embodiments, multiple actual viewers, such as users at different customer premises devices, can allow the user to watch the game with his / her friends in a virtual 3D environment, and the user is actually in the stadium. It is included in the simulated environment so that it looks like.
[00022] ユーザの画像は、シミュレートされた環境を生成することにおける使用のために、顧客宅内装置に含まれた、または、取り付けられたカメラによって取り込まれ、サーバに供給され、グループのメンバ等の他のユーザに提供され得、いくつかの実施例ではそうされる。 [00022] User images are captured by cameras included or attached to customer premises equipment for use in creating a simulated environment, supplied to a server, group members, etc. Can be provided to other users, and in some embodiments it is.
[00023] 方法は、符号化し、リアルタイムで、または、ほぼリアルタイムでコンテンツをエンコードし、提供するために使用され得るが、このようなリアルタイム用途に限定されない。複数のユーザへのリアルタイムやほぼリアルタイムのエンコーディングとストリーミングをサポートする能力を与えられ、この中に記載された方法及び装置は、個々人がイベントを見て、ステージやフィールドを注視するだけでなく、振り向いて、スタジアムや観客等の環境を見ることを鑑賞することができることを好む、スポーツイベント、コンサート、及び/または、他の会場のシーンをストリーミングするために好適である。360度視野と3Dをサポートすることによって、本発明の方法と装置は、ユーザが環境中に居て、ユーザの頭部が左、右、または、後ろを向いたとした場合にあるように、向きを変えて、異なる視野角からシーンを注視する自由度をもった3D没入体験をユーザに提供することが意図されたヘッドマウントディスプレイとともに使用するために好適である。 [00023] The method may be used to encode and encode and provide content in real time or near real time, but is not limited to such real time applications. Given the ability to support real-time and near real-time encoding and streaming to multiple users, the methods and devices described therein not only allow individuals to watch events, watch the stage and field, but also turn around. Thus, it is suitable for streaming sports events, concerts and / or other venue scenes that prefer to be able to appreciate viewing the environment such as stadiums and spectators. By supporting a 360 degree field of view and 3D, the method and apparatus of the present invention is as if the user is in the environment and the user's head is facing left, right, or back, Suitable for use with a head mounted display that is intended to change orientation and provide the user with a 3D immersive experience with the freedom to look at the scene from different viewing angles.
[00024] 例えば、360度視界に対応したコンテンツ等の画像コンテンツを通信するための方法及び装置が記載される。様々な実施形態において、視界は、環境の異なる部分、例えば、前部、少なくとも1つの後ろの部分、頂部、及び、底部、に対応する。いくつかの実施形態において、環境の左と右の後部例えば、背部、は、別々に生成され、及び/または、通信される。再生デバイスは、ユーザの頭の位置を監視し、例えば、ユーザが所定の時間に見ている環境の部分に対応し、その時、ユーザに表示される立体視画像等の画像を生成する。立体視再生の場合には、別個の左と右の眼の画像が生成される。生成された画像は、例えば、環境の部分等の1つ以上のシーンに対応して行われ得、いくつかの実施態様では行われる。 [00024] For example, a method and apparatus for communicating image content such as content corresponding to a 360 degree view is described. In various embodiments, the field of view corresponds to different parts of the environment, eg, the front, at least one back part, the top, and the bottom. In some embodiments, the left and right rear of the environment, eg, the back, are generated and / or communicated separately. The playback device monitors the position of the user's head and, for example, corresponds to the part of the environment that the user is watching at a predetermined time, and then generates an image such as a stereoscopic image displayed to the user. In the case of stereoscopic playback, separate left and right eye images are generated. The generated image may be performed corresponding to one or more scenes, such as, for example, portions of the environment, and in some implementations.
[00025] 再生の起動時に、ユーザの前方を見る頭のレベル位置が、デフォルトとして、前方シーン部分に対応するように設定される。ユーザが彼/彼女の頭を回し、及び/または、彼または彼女の頭を上げるか下げるかずると、環境の他の部分がユーザの視界に入って来ることができる。 [00025] At the time of starting playback, the level position of the head looking in front of the user is set to correspond to the front scene portion as a default. As the user turns his / her head and / or raises or lowers his or her head, other parts of the environment can enter the user's view.
[00026] 多くの再生デバイスの帯域幅及び画像デコード機能は、装置の処理容量及び/または画像コンテンツを受信するための帯域幅によって制限される。いくつかの実施形態では、再生デバイスは、環境のどの部分がユーザの主たる視界に対応するかを決定する。そして、装置は、ストリームが、優先度の観点から、主要なストリームとして指定されて、例えば、フル解像度等の高いレートで受信されるべき当該部分を選択する。環境の他の部分に対応するコンテンツを提供する1つ以上の他のストリームからのコンテンツも受け取られ得るが、通常は、より低いデータレートである。特定のストリームのためのコンテンツ配信は、例えば、コンテンツ配信をトリガするために使用される信号を送ることにより、再生デバイスによって起動され得る。信号は、環境の部分に対応するコンテンツを提供する、または、切り替えられるデジタル放送の配信を開始するマルチキャストグループに参加するために使用され得る。マルチキャストグループ参加信号等の要求または他の信号を必要としない放送コンテンツの場合には、装置は、コンテンツが利用可能になっているチャネルに同調することによって受信を開始し得る。 [00026] The bandwidth and image decoding capabilities of many playback devices are limited by the processing capacity of the device and / or the bandwidth for receiving image content. In some embodiments, the playback device determines which part of the environment corresponds to the user's primary view. Then, the apparatus selects the part in which the stream is designated as the main stream from the viewpoint of priority, and should be received at a high rate such as full resolution, for example. Content from one or more other streams that provide content corresponding to other parts of the environment may also be received, but usually at a lower data rate. Content delivery for a particular stream may be initiated by a playback device, for example, by sending a signal that is used to trigger content delivery. The signal can be used to provide content corresponding to parts of the environment or to join a multicast group that initiates the distribution of switched digital broadcasts. For broadcast content that does not require a request such as a multicast group join signal or other signals, the device may begin receiving by tuning to the channel on which the content is available.
[00027] コンテンツが、スポーツイベント、ロックコンサート、ファッションショー、または、いくつかの様々なイベントに対応する場合、前方視野部分は、主たるアクションが通常特に進行する場所であるので、ユーザが、通常、環境の前方視野部分に主たる関心をもっているとして、いくつかの実施形態では、環境の前方視野部分は、データ伝送優先度が与えられる。少なくともいくつかの実施形態では、前方視野部分に対応する画像は、360度環境の1つ以上の他の部分よりも高いレートでストリーミングされる。環境の他の部分に対応する画像は、より低いデータレートで送信されるか、または、静止画像として送られる。例えば、1つ以上の静的画像、例えば、空等の頂部、地面等の底部、が送信され得る。 [00027] If the content corresponds to a sporting event, a rock concert, a fashion show, or several different events, the forward view portion is where the main action usually proceeds, so the user typically Given the primary interest in the forward view portion of the environment, in some embodiments, the forward view portion of the environment is given data transmission priority. In at least some embodiments, the image corresponding to the front view portion is streamed at a higher rate than one or more other portions of the 360 degree environment. Images corresponding to other parts of the environment are sent at a lower data rate or sent as a still image. For example, one or more static images may be transmitted, for example, a top such as the sky, a bottom such as the ground.
[00028] いくつかの実施形態において、取り込まれた複数の静止画像が、後方視野部分または空部分等の環境の1つ以上の部分のために送信される。いくつかの実施形態では、制御情報が、環境の部分のために静止画像のどの1つが所与の時間に使用されるべきかを示して、送信される。環境の部分のための静止画像が送られる場合において、それらはエンコードされた形式で送られ、そして、他の画像内容との組み合わせで使用するためにデコードされた形式でメモリに記憶される。この方法では、イベントの間に必要とされるデコード用のリソースは、複数のストリームが同じフレームレートで並行してデコードされる必要がないので、低減され得る。静止画像は、メインイベントのコンテンツをストリーミングする前に送信されてもよい。代替的に、前方視野位置からユーザの頭の位置に変化があって、再生の間にそれらが必要となった場合に、いくつかの画像が環境の異なる部分のために送信され、記憶されてもよい。静止の、または、たまにしか変わらない画像は、前方視界方向等の主たるコンテンツを提供するコンテンツストリームの一部としてエンコードされ、送信されてもよく、または、別個のコンテンツストリームとして送られてもよい。 [00028] In some embodiments, a plurality of captured still images are transmitted for one or more portions of the environment, such as a rear view portion or an empty portion. In some embodiments, control information is transmitted indicating which one of the still images should be used at a given time for a portion of the environment. When still images for parts of the environment are sent, they are sent in encoded form and stored in memory in decoded form for use in combination with other image content. In this way, the decoding resources required during the event can be reduced because multiple streams do not need to be decoded in parallel at the same frame rate. The still image may be transmitted before streaming the content of the main event. Alternatively, some images are sent and stored for different parts of the environment when there is a change in the position of the user's head from the front view position and they are needed during playback. Also good. Images that are static or that change only occasionally may be encoded and transmitted as part of a content stream that provides the main content, such as the forward viewing direction, or sent as a separate content stream.
[00029] 環境の前方部分に対応するコンテンツは、例えば、リアルタイムで等、イベントが進行中の間に取り込まれ、ストリーミングされるコンテンツを含み得る、及び、多くの場合には含むが、後方に対応する静止画像は、イベントの前に取り込まれた画像であってよく、時には、そうである。 [00029] The content corresponding to the front part of the environment may include content that is captured and streamed while the event is in progress, such as in real time, and in many cases still, but still The image may be an image that was captured before the event, and sometimes it is.
[00030] 例えば、2つの異なる後部視野シーンが通信され、再生デバイスに記憶される場合を考える。1つのシーンは立った位置である観客に対応し、他の画像は座った位置にある観客に対応し得る。ユーザが、環境の後ろ部分が可視となる位置に彼/彼女の頭を向けたとしたら、所与の時点で、座った、または、立った位置の観客画像が用いられるかどうかを、制御情報は示し得る、及び、いくつかの実施形態では示す。 [00030] For example, consider the case where two different rear view scenes are communicated and stored on a playback device. One scene may correspond to a spectator in a standing position and the other image may correspond to a spectator in a sitting position. If the user points his / her head to a position where the back part of the environment is visible, the control information will indicate whether a seated or standing audience image is used at a given time. It can be shown and in some embodiments.
[00031] 同様に、空の複数の画像が再生デバイスに通信され、エンコードされた、または、デコードされた形態で再生デバイスに記憶される。いくつかの実施形態では、空部分のどの画像が所与の時点で用いられるべきであるかは、制御情報において通信される。他の実施形態において、空のどのシーンが使用されるべきであるかは、例えば、明るい前方シーン領域が検出され、ほとんど雲のない明るい空の画像の選択を制御するために使用され得る等、選択されている前方環境シーン部分に一致するか近い空部分をもった前方シーン領域に対応する1つ以上の画像の輝度に基づいて自動的に決定される。同様に、いくつかの実施形態において、暗い前方環境領域空の検出は、暗い曇り空画像が使用される結果をもたらす。 [00031] Similarly, a plurality of empty images are communicated to a playback device and stored in the playback device in encoded or decoded form. In some embodiments, which image of the sky part should be used at a given time is communicated in the control information. In other embodiments, which scene in the sky should be used, for example, a bright forward scene area can be detected and used to control the selection of a bright sky image with little cloud, etc. It is automatically determined based on the brightness of one or more images corresponding to the front scene area that has a sky portion that matches or is close to the selected front environment scene portion. Similarly, in some embodiments, detection of a dark front environment area sky results in a dark cloudy sky image being used.
[00032] 視界における環境の部分のための画像が利用可能でない場合には、シーンの部分が、例えば、利用可能である環境の他の部分からの情報やコンテンツから、合成され得る。例えば、後部画像部分が利用可能でない場合、前方シーン領域の左及び/または右側からのコンテンツが、環境の欠落している後ろ部分に代えて埋めるために、コピーされ、使用され得る。コンテンツの複製に加えて、ぼかし及び/または他の画像処理動作が、いくつかの実施形態において、環境の欠落部分に代えて埋めるために使用され得る。代替的に、いくつかの実施形態では、描画情報がコンテンツストリームにおいて提供され、再生デバイスは欠落部分のための完全な合成画像を生成する。ビデオゲームコンテンツと同様に、そのようなコンテンツは、本質的に現実味があり得、再生デバイスに記憶された描画及び/または他の画像生成ルールから生成される広範な画像効果及び/またはコンテンツを含み得る。 [00032] If images for portions of the environment in the field of view are not available, portions of the scene can be synthesized, for example, from information or content from other portions of the environment that are available. For example, if the back image portion is not available, content from the left and / or right side of the front scene area can be copied and used to fill in instead of the missing back portion of the environment. In addition to content replication, blurring and / or other image processing operations may be used to fill in place of missing parts of the environment in some embodiments. Alternatively, in some embodiments, rendering information is provided in the content stream and the playback device generates a complete composite image for the missing portion. Similar to video game content, such content may be realistic in nature and includes a wide range of image effects and / or content generated from drawings and / or other image generation rules stored on the playback device. obtain.
[00033] いくつかの実施形態による、再生システムを動作させる例示的な方法は、
見る者の頭の位置を決定することであって、頭の位置は現在の視界に対応することと、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、
第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、i)環境の第2の部分に対応する記憶されたコンテンツ、または、ii)環境の第2の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する1つ以上の出力画像を生成することと、
第1の出力画像を出力し、または、表示することであって、第1の出力画像は1つ以上の生成された出力画像の1つであることと、
を含む。
いくつかの実施形態による、例示のコンテンツ再生システムは:
見る者の頭の位置を決定するように構成された見る者の頭位置決定モジュールであって、頭の位置が現在の視界に対応することと、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成されたコンテンツストリーム受信モジュールと、
第1のコンテンツに含まれた少なくともいくつかのコンテンツ、及び、i)環境の第2の部分に対応する記憶されたコンテンツ、または、ii)環境の第2の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する1つ以上の出力画像を生成するよう構成された出力画像コンテンツストリームベース生成モジュールと、
第1の出力画像を出力するよう構成された出力モジュール、または、第1の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、
を含む。
[00033] An exemplary method of operating a playback system, according to some embodiments, is as follows:
Determining the position of the viewer's head, which corresponds to the current field of view,
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to the second part of the environment, or ii) simulate the second part of the environment Generating one or more output images corresponding to the current field of view based on the composite image;
Outputting or displaying a first output image, wherein the first output image is one of one or more generated output images;
including.
An example content playback system, according to some embodiments, is:
A viewer head positioning module configured to determine a position of the viewer's head, the head position corresponding to a current field of view;
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
At least some content included in the first content, and i) stored content corresponding to the second part of the environment, or ii) a composite image that simulates the second part of the environment, Based on an output image content stream base generation module configured to generate one or more output images corresponding to the current view,
At least one of an output module configured to output the first output image or a display module configured to display the first output image;
including.
[00034] 多くの変形及び実施形態が可能であり、以下の詳細な説明で検討される。 [00034] Many variations and embodiments are possible and will be discussed in the detailed description below.
[00068] 図1は、本発明のいくつかの実施形態に従って実装される例示的なシステム100を示す。システム100は、顧客宅内に配置された生成装置/コンテンツプレーヤ等の1つ以上の顧客装置に、例えば、画像コンテンツ配信等のコンテンツ配信をサポートする。システム100は、例示の画像取り込みデバイス102、コンテンツ配信システム104、通信ネットワーク105、及び、複数の顧客宅内106、..、110含む。画像取り込みデバイス102は、立体視画像の取り込みをサポートする。画像取り込みデバイス102は、発明の態様に従って、画像コンテンツを取り込み、処理する。通信ネットワーク105は、例えば、光ファイバ−同軸ハイブリッド(hybrid fiber-coaxial:HFC)ネットワーク、衛星ネットワーク、及び/または、インターネットであってよい。
[00068] FIG. 1 illustrates an
[00069] コンテンツ配信システム104は、エンコーディング装置112とコンテンツストリーミング装置/サーバ114を含む。エンコーディング装置112は、本発明に従って、画像データをエンコードするための1つまたは複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。エンコーダは、シーンの異なる部分をエンコードするために、及び/または、異なるデータレートを有するエンコードされたバージョンを生成するようにシーンの所与の部分を符号化するために、並行に使用され得る。リアルタイム、または、ほぼリアルタイムのストリーミングがサポートされるべき場合、並行して複数のエンコーダを使用することは、特に有用である。
[00069] The
[00070] コンテンツストリーミング装置114は、例えば、通信ネットワーク105上を、1つ以上の顧客装置にエンコードされた画像コンテンツを配信するために、エンコードされたコンテンツを、例えば、送信する等、ストリーミングするように構成される。ネットワーク105を介して、コンテンツ配信システム104は、通信ネットワーク105を横断するリンク120によって図に示されているように、情報を送り、及び/または、顧客宅内106、110に設けられた装置と情報を交換することができる。
[00070] The
[00071] エンコーディング装置112とコンテンツ配信サーバ114は、図1の例において個別の物理的な装置として示されているが、いくつかの実施形態において、それらは、コンテンツをエンコードし、ストリーミングする単一の装置として実装される。エンコーディングプロセスは、3D画像視聴がサポートされ得るように、シーン部分の左と右の眼の視野に対応する情報がエンコードされ、エンコードされた画像データに含まれる3D、例えば、立体視の、画像エンコーディングプロセスであり得る。使用される特定のエンコーディング方法は、本出願に重要ではなく、広範囲のエンコーダが、エンコーディング装置112として、または、エンコーディング装置112を実装するために使用され得る。
[00071] Although the
[00072] 各顧客宅内106、110は、コンテンツストリーミング装置114によってストリーミングされた画像コンテンツをデコードし、再生/表示するために使用される、再生システム等の複数の装置/プレーヤを含み得る。顧客宅内1 106は、ディスプレイデバイス124に接続されたデコーディング機器/再生デバイス122を含み、他方、顧客宅内N 110は、ディスプレイデバイス128に接続されたデコーディング機器/再生デバイス126を含む。いくつかの実施形態では、ディスプレイデバイス124、128は、ヘッドマウント立体視ディスプレイデバイスである。いくつかの実施形態では、再生デバイス122/126とヘッドマウント装置124/128が、共に、再生システムを形成する。
[00072] Each
[00073] 様々な実施形態において、デコーディング装置122、126は、対応するディスプレイデバイス124、128に画像コンテンツを提示する。デコーディング機器/プレーヤ122、126は、コンテンツ配信システム104から受け取られた画像をデコーディングし、デコードされたコンテンツを用いて画像を生成し、ディスプレイデバイス124、128上に、例えば、3D画像コンテンツ等の画像コンテンツを描画することができる装置であり得る。デコーディング機器/再生デバイス122、126の何れかは、図8に示されたデコーディング機器/再生デバイス800として使用さえ得る。図8及び図19に示された装置等のシステム/再生デバイスは6、デコーディング装置/再生デバイス122、126のいずれかとして使用されることができる。
[00073] In various embodiments, the
[00074] 図2Aは、分割されているフル360度立体視シーン等の例示的な立体視シーン200を示す。立体視シーンは、単一の映像取り込みプラットフォームまたはカメラマウントに搭載された、例えば、映像カメラ等の複数のカメラから取り込まれる画像データを組み合わせた結果であり得、通常は結果である。
[00074] FIG. 2A shows an exemplary
[00075] 図2Bは、シーンが、例えば、1つの例示的な実施形態に従って、正面180度部分、左後方90度部分、及び、右後方90度部分等の3つ(N=3)の例示的な部分に分割されている、例示的な立体視シーンの分割されたバージョン250を示す。
[00075] FIG. 2B illustrates three examples (N = 3) of scenes, for example, a front 180 degree portion, a left rear 90 degree portion, and a right rear 90 degree portion, according to one exemplary embodiment. A divided
[00076] 図2Cは、1つの例示的な実施形態に従って、4つ(N=4)の部分に分割されている例示的な立体視シーン200の他の分割されたバージョン280を示す。
[00076] FIG. 2C shows another divided
[00077] 図2Bと2Cは2つの例示的な分割を示すが、他の分割が可能であることが理解されるべきである。例えば、シーン200は、12個(N=12)の30度部分に分割され得る。1つのそのような実施形態では、各部分を個別にエンコードするよりもむしろ、複数の部分が一緒にグループ化され、グループとしてエンコードされる。部分の異なるグループは、符号化され、シーンの合計度数に関して同じである各グループのサイズをもつが、ユーザの頭の位置、例えば、0から360度のスケールで測定された視野角、に応じてストリーミングされ得る画像の異なる部分に対応して、エンコードされ、ユーザにストリーミングされ得る。
[00077] Although FIGS. 2B and 2C show two exemplary divisions, it should be understood that other divisions are possible. For example, the
[00078] 図3は、1つの例示的な実施形態に従った、例示的な360度立体視シーンをエンコーディングする例示的なプロセスを示す。図3に示された方法300への入力は、例えば、シーンの360度視野を取り込むよう構成された複数のカメラによって取り込まれた360度立体視画像データを含む。例えば、立体視映像等の立体視画像データは、様々な既知の形式のいずれかであってもよく、ほとんどの実施形態では、3D体験を可能にするために用いられる左と右眼の画像データを含む。方法は、立体視映像のために特に適しているが、この中に記載された技術及び方法は、また、例えば、360度または小さいシーン領域の、2D(2次元)画像に適用され得る。
[00078] FIG. 3 illustrates an exemplary process for encoding an exemplary 360 degree stereoscopic scene, according to one exemplary embodiment. The input to the
[00079] ステップ304において、シーンデータ302は、例えば、異なる視野方向に対応するN個のシーン領域等の異なるシーン領域に対応するデータに分割される。図2Bに示されたもの等の1つの実施形態において、360度シーン領域は、90度部分に対応する左後方部分、正面180度部分、右後方90度部分といった3つの分割に部分化される。異なる部分は、異なるカメラによって取り込まれていてもよいが、これは必須ではなく、実際には、360度シーンは、図2Bと図2Cに示されるようにN個のシーン領域に分割される前に、複数のカメラから取り込まれたデータから構成されてもよい。
In
[00080] ステップ306において、異なるシーン部分に対応するデータは、本発明に従ってエンコードされる。いくつかの実施形態では、各シーン部分は、各部分についての複数の可能なビットレートストリームをサポートするために、複数のエンコーダによって独立にエンコードされる。ステップ308において、エンコードされたシーン部分は、顧客の再生デバイスにストリーミングするために、例えば、コンテンツ配信システム104のコンテンツ配信サーバ114に、記憶される。
[00080] In
[00081] 図4は、例えば、シーンの180度正面部分等の入力画像部分が、同じ入力画像部分の異なるエンコードされたバージョンを生成するために、様々なエンコーダを用いて、どのようにエンコードされるかを示す例を示す図400である。 [00081] FIG. 4 illustrates how an input image portion, such as a 180-degree front portion of a scene, is encoded using various encoders to generate different encoded versions of the same input image portion. FIG. 400 is a diagram 400 illustrating an example of whether or not.
[00082] 図400に示されるように、例えば、シーンの180度正面部分である入力シーン部402は、エンコーディングのために複数のエンコーダに供給される。例では、異なる解像度をもち、画像コンテンツの異なるデータレートストリームをサポートするためにエンコードされたデータを生成するような異なるエンコーディング技術を用いる、入力データをエンコードするK個の異なるエンコーダがある。複数のK個のエンコーダは、高精細(high definition:HD)エンコーダ1 404、標準画質(standard definition:SD)エンコーダ2 406、低減されたフレームレートSDエンコーダ3 408、・・・、および、高圧縮の低減されたフレームレートSDエンコーダK 410を含む。
[00082] As shown in FIG. 400, for example, an
[00083] HDエンコーダ1 404は、高ビットレートHDエンコード画像412を生成するためにフル高解像度(HD)エンコーディングを実行するよう構成される。SDエンコーダ2 406は、入力画像のSDエンコードバージョン2 414を生成するために、低解像度の標準画質エンコーディングを実行するように構成される。低減されたフレームレートSDエンコーダ3 408は、入力画像の低減されたレートSDエンコードバージョン3 416を生成するために、低減されたフレームレートの低解像度SDエンコーディングを実行するように構成される。低減されたフレームレートは、例えば、エンコーディングのためにSDエンコーダ2 406によって使用されるフレームレートの半分であってよい。高圧縮の低減されたフレームレートSDエンコーダK 410は、入力画像の高度に圧縮された、低減されたレートSDを生成するために、高圧縮での低減されたフレームレート、低解像度SDエンコーディングを実行するように構成される。
[00083]
[00084] 従って、データ圧縮のレベルも、単独で、または、1つ以上の所望のデータレートをもってシーン部分に対応するデータストリームを生成するために、空間的及び/または時間的な解像度の制御に加えて、使用され得るように、空間的及び/または時間的解像度の制御は、異なるデータレートのデータストリームと他のエンコーダ設定の制御を生成するために使用され得る。 [00084] Accordingly, the level of data compression can also be used to control spatial and / or temporal resolution, alone or to generate a data stream corresponding to a scene portion with one or more desired data rates. In addition, as can be used, spatial and / or temporal resolution controls can be used to generate controls for data streams of different data rates and other encoder settings.
[00085] 図5は、3つの例示的な部分に分割された入力立体視シーンの記憶されたエンコードされた部分500を示す。記憶されたエンコードされた部分は、例えば、メモリ内のデータ/情報として、コンテンツ配信システム104に記憶され得る。立体視シーンの記憶されたエンコードされた部分500は、エンコード部分の3つの異なる組を含み、各部分は異なるシーン領域に対応し、各組は、対応するシーン部分の複数の異なるエンコードされたバージョンを含む。各エンコードされたバージョンは、エンコードされた映像データのバージョンであり、従って、コード化されている複数のフレームを表す。映像であるエンコードされたバージョン510、512、516の各々は複数の時間期間に対応し、ストリーミング時に、再生されている時間期間に対応する、例えば、フレーム等の部分は、伝送目的のために使用されることが理解されるべきである。
[00085] FIG. 5 shows a stored encoded
[00086] 図4に関して図示及び上述されたように、例えば、正面、後方シーン部分等の各シーン部分は、同じシーンの部分のK個の異なるバージョンを生成するために、複数の異なるエンコーダを用いてエンコードされ得る。所与の入力シーンに対応する各エンコーダの出力は、組として共にグループ化され、記憶される。エンコードされたシーン部分502の第1の組は正面の180度シーン部分に対応し、正面180度のエンコードされたバージョン1 510、正面180度シーンのエンコードされたバージョン2 512、・・・、正面180度シーンのエンコードされたバージョンK 516を含む。エンコードされたシーン部分504の第2の組は、例えば、90度左後方部分等のシーン部分2に対応し、90度左後方シーン部分のエンコードされたバージョン1 520、90度左後方シーン部分のエンコードされたバージョン2 522、・・・、90度左後方シーン部分のエンコードされたバージョンK 526を含む。同様に、エンコードされたシーンの部分506の第3の組は、例えば、90度右後方シーン部分等のシーン部分3に対応し、90度右後方シーン部分のエンコードされたバージョン1 530、90度右後方シーン部分のエンコードされたバージョン2 532、・・・、90度右後方シーン部分のエンコードされたバージョンK 536を含む。
[00086] As illustrated and described above with respect to FIG. 4, for example, each scene portion, such as the front, back scene portion, uses a plurality of different encoders to generate K different versions of the same scene portion. Can be encoded. The outputs of each encoder corresponding to a given input scene are grouped together as a set and stored. The first set of encoded
[00087] 360度シーンの様々な異なる記憶されたエンコーされた部分は、顧客再生デバイスに送るように、様々な異なるビットレートストリームを生成するために使用され得る。 [00087] Various different stored encoded portions of the 360 degree scene can be used to generate a variety of different bit rate streams to send to the customer playback device.
[00088] 図6は、例示的な実施形態に従った、画像コンテンツを提供する例示的な方法のステップを示すフローチャート600である。フローチャート600の方法は、図1に示した取り込みシステムを用いて、いくつかの実施形態において実施される。
[00088] FIG. 6 is a
[00089] 方法は、例えば、配信システムが電源投入され、初期化されると、ステップ602で開始する。方法は、開始ステップ602からステップ604に進む。ステップ604において、例えば、システム104の中のサーバ114等、コンテンツ配信システム104は、例えば以前にエンコードされた番組への、または、ある場合には、例えば、イベントがまだ進行中である間等、リアルタイムまたはほぼリアルタイムでエンコードされ、ストリーミングされているライブイベントへの要求等、コンテンツの要求を受け取る。
[00089] The method begins at
[00090] 要求に応答して、ステップ606において、サーバ114は、配信のために利用可能なデータレートを決定する。データレートは、サポートされるデータレートを示す要求に含まれた情報から、及び/または、要求している装置にコンテンツを配信するために利用可能である最大帯域幅を示すネットワーク情報等の他の情報から、決定され得る。理解されるように、利用可能なデータレートは、ネットワーク負荷に応じて変化し、コンテンツがストリーミングされている時間期間中に変化し得る。変化は、ユーザ装置によって報告され得、または、ネットワークが使用されているデータレートをサポートする困難さを有していること、及び、現在利用可能なデータレートが使用のために利用可能であると決定された元のデータレートより低いことを示すことになる、パケットが欠落されるか所望の時間量を超えて遅延することを示すメッセージまたは信号から検出され得る。
[00090] In response to the request, at
[00091] 動作は、ステップ606からステップ608に進み、例えば、要求の時点での現在の頭の位置等のコンテンツへの要求が初期化されるユーザ装置の現在の頭の位置が0度位置であるようにされる。0度または前方を見ている位置は、いくつかの実施形態において、再初期化が起こるべきであることを再生デバイスが信号で知らせて、ユーザによって再初期化され得る。時間が経つにつれて、ユーザの頭の位置、及び/または、例えば元の頭の位置に対するユーザの頭部の位置の変化は、コンテンツ配信システム104に通知され、更新された位置がコンテンツ配信決定を行うために、以下に説明するように使用される。
[00091] Operation proceeds from
[00092] 動作は、ステップ608から610に進み、要求されたコンテンツに対応する360度シーンの部分が、再生デバイスを初期化するために送られる。少なくともいくつかの実施形態では、初期化は、例えば、360度シーンがN個の部分に分割されているN個の部分等、シーンデータの360度フルの組を送ることを含む。 [00092] Operation proceeds from step 608 to 610, where the portion of the 360 degree scene corresponding to the requested content is sent to initialize the playback device. In at least some embodiments, the initialization includes sending a 360 degree full set of scene data, eg, N parts where the 360 degree scene is divided into N parts.
[00093] ステップ610における初期化の結果として、再生デバイスは、360度の可能な視野領域の異なる部分の各々に対応するシーンデータを有する。従って、再生デバイスのユーザが突然後方に向いた場合少なくともいくつかのデータは、ユーザが彼の頭を回す前に見ていた部分と同じに最新でない場合でも、ユーザに表示するために利用可能である。
[00093] As a result of the initialization in
[00094] 動作は、ステップ610からステップ612とステップ622に進む。ステップ622は、グローバル更新期間毎に少なくとも1回、360度シーン全体の更新されたバージョンを再生デバイスが受け取ることを確実にするために使用される、グローバルシーン更新経路に対応する。ステップ610で初期化されているとして、グローバルな更新プロセスは、所定時間期間の間の待機ステップ622において遅延される。そして、ステップ624で、360度のシーン更新が行われる。破線矢印613は、シーン部分が、ステップ622に対応する補助期間の間に再生デバイスに通信されていた情報の通信を表す。ステップ624において、360度シーン全体が送信され得る。しかし、いくつかの実施形態では、全てではない部分がステップ624において送信される。待機期間622の間に更新されるシーンの部分は、いくつかの実施形態において、それらが、ユーザの頭の位置に基づいてシーンの少なくともいくつかの部分を送る通常のストリーミングプロセス中に既にリフレッシュされているので、ステップ624において実行される更新から除かれる。
[00094] Operation proceeds from
[00095] 動作は、ステップ624から待機ステップ622に戻り、待機が、次のグローバル更新の前に実行される。なお、ステップ622において使用される待機期間を調節することによって、異なるグローバルリフレッシュレートが使用され得ることが理解されるべきである。いくつかの実施形態では、コンテンツサーバは、提供されているシーンコンテンツの種類に基づいて、待機期間を、従って、グローバル基準期間を選択する。主なアクションが前方に面した領域にあり、リフレッシュのための理由の1つが屋外の照明条件の変化の可能性であるスポーツイベントの場合には、待機期間は、例えば、分または数分のオーダーで、比較的長くすることができる。アクションや観衆の行動が異なる曲が演じられる度に頻繁に変わり得るロックコンサートの場合において、ユーザは、振り向き、観衆のリアクションを見て、正面のステージ視野領域で進行中のことに加えて、観衆に起きていることの雰囲気を得たいので、グローバルリフレッシュレートはスポーツイベントのためよりも高くあり得る、いくつかの実施形態ではそうある。
[00095] Operation returns from
[00096] いくつかの実施形態では、グローバル参照期間は、ストリーミングされるプレゼンテーションの部分の関数として変更される。例えば、スポーツイベントのゲーム部分の間、グローバルリフレッシュレートが比較的低いが、タッチダウン後のしばらくの間、または、イベントにおける人または再生デバイスを介してイベントを見ている人が前方の主たる領域から彼または彼女の頭の向きを変える可能性が高いタイムアウトまたは休憩の間は、グローバル基準レートは、ステップ622で使用される、例えば、リフレッシュ期間制御等の待機時間を減らすことによって、増加することができる。
[00096] In some embodiments, the global reference period is changed as a function of the portion of the presentation that is streamed. For example, during the game portion of a sporting event, the global refresh rate is relatively low, but for some time after touchdown, or the person at the event or watching the event via a playback device from the main area ahead During a timeout or break that is likely to change his or her head orientation, the global reference rate may be increased by reducing the waiting time used in
[00097] グローバルリフレッシュプロセスがステップ622及び624を参照して説明されているが、シーンの部分の通常の供給が記載される。理解されるように、シーンまたはシーン部分の通常のリフレッシュは、サポートされている映像フレームレートで、データレートが可能にして、少なくとも一部について起こる。従って、少なくとも1つのフレーム部分について、例えば、彼または彼女の頭が向いていることを示されている部分は、利用可能なデータレートが十分であると想定すると、フル映像ストリーミングフレームレートで供給される。
[00097] Although the global refresh process has been described with reference to
[00098] ステップ612において、シーンの部分は、ユーザの、例えば、視野角度等の示された頭の位置に基づいて提供されるために選択される。選択された部分は、例えば、定期的なベースで、再生装置に、例えば、ストリーミングされる等、送信される。部分に対応するデータがストリーミングされるレートは、いくつかの実施形態において、映像フレームレートに依存する。例えば、少なくとも1つの選択された部分は、サポートされているフルフレームレートでストリーミングされる。少なくとも1つのシーン部分がステップ612で選択されるが、例えば、ユーザが面しているシーン部分並びに次に最も近いシーン部分等の複数のシーン部分が、通常、選択される。追加のシーン部分も選択され、利用可能なデータレートが複数のフレーム部分の通信をサポートするのに十分である場合に供給され得る。
[00098] In
[00099] ストリーミングされるべきシーン部分がステップ612で選択された後、動作はステップ614に進み、例えば、利用可能なデータレートやユーザの視野位置に基づいて、選択されたストリーム部分のエンコードバージョンが選択される。例えば、現在報告されている頭の部分によって示されるような、ユーザが面しているシーン部分のフルレート高解像度バージョンが、通常、ストリーミングされ得る。現在の頭の位置の左及び/または右への1つ以上のシーン部分は、現在見られていないシーンを送信するために必要とされる帯域幅の量を低減する、より低い解像度、より低い時間レート、または、他のエンコーディング手法を用いるとして、ストリーミングされるように選択され得る。隣接するシーン部分のエンコードバージョンの選択は、現在見られているシーン部分の高品質バージョンが送信された後にストリーミングする帯域幅の量に依存する。現在見られていないシーン部分が、より低い解像度のエンコードバージョンとして、または、フレーム間のより大きな時間的間隔をもったエンコードバージョンとして送られ得るが、フル解像度の高品質バージョンは、利用可能な十分な帯域幅がある場合、定期的に、または、頻繁に送られ得る。
[00099] After the scene portion to be streamed is selected at
[000100] ステップ616において、選択されたシーン部分の選択されたエンコードバージョンが、コンテンツを要求した再生デバイスに送られる。従って、ステップ616において、例えば、複数の連続したフレームに対応する立体視映像コンテンツ等の1つ以上の部分に対応するエンコードされたコンテンツが、再生デバイスにストリーミングされる。
[000100] At
[000101] 動作はステップ616からステップ618に進み、ユーザの現在の頭の位置を示す情報が受け取られる。この情報は、定期的に、及び/または、頭の位置の変化を検出することに応答して再生デバイスから送られ得る。頭の位置の変化に加えて、利用可能なデータレートの変化が、何のコンテンツがストリーミングされるかに影響し得る。動作は、ステップ618からステップ620に進み、再生デバイスへのコンテンツ配信のために使用することができる現在のデータレートの決定がなされる。従って、コンテンツ配信システムは、要求している装置へのストリーミングをサポートするために利用可能な帯域幅の量の変化を検出することができる。
[000101] Operation proceeds from
[000102] 動作はステップ620からステップ612に進み、コンテンツが配信されきる、例えば、番組またはイベントの終了、まで、または、コンテンツを要求した再生デバイスから、セッションが終了されるべきであることを示す信号が受け取られるまで、または、再生デバイスがもはやコンテンツサーバ114との通信状態にないことを示す、頭の位置更新が検出される等の再生デバイスからの期待される信号を受けることに失敗するまで、ストリーミングが継続する。
[000102] Operation proceeds from
[000103] 上述の方法で配信されたシーンデータから、再生デバイスは、ユーザが彼または彼女の頭を素早く回した場合に表示するために、それに利用可能な各シーン部分に対応する少なくともいくつかのデータを有する。ユーザが彼らの頭を非常に短い時間期間で完全に回すことは、これが多くの人にとって見る位置における不快な変化であるので、めったにないことが理解されるべきである。従って、フル360度シーンが常時送信されていないが、所与の時間に見られる可能性が最も高いシーン部分(または、複数の部分)の高品質バージョンがストリーミングされ、ユーザに利用可能にされる。 [000103] From the scene data delivered in the manner described above, the playback device may display at least some corresponding to each scene portion available to it for display when the user quickly turns his or her head. Have data. It should be understood that it is rare for users to turn their heads completely in a very short period of time, as this is an unpleasant change in the viewing position for many people. Thus, a high quality version of the scene portion (or portions) most likely to be seen at a given time is not streamed at all times, but is streamed and made available to the user. .
[000104] エンコーディングプロセスは、シーンのN個の部分が、各個々のユーザのために別々にコンテンツをエンコードする必要なく、異なるユーザに対して異なって送信され、処理されることを可能にするので、コンテンツ配信システム104は、多くの数の同時のユーザをサポートすることができる。従って、スポーツまたは他のイベントのリアルタイムまたはほぼリアルタイムのストリーミングを可能にするために、リアルタイムエンコーディングをサポートするように、いくつかの並列エンコーダが使用され得るが、使用されるエンコーダの数は、コンテンツがストリーミングされる再生デバイスの数よりもはるか少なくなる傾向がある。
[000104] Because the encoding process allows N parts of the scene to be transmitted and processed differently for different users without having to encode the content separately for each individual user. The
[000105] コンテンツの部分は360度視野に対応する部分として記載されるが、シーンは、いくつかの実施形態では、また、垂直方向の次元を有する空間の平坦化バージョンを表し得る、及び、いくつかの実施形態では表すことが理解されるべきである。再生デバイスは、例えば、宇宙等の3D環境のモデルを使用してシーン部分をマッピングし、垂直方向の視野位置に合わせて調整することができる。従って、本願で検討されている360度は、ユーザが、彼の凝視レベルを保持しながら、彼の視野角を左または右に変えたかのように、水平に関する頭の位置をいう。 [000105] Although the portion of content is described as the portion corresponding to the 360 degree field of view, the scene may also represent a flattened version of the space with vertical dimensions in some embodiments, and how many It should be understood that such embodiments represent. The playback device can map a scene portion using a model of a 3D environment such as the universe and adjust it to the vertical visual field position. Thus, 360 degrees considered in this application refers to the position of the head relative to the horizon, as if the user changed his viewing angle to the left or right while holding his gaze level.
[000106] 図7は、本発明の態様に従って、コンテンツをエンコードし、ストリーミングするために使用され得るエンコード能力をもった例示的なコンテンツ配信システム700を示す。
[000106] FIG. 7 illustrates an exemplary
[000107] システムは、本発明の態様に従って、エンコーディング、記憶、及び、送信、及び/または、コンテンツ出力を実行するために使用され得る。いくつかの実施形態では、システム700、または、その中の要素は、図6に示されたプロセスに対応する動作を実行する。コンテンツ配信システム700は、図1のシステム104として使用され得る。図7に示されたシステムはコンテンツのエンコーディング、処理、及び、ストリーミングのために使用されるが、システム700は、また、例えば、オペレータに、処理され及び/またはエンコードされた画像データを、デコードし、表示する機能を含み得ることが理解されるべきである。
[000107] The system may be used to perform encoding, storage and transmission and / or content output in accordance with aspects of the present invention. In some embodiments, the
[000108] システム700は、ディスプレイ702、入力デバイス704、入力/出力(I/O)インターフェース706、プロセッサ708、ネットワークインターフェース710、及び、メモリ712を含。システム700の様々なコンポーネントは、システム700のコンポーネント間でデータが通信されることを可能にするバス709を介して共に接続される。
[000108] The
[000109] メモリ712は、プロセッサ708によって実行されたとき、システム700を、本発明に従った、分割、エンコーディング、記憶、及び、ストリーミング/送信、及び/または、出力動作を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。
[000109] The
[000110] メモリ712は、プロセッサ708によって実行されたとき、コンピュータシステム700を、本発明に従った、没入型立体視映像取り込み、エンコーディング、記憶、及び、送信及びまたは出力の方法を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ712は、制御ルーチン714、分割モジュール716、エンコーダ(または、複数のエンコーダ)718、ストリーミング制御部720、例えば、シーンの360度立体視映像等の受け取られた入力画像732、エンコードされたシーン部分734、及び、タイミング情報736を含む。いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、モジュールが対応する機能を実行する回路として各モジュールが実装される、例えば、個別の回路として等、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。
[000110]
[000111] 制御ルーチン714は、システム700の動作を制御するために装置制御ルーチンと通信ルーチンを含む。分割モジュール716は、本発明の態様に従って、シーンの受け取られた立体視360度バージョンをN個のシーン部分に分割するように構成される。
[000111] The
[000112] エンコーダ(または、複数のエンコーダ)718は、本発明の態様に従って、例えば、シーンの360度バージョン及び/または1つ以上のシーン部分等の受け取られた画像コンテンツをエンコードするように構成された複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。いくつかの実施形態において、エンコーダ(または、複数もエンコーダ)は、各々のエンコーダが、所与のビットレートストリームをサポートするために立体視シーン及び/または分割されたシーン部分をエンコードするように構成されている、複数のエンコーダを含む。従って、いくつかの実施形態において、各シーン部分は、各シーンについて複数の異なるビットレートストリームをサポートするために複数のエンコーダを用いてエンコードされ得る。エンコーダ(または、複数のエンコーダ)718の出力は、例えば、再生デバイス等の顧客装置へのストリーミングのためにメモリに記憶されるエンコードされたシーン部分734である。エンコードされたコンテンツは、ネットワークインターフェース710を介して1つ以上の異なる装置にストリーミングされ得る。
[000112] An encoder (or encoders) 718 is configured to encode received image content, such as, for example, a 360 degree version of a scene and / or one or more scene portions, in accordance with aspects of the present invention. Multiple encoders, and in some embodiments. In some embodiments, encoders (or encoders) are configured such that each encoder encodes a stereoscopic scene and / or a segmented scene portion to support a given bit rate stream. A plurality of encoders. Thus, in some embodiments, each scene portion may be encoded using multiple encoders to support multiple different bit rate streams for each scene. The output of the encoder (or encoders) 718 is an encoded
[000113] ストリーミング制御部720は、例えば、通信ネットワーク105上で、エンコードされた画像コンテンツを1つ以上の顧客装置に配信するためのエンコードされたコンテンツのストリーミングを制御するために構成される。様々な実施形態において、フローチャート600の様々なステップは、ストリーミング制御部720の様相によって実装される。ストリーミング制御部720は、要求処理モジュール722、データレート決定モジュール724、現在の頭の位置決定モジュール726、選択モジュール728、及び、ストリーミング制御モジュール730を含む。要求処理モジュール722は、顧客再生装置からの受け取られた画像コンテンツの要求を処理するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース710における受信器を介して受け取られる。いくつかの実施形態において、コンテンツの要求は、要求している再生デバイスの特定を示す情報を含む。いくつかの実施形態において、コンテンツの要求は、顧客再生デバイスによってサポートされるデータレート、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を含み得る。要求処理モジュール722は、受け取られた要求を処理し、更なるアクションをとるために、ストリーミング制御部720の他の要素に受け取られた情報を提供する。コンテンツの要求は、データレート情報と現在の頭の位置情報を含み得るが、様々な実施形態において、再生デバイスによりサポートされるデータレートは、ネットワークテスト、及び、システム700と再生デバイスとの間の他のネットワーク情報交換から決定され得る。
[000113] The
[000114] データレート決定モジュール724は、顧客装置に画像コンテンツをストリーミングするよう構成され、例えば、複数のエンコードされたシーン部分がサポートされるので、コンテンツ配信システム700は、複数のデータレートで、コンテンツを顧客装置にストリーミングすることをサポートし得る。データレート決定モジュール724は、更に、システム700からのコンテンツを要求している再生デバイスによってサポートされるデータレートを決定するように構成される。いくつかの実施形態において、データレート決定モジュール724は、ネットワーク測定に基づいて、画像コンテンツの配信のための利用可能なデータレートを決定するように構成される。
[000114] The data
[000115] 現在の頭の位置決定モジュール726は、再生デバイスから受け取られた情報から、例えば、ヘッドマウントディスプレイの位置等、ユーザの現在の視野角及び/または現在の頭の位置を決定するように構成される。いくつかの実施形態において、再生デバイスは、定期的に、現在の頭の位置情報をシステム700に送り、そこでは、現在の頭の位置決定モジュール726が、現在の視野角、及び/または、現在の頭の位置を決定するために、情報をadプロセス(ad processes)で受け取る。
[000115] The current head
[000116] 選択モジュール728は、ユーザの現在の視野角/頭の位置情報に基づいて、360度シーンのどの部分を再生デバイスにストリーミングするかを決定するように構成される。選択モジュール728は、更に、コンテンツのストリーミングをサポートするために利用可能なデータレートに基づいて、決定されたシーン分のエンコードバージョンを選択するように構成される。
[000116] The
[000117] ストリーミング制御部730は、本発明の態様に従って、様々なサポートされたデータレートで、例えば、360度立体視シーンの複数の部分等の画像コンテンツのストリーミングを制御するように構成される。いくつかの実施形態において、ストリーミング制御モジュール730は、再生装置におけるシーンメモリを初期化するために、コンテンツを要求している再生装置に360度立体視シーンのストリームのN部分を制御するように構成される。様々な実施形態において、ストリーミング制御モジュール730は、例えば、決定されたレート等で、定期的に、決定されたシーン部分の選択されたエンコードバージョンを送るように構成される。いくつかの実施形態では、ストリーミング制御モジュール730は、更に、例えば、毎分に1回等の時間間隔に応じて、再生装置に360度シーン更新を送るように構成される。いくつかの実施形態において、360度シーン更新を送ることは、フル360度立体視シーンのN個のシーン部分またはN−X個のシーン部分を送ることを含み、ここで、Nは、フル360度立体視シーンが分割されている総数であり、Xは、最近再生装置に送られた、選択されたシーン部分を表す。いくつかの実施形態において、ストリーミング制御モジュール730は、360度シーン更新を送る前に初期化のために最初にN個のシーン部分を送った後、所定の時間の間待機する。いくつかの実施形態において、360度シーン更新の送りを制御するためのタイミング情報は、タイミング情報736に含まれる。いくつかの実施形態において、ストリーミング制御モジュール730は、更に、リフレッシュ間隔中に再生デバイスに送信されていないシーン部分を特定し、リフレッシュ間隔中に再生デバイスに送信されなかった特定されたシーン部分の更新バージョンを送信するように構成される。
[000117] The streaming controller 730 is configured to control streaming of image content, such as portions of a 360 degree stereoscopic scene, for example, at various supported data rates, in accordance with aspects of the present invention. In some embodiments, the streaming control module 730 is configured to control the N portion of the 360 degree stereoscopic scene stream to the playback device requesting content to initialize the scene memory at the playback device. Is done. In various embodiments, the streaming control module 730 is configured to send a selected encoded version of the determined scene portion periodically, eg, at a determined rate. In some embodiments, the streaming control module 730 is further configured to send a 360 degree scene update to the playback device, eg, in response to a time interval such as once per minute. In some embodiments, sending a 360 degree scene update includes sending N scene portions or NX scene portions of a full 360 degree stereoscopic scene, where N is full 360 Is the total number of divided stereoscopic scenes, and X represents the selected scene portion that was recently sent to the playback device. In some embodiments, the streaming control module 730 waits for a predetermined time after first sending N scene portions for initialization before sending a 360 degree scene update. In some embodiments, timing information for controlling the sending of 360 degree scene updates is included in timing
[000118] 様々な実施形態において、再生デバイスが、各リフレッシュ期間の間に少なくとも1度、前記シーンの260度バージョンをフルにリフレッシュすることを可能にするために、ストリーミング制御モジュール730は、定期的なベースで、再生デバイスにN個の部分の少なくとも十分な数を通信するように構成される。 [000118] In various embodiments, the streaming control module 730 periodically updates the playback device to allow the playback device to fully refresh the 260 degree version of the scene at least once during each refresh period. Is configured to communicate at least a sufficient number of the N parts to the playback device on a flexible basis.
[000119] 図8は、本発明に従って実装された再生システム800を示し、図1と7に示されたものように、コンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、表示するために使用され得る。システム800は、ディスプレイ802を含む単一の再生デバイス800’として、または、コンピュータシステム800に接続された、例えば、ヘッドマウントディスプレイ805等の外部ディスプレイ等の要素の組み合わせとして実装され得る。
[000119] FIG. 8 illustrates a
[000120] 少なくともいくつかの実施形態において、再生システム800は、3Dヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ805を含み得る、OCULUS社のRIFT(商標)のVR(virtual reality)ヘッドセットを用いて実装され得る。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、ヘッドマウントヘルメットまたは他のヘッドマウントデバイスは、1つ以上のディスプレイスクリーンが、ユーザの左と右の眼にコンテンツを表示するために使用される。単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別々に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウント装置に挿入され、セルフォンは、画像を表示するために使用される。
[000120] In at least some embodiments, the
[000121] 再生システム800は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像及び/またはモノ(単一の画像)等の受け取られたエンコード画像データをデコードし、例えば、3D画像としてユーザによって知覚される異なる左と右の眼の視野を描画し、表示することによって、顧客への表示のために3D画像コンテンツを生成する能力を有する。いくつかの実施形態において、再生システム800は、家庭やオフィス等の顧客宅内場所に配置されるが、同様に、画像取り込みサイトに配置されてもよい。システム800は、本発明に従って、信号受信、デコーディング、表示、及び/または、他の動作を実行することができる。
[000121] The
[000122] システム800は、ディスプレイ802、ディスプレイデバイスインターフェース803、入力デバイス804、入力/出力(I/O)インターフェース806、プロセッサ808、ネットワークインターフェース810、及び、メモリ812を含む。システム800の様々なコンポーネントは、データがシステム800のコンポーネント間で通信されることを可能にするバス809を介して、及び/または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ802は、破線の枠を用いて図示されているように、オプションとしての要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス805が、ディスプレイデバイスインターフェース803を介して再生デバイスに接続され得る。
[000122] The
[000123] 例えば、セルフォンプロセッサがプロセッサ808として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合に、システムは、ヘッドマウント装置の部分として、プロセッサ808、ディスプレイ802、及び、メモリ812を含み得る。プロセッサ808、ディスプレイ802、及び、メモリ812は、全て、セルフォンの部分であってよい。システム800の他の実施形態において、プロセッサ808は、ディスプレイ805がヘッドマウント装置に搭載され、ゲームシステムに接続されている、XBOX、または、PS4等のゲームシステムの部分であってよい。プロセッサ808またはメモリ812が、頭部に装着される装置に設けられるか否かは重要なことではなく、理解され得るように、いくつかの場合において、ヘッドギアにプロセッサを共に設けることは便利かもしれないが、少なくともいくつかの場合には、電力、熱、及び、重量の観点から、ディスプレイを含むヘッドギアにプロセッサ808とメモリ812を接続されるようにすることが望ましくあり得る。
[000123] For example, if a cellphone processor is used as the
[000124] 様々な実施形態がヘッドマウントディスプレイ805または802を想定しているが、方法および装置は、また、3D画像をサポートすることができるヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム800はヘッドマウントディスプレイを含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000124] Although various embodiments assume a head-mounted
[000125] メモリ812は、プロセッサ808によって実行されたとき、再生デバイス800を、本発明に従ったデコーディングと出力動作を実行するように制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ812は、制御ルーチン814、コンテンツの要求生成モジュール816、頭の位置及び/または視野角決定モジュール818、デコーダモジュール820、3D画像生成モジュールとも呼ばれる立体視画像描画モジュール822、受け取られたエンコードされた画像コンテンツ824を含むデータ/情報、デコードされた画像コンテンツ826、360度のデコードされたシーンバッファ828、及び、生成された立体視コンテンツ830を含む。
[000125] The
[000126] 制御ルーチン814は、デバイス800の動作を制御するために、制御ルーチンと通信ルーチンを含む。要求生成モジュール816は、コンテンツを提供するためのコンテンツ配信システムに送るために、コンテンツ要求を生成するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース810を介して送られる。頭の位置及び/または視野角決定モジュール818は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の視野角及び/または現在の頭の位置を決定し、決定された位置及び/または視野角情報をコンテンツ配信システム700に報告するよう構成される。いくつかの実施形態では、再生デバイス800は、定期的に、現在の頭の位置情報をシステム700に送る。
[000126] The
[000127] デコーダモジュール820は、デコードされた画像データ826を生成するために、エンコードされた画像コンテンツ824をデコードするよう構成される。デコードされた画像データ826は、デコードされた立体視シーン及び/またはデコードされたシーン部分を含み得る。
[000127] The
[000128] 3D画像描画モジュール822は、ディスプレイ802及び/またはディスプレイデバイス805上でのユーザへの表示のために、例えば、デコードされた画像コンテンツ826を使用して、本発明の態様に従って、3D画像として知覚される方法で表示される、例えば、左と右の眼の画像といった3D画像を生成する。生成された立体視画像コンテンツ830は、3D画像生成モジュール822の出力である。従って、描画モジュール822は、ディスプレイに3D画像コンテンツ830を描画する。いくつかの実施形態において、ディスプレイデバイス805は、Oculus社のRift等の3Dディスプレイ機器の部分であってよい。再生デバイス800のオペレータは、入力デバイス804を介して1つ以上のパラメータを制御し、及び/または、例えば、3Dシーンを表示するために選択する等、実行されるべき動作を選択し得る。
[000128] The 3D
[000129] 図9は、3つの異なる搭載位置に搭載された3つのカメラペア902、904、906を有した、時にはカメラリグまたはカメラアレイと呼ばれる例示的なカメラアセンブリ900と、カメラアセンブリ900を較正するために使用され得る較正ターゲット915とを示す図を表す。カメラのリグ900は、本発明のいくつかの実施形態に従って、画像コンテンツを取り込むために使用される。いくつかの実施形態において、カメラリグ900は、図1の画像取り込みデバイス102として用いられる。カメラリグ900は、示された位置にカメラ、立体視カメラ(901、903)、(905、907)、(909、911)の3つのペア902、904、906で合計6台のカメラ、を保持する支持構造(図11に示される)を含む。支持構造は、カメラを支持し、カメラが搭載されるプレートが固定され得る搭載板(図11に示された要素1120を参照)とこの中で呼ばれる基部1120を含む。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料で作られ得、カメラ間の間隔との関係を示すためにも使用される三角形を形成する線によって表される。点線が交差する中心点は、いくつかであるが、必ずしも全てではない実施形態において、カメラペア902、904、906が回転し得る中心節点を表す。いくつかの実施形態において、中心結節点は、三角形の線によって表されたカメラ支持フレーム912が回転する中心となる、例えば、三脚基部の、スチールロッドまたはネジ切りされた中央マウントに対応する。支持フレームは、その中にカメラが搭載されるプラスチック筐体、または、三脚構造であってよい。
[000129] FIG. 9 calibrates the
[000130] 図9において、カメラの各ペア902、904、906は、異なるカメラペア位置に対応する。第1のカメラペア902は、正面に向いた位置に対して前方0度に対応する。この位置は、例えば、スポーツゲームがプレイされているフィールド、ステージ、または、主なアクションが起こる可能性があるいくつかの他の領域等の主たる関心のシーン領域に通常対応する。第2のカメラペア904は、120度のカメラ位置に対応し、右後方視野領域を取り込むために使用される。第3のカメラペア906は、240度位置(0度位置に対して)で、左後方視野領域に対応する。3つのカメラ位置が120度離れていることを注記する。各カメラ視野位置は、図9において1つのカメラペアを含み、各カメラペアは、画像を取り込むために使用される左カメラと右カメラを含む。左カメラは、時に左眼画像と呼ばれるものを取り込み、右カメラは、時に右眼画像と呼ばれるものを取り込む。画像はビューシーケンスの部分であるか、1回以上取り込まれた静止画像であってよい。通常、カメラペア902に対応する少なくとも正面カメラ位置は、高品質映像カメラで定着される。他のカメラ位置は、高品質のビデオカメラでも、低画質映像カメラでも、静止またはモノ画像を取り込むために使用される単一のカメラで定着されてもよい。いくつかの実施形態において、第2及び第3のカメラ実施形態は未定着のまま残され、第1のカメラペア902が3つのカメラ位置に対応するが、異なる回に画像を取り込むことを可能にして、カメラが搭載された支持板が回転される。いくつかのそのような実施形態では、左と右後方の画像は、以前に取り込まれて記憶され、その後、前方カメラ位置の映像がイベント中に取り込まれる。取り込まれた画像は、1つ以上の再生デバイスに、例えば、イベントがまだ進行中の間、リアルタイムでエンコードされ、ストリーミングされ得る。
In FIG. 9, each
[000131] 図9に示された第1のカメラペアは、左カメラ901と右カメラ903とを含む。左カメラ901は、第1のカメラに固定された第1のレンズアセンブリ920を有し、右カメラ903は、右カメラ903に固定された第2のレンズアセンブリ920を有する。レンズアセンブリ920、920’は、広角視界が取り込まれることを可能にするレンズを含む。いくつかの実施形態では、各レンズアセンブリ920、920’は、魚眼レンズを含む。従って、カメラ902、903の各々は、180度視界または約180度を取り込み得る。いくつかの実施形態では、180度より少ないものが取り込まれるが、いくつかの実施形態では、隣接するカメラペアから取り込まれた画像中で少なくとも幾分かの重複が依然として存在する。図9の実施形態において、カメラペアは、第1(0度)の、第2(120度)の、第3(240度)のカメラ搭載位置の各々に設けられ、各ペアは環境の少なくとも120度またはそれ以上を取り込むが、多くの場合には、各カメラペアは、環境の180度またはほぼ180度を取り込む。
The first camera pair shown in FIG. 9 includes a
[000132] 第2 904、及び、第3 906のカメラペアは、第1のカメラペア902と同じまたは類似であるが、正面の0度位置に対して120と240度のカメラ搭載位置に設けられる。第2のカメラペア904は、左カメラ905と左レンズアセンブリ922と右カメラ907と右カメラレンズアセンブリ922’を含む。第3のカメラペア906は、左カメラ909と左レンズアセンブリ924と右カメラ911と右カメラレンズアセンブリ924’とを含む。
[000132] The second 904 and third 906 camera pairs are the same or similar to the
[000133] 図9において、Dは、カメラ901、903の第1の立体視ペアの軸間距離を表す。図9の例では、Dは、平均的な人の左と右の眼の瞳孔間の距離と同じであるか、同等である117mm(ミリメートル)である。図9における破線950は、パノラマアレイの中心点から右カメラレンズ920’の入射瞳までの距離(別名、節オフセット(nodal offset))を示す。図9の例に対応する一実施形態では、参照番号950によって示される距離は315mm(ミリメートル)であるが、他の距離も可能である。
In FIG. 9, D represents the interaxial distance of the first stereoscopic pair of the
[000134] 1つの特定の実施形態では、カメラリグ900のフットプリント(footprint)は、640mm2(平方ミリメートル)またはそれより小さい水平領域であって、比較的小さい。このような小さなサイズは、例えば、ファンや観客が通常居るか位置される着座位置において等、カメラリグが観客の中に設置されることを可能にする。従って、いくつかの実施形態では、見る者が、そのような効果が望まれる観客の一員であるとの感覚をもつことを可能にして、カメラリグは観客エリアに設置される。いくつかの実施形態でのフットプリントは、いくつかの実施形態においてセンター支持ロッドを含む支持構造が搭載され、または、支持タワーが設けられる基部のサイズに対応する。理解されるように、いくつかの実施形態におけるカメラリグは、カメラの3つのペアの間の中心点に対応する基部の中心点の周りに回転し得る。他の実施形態では、カメラは固定されており、カメラアレイの中心の周りを回転しない。
[000134] In one particular embodiment, the footprint of the
[000135] カメラリグは比較的近いだけでなく、明瞭な被写体を取り込むことが可能である。1つの特定の実施形態において、カメラアレイの最小撮像距離は649mm(ミリメートル)であるが、他の距離も可能であり、この距離は何ら重要ではない。 [000135] The camera rig is not only relatively close, but can capture a clear subject. In one particular embodiment, the minimum imaging distance of the camera array is 649 mm (millimeters), but other distances are possible and this distance is not critical.
[000136] カメラアセンブリの中心から第1と第3のカメラ部品の視野の交点951までの距離は、第1と第2のカメラペアによって取り込まれた画像を較正するために使用され得る例示的な較正距離を表す。ターゲット915は、最大歪みの領域に、または、それをわずかに越えて設けられたカメラペアからの既知の距離に置かれ得ることを注記する。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットは、カメラペアのカメラによって取り込まれる画像のサイズを較正するために使用され得、使用される。そのような較正は、較正ターゲットの大きさと位置が較正ターゲット915の画像を取り込むカメラに対して既知であるので、可能である。
[000136] The distance from the center of the camera assembly to the
[000137] 図10は、図9に示されたカメラアレイのより詳細な図1000である。カメラリグは、再び、6台のカメラとともに示されているが、いくつかの実施形態では、カメラリグは、例えば、カメラペア902等、2つのみのカメラで定着される。示されているように、カメラペア搭載位置の各々の間に120度の分離がある。第1のカメラ搭載位置が0度に対応し、第2のカメラ搭載位置が120度に対応し、第3のカメラ搭載位置が240度に対応する場合のように、例えば、各カメラペアの間の中心がカメラ搭載位置の方向に対応するかを考える。従って、各カメラ搭載位置は、120度だけ分離される。これは、各カメラペア902、904、906の中心を通って延びる中心線が延長されたように見られ得、線間の角度が測定される。
[000137] FIG. 10 is a more
[000138] 図10の例では、カメラのペア902、904、906は、カメラリグ基部の位置を変更する必要なく、異なる視野が異なる回に取り込まれることを可能にして、カメラリグの中心点の周りを回転し得る、及び、いくつかの実施形態では回転する。即ち、カメラがリグの中心支持部の周りを回転され、それが2つのみのカメラで定着されるが、図10に示されたリグを用いて360度シーン取り込みを可能にすべく、異なる回に異なるシーンを取り込むことを可能にされ得る。そのような構成は、立体視カメラのコストを考慮したコストの観点から特に好ましく、同じ視点からであるが、スポーツイベントまたは他のイベントの間の主たるアクションを含む正面シーンが起こり得る時点とは異なる時点で取り込まれる背景を示すことが望まれ得る多くの用途に適している。例えば、イベントの間に、主たるイベントの間に示されないことが好ましいカメラの後ろに被写体が置かれ得ることを考える。そのようなシナリオでは、後方画像は主たるイベントの前に取り込まれ得、時には取り込まれ、画像データの360度の組を提供するために、主たるイベントのリアルタイムで取り込まれた画像データと共に利用可能にされる。
[000138] In the example of FIG. 10, the
[000139] 図11は、1つの例示的な実施形態に従って実装される例示的なカメラリグ1100の詳細図を示す。図11から理解され得るように、カメラリグ1100は、いくつかだが全てではない実施形態において立体視カメラである3つのカメラのペア1102、1104、及び、1106を含む。各カメラペアは、いくつかの実施形態において、2つのカメラを含む。カメラペア1102、1104、及び、1106は、図9−10について上述されたカメラペア902、904、906と同じまたは類似である。いくつかの実施形態では、カメラペア1102、1104、及び、1106がカメラリグ1100の支持構造1120上に搭載される。いくつかの実施形態では、カメラの3ペア(6台のカメラ)1102、1104、及び、1106が、それぞれのカメラペア搭載板を介して支持構造1120上に搭載される。支持構造1120は、立体視カメラペアを搭載するために3つの搭載位置を含み、各搭載位置は異なる120度視野領域に対応する。図11の図示された実施形態では、立体視カメラの第1のペア1102が、3つの搭載位置の第1の位置、例えば、正面位置に搭載され、120度の正面視野領域に対応する。立体視カメラの第2のペア1104は3つの搭載位置の第2の搭載位置、例えば、正面位置に対して時計回りに120度回った背景位置、に搭載され、異なる120度の視野領域に対応する。立体視カメラの第3のペア1106は3つの搭載位置の第3の搭載位置、例えば、正面位置に対して240度時計回りに回った背景位置に搭載され、他の120度視野領域に対応する。カメラリグ1100の3つのカメラ搭載位置は、互いに対して120度だけオフセットされているが、いくつかの実施形態では、カメラリグに搭載された各カメラは、周囲180度の視界を有する。いくつかの実施形態では、この拡張された視界は、カメラ装置において魚眼レンズを使用することによって達成される。
[000139] FIG. 11 shows a detailed view of an
[000140] 搭載板の全てが、示されている図において見えている訳ではないが、カメラペア1102を搭載するために使用されるカメラ搭載板1110が示される。カメラのための搭載板は、ねじが支持基部1120におけるスロットを通って底部から搭載板におけるねじ切りされた穴に抜けるように、スロットを有する。これは、該ペアのための搭載板が、底部からアクセス可能なねじを緩め、カメラペア搭載板を支持構造に固定するためにねじを締めることによって調整されることを可能にする。個々のカメラ位置は、同様に調整され、そして、調整の後に固定される。いくつかの実施形態において、個々のカメラは、上部から搭載板に調整/固定され得、カメラ搭載板は、底部から調整/固定され得る。
[000140] Although not all of the mounting plates are visible in the view shown, a camera mounting plate 1110 used to mount the
[000141] 様々な実施形態において、カメラリグ1100は、支持構造1120が回転可能に搭載される基部1122を含む。従って、様々な実施形態において、支持構造1120上のカメラアセンブリは、基部の中心を通る軸の周りを360度回転され得る。いくつかの実施形態では、基部1122は、三脚または他の搭載装置の部分であってよい。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料からできている。カメラペアは、いくつかの実施形態において、時に中心節点と呼ばれることもある、中心点の周りに回転され得る。
[000141] In various embodiments, the
[000142] 上記要素に加えて、いくつかの実施形態では、カメラリグ1100は、更に、2つのシミュレートされた耳1130、1132を含む。これらのシミュレートされた耳1130、1132は、人間の耳の形状に成形されたシリコンからできている。シミュレートされた耳1130、1132は、平均的な人の人間の耳の間の間隔に等しいか、ほぼ等しい距離だけ互いに離されている2つの耳をもったマイクロフォンを含む。シミュレートされた耳1130、1132に搭載されたマイクロフォンは正面を向いているカメラペア1102上に搭載されているが、代わりに、例えば、プラットフォーム120等の支持構造上に搭載されることもできる。シミュレートされた耳1130、1132は、人の耳が人の頭の眼の前面に垂直に位置しているのと同様に、カメラペア1102の前面に垂直に位置付けられる。シミュレートされた耳1130、1132の側面の穴は、シミュレートされた耳の側部の音響の入り口として機能し、シミュレートされた耳と穴は、人の耳が人の耳に含まれた鼓膜に音響を向けるように、シミュレートされた耳の各1つに搭載されたマイクロフォンの方に音響を向けるように組み合わせで機能する。左と右のシミュレートされた耳1130、1132におけるマイクロフォンは、カメラリグの位置に設けられるならば、カメラリグ1100の場所にいる人が人の左右の耳を介して知覚するものと同様のステレオ音響取り込みを提供する。
[000142] In addition to the above elements, in some embodiments, the
[000143] 図11は3つの立体視カメラペアを有する例示的なカメラリグ1100の一構成を示しているが、他の変形が可能であり、範囲内にあることが理解されるべきである。例えば、1つの実装例では、カメラリグ1100は、例えば、カメラリグの中心点の周りを回転することができる立体視カメラの1つのペアが、360度シーンの異なる部分が異なる回に取り込まれることを可能にする等、単一のカメラペアを含む。従って、単一のカメラペアは、支持構造上に搭載され、リグの中心支持部の周りを回転され、360度シーン取り込みを可能にして、異なる回に異なるシーンを取り込むことを可能にされ得る。
[000143] Although FIG. 11 illustrates one configuration of an
[000144] 図12は、360度シーンの異なる部分を取り込む、それぞれのカメラの異なるカメラ位置に対応する異なる視野領域/部分に分割され得る、例えば、360度シーン領域等の例示的な360度シーン環境1200を示す。図示された例において、360度シーン領域1200は、例えば、カメラリグ1100上に搭載され、図9、10、及び、11に示されたように位置付けられたカメラ等の3つの異なるカメラ/カメラペアによって取り込まれる3つの180度ゾーンに対応する3つの部分に分割される。360度シーン1200上の0度マークは、シーンの中央であると考えられ得る。魚眼レンズが使用されないいくつかの実施形態において、各カメラの視界は約120度であり、結果、カメラがほぼ120度のシーン領域を取り込むことを可能にする。そのような実施形態では、異なる120度シーン部分の境界は、360度シーンが各々120度の3つの部分の分割である黒の実線を使用して、図に示される。カメラが魚眼レンズで装着される実施形態において、各カメラの視界は約180度(+5度)に広がり、従って、カメラが、ほぼ180度(+5度)シーン領域を取り込むことを可能にする。
[000144] FIG. 12 illustrates an exemplary 360 degree scene, such as a 360 degree scene area, that may be divided into different field of view areas / portions that capture different parts of the 360 degree scene and that correspond to different camera positions for each camera. An
[000145] 0度マークの左右90度をカバーする第1のゾーン(270度から90度までの180度正面シーン領域に対応)は、例えば、カメラがほぼ180度の視界をもつことを可能にする魚眼レンズを装着されて、正面シーン領域を取り込むよう位置決めされたカメラペア1102等の第1のカメラによって取り込まれ得る。第2のゾーン(ゾーン2)は、例えば、魚眼レンズが装着されて、後方右側シーン領域を取り込むよう位置付けられたカメラペア1104等の第2のカメラによって取り込まれ得る、30度から210度までの180度後方右側シーン領域に対応し、第3のゾーン(ゾーン3)は、例えば、魚眼レンズが装着され、後方左側シーン領域を取り込むよう位置決めされたカメラペア1106等の第3のカメラによって取り込まれ得る、150度から330度までの180度後方左側シーン領域に対応する。凡例1250は、例えば、異なるゾーン下でカバーされるシーン領域の開始と終了をマーキングする、異なるゾーン境界を示すために使用される異なるラインパターンを特定する情報を含む。異なるカメラによってカバーされる3つの異なるゾーン下のシーン領域の間に実質的な重複があることが、図から理解され得る。図12の図示された例では、ゾーン1とゾーン2との間の重なりは60度、即ち、30度から90度下のシーン領域であり、ゾーン2とゾーン3との間の重なりは再び60度、即ち、150度から210度下のシーン領域であり、ゾーン3とゾーン1との間の重なりは60度、即ち、270度から330度下のシーン領域である。図示された例では、重なりは60度であるが、異なった多様な重複が可能であることが理解されるべきである。いくつかの実施形態では、2つの異なるシーンカバレッジ領域間の重なりは、30度から60度の間である。
[000145] The first zone that covers 90 degrees left and right of the 0 degree mark (corresponding to the 180 degree front scene area from 270 degrees to 90 degrees), for example, allows the camera to have a field of view of approximately 180 degrees Can be captured by a first camera, such as
[000146] いくつかの実施形態では、コンテンツプロバイダは、異なるカメラによって取り込まれた360度シーン領域の異なる部分に対応するコンテンツを含むコンテンツストリームを発行、例えば、マルチキャスト、する。いくつかの実施形態では、異なってエンコードされている、異なるシーン領域に対応するコンテンツの複数のバージョンは、コンテンツプロバイダによってマルチキャストされ、特定のバージョンをサポートする及び/または好む再生デバイスは、デコードし、再生するために、好適なコンテンツストリームを選択し得る。いくつかの実施形態の1つの態様によれば、再生デバイスは、ユーザの現在の視界を示す現在の頭の位置を追跡し、再生における使用のために受け取るために、360度シーン領域の一部に対応するコンテンツを含む利用可能なコンテンツストリームのどの1つ以上を選択するかを決定する。例えば、ユーザの頭の位置が、ユーザがまっすぐ前方を見ている/眺めている場合、再生デバイスは、360度シーンの180度前方部分を通信しているストリームをデコードするが、ユーザの頭の位置と視野角が変わった時、再生デバイスは、例えば、360度シーン領域の後方右側、後方左側、後方等のユーザの現在の視野角に適応するシーン部分に対応するストリームをデコードする。いくつかの実施形態では、例えば、正面180度等の360度シーン領域の第1の部分に対応するコンテンツを含むストリームは、360度シーンの正面部分を取り込むために使用された正面を向くカメラペアの左右のカメラによって取り込まれたシーン領域を含む。 [000146] In some embodiments, a content provider publishes, eg, multicasts, a content stream that includes content corresponding to different portions of a 360 degree scene region captured by different cameras. In some embodiments, multiple versions of content that are encoded differently and that correspond to different scene regions are multicast by a content provider, and a playback device that supports and / or prefers a particular version decodes, A suitable content stream may be selected for playback. According to one aspect of some embodiments, a playback device tracks a current head position that indicates a user's current view and receives a portion of a 360 degree scene region for use in playback. To determine which one or more of the available content streams including the content corresponding to. For example, if the position of the user's head is looking / viewing straight ahead, the playback device will decode the stream communicating the 180 degree forward portion of the 360 degree scene, When the position and the viewing angle change, the playback device decodes the stream corresponding to the scene portion that adapts to the user's current viewing angle, eg, the back right side, back left side, back, etc. of the 360 degree scene region. In some embodiments, for example, a stream that includes content corresponding to a first portion of a 360 degree scene region, such as 180 degrees front, is a front-facing camera pair that was used to capture the front part of the 360 degree scene. Scene areas captured by the left and right cameras.
[000147] 図13は、例示的な360度シーン領域の視野領域/部分をカバーするために位置付けられ得る、例えば、例示的なカメラリグ1100上で、異なるカメラによって取り込まれ得る図12の例示的な360度シーン領域の異なる部分を示す例を図示する。図13の例は、例示的な360度シーン領域の異なる部分を示す図1300、1320、及び、1350を含む。しかし、図から理解され得るように、いくつかの実施形態において、異なるカメラによって取り込まれたシーンの異なる部分の各々の少なくとも部分が重複する。異なる網掛けパターンが、異なるカメラ位置に対応するシーン領域の部分を示すために、図1300、1320、1350の各々において使用されている。いくつかの実施形態では、図1300、1320、1350に示される異なるシーン部分は、異なる視野方向に対応するコンテンツを提供する異なるコンテンツストリームを介して通信される。図13の例では、シーン部分が約180度の視野領域をカバーするように示されているが、いくつかの実施形態では、シーン部分は、120度から180度までの間をカバーしてよい。
[000147] FIG. 13 may be positioned to cover the field of view / portion of an exemplary 360 degree scene region, eg, the exemplary FIG. 12 that may be captured by different cameras on the
[000148] 図1300は、360度シーン1200の第1の例示的なシーン部分1305を示す。第1の例示的なシーン部分1305は、正面視野方向に対応し、360度シーン環境の内の180度またはほぼ180度の視野領域をカバーする。第1のシーン部分1305は、0度のカメラ位置に位置付けられた、例えば、第1のカメラペア902または1102によって捕えられ得る。第1の例示のシーンの部分1305下の領域は、斜線パターンを使用して図1300に示される。第1の例示のシーン部分1305は、例えば、正面の視野方向に対応するコンテンツのフレームを通信する第1のストリームによって通信され得る。
[000148] FIG. 1300 shows a first
[000149] 図1320は、360度シーン1200の第2の例示的なシーン部分1307(図1320に示された部分1307’と1307’’を含む)を示す。第2の例示的なシーン部分1307は、後方右側視野方向に対応し、30度から210度まで広がる、360度シーン環境の内の180度またはほぼ180度視野領域をカバーする。第2のシーンの部分1307は、図9−10において示されたような120度カメラ位置に位置付けられた、例えば、第2のカメラペア904によって、取り込まれ得る。第2の例示のシーン部分下の領域1307は、水平線パターンを使用して、図1300に示される。図1300と1320とを考慮する。第1と第2のシーン部分1305と1307の間のシーン領域の重なり部分1308を注記する。重なり部分1308は、シーン領域1200の第1と第2のシーン部分1305、1307の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第1及び第2のシーン部分1305、1307間の重なりは、プラス、マイナス2−3度の変位をもって、30度と60度の間である。図13の図示された例では、重なり部分1308は、例えば、30度から90度の領域等、60度である。従って、いくつかの実施形態において、異なるコンテンツストリームによって提供された、及び/または、異なるカメラによって取り込まれた異なる視野方向に対応するシーン領域の少なくとも部分は、重なる。いくつかの他の実施形態では、異なるカメラによって取り込まれる異なる視野方向に対応するシーン領域の間に重複は存在しない。いくつかの実施形態では、第2の例示的なシーン部分1307は、第2の視野方向に対応するコンテンツのフレームを通信する第2のストリームによって通信され得る。
[000149] FIG. 1320 shows a second
[000150] 図1350は、360度シーン1200の第3の例示的なシーン部分1309(図1350に示された部分1309’と1309’’を含む)を示す。第3の例示的なシーン部分1309は、後方左側視野方向に対応し、150度から330度まで広がる、360度シーン環境の内の180度またはほぼ180度視野領域をカバーする。第3のシーン部分1309は、図9−10に示されたような240度カメラ位置に位置付けられた、例えば、第3のカメラペア906等によって取り込まれ得る。第3の例示的なシーン部分1309下の領域は、縦線パターンを使用して、図1300に示される。図1320と1350を考慮する。第2と第3のシーン部分1307と1309間の重複領域部分を組み合わせて構成する、重複部分1310、1310’を注記する。重複部分1310、1310’下の合同した領域は、シーン領域1200の第2と第3のシーン部分1307、1309の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第2と第3のシーン部分1307、1309の間の重なりは、プラス、マイナス2−3度の変位をもって、30度から60度の間である。図13の図示された例では、重なり部分1310、1310’は、共に、例えば、150度から210度までの領域等、約60度カバーを含む。ここで、更に、図1300と1350を考慮する。第1と第3のシーン部分1305と1309の間の重複領域部分を示す、重なり部分1312を注記する。いくつかの実施形態において、第3の例示的なシーン部分1309は、第3の視野方向に対応するコンテンツのフレームを通信する第3のストリームによって通信される。
[000150] FIG. 1350 shows a third
[000151] 図は、本発明のいくつかの態様を理解することを容易にするための例を図示する図13の例の部分として示しているが、他の変形が可能であり、本開示の範囲内であることが理解されるべきである。 [000151] Although the figures are shown as part of the example of FIG. 13 illustrating an example to facilitate understanding of some aspects of the present invention, other variations are possible and It should be understood that it is within range.
[000152] 図14A及び14Bの組合せからなる図14は、本発明の例示的な実施形態による、再生システムを動作させる例示的な方法のステップを示すフローチャート1400である。システムは、図8に示された再生システム800、または、応用において示された他の図のいずれかの再生システムであってよい。
[000152] FIG. 14, comprising a combination of FIGS. 14A and 14B, is a flowchart 1400 illustrating the steps of an exemplary method of operating a playback system, according to an exemplary embodiment of the present invention. The system may be the
[000153] 例示的な方法は、例えば、図19の再生デバイス1900または他の図のいずれかの再生デバイス等の再生デバイスが電源投入され、または、初期化されてステップ1402で開始する。検討の目的のために、再生システムは、例えば、ユーザの左と右の眼が立体視コンテンツの場合に異なる画像を提示されて、画像コンテンツが提示されるディスプレイを含むヘッドマウントディスプレイデバイス1905に接続されたコンピュータシステム1900’を含むことを考える。コンピュータシステム1900’は、ディスプレイを含むヘッドマウントデバイスの外部に示されているが、コンピュータシステム1900’は、それの外部ではなく、ヘッドマウントディスプレイの中に組み込まれ得る。
[000153] The example method begins in step 1402 with a playback device such as, for example,
[000154] 動作は、開始ステップ1402からステップ1404に進む。ステップ1404において、再生システム1900は、例えば、番組ガイドの部分として等、複数のコンテンツストリーム及び/または初期化データに関する情報を受け取る。受け取られた情報は、図18に示されたタイプのものであり、コンテンツを要求する、または、コンテンツに同調するために使用され得る、マルチキャストグループ識別子または他の識別子等のストリームを受け取るために使用され得る情報と共に、どのコンテンツストリームが利用可能であるか、または、利用可能になるであろうかを示す情報を含む。例えば、コンテンツストリームに関連付けられたマルチキャストアドレスが、コンテンツが切り替えられたデジタル映像を介して供給されているときにコンテンツを要求するために使用され得る、受け取られた情報または番組識別子に含まれ得る。ブロードキャストコンテンツの場合には、受け取られた情報は、特定のコンテンツストリームを受け取るために、再生デバイスが同調すべきチャンネル及び/または周波数を示す同調情報を含み得る、及び、時には含む。
[000154] Operation proceeds from start step 1402 to step 1404. In step 1404, the
[000155] ステップ1404で受け取られた情報は、1つ以上の番組のための情報を含み得る。例えば、スポーツイベント、コンサート等の所与の番組について、異なるストリームが、コンテンツが対応する環境におけるカメラ位置に対して異なる視野方向に対応するコンテンツを提供して、利用可能であり得る。カメラ位置は、再生中に、視野位置に対応する。従って、再生中のユーザの視野角は、受け取られ得るコンテンツの中に表された環境の部分に相関する。環境の異なる部分は、異なるストリームで通信され得る。環境の各部分、例えば、360度環境の部分について、異なるデータレートに対応する1つ以上のストリームが、提供される情報にリストされ得る。また、環境の頂部と底部が提供され得る。いくつかの実施形態における個々のストリームのコンテンツは、左と右の眼の画像に対して異なる情報が与えられ、それによって、所望された3D効果を提供するために異なる画像がユーザに表示されることを可能にする、立体視コンテンツである。いくつかの実施形態では、球状環境の頂部及び底部は、左右の眼の眺めは同じであり、従って、2つの画像ではなく、1つの画像のみを必要とした、モノ画像として提供される。 [000155] The information received at step 1404 may include information for one or more programs. For example, for a given program such as a sporting event, a concert, etc., different streams may be available providing content corresponding to different viewing directions relative to the camera position in the environment to which the content corresponds. The camera position corresponds to the visual field position during playback. Thus, the viewing angle of the playing user correlates to the portion of the environment represented in the content that can be received. Different parts of the environment can be communicated in different streams. For each part of the environment, eg, a part of the 360 degree environment, one or more streams corresponding to different data rates may be listed in the provided information. Also, the top and bottom of the environment can be provided. The content of the individual streams in some embodiments is given different information for the left and right eye images, so that different images are displayed to the user to provide the desired 3D effect. This is stereoscopic content that makes it possible. In some embodiments, the top and bottom of the spherical environment are provided as a mono image that has the same left-right eye view and therefore only requires one image, not two images.
[000156] 番組、環境の部分、及び、ストリームのデータレートについての情報は、コンテンツをストリーミングするために利用可能である限られた帯域幅を考慮して、どのストリームが受け取られるべきかを優先付けするために再生システムによって使用され得、いくつかの実施形態において使用される。優先付けと所与の時間にどのストリームを受け取るかの選択は、ユーザの頭の位置、及び/または、頭の回転のユーザの現在または過去の方向に基づき得、いくつかの実施形態では基づく。 [000156] Information about the program, part of the environment, and the data rate of the stream prioritizes which stream should be received considering the limited bandwidth available to stream the content To be used by a playback system and in some embodiments. Prioritization and selection of which streams to receive at a given time may be based on the user's head position and / or the user's current or past direction of head rotation, and in some embodiments.
[000157] 立体視コンテンツのストリーミングの場合には、限られた帯域幅及び/またはデータ制約を考慮して、受け取るべき好適なストリームの選択が、満足のいく、高品質の視聴体験のために重要であり得る。図18に示された情報と同じか類似であり得る、例えば、ストリーム情報1405等のステップ1404で受け取られた情報は、メモリに記憶され、特定の時点で受け取るためのストリームまたは複数のストリームの選択のため、及び、例えば、選択されたストリームに対応するマルチキャストグループに参加すること、選択されたストリームを提供するチャネルに同調すること、及び/または、所望のストリームが通信される、再生デバイスに供給されるべき切り替えられたデジタル映像チャネルをネットワーク装置に示すことによるストリームの要求された配信によって、選択されたストリームの配信を起動するために使用される。
[000157] In the case of streaming stereoscopic content, considering the limited bandwidth and / or data constraints, the selection of a suitable stream to receive is important for a satisfactory, high quality viewing experience It can be. The information received in step 1404, such as
[000158] 動作は、ステップ1404からステップ1406に進む。ステップ1406において、初期化の間、ユーザの現在の頭の位置が検出される。ユーザは、初期化フェーズ中に検出された頭の位置が前方を見ている位置であると仮定されるであろうことを認識して、通常、ステップ1406の間、快適なレベルの前向き位置に彼の頭を維持する。
[000158] Operation proceeds from step 1404 to step 1406. In
[000159] 動作は、ステップ1406からステップ1408に進む。ステップ1408において、ステップ1406で検出されたユーザの頭の位置1407は、前方(0度)環境視野位置として扱われ、ユーザがこの位置に彼/彼女の頭を有している場合に表示される視野は0度環境位置、即ち、環境の特定の部分に対応するコンテンツストリームにその後エンコードされ、含まれる画像を取り込むために使用されるカメラによって取り込まれる前方位置に対応する。スポーツイベントの場合において、この位置は、通常、例えば、ストリームまたは複数のストリームがコンサートに対応する場合のステージやストリームがスポーツイベントに対応する場合のフィールドの中央等、環境におけるアクションの主たる領域に対応する。従って、ステップ1408において、ユーザの視野位置は、例えば、シーン領域の前方/正面部分等のゼロ度視野位置として解釈されるよう設定される。360度視野の部分は、ユーザが彼/彼女の頭を回した場合に可視になる異なる部分をもった水平方向の視野位置に対応することを注記する。ユーザの頭を上下に動かすことによって、ユーザは、空の部分及び/または地面の部分を、単独で、または、1つ以上の他の部分との組み合わせて見ることがある。水平の頭の位置と仮定すると、主要なシーン領域が360度の回転に沿った部分に分割されるので、そのような部分に対応するストリームが、通常、より多くの帯域幅を割り当てられ、頂部/底部シーン部分は、静止画像を用いて、または、変更頻度の低い画像を用いて表され得る。
[000159] Operation proceeds from
[000160] 動作は、ステップ1408から、環境深さマップが受け取られるステップ1410に進む。深さマップは、コンテンツストリームの画像がマッピングされるべき3D環境の表面を規定する。深さマップを受け取らないと、球体は、環境の画像が表示に先立つ描画の間にマッピングされるべき表面である球体の内側表面をもった、環境のデフォルト推定形状である。深さマップを提供し、使用することによって、コンテンツストリーム内の画像が、シミュレートされるべき環境のより現実的な形状と表面をもつ表面にマッピングされるので、より現実的な経験が得られる。従って、ステップ1410において受け取られた深さマップは、受け取られるためにユーザによって選択されたコンテンツも対応する環境に対応している。ステップ1410で受け取られた環境マップ地図、または、マップが受け取られない場合のデフォルトマップは、画像を描画することにおけるその後の使用のための環境マップ1411として記憶される。
[000160] Operation proceeds from
[000161] 動作は、ステップ1410からステップ1412に進む。ステップ1412において、3D表面の少なくとも一部の上に2D(2次元)画像コンテンツをマッピングするために使用されるべき1つ以上のUVマップが受け取られる。一実施形態において、少なくとも1つのUV(UV座標)マップが、異なる個々の画像によって表され得る環境の各部分のために受け取られる。いくつかの実施形態において、コンテンツストリームによって通信された画像が、異なるカメラ、例えば、左と右の眼のカメラによって取り込まれる場合、異なるUVマップが異なるカメラのために与えられ得、時には与えられる。従って、図14Aの例において、第1のUVマップが、前方部分等の環境の第1の部分に対応してステップ14141で受け取られ、ステップ1416において、左後方部分等の環境の第2の部分に対応する第2のUVマップが受け取られ、及び、ステップ1417において、右後方部分等の環境の第3の部分に対応する第3のUVマップが受け取られる。環境の頂部と底部に対応するUVマップは、それぞれ、ステップ1418と1420において受け取られる。部分が同じサイズのものである場合は、同じUVマップが複数の部分のために使用され得る。しかし、いくつかの実施形態では、UVマップは、異なるカメラによって取り込まれた画像のために使用される。
[000161] Operation proceeds from
[000162] 従って、1つのそのような実施形態において、例えば、左と右の眼の画像等の立体視画像データが提供される環境の各部分について、UVマップが特定の左または右の眼の画像コンテンツを取り込むために使用されるカメラアセンブリの特定の特性を考慮することができるように、個別のUVマップが、左と右の眼の画像の各々について受け取られ、記憶され得る。 [000162] Accordingly, in one such embodiment, for each portion of the environment in which stereoscopic image data is provided, such as, for example, left and right eye images, the UV map is for a particular left or right eye. Separate UV maps can be received and stored for each of the left and right eye images so that specific characteristics of the camera assembly used to capture the image content can be considered.
[000163] 各UVマップは、マップが対応するコンテンツストリームの2次元画像を3D環境の表面の対応する部分上にマッピングするために使用されるマップを提供する。このように、カメラによって取り込まれた画像は、2D画像として送信され得、次いで、3Dモデルによって規定される表面または表面の部分上にテクスチャとしてマッピングされる。 [000163] Each UV map provides a map that is used to map a 2D image of the content stream to which the map corresponds onto a corresponding portion of the surface of the 3D environment. In this way, the image captured by the camera can be transmitted as a 2D image and then mapped as a texture on the surface or portion of the surface defined by the 3D model.
[000164] 3Dモデル情報とUVマップが受け取られて、シーン部分のための他のコンテンツの場合におけるデフォルトとして使用され得る画像が受け取られ、記憶され得る。ステップ1422において、第1、第2、第3、及び、第5のシーン部分の1つ以上に対応する、例えば、画像等のコンテンツは、ステップ1422で受け取られ、記憶される。いくつかの実施形態では、例えば、背景部分または空の部分等の環境の一部に対応する複数の代替画像がステップ1422で受け取られ、記憶される。制御情報は、そのために複数のデフォルト画像が記憶されている部分についてのイベントの間の所与の時点でどのデフォルト画像が使用されるべきであるかを示しつつ受け取られる。例えば、いくつかの実施形態において、座っている観客の背景画像と立っている観客の背景領域画像が2つのデフォルト画像として記憶される。制御情報は、イベントの所与の部分にどの背景画像が使用されるかを示すために使用される。例えば、プレイまたはコンサートでのスタンディングオベーションに対応する部分の間に、ユーザが背景方向に向いた場合に表示されるべき背景画像として、立っている観客の画像が信号化される。しかし、観客が通常座っているであろう、イベントの主たる部分の間に、制御情報は、ユーザが彼/彼女の頭を背景の方に向けた場合に座っている観客のデフォルト画像が使用されるべきであることを信号化する。制御情報は、コンテンツストリームとは別個に信号化され得、または、デフォルト画像の1つ以上が関連する部分とは異なる環境の部分のコンテンツストリームと共に含まれてもよい。例えば、前方方向に対応するコンテンツストリームは、例えば、左と右の眼の画像等の前方方向に対応する画像、並びに、例えば、イベントの間の様々な度において、空、地面、右背景、及び、左背景部分のために、どのデフォルト画像が使用されるべきかを示す制御情報を与え得る。代替的に、再生デバイスは、特定の時点で背景画像の1つ以上の態様への類似の明度に基づいて、どの背景または空の部分を使用するかを決定できる。例えば、前景の画像が暗い場合に、これが検出され、曇り空の画像が自動的に検出され得、他方、前景画像が明るいときは、また、これが検出され、雲がより少ない、より明るい空の画像が、受け取られ、記憶された利用可能なデフォルトの空の画像から自動的に選択される。 [000164] 3D model information and a UV map are received and an image that can be used as a default in the case of other content for a scene portion can be received and stored. In step 1422, content, such as images, corresponding to one or more of the first, second, third, and fifth scene portions is received and stored in step 1422. In some embodiments, a plurality of alternative images corresponding to a portion of the environment, eg, a background portion or an empty portion, are received and stored at step 1422. Control information is received indicating which default image should be used at a given time during an event for a portion for which a plurality of default images are stored. For example, in some embodiments, a sitting spectator background image and a standing spectator background region image are stored as two default images. The control information is used to indicate which background image is used for a given part of the event. For example, during a portion corresponding to a standing ovation in play or concert, an image of a standing spectator is signaled as a background image to be displayed when the user faces the background direction. However, during the main part of the event, where the audience will normally sit, the control information is used as the default image of the sitting audience when the user points his / her head towards the background. Signal that it should. The control information may be signaled separately from the content stream or may be included with the content stream in a portion of the environment that is different from the portion to which one or more of the default images are associated. For example, a content stream corresponding to the forward direction may include, for example, images corresponding to the forward direction, such as left and right eye images, and, for example, at various times during the event, sky, ground, right background, and Control information indicating which default image should be used for the left background portion may be provided. Alternatively, the playback device can determine which background or sky portion to use based on similar lightness to one or more aspects of the background image at a particular point in time. For example, if the foreground image is dark, this can be detected and a cloudy sky image can be detected automatically, while if the foreground image is bright, it can also be detected and there will be fewer clouds and a brighter sky image Are automatically selected from the available default sky images received and stored.
[000165] ステップ1422において、異なる環境部分に対応するデフォルト画像が、通常、エンコードされた形式で受け取られ、記憶される。ステップ1424において、受け取られた画像の1つ以上がデコードされ、そして、デコードされたコンテンツが、ステップ1426において1つ以上の画像バッファに記憶される。この様に、デフォルト画像はデコードされ、再生の間の描画のためにそれらが必要とされたときに再びデコードされる必要がないように、デコードされた形式で記憶される。デフォルト画像は複数回使用されるので、デコーディングと記憶は、さもなければ、描画時点で、または、描画直前に画像をデコードするために必要とされるに違いないデコーディング要件を低減することができる。処理リソースが不足し得ることを考慮すると、予めのデコーディングとデコードされた形式でのデフォルト画像の記憶は、画像が表示する直前にデコードされ、そして、それが必要でなくなったら、例えば、メモリから除かれる等、デコードされた画像が削除される実施形態と比較して、プロセッサリソースの使用を改善する。 [000165] In step 1422, default images corresponding to different environmental portions are typically received and stored in encoded form. In step 1424, one or more of the received images are decoded, and the decoded content is stored in one or more image buffers in step 1426. In this way, the default images are decoded and stored in decoded form so that they do not need to be decoded again when they are needed for rendering during playback. Since the default image is used multiple times, decoding and storage can reduce the decoding requirements that would otherwise be required to decode the image at the time of drawing or just before drawing. it can. Considering that processing resources may be scarce, storing the default image in pre-decoded and decoded form is decoded just before the image is displayed and if it is no longer needed, eg from memory Improved use of processor resources compared to embodiments where the decoded image is deleted, such as removed.
[000166] 同じデフォルトのデコードされた画像は、例えば、空のため等、複数回使用され得るが、他の受け取られた画像コンテンツと組み合される前に処理され得、それは、環境の見られる部分を生成するためにそれが組み合わされる環境の該他の画像とより近く一致する。例えば、いくつかの実施形態では、デコードされたデフォルト画像は、それらが組み合わされる画像部分い基づいて輝度調整の対象となり、または、デフォルト画像が環境の他の部分に対応する画像と組み合される縁に少なくとも沿ってぼやかされる。従って、少なくともいくつかの実施形態での使用の間、画像の明るさ及び/または色特性は、それらが組み合わされる地面の画像の同じ特性に、それらをより似させるためにフィルタされ、または、修正される。 [000166] The same default decoded image can be used multiple times, for example, because of sky, but can be processed before being combined with other received image content, which can It more closely matches the other images of the environment with which it is combined to produce. For example, in some embodiments, decoded default images are subject to brightness adjustment based on the portion of the image they are combined with, or at the edges where the default image is combined with images corresponding to other parts of the environment. At least blurred. Thus, during use in at least some embodiments, the brightness and / or color characteristics of the images are filtered or modified to make them more similar to the same characteristics of the ground image with which they are combined. Is done.
[000167] 将来の使用のために初期化データとデフォルト画像とが記憶されて、動作は、受け取られている1つ以上のストリームの組、例えば、現在の選択されたストリームの組、が初期化されるステップ1428に進む。各ストリームは、立体視またはモノ画像データを提供し得る。オプションとして、対応する音響も、選択されたストリームにおいてだが、より一般的には、1つ以上の個別の音響ストリームにおいて受け取られ得る。記載は、音響ストリームも、通常、受け取られ、再生デバイスによってデコードされること、及び、音響がステレオ音響を含み得ることの理解をもって、映像ストリームの受け取りに焦点を当てる。 [000167] Initialization data and default images are stored for future use, and operation is initiated by a set of one or more streams being received, eg, a set of currently selected streams. Go to step 1428. Each stream may provide stereoscopic or mono image data. Optionally, the corresponding sound may also be received in the selected stream, but more generally in one or more individual sound streams. The description focuses on the reception of a video stream with the understanding that an audio stream is also typically received and decoded by a playback device, and that the audio may include stereo sound.
[000168] 例示的なステップ1428において、ストリームの現在の選択された組は、環境の前方/正面部分に対応する第1のストリーム通信コンテンツに等しく設定される。これは、開始において、初期位置は前方視野位置になるように設定され、従って、初期化の結果として、ユーザは、開始時に、前方シーン領域を見ることを期待するからである。
[000168] In
[000169] 動作は、ステップ1428からステップ1429に進む。ステップ1429において、リソース割り当て情報が受け取られる。リソース割り当て情報は、帯域幅及び/またはデータレート割り当て制御情報の形態であってよい。ステップ1429で受信された情報は、いくつかの実施形態において、環境の異なる部分に対応する1つ以上の通信ストリームに、どのくらい多くの帯域幅またはデータ通信能力が割り当てられるべきかについての情報を含む。情報は、データレートが、通常、帯域幅に一致するとの理解をもって、帯域幅またはデータレートについて表現される。例えば、受け取られ得るデータ量は、帯域幅上を通信するために使用されるデータコーディングのタイプを考慮して、帯域幅の量の関数であってよい。
[000169] Operation proceeds from
[000170] ステップ1429で受け取られた情報は、環境の特定の部分に対応する画像の受け取りに割り当てるために、利用可能な通信容量の相対的な最大量を示し得る。例えば、それは、最大で、帯域幅またはサポート可能なデータレートの80%が、例えば、前方データストリーム等の主要なデータストリームに割り当てられ、最後に、帯域幅の20%が1つ以上の他のストリームに割り当てられるべきであることを示し得る。異なる方向へのリソースの割り当ては、環境の対応する部分における画像コンテンツ、及び/または、検出された聴衆フィードバックの関数であり得、いくつかの実施形態においてはそうある。例えば、いくつかの実施形態において、コンテンツが対応するイベントの間に起こる休憩中に、ステップ1429で受け取られた情報は、増加された量のリソースが、環境の後ろ部分の一方または両方に対応する画像を受け取ることに割り当てられるべきであることを示し得る。これは、休憩中に、ユーザが彼らの頭を回し、メインフィールドやステージから離れたところを見始める可能性がより高くなり、休憩中に聴衆の中で起こっているアクションがあるように見えるように、いくつかの映像が後方のために供給されることが望まれ得るからである。例えば、野球の試合でホットドックを買う、または、席を変える人々の画像が、背景が休憩中はライブで、他の回には静止画で見えるように、送られる。同様に、背景における看板の画像は、広告及び/または娯楽目的のために、休憩中に変更され得る。従って、休憩中に背景部分を受け取るために、イベントの他の部分の間よりも多くのリソースを割り当てるために、再生デバイスを起動することが望ましい。ステップ1429で受け取られた制御情報は、イベントの休憩時間または他の区別された部分の間より、イベントの主たる部分の間で異なり得、時には異なる。少なくともいくつかの実施形態において、メインイベントの間に、ステップ1429で受け取られた制御情報は、後部より、環境の主たる、例えば、前方の、領域に、より多くの帯域幅及び/またはデータレートが割り当てられるようにさせる。しかし、休憩または他の区別された部分の間は、後部の一方または両方に割り当てられるデータレートが増加されるようにせしめる。 [000170] The information received at step 1429 may indicate a relative maximum amount of available communication capacity to allocate to receiving images corresponding to a particular portion of the environment. For example, it may be that up to 80% of the bandwidth or supportable data rate is allocated to the main data stream, eg, the forward data stream, and finally 20% of the bandwidth is one or more other It may indicate that it should be assigned to the stream. The allocation of resources in different directions can be a function of image content and / or detected audience feedback in the corresponding part of the environment, and in some embodiments it is. For example, in some embodiments, during the break that occurs during the event that the content corresponds to, the information received at step 1429 indicates that the increased amount of resources corresponds to one or both of the back portions of the environment. It may indicate that it should be assigned to receiving the image. This makes it more likely that users will turn their heads and start looking away from the main field or stage during the break, and there will appear to be actions taking place in the audience during the break In addition, it may be desired that several images be provided for the rear. For example, images of people buying a hot dock or changing seats in a baseball game are sent so that the background is live during the break and is visible at other times. Similarly, the signboard image in the background can be changed during the break for advertising and / or entertainment purposes. Therefore, it is desirable to activate the playback device to allocate more resources to receive the background portion during the break than during other portions of the event. The control information received at step 1429 may be different and sometimes different between the main part of the event than during the break time or other distinct parts of the event. In at least some embodiments, during the main event, the control information received at step 1429 may have more bandwidth and / or data rate in the main, eg, forward, region of the environment than in the rear. Let them be assigned. However, during a break or other distinct part, the data rate assigned to one or both of the rears is increased.
[000171] 所与の方向に割り当てられたリソース間の分割は、環境の部分で提示されているコンテンツ、見る者の注目の測定、及び/または、例えば、主たる部分、休憩部分、ショー後の部分、等の進行中であるイベント部分に基づき得る。いくつかの実施形態において、ステップ1429で提供される制御情報は、例えば、イベントが進行中の間、環境の1つ以上の部分に対応する画像の受け取りに割り当てられるべき、帯域幅またはデータレートの最大及び/または最小量を特定する。いくつかの実施形態では、情報は、イベントの間に地面から空の画像部分を受け取ることに、何の帯域幅またはデータも割り当てられるべきではなく、従って、これらの部分は、そのような場合に静止画を用いることが必要とされるときに定着されることができることを示す。 [000171] The division between resources allocated in a given direction may be the content presented in the part of the environment, the measurement of the viewer's attention, and / or the main part, rest part, post-show part, for example , Etc. may be based on an ongoing event part. In some embodiments, the control information provided in step 1429 may include, for example, a bandwidth or data rate maximum to be allocated to receiving images corresponding to one or more portions of the environment and an event in progress. Specify a minimum amount. In some embodiments, the information should not be allocated any bandwidth or data to receiving empty image portions from the ground during the event, so these portions are It shows that it can be fixed when it is necessary to use a still image.
[000172] 帯域幅/データレート割り当て制御情報は、異なる情報が異なる回に受け取られて、経時的に変化し得る。制御情報は、前方コンテンツストリームの中に埋め込まれ得、及び/または、例えば、制御情報の個別の組として、別々に送られ得る。 [000172] Bandwidth / data rate allocation control information may change over time as different information is received at different times. The control information may be embedded in the forward content stream and / or sent separately, for example as a separate set of control information.
[000173] 動作は、ステップ1429から、既に受け取られていないストリームの選択された組の中のストリーム(または、複数のストリーム)のコンテンツ配信が起動されるステップ1430に進む。これは、選択されたストリームが対応するマルチキャストグループに参加すること、ネットワーク装置に、選択されたストリームの配信を要求するメッセージを送ること、及び/または、選択されたストリームまたは複数のストリームが伝送されるブロードキャストチャネルに同調すること、を含み得る。ステップ1430を通る第1の経路の場合には、これが配信のために選択される最初の視野部分として設定されたので、これは、環境の前方部分に対応するコンテンツストリームの配信を開始することを含む。しかし、例えば、ユーザが彼/彼女の頭を左または右に回す等、ユーザの頭の位置が変化すると、選択されるストリームの組は、変化し得る、及び、通常は変化する。例えば、前方領域と右後方領域の部分が見えてくるように、ユーザが左に彼の頭を回した場合、選択されるストリームの組は、前方領域と左後方部分の両方に対応したコンテンツが受け取られるように変更される。左後方部分が受け取られておらず、選択される場合、左後方部分に対応するストリームにおけるコンテンツの配信がステップ1430で起動される。両方向における最大データレートストリームがサポートされることができない場合、より低いデータレートの前方ストリームが選択され得、従って、より低いデータレート前方ストリームと左後方コンテンツストリームの両方の開始が起動される。選択された組の外のストリームは、新たに選択された組内のストリームの受け取りの前に終了される。受け取られているコンテンツにおける動的な変化、及び/または、一時的なギャップが、ストリーム切り替えが起こるときの画像の品質またはソースにおける変化の著しさを低減するために使用されている、ぼやかし及び/またはフィルタリングを用いて最小化されるように、ストリームの終了と開始は円滑に行われる。例えば、ぼやかしは、描画または表示プロセスの部分として、一緒に縫い合わされる画像の部分にわたって実装され得る。
[000173] Operation proceeds from step 1429 to step 1430 where content delivery of the stream (or streams) in the selected set of streams not already received is activated. This means that the selected stream joins the corresponding multicast group, sends a message to the network device requesting delivery of the selected stream, and / or the selected stream or streams are transmitted. Tuning to a broadcast channel. In the case of the first path through
[000174] 選択されたストリームの現在の組のために起動されるコンテンツ配信をもって、動作は、ステップ1430からステップ1432に進む。ステップ1432において、コンテンツは、コンテンツストリームの選択された組におけるストリームから受け取られる。これは、例えば、視界の主な部分に対応するコンテンツを提供するストリーム等の最も高い優先度のストリームに対応するコンテンツ、及び、例えば、視界に対応する画像コンテンツの小さい部分を提供する部分等の環境の1つ以上の他の部分に対応するコンテンツを受け取ることを含み得る、及び、様々な実施形態では含む。現在の視界のためのコンテンツの小部分を提供するストリームは、2次的ストリームとして記載され得る。単一ストリームがフルの視界のためのコンテンツを提供する一実施形態において、例えば、ユーザが視界の外側の方向に向いた場合に視界外であるコンテンツを提供すること等、1つ以上の2次的またはより低い優先度のストリームを受け取るために、利用可能な帯域幅/サポート可能な受け取りデータレートの20%またはそれ以下が留保され、使用される。視界が、2つの異なるコンテンツストリームに対応する領域間のほぼ対等な分離である場合に、各ストリームには、それらがほぼ互角の形で寄与し、2つのストリームが提供する画像が対する領域の外の環境の領域を見るために、ユーザが急に位置を変えることはほとんどないので、利用可能なデータレート/受け取りデータレートの約半分を割り当てられる。
[000174] With content delivery activated for the current set of selected streams, operation proceeds from
[000175] コンテンツ受け取りが開始されると、ステップ1432において、画像等のコンテンツが、ストリームの選択された組から受け取られる。主たる、例えば、最も高い優先度の、ストリームは、通常、左と右の眼の画像コンテンツの両方がストリームにおいて受け取られている、立体視コンテンツである。優先度の低いストリーム及び/または低いデータレートを割り当てられたストリームについて、単一の画像が左と右の眼の画像の両方への表示のために受け取られて、モノ画像が受け取られ得る。前方シーン部分は、通常、立体視コンテンツとして受け取られるが、1つ以上の後方部分は、モノ画像ストリームとして提供され得る。 [000175] When content reception is initiated, in step 1432 content, such as images, is received from a selected set of streams. The main, e.g., highest priority, stream is typically stereoscopic content in which both left and right eye image content is received in the stream. For low priority streams and / or streams assigned a low data rate, a single image may be received for display on both the left and right eye images, and a mono image may be received. The front scene portion is typically received as stereoscopic content, but one or more rear portions may be provided as a mono image stream.
[000176] エンコードされた画像コンテンツは、ステップ1432において、通常、ストリームの中で受け取られる。ステップ1434において、受け取られたコンテンツがデコードされ、そして、接続ノードA 1436を介して到達するステップ1438において、デコードされたコンテンツが1つ以上の画像バッファに記憶される。いくつかの実施形態では、デコードされた画像バッファは、環境の各部分のために維持される。受け取られた画像の一部のみが最終的に表示される場合でも、フルの受け取られたフレームが、通常、デコードされ、バッファリングされる。デコードされたバッファ画像は、それが同じシーン部分のためのより最近の画像で置き換えられるまで、メモリに維持され得、いくつかの実施形態では維持される。従って、任意の所定の時間において、デコードされた画像は、現在の視界に基づいて必要とされるだけ最終的な出力画像を描画することにおいて使用するために、環境の各部分について利用可能である。デコードされた画像コンテンツは、それがより最近のデコードされた画像によって置き換えられるまで、メモリに維持されるので、360度環境の部分の各々に対応する画像のデコーディングは、各フレーム時間中に起こる必要はない。従って、毎秒30フレームのフレームレートがサポートされ得るが、150フレームは、例えば、頂部、底部、前方、左後方、右後方部分の各々について1つ等、各フレーム期間にデコードされる必要はないが、むしろ、主たる視界に対応する部分よりも低いレートで更新される、以前にデコードされた静止画像または以前にデコードされた画像部分から出る画像のいくつかの部分をもって、サポートされ得るフレームレートに等しいか、または、わずかに高いフレームのより少ない数がデコードされ得る。
[000176] The encoded image content is typically received in a stream at step 1432. In
[000177] 従って、ステップ1438で更新された後、現在のデコードされたフレームは、ユーザの現在の視界に基づいて画像を描画することにおける使用のために利用可能である。
[000177] Thus, after being updated at
[000178] 動作は、ステップ1438からステップ1440に進む。ステップ1440において、画像バッファ(または、複数の画像バッファ)から利用可能であるデコードされたコンテンツ、例えば、テクスチャ等、1つ以上の画像部分が適用されるべき表面を規定する環境マップ、及び、2Dのデコードされた画像を3D表面のモデルにどのように適用するかの情報を与えるUVマップ(または、複数のUVマップ)を用いて、コンテンツが描画される。環境の3Dメッシュモデルは、環境の画像が適用されるべき表面を規定するメッシュモデルの頂点に対応するUVマップにおける点をもった、グリッドの形態であってよい。
[000178] Operation proceeds from
[000179] 描画の部分として、異なるストリームから受け取られたコンテンツに対応する画像部分は、単一のストリームからのコンテンツがユーザの視界をフルに占める部分を提供することができない場合にユーザの視界に対応する環境の画像を生成するために、組み合わされる。フィルタリング、または、ぼやかしが、ユーザ視界に対応する複合画像を形成するために結合される画像にわたって適用され得る、及び、いくつかの実施形態では適用される。これは、継ぎ合わせがユーザにどの程度目立つかを低減する方向に向かう。加えて、複合画像の部分を与える画像部分の輝度は、いくつかの実施形態において、複合画像を形成するために組み合される画像部分間の輝度差を低減するために調整され、複合画像を形成するために組み合される画像部分への輝度調整をする場合に、後部、頂部、側部の輝度値より上の優先度を与えられて前方視野の輝度値が始まる。 [000179] An image portion corresponding to content received from a different stream as a portion of a drawing is not visible to the user's view when the content from a single stream cannot provide a portion that fully occupies the user's view. Combined to produce a corresponding environment image. Filtering or blurring can be applied over the combined images to form a composite image corresponding to the user view, and in some embodiments is applied. This tends to reduce how much the seaming is noticeable to the user. In addition, the brightness of the image portion that provides the portion of the composite image is adjusted in some embodiments to reduce the brightness difference between the image portions that are combined to form the composite image to form the composite image. Therefore, when the luminance adjustment is performed on the image portion to be combined, the luminance value of the front visual field starts with a higher priority than the luminance values of the rear, top, and side portions.
[000180] 異なるコンテンツストリームから受け取られた画像の1つ以上の画像部分の複合であり得る描画された画像は、ステップ1442において、記憶され、表示され、または、伝送される。これは、選択されたコンテンツストリームの現在の組に基づいて、コンテンツの1つ以上のフレームの生成と表示を表す。 [000180] A rendered image, which may be a composite of one or more image portions of images received from different content streams, is stored, displayed, or transmitted in step 1442. This represents the generation and display of one or more frames of content based on the current set of selected content streams.
[000181] 経時的に、通信チャネル状態またはネットワーク問題における変化に起因して、最大のサポート可能なデータレートが変わり得る。これは、ステップ1443で検出され、どのコンテンツストリームまたは複数のストリームが受け取られ、処理されるべきであるかを選択する場合に考慮され得る。ステップ1443において、最大のサポートされるデータレート及び/または帯域幅は、後続のステップで使用されるためのデータ1444によって表されるように決定される。ステップ1445において、ユーザの現在の頭の位置が検出される。これは、ヘッドマウントディスプレイを含むヘッドギア上の位置センサを使用することによって行われ得る。
[000181] Over time, the maximum supportable data rate may change due to changes in communication channel conditions or network problems. This can be taken into account when selecting at
[000182] 動作は、ステップ1445から、ユーザの頭の位置が変わったかどうかについて決定がなされるステップ1446に進む。ユーザの頭の位置が変わっていない場合、動作は、現在の利用可能な最大帯域幅または最大のサポート可能なデータレートが、例えば、ストリーム選択がなされた最後の時点から、変化したかどうかについてのチェックがなされる、ステップ1447に進む。最大のサポート可能なデータレートまたは頭の位置に変化が検出されなかった場合、以前のストリーム選択が有効なまま残り、コンテンツストリームの選択された組に変更はなされない。従って、再生システムは、変わらないままであるユーザの現在の視界に対応するコンテンツを受け取り続ける。ステップ1447において変更が検出されない場合、動作は、接続ノードB 1456を介して、ステップ1429に戻る。
[000182] Operation proceeds from step 1445 to step 1446 where a determination is made as to whether the user's head position has changed. If the user's head position has not changed, the operation can determine whether the current available maximum bandwidth or maximum supported data rate has changed, for example, since the last time a stream selection was made. A check is made and proceeds to step 1447. If no change is detected in the maximum supportable data rate or head position, the previous stream selection remains valid and no changes are made to the selected set of content streams. Thus, the playback system continues to receive content corresponding to the user's current view that remains unchanged. If no change is detected at
[000183] しかし、ステップ1446または1447のいずれかにおいて変化が検出された場合、動作は、ストリーム選択サブルーチンの呼び出しを含むストリーム選択ステップ1448に進む。このように、頭の位置及び/またはサポート可能なデータレートにおける検出された変化が考慮され得、ストリームの選択が、ユーザの頭の位置、及び/または、例えば、画像コンテンツ等のデータを受け取るために使用され得るサポート可能なデータレートの観点で再考慮される。
[000183] However, if a change is detected in either
[000184] ストリームがストリーム選択サブルーチンによって選択されると、動作は、選択されたストリームが選択されたストリームの現在の組と異なるか否かについてチェックがなされるステップ1450に進む。新たに選択された組が、使用中であるストリームの現在の選択された組と同じ場合、受け取られているストリームについての変更はなされる必要がなく、ステップ1452において、ストリームの現在の選択された組が変更されないで残され、動作は、接続ノードB 1456を介してステップ1429に進む。しかし、ストリームの新たに選択された組が選択されたストリームの現在の組から異なる場合、例えば、現在選択された組がストリーム選択サブルーチンによって選択されたストリームの新たに選択された組に等しく設定される等、ストリームの選択された組における変更を反映するために、ステップ1454において、ストリームの現在の選択された組が更新される。
[000184] Once a stream has been selected by the stream selection subroutine, operation proceeds to step 1450 where a check is made as to whether the selected stream is different from the current set of selected streams. If the newly selected set is the same as the currently selected set of streams in use, no changes need to be made to the received stream and in step 1452 the current selected set of streams. Are left unchanged and operation proceeds to step 1429 via
[000185] 動作は、ステップ1454から、ストリームの更新された現在選択された組の中に含まれていないストリームの受け取りが終了されるステップ1455に進む。これは、再生システムが、それがもはや受け取られないストリームに対応するマルチキャストグループのメンバであることを望まないことを信号で知らせること、または、例えば、新たに選択されたストリームまたは複数のストリームの受け取り等、他の目的のために終了されているストリームを受け取るために使用されるチューナ等のリソースを使用するために他のアクションをとることを含む。
[000185] Operation proceeds from
[000186] 動作は、ステップ1455から、接続ノードB 1456を介してステップ1429に進む。そして、ステップ1430において、任意の新たに選択されたストリームの受け取りが開始され、受け取られたコンテンツは、1つ以上の画像を描画するために使用される。従って、経時的に、ユーザが彼または彼女の頭の位置を変える、及び/または、サポートされ得るデータレートが変わると、選択されたストリームも同様に変わり得る。
[000186] Operation proceeds from
[000187] 図15は、図14の方法のステップ1448において呼び出されるストリーム選択サブルーチンとして使用され得る、例示的な実施形態によるストリーム選択サブルーチンのステップを示すフローチャートである。
[000187] FIG. 15 is a flowchart illustrating the steps of a stream selection subroutine according to an exemplary embodiment that may be used as the stream selection subroutine invoked at
[000188] ストリーム選択サブルーチンは、例えば、図14のステップ1448によって、サブルーチンが呼び出されるとき、ステップ1502で始まる。動作は、開始ステップ1592からストリーム選択ステップ1504に進む。ストリーム選択ステップ1504への入力は、帯域幅及び/またはデータレート制約1503を含む。これらは、1つ以上のシーン部分、ストリーム、及び/または、ストリーム方向に割り当てられるべき利用可能な帯域幅または合計受け取りデータレートの最大部分の情報を含み得る。制約は、また、シーン部分、ストリーム、及び/または、視野方向への最小の帯域幅またはデータ割り当てを含み得る。従って、アクションが、イベント休憩時間の間に、後方領域等の環境部分で起こっている場合に、ある方向に対応する部分が、少なくともまれに、または、特定の回数で更新されるように、制約は、特定の方向に対応するコンテンツを受け取ることに割り当てられるリソースの最大量を制限し、及び/または、ある方向に割り当てられたリソースの最小量に権限を付与し得る。
[000188] The stream selection subroutine begins at
[000189] 最大サポート可能なデータレー及び/または最大利用可能な帯域幅1444は、選択ステップ1504への他の入力である。この情報1444は、コンテンツを受け取るために利用可能な最大の帯域幅、及び/または、コンテンツストリームの1つまたは組み合わせの受け取りをサポートするために使用され得る最大のサポート可能なデータレートを示す。ユーザの現在の頭の位置1407、及び、例えば、図18に示されたもの等のなどのストリームガイド情報といった利用可能なストリームに関する情報1405は、また、ステップ1504への入力である。
[000189] The maximum supportable data rate and / or the maximum available bandwidth 1444 are other inputs to the
[000190] ストリーム選択ステップ1504において、例えば、いくつかの場合には進行中のリアルタイムイベント等の番組またはイベントに対応する1つ以上のコンテンツストリームが選択される。1つ以上のストリームの選択は、ユーザの現在の頭の位置、ストリーム帯域幅またはストリームデータレートの要件等のストリーム情報、及び/または、最大サポート可能データレートまたは最大サポート可能帯域幅についての情報に基づく。視野方向上にあること、または、ストリーム優先度に基づき得る帯域幅及び/またはデータレート制約1503は、また、ステップ1504においてストリーム選択をすることにおいて考慮され、使用され得、時には使用される。
[000190] In
[000191] 例示的なストリーム選択ステップ1504は、ストリームが、ユーザの現在の及び/または過去の頭の位置に基づいて優先度付けされるステップ1506を含む。これは、図16に示されたもの等、ストリーム優先度付けサブルーチンの呼び出しを含み得る。
[000191] Exemplary
[000192] 同じ環境方向に対応するストリームは、いくつかの実施形態では、同じ優先度を割り当てられる。従って、環境及び/または視野方向の同じ部分に対応するコンテンツに対応する複数のストリームは、同じ優先度を割り当てられ得、時には割り当てられる。ストリームが同じ視線方向に対応するが、いくつかのストリームが、高フレームレートで高解像度の立体的コンテンツを提供し、ある場合には、より低い解像度ストリームが、モノ画像コンテンツ及び/または並解像度画像を提供し、及び/または、低フレーム(画像)レートをサポートして、ある場合にストリームは、異なるデータレートを有する。従って、特定の方向は高優先度とみなされ得、高優先度方向に対応するコンテンツを提供する全てのストリームは同じであるが、選択は、そこで、いくつかの実施形態において、特定の方向に対応するコンテンツを受け取るために利用可能な帯域幅の量に基づいてなされる。 [000192] Streams corresponding to the same environmental direction are assigned the same priority in some embodiments. Thus, multiple streams corresponding to content corresponding to the same part of the environment and / or viewing direction can be assigned the same priority and sometimes assigned. Streams correspond to the same line-of-sight direction, but some streams provide high-resolution stereoscopic content at high frame rates, and in some cases, lower resolution streams may be mono-image content and / or parallel-resolution images And / or support low frame (image) rates, in some cases streams have different data rates. Thus, a particular direction can be considered high priority, and all streams providing content corresponding to the high priority direction are the same, but the selection is then in a particular direction in some embodiments. Based on the amount of bandwidth available to receive the corresponding content.
[000193] コンテンツストリームの優先度付けした後、動作は、ステップ1506からステップ1508に進む。ステップ1508において、最も高い優先度を有するストリームのために使用のための最大帯域幅及び/またはデータレートが決定される。この決定は、最も高い優先度のストリームのために割り当てられるべき利用可能な受け取りリソースの最大、最小、または、部分を示し得る、帯域幅または他の制約1503に基づいてなされ得る。いくつかの実施形態では、最も高い優先度のストリームのための最小帯域幅/データレート割り当てが50%以上であるが、他の割り当ても可能である。
[000193] After prioritizing the content streams, operation proceeds from step 1506 to step 1508. In
[000194] ステップ1510において、より低い優先度を有した各ストリームのために使用されるべき最大帯域幅及び/またはデータレートが決定される。いくつかの実施形態では、データレートまたは帯域幅の少なくとも20%が、2次またはより低い優先度のストリームのために使用される。 [000194] In step 1510, the maximum bandwidth and / or data rate to be used for each stream having a lower priority is determined. In some embodiments, at least 20% of the data rate or bandwidth is used for secondary or lower priority streams.
[000195] 異なる優先度のストリームのために使用されるデータレートがステップ1508、1510で決定されていて、動作は、最も優先度の高いストリームが、最も高い優先度のストリームのための最大帯域幅及び/またはデータレートに基づいてサポートされることができるかどうかを決定するためにチェックがなされるステップ1512に進む。最も高い優先度に対応するストリームのいずれか1つがサポートされることができる場合には、ステップ1512の決定は肯定となり、動作は、最も高い優先度に対応する最も高い品質のストリームが選択されるステップ1514に進む。これは、通常、最も高い優先度を割り当てられたストリームの組から最も高いデータレートのストリームを選択することを含む。例えば、前方方向におけるストリームが最も高い優先度を割り当てられる場合、最も高い優先度のコンテンツストリームのために利用可能なデータレートを与えられてサポートされ得る、最も高いデータレートの前方方向コンテンツストリームが選択されることを考慮する。
[000195] The data rate used for the different priority streams has been determined in
[000196] 動作は、ステップ1514からステップ1516に進む。ステップ1516において、2番目に高い優先度のストリームがサポートされ得るか否かについて決定がなされる。これは、いくつかの実施形態において、最も優先度の高いストリームが選択された後、どれだけの帯域幅/データレートが利用可能か、及び、受け取られた制約に基づいて2番目に高い優先度のストリームのために、帯域幅/データのどれだけが使用され得るか、を決定することを含む。2番目に優先度が高いストリームに何の制約も置かれない場合、帯域幅/データ受け取り能力のフルの量が、2番目に高い優先度のストリームのために使用され得る。ステップ1516において、2番目に優先度の高いストリームがサポートされ得ると決定される場合、動作は、例えば、2番目に高い優先度を割り当てられた1以上のストリームの組から、2番目に高い優先度のストリームが選択されるステップ1518に進む。ステップ1518は、サポートされ得、2番目に高い優先度を有する、最も高いデータレートのストリームを選択することを含み得る、及び、いくつかの実施形態において含む。例えば、2番目に高い優先度が環境の右後方部分に対応している場合、ステップ1518は、環境の右後方部分に対応してサポートされ得る最も高いデータレートのストリームを選択することを含む。
[000196] Operation proceeds from
[000197] ほとんどの場合、最も高い優先度と2次のストリームがサポートされるが、例えば、見られていないもの等、環境の他の部分に対応するいくつかのコンテンツを受け取るために、当該2つの最も高い優先度のストリームの選択の後、十分な帯域幅を残してある。動作は、ステップ1518からステップ1520に、または、2番目に高い優先度のストリームがサポートされることができない場合、ステップ1516から直接ステップ1520に進む。
[000197] In most cases, the highest priority and secondary streams are supported, but in order to receive some content corresponding to other parts of the environment, such as those not seen, the 2 After selection of the two highest priority streams, there is enough bandwidth left. Operation proceeds from step 1518 to step 1520, or from
[000198] ステップ1520において、例えば、第1及び/または第2の優先度のストリームが選択された後で利用可能な帯域幅/データ受け取りリソースを使用して、3番目に高い優先度のストリームがサポートされ得るか否かについてチェックがなされる。ステップ1520において、3番目に最も高い優先度のストリームがサポートされ得ると決定される場合、動作は、例えば、サポートされ得る残りの帯域幅/データレートを使用して、3番目に最も優先度の高いストリームが選択されるステップ1522に進む。動作は、ステップ1522からステップ1524に、または、3番目に最も優先度が高いストリームが、利用可能な帯域幅、及び/または、受け取られたデータ及び/または帯域幅制約を与えられて、サポートされ得ない場合、ステップ1520からステップ1524に直接に進む。
[000198] In
[000199] ステップ1524において、他のストリーム選択の後、追加のコンテンツを受け取るために使用され得る残りの、例えば、データを受け取るための容量等の任意の帯域幅があるかを決定するためのチェックがなされる。追加の帯域幅が残っている場合は、動作は、1つ以上のより低い優先度のストリームが、残りの利用可能な帯域幅/データレートを使用するために選択されるステップ1526に進む。ステップ1526から、動作は、ステップ1530に進む。追加の帯域幅が利用できない場合、動作は、はステップ1524から戻りステップ1530に進む。
[000199] In step 1524, a check to determine if there is any remaining bandwidth that can be used to receive additional content after other stream selection, eg, capacity to receive data. Is made. If additional bandwidth remains, operation proceeds to step 1526 where one or more lower priority streams are selected to use the remaining available bandwidth / data rate. From
[000200] 戻りステップ1530は、例えば、ルーチン1500によって新たに選択されたストリームの組が決定されて、ストリーム選択サブルーチン1500が呼び出された所に処理を戻させる。
[000201] 図16は、例示的な実施形態に係る、ストリーム優先度付けサブルーチンのステップを示すフローチャートである。図1600は、例えば、この中に記載された他のルーチンまたはサブルーチンの1つ以上によって呼び出され、使用され得る、例示的なストリーム優先度付けルーチンを示す。例えば、図15のステップ1506は、サブルーチン1600の呼び出しによって実装され得る。ストリーム優先度付けサブルーチン1600は、ルーチンが呼び出されたとき、ステップ1602で始まる。動作は、開始ステップ1602からステップ1604に進む。ステップ1604において、ユーザの現在の視界が、ユーザの検出された頭の位置に基づいて決定される。ユーザの視野が180度未満であることを考えると、現在の視界は、例えば、前方視認カメラ位置といった単一のカメラの位置から取り込まれる環境の部分に対応し得る。しかし、ユーザが、例えば、頭を左または右に振る、及び/または、上または下を見る等、彼の頭を動かす場合、ユーザの視界は、異なるカメラ位置に位置付けられるカメラによって取り込まれる環境の部分に対応し得る。例えば、異なるカメラによって取り込まれる画像が合致するまたは重なる所に対応する環境の部分を視ている場合、ユーザの視界は、2つの異なるストリームで通信されるコンテンツに対応し得る。視界の最も大きい部分に対応する画像を提供するストリームは、通常、いくつかの実施形態において、最も高い優先度を与えられる。
[000201] FIG. 16 is a flowchart illustrating steps of a stream prioritization subroutine according to an exemplary embodiment. Diagram 1600 illustrates an example stream prioritization routine that may be called and used, for example, by one or more of the other routines or subroutines described herein. For example, step 1506 of FIG. 15 may be implemented by calling
[000202] ステップ1604において、ユーザの視界が決定されており、動作は、ユーザの現在の視界に対応する、例えば、モノ画像、または、左と右の眼の画像を含む立体視画像ペア等のコンテンツを通信するストリームが特定されるステップ1605に進む。そして、動作は、特定されたストリームから利用可能なユーザの現在の視野に対応するシーン領域の、例えば、画像部分等の部分または複数の部分のサイズが決定されるステップ1606に進む。従って、ステップ1606の終わりでは、ストリームが、現在の視界に対応する画像コンテンツと当該部分の相対サイズとを提供する情報が利用可能であり、例えば、ストリームを優先度付けする等、ランク付けするために使用され得る。
[000202] In
[000203] 動作は、ステップ1606からステップ1608に進む。ステップ1608において、優先度が、ユーザの現在の視界に対応する画像コンテンツを提供する1つ以上のストリームに割り当てられる。例えば、ランク付け等の優先度付けは、ストリームが提供するユーザの視界の部分または複数の部分のサイズに基づく。例えば、ユーザの視界の80%に対応する画像コンテンツを提供するストリームは、ユーザの視界の15%に対応する画像コンテンツを提供するよりも高位にランク付けされ、例えば、頂部または底部等の残りの5%を提供するストリームは、視界の80%の部分に対応する画像(または、複数の画像)を提供するストリームに割り当てられた最も高い優先度よりも低い3番目の優先度を付与される。
Operation proceeds from
[000204] ステップ1608は、ステップ1610及び/またはステップ1612を含み得、いくつかの実施形態では、含む。ステップ1610において、最も高い優先度が、視界の最も大きい部分を提供するストリームに割り当てられる。ステップ1610は、主たるストリームとして、視界の最も大きい部分を提供するストリームを指定することを含み得る。ステップ1612は、最も優先度の高いストリームによって寄与される部分の外側にある視界の部分に寄与するストリームに次に高い優先度または複数の優先度を割り当てることを含む。そのようなストリームは、より小さい部分に寄与し得るストリームがより低い優先度を割り当てられて、現在の視界に寄与し得る部分のサイズに基づいて、ステップ1612において優先度付けされる。
[000204]
[000205] 潜在的に、異なる解像度またはフレームレートであるが、例えば、異なるデータレートを有する、複数のストリームが視界の同じ部分に寄与し得ると想定すると、複数のストリームは同じ優先度を割り当てられ得、例えば、前方視野に対応するストリームが同じ優先度を割り当てられ得、左後方視野を提供するストリームが、例えば、前方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得、右後方視野を提供するストリームが、例えば、前方または左後方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得る。 [000205] Assuming that multiple streams could potentially contribute to the same part of the view, potentially with different resolutions or frame rates, but different data rates, the multiple streams are assigned the same priority. For example, streams corresponding to the front view can be assigned the same priority, and streams providing the left rear view can be assigned the same priority, for example, with a different priority than the priority assigned to the front stream. In other words, streams that provide a right rear view can be assigned the same priority, for example, with a different priority than the priority assigned to the front or left rear stream.
[000206] 従って、ステップ1608において、視界に寄与するストリームは、ランク付け、即ち優先度付けされている。優先度付けは、最も高い優先度を割り当てられている主たるストリーム(または、複数のストリーム)と、より低い優先度を割り当てられている他のストリームを有した、ランク付けされたリストにおいてストリームをリスト化することで表され得る。
[000206] Accordingly, in
[000207] 全てではないストリームが視界に対応し得る。例えば、頂部または底部のシーン部分が視界外であってもよく、従って、そのような視野を提供するストリームはステップ1608において優先度付けされない。動作は、ステップ1608からステップ1614に進む。ステップ1614において、優先度付けされるべき任意の残りのストリームがあるか否かについて決定がなされる。例えば、ストリームの全てがユーザの現在の視界に対応するから、優先度付けされるべき残りのストリームがない場合、動作は、戻りステップ1630に進む。しかし、ステップ1614において、優先度付けされるべき1つ以上のストリームが残っていると決定された場合、動作は、ステップ1616に進む。
[000207] Non-all streams can correspond to view. For example, the top or bottom scene portion may be out of view, and thus streams providing such a view are not prioritized in
[000208] ステップ1616において、優先度は、例えば、現在の視界の外のストリーム等、コンテンツを通信する1つ以上の追加のストリームに割り当てられる。ステップ1616で実行される優先度付けは、いくつかの実施形態において、現在の視界において可視のコンテンツに優先度付けられているストリームによって提供されるコンテンツの近接に基づく、及び/または、ユーザの現在または過去の頭の回転の方向に基づく。例えば、いくつかの実施形態において、ストリームが、現在の視界に直接隣接する環境の部分に対応する画像コンテンツを提供する場合、それは、ユーザの現在の視界から更に離れた画像部分に対応するコンテンツを提供するストリームよりも高い優先度を割り当てられる。同様に、頭の回転の方向にあるコンテンツが、頭の回転の検出された方向から離れる反対の方向にあるコンテンツよりも、ユーザの視界に直ぐに入ってくる可能性がより高いとの仮定の下、ユーザの頭の回転の方向の画像コンテンツを提供するストリームは、ユーザの検出された頭の回転から離れる回転の方向のコンテンツより、より高い優先度が与えられる。
[000208] In
[000209] 少なくとも1つの実施形態において、ステップ1616は、頭の位置の変化は、頭の回転、例えば、頭を上または下に傾けることと対照的に左または右に回す、を示したか決定するためにチェックがなされるステップ1618を含む。頭の回転がステップ1618で検出されなかった場合、動作は、いくつかの実施形態において、ユーザの現在の視界に対してストリームが提供する画像データのどの部分かに基づいて、ストリームが優先度付けされるステップ1620に進む。頂部及び/または底部を提供するストリームは、頂部と底部、並びに、左または右後方部分が視野外である場合、デフォルトでは、左または右後方部分を提供するストリームよりも低い優先度を割り当てられ得る。動作は、ステップ1620から戻りステップ1630に進む。
[000209] In at least one embodiment,
[000210] ステップ1618において、ユーザの頭の回転が検出されたと決定された場合、動作は、ステップ1622に進む。ステップ1622において、頭の回転の方向が、例えば、ユーザの頭が左または右に回っているかどうかで、決定される。これは、環境の隣の部分がユーザの視野に入ってくることが、頭の回転の方向から離れる方向ではなく、頭の回転の方向にある方がより可能性が高いので、頭の回転方向が考慮されることを可能にする。
[000210] If it is determined in
[000211] 動作は、ステップ1622から、優先度が、頭の回転の方向に基づいて、例えば、視界外のストリーム等の1つ以上のコンテンツストリームに割り当てられるステップ1624に進む。少なくとも1つの実施形態において、ステップ1624は、次に最も低い未使用の優先度が、頭の回転方向における環境の部分に対応するコンテンツを提供するストリームに割り当てられるステップ1626を含む。例えば、環境の前方部分を見ているユーザが、彼の頭を右に回している場合、視界外の右後方コンテンツを提供するストリームが、同じく視界外にある左後方コンテンツを提供するストリームよりも高い優先度を割り当てられる。動作は、ステップ1624から、既に優先度付けされていない残りのストリームが、優先度が既に割り当てられているにストリームよりも、より低い重要度を示し、より低い優先度を割り当てられる、ステップ1628に進む。
[000211] Operation proceeds from
[000212] 動作は、ステップ1628から戻りステップ1630に進む。戻りステップ1630に到達されるときまでに、コンテンツストリームは、優先度に従って、優先度付け、例えば、ランク付けまたは順序付け、がなされる。
[000212] Operation returns from
[000213] 図17は、例示的な実施形態による描画サブルーチンのステップ1700のフローチャートである。
[000213] FIG. 17 is a flowchart of
[000214] 描画サブルーチン1700は、画像描画が要求されるとき、1つ以上のルーチンにより呼び出され得る。立体視コンテンツの場合には、個別の画像が、ユーザの左と右の眼の各々について描画される。モノコンテンツの場合、単一の画像が描画され、ユーザの左と右の眼の各々のために使用される。描画は、しばしば、1つまたは複数のストリームからの画像コンテンツの組み合わせを含む。従って、環境のいくつかの部分はモノコンテンツとして提供され得るが、他の部分は立体視コンテンツとして提供され得、その場合、コンテンツのいくらかが立体であり、他のコンテンツがモノであるが、環境の少なくとも部分が立体視コンテンツとして提示される場合に、単一の画像が、左と右の眼の画像の各々のために生成されて、異なる左と右の眼の画像が描画されえる。
[000214] The
[000215] 描画ルーチン1700は、開始ステップ1702で始まり、描画ステップ1706に進む。描画ステップ1706への入力は、環境マップ1411、1つ以上の視野に対応するデコードされたコンテンツ1703、環境マップ1411によって規定された表面上に1つ以上のデコードされた画像をマッピングするために使用されるUVマップ1704を含む。上述したように、環境マップ1411は、より複雑な幾何学形状が与えられない場合に、球体に初期設定され、画像が球体の内側面にマッピングされる。
The drawing routine 1700 starts at the
[000216] いくつかの実施形態において、描画ステップ1706は、ユーザの現在の視界に対応する少なくとも1つの画像を生成するために、ユーザの現在の視界に対応する1つ以上のコンテンツストリームに含まれた画像をデコードすることによって生成されたコンテンツと、環境マップ、並びに、少なくとも1つのUVマップを使用することを含む、ステップ1708を含む。例えば、3D等の立体視画像コンテンツの場合、描画は、左と右の眼の画像が表示するのに適した形式で生成される結果となる。描画された左と右の眼の画像における違いは、いくつかの実施形態では、ユーザに、画像を3Dで知覚させる。
[000216] In some embodiments, the
[000217] 動作は、ステップ1706から、描画された画像を、ディスプレイデバイスに供給される、記憶される、及び/または、出力されるために、プログラムまたはルーチンに戻させる戻りステップであるステップ1710に進む。
[000217] The operation proceeds from
[000218] 描画サブルーチン1700は、フレームまたは視界の更新されたバージョンが表示されるべき各度に呼び出され得る。従って、描画は、通常、例えば、フレーム、表示レート等、画像と一致したレートで起こる。
[000218] The
[000219] 図18は、複数のコンテンツストリームに対応するストリーム情報を含む例示的なテーブル1800を示す。いくつかの実施形態では、例示的なテーブル1800に含まれるストリーム情報は、例えば、番組ガイド等の再生システムが受け取ることを選択し得るコンテンツストリームに関する情報を提供するガイド情報の一部として受け取られる。凡例1840は、テーブル1800に含まれる情報において略語として使用される様々な文字の意味を示す情報を含む。
[000219] FIG. 18 shows an exemplary table 1800 that includes stream information corresponding to multiple content streams. In some embodiments, the stream information included in the example table 1800 is received as part of guide information that provides information about content streams that a playback system, such as a program guide, for example, may choose to receive.
[000220] テーブル1800に含まれる情報は、情報が対応するコンテンツストリームにアクセスするために使用されることができる。いくつかの実施形態において検討されるように、ストリーム情報は、複数の利用可能なコンテンツストリームについて、所定の対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストアドレス、所定のコンテンツストリームを提供するために使用される切換えデジタルビデオチャネル(switched digital video channel)へのアクセスを要求するために使用され得る情報、または、所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように再生システムのチューナを制御するために使用され得るチャネル同調情報の1つを含む。 [000220] Information included in table 1800 may be used to access a content stream to which the information corresponds. As discussed in some embodiments, the stream information provides, for a plurality of available content streams, a multicast address of a multicast group that can be joined to receive a predetermined corresponding content stream, a predetermined content stream. Information that can be used to request access to a switched digital video channel used to play, or a tuner of a playback system to tune to a broadcast channel on which a given content stream is broadcast One of the channel tuning information that can be used to control
[000221] テーブル1800において、各行は、コンテンツを通信する個々のコンテンツストリームに対応し、行が対応するコンテンツストリームは、列1812における対応するエントリに示されたストリーム識別子によって特定される。列1804における各エントリは、行が対応する個々のコンテンツストリームによって通信される番組コンテンツを特定する。テーブル1800から理解され得るように、行の第1のグループ1820は、列1804内の対応するエントリに示されるように番組/イベントのタイトルを示すことができる、「サッカー」の番組コンテンツに対応する。様々な異なる番組/イベントに対応する、複数のそのようなグループが存在し得る。各グループは、検討されるように、各々が視野方向に対応し、所与のデータレートをサポートするコンテンツストリームを含む。簡略化のために、2つのグループのみが図示され、第2のグループ1822に対応する行は、概念を例示するためだけに部分のみが示されている。行の第2のグループ1822は、列1804における対応するエントリによって示されるように「HI」の番組コンテンツに対応する。
[000221] In table 1800, each row corresponds to an individual content stream communicating the content, and the content stream to which the row corresponds is identified by the stream identifier indicated in the corresponding entry in
[000222] 列1806の各エントリは、対応するコンテンツストリームによって通信される、例えば、360度シーン領域1200等のシーン領域の部分を示す。従って、グループ1820における最初の3行は、各々が異なるコンテンツストリームに対応するが、正面シーン部分(例えば、270度から90度までの視野領域をカバーする、図12に示されたゾーン1にマッピングする)を通信する。グループ1820における次の3行は、各々が異なるコンテンツストリームに対応するが、後方右側シーン部分(例えば、30度から210度の視野領域をカバーする、図12に示されたゾーン2にマッピングする)を通信する。グループ1820における最後の3行は、各々が異なるコンテンツのストリームに対応するが、後方左側シーン部分(例えば、150度から330度の視野領域をカバーする、図12に示されたゾーン3にマッピングする)を通信する。
[000222] Each entry in
[000223] 列1808における各エントリは、対応するコンテンツストリームがサポートするデータレートを示す。列1810における各エントリは、列1812における対応するエントリに示されたストリーム識別子によって特定される対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストグループ識別子/アドレスを示す。列1814における各エントリは、列1812における対応するエントリにおいて示されたストリーム識別子によって特定される対応するコンテンツストリームについてのストリーム記述子を含む。列1816における各エントリは、対応するコンテンツストリームをアクセスする、または、要求するために使用され得る、例えば、同調パラメータ及び/または他のアクセスパラメータ等のアクセス情報を含む。
[000223] Each entry in
[000224] 例示的なテーブル1800から理解され得るように、図示の例では、再生における使用のために利用可能である、所与の視野方向に対応する各コンテンツストリームの複数、例えば、3つ、の異なるバージョンが存在し、コンテンツストリームの各バージョンは、異なるデータレートをサポートする。従って、再生システムは、図14−17に関して詳細に検討されたような本発明の特徴に従って、例えば、サポートされる帯域幅、データレート、ユーザの頭の位置等の1つ以上の要因に基づいて、再生に使用するために、1つ以上のストリームの選択を行うことができる。 [000224] As can be seen from the exemplary table 1800, in the illustrated example, a plurality of each content stream corresponding to a given viewing direction, eg, three, available for use in playback. There are different versions of each, and each version of the content stream supports a different data rate. Thus, the playback system may be based on one or more factors such as, for example, supported bandwidth, data rate, user head position, etc., in accordance with features of the present invention as discussed in detail with respect to FIGS. 14-17. One or more streams can be selected for use in playback.
[000225] 1つ以上のコンテンツストリームを選択する、及び/または、アクセスするために、テーブル1800における情報が再生システムによってどのように利用され得るかをより明確に理解するために、グループ1820における最初の行と、列1804、1806、1808、1810、1812、1814、及び、1816の各々における最初のエントリを考慮する。列1804の最初のエントリは、列1812に含まれたストリーム識別子S1D1によって特定される第1のコンテンツストリームによって、「サッカー」のイベント/番組が通信されることを示す。列1806における対応するエントリは、第1のストリームが、前方シーン部分(例えば、270度から90度までの視野領域)に対応するコンテンツを通信することを示す。この視野領域情報は、現在の視界に対応する、ユーザ/見る者の現在の頭の位置に対応するコンテンツを通信する1つ以上のストリームを特定するために、再生システムによって使用される。例を続けると、列1808における対応する最初のエントリは、第1のコンテンツストリームが、データレートD1をサポートする、及び/または、必要とすることを示す。列1810における対応するエントリは、第1のコンテンツストリームが、マルチキャストグループM1に参加することによってアクセスされ得ることを示し、M1は、マルチキャストグループアドレス、及び/または、アドレスにマッピングする識別子を示す。列1814における対応するエントリは、第1のストリームが対応するカメラ視野角(V1)、第1のストリームに対応するコーデックタイプ(C1)、サポートされるデータレート(D1)、フレームレート(F1)を示す、第1のコンテンツストリームに対応するストリーム記述子「V1C1D1F1」を含む。最後の列1816における対応するエントリは、アクセス同調パラメータ、及び/または、第1のコンテンツストリームをアクセスする、または、要求するために使用され得る他のアクセスパラメータ(A123として示される)を示す。
[000225] To more clearly understand how the information in table 1800 can be utilized by the playback system to select and / or access one or more content streams, the first in
[000226] 使用され得る利用可能なコンテンツストリームに関する上述のような情報を用いて、再生システム1900等の再生システムは、本発明の特徴に従って、再生に使用するための1つ以上のコンテンツストリームを選択し、アクセスし得る。より良い理解のために、ユーザの頭の位置が、ユーザが360度シーンの正面部分を見ていることを示していると、再生システムが決定する、1つの単純な例を考える。一実施形態におけるそのような場合には、再生システムは、正面シーン部分を通信する少なくとも1つのコンテンツストリームを選択する。利用可能な帯域幅、サポート可能なデータレート、ストリーム帯域幅、及び/または、データレート制約等の図14−17について検討されたような様々な他の要因に応じて、再生システムは、正面シーン部分を通信する3つの異なる利用可能なストリーム(S1D1、S1D2,S1D3)からストリームを選び出すことができる。制約が許すならば、再生システムは、正面シーン部分に対応する複数のコンテンツストリームからの3つの対応するコンテンツストリームから、最高品質のストリーム、例えば、ストリームS1D1、を選択する。テーブル1800において提供される情報は、選択を行うために使用され得る情報の少なくともいくつかがストリーム情報1800によって提供されるので、再生における使用のための適切なストリームの選択を容易にする。ストリーム選択の後、再生システムは、選択されたストリームに対応するマルチキャストグループ、例えば、M1、に参加することによって、または、コンテンツストリームを取得するためにアクセス情報を用いることによって、コンテンツ配信、例えば、コンテンツの受け取り、を起動するために、再びストリーム情報1800を使用し得る。
[000226] Using information such as described above regarding available content streams that may be used, a playback system, such as
[000227] 図19は、コンテンツ配信システムから受け取られる画像コンテンツを受け取り、デコードし、記憶し、及び、表示するために使用され得る、本発明に従って実装された再生システム1900を示す。システム1900は、ディスプレイ1902を含む単一の再生デバイス1900’として、または、コンピュータシステム1900’に接続された外部ディスプレイ、例えば、ヘッドマウントディスプレイ1905等の要素の組み合わせとして、実装され得る。
[000227] FIG. 19 illustrates a
[000228] 再生システム1900は、少なくともいくつかの実施形態において、3Dヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ1905を含み得る、Oculus社のRIFT(商標) VR(バーチャルリアリティ)ヘッドセットを使用して実装され得る。また、他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、1つ以上のディスプレイスクリーンがユーザの左と右の眼にコンテンツを表示するために使用されるヘッドマウントヘルメットまたは他のヘッドマウントデバイスが、デバイス1905として使用される。単一のスクリーンの異なる部分を異なる眼に露出するよう構成されたヘッドマウントを用いて、単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別個に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンのスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンはヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。いくつかの実施形態では、表示デバイス1905は、Oculus社のRift等の3Dディスプレイ装置の部分であってもよい。
[000228]
[000229] 再生システム1900は、受け取られた、エンコードされた画像データ、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び/または、モノ(単一の画像)、をデコードし、例えば、ユーザによって3D画像として知覚される異なる左と右の眼の画面を描画し、表示することによって、顧客への表示のための3D画像コンテンツを生成する能力を有する。いくつかの実施形態における再生システム1900は、家庭やオフィス等の顧客建物位置に配置されるが、同様に、画像取り込みの場所に配置されてもよい。システム1900は、本発明に従った信号受け取り、復デコード、表示、及び/または、他の動作を実行することができる。
[000229] The
[000230] システム1900は、ディスプレイ1902、ディスプレイデバイスインターフェース1903、入力デバイス1904、入力/出力(I/O)インターフェース1906、プロセッサ1908、ネットワークインターフェース1910、及び、メモリ1912を含む。システム1900の様々なコンポーネントは、データがシステム1900のコンポーネントの間を通信されることを可能にするバスを介して、及び/または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ1902は、破線枠を用いて示されるオプション要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス1905が、ディスプレイデバイスインターフェース1903を介して再生デバイスに接続され得る。
The
[000231] 例えば、セルフォンプロセッサがプロセッサ1908として使用され、セルフォンが画像を生成し、ヘッドマウントで表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ1908、ディスプレイ1902、及び、メモリ1912を含み得る。プロセッサ1908、ディスプレイ1902、メモリ1912は、全て、セルフォンの部分であってもよい。システム1900の他の実施形態は、プロセッサ1908は、ディスプレイ1905がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、XBOXまたはPS4等のゲームシステムの部分であってよい。プロセッサ1908、または、メモリ1912が、頭に装着されるデバイスに設けられるか否かは、重要ではなく、理解され得るように、いくつかの場合には、電力、熱、及び、重量の観点から、ヘッドギアにプロセッサを共同設置することが便利であり得るが、少なくともいくつかの場合には、ディスプレイを含むヘッドギアに接続されたプロセッサ1908とメモリを有することが望まれ得る。
[000231] For example, if a cell phone processor is used as the
[000232] 様々な実施形態は、ヘッドマウントディスプレイ1905または1902を企図しているが、方法及び装置は、また、3D画像をサポートし得るヘッドマウントでないディスプレイとともに使用されることができる。従って、多くの実施形態において、システム1900はヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000232] While various embodiments contemplate head mounted
[000233] 再生システム1900のオペレータは、入力デバイス1904を介して1つ以上のパラメータを制御し、及び/または、例えば、3Dシーン表示を選択する等、実行されるべき動作を選択し得る。I/Oインターフェース1906を介して、システム1900は、外部デバイスに接続され、及び/または、他のデバイスと信号及び/または情報を交換し得る。いくつかの実施形態では、I/Oインターフェース1906を介して、システム1900は、カメラリグ900等のカメラリグの部分であり得る様々なカメラによって取り込まれた画像を受け取ることができる。
[000233] An operator of
[000234] 例えば、CPU等のプロセッサ1908は、ルーチン1914を実行し、再生システム1900を本発明に従って動作するように制御するために、様々なモジュールを使用する。プロセッサ1908は、再生システム1900の全般的な動作を制御する責任がある。様々ないくつかの実施形態において、プロセッサ1908は、再生デバイスによって実行されているとして検討された機能を実行するように構成される。
[000234] For example, a
[000235] ネットワークインターフェース1610を介して、システム1900は、例えば、通信ネットワーク105等の通信ネットワーク上で、様々な外部デバイスに、通信及び/または情報(例えば、画像及び/またはビデオコンテンツを含む)を通信し、及び/または、受け取る。ネットワークインターフェース1910は、それを介して受信と送信の動作が実行される受信機1911及び送信機1913を含む。いくつかの実施形態では、システムは、コンテンツプロバイダから、ネットワークインターフェース1910を介して1つ以上の選択されたコンテンツストリームを受け取る。いくつかの実施形態では、システム1900は、インターフェース1910の受信機1911を介して、再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取る。受け取られたコンテンツストリームは、例えば、エンコードされたシーン部分1952等のエンコードされたデータとして受け取られ得る。受信機1911は、更に、例えば、番組ガイドの部分として、ストリーム情報1946、及び/または、初期化データを受け取るよう構成される。システム1900は、更に、例えば、受信機1911を介して、異なる視野方向のための帯域幅制約を含む、帯域幅及び/またはデータレート割り当て制御情報1952を受け取り、個々の帯域幅制約は、当該個々の帯域幅制約に対応する視野方向に対応したコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大帯域幅を指定する。いくつかの実施形態では、受信機1911は、更に、例えば、初期化フェーズまたは他の時間の間等、3D表面の少なくとも一部の上に画像コンテンツをマッピングするために使用されるために、3D表面を規定する3D深さマップ等の少なくとも1つの環境マップ、及び、1つ以上のUVマップを受け取るように構成される。いくつかの実施形態では、受信機1911は、シーン環境の第1の部分に対応する第1のUVマップ、当該シーン環境の第2の部分に対応する第2のUVマップ、シーン環境の第3の部分に対応する第3のUVマップは、第4の部分に対応する第4のUVマップ、シーン環境の第5の部分に対応する第5のマップを受け取る。いくつかの実施形態において、初期化の間に、システム1900は、例えば、インターフェース1910の受信機を介して、シーンの第1、第2、第3、第4、及び、第5の部分の1つ以上に対応する、例えば、画像等のコンテンツを受け取る。
[000235] Via the
[000236] メモリ1912は、プロセッサ1908によって実行されたとき、再生システム1900を、本発明に従って、デコードと出力動作を実行するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ1912は、制御ルーチン1914、頭の位置決定モジュール1916、現在の視野位置初期化モジュール1918、デコーダモジュール1920、現在選択されるストリーム初期化モジュール1922、コンテンツ配信起動モジュール1924、画像バッファ(または、複数のバッファ)1926、画像バッファ更新モジュール1928、画像生成モジュールとも呼ばれる画像描画モジュール1930、利用可能な帯域幅及び/またはサポートされるデータレート決定モジュール1932、頭の位置変化決定モジュール1934、利用可能な帯域幅及び/またはサポートされるデータレート変化決定モジュール1936、ストリーム選択モジュール1938、選択されたストリームの組変更決定モジュール1940、選択されたストリームの組更新モジュール1942、ストリーム(または、複数のストリーム)終了モジュール1944、受け取られたストリーム情報を含むデータ/情報1946、受け取られた、帯域幅及び/またはデータレート割り当て情報1948、決定された現在の最大の利用可能な帯域幅及び/またはサポート可能なデータレート1950、受け取られたエンコードされた画像コンテンツ1952、受け取られた環境マップ1954、受け取られたUVマップ(または、複数のUVマップ)1956、デコードされた画像コンテンツ1958、及び、生成された3Dコンテンツ1960を含む。
[000236] The memory 1912 includes various modules, such as routines, that, when executed by the
[000237] 制御ルーチン1914は、システム1900の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。頭の位置決定モジュール1916は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を決定するように構成される。例えば、頭の位置決定モジュール1916は、ヘッドマウントディスプレイを含むヘッドギア上にあってもよい位置センサと統合されてもよく、及び/または、連携して動作してもよい。現在の視野位置初期化モジュール1918は、例えば、初期化フェーズ中に、検出されたユーザの現在の頭の位置を前方(0度)視野位置に設定することによって、ユーザの現在の視野位置を、前方(0度)環境視野位置に初期化するように構成される。
[000237] The
[000238] デコーダモジュール1920は、デコードされた画像データ1958を生成するために、コンテンツ配信システム700からの受け取られたエンコードされた画像コンテンツ1952をデコードするよう構成される。デコードされた画像データ1958は、デコードされた立体視シーン、及び/または、デコードされたシーン部分を含み得る。デコードされたコンテンツは、いくつかの実施形態では、1つ以上の画像バッファ1926に記憶される。現在選択されるストリーム初期化モジュール1922は、受け取られるべく選択される1つ以上のコンテンツストリームの現在の組を初期化するように構成される。現在選択されるストリーム初期化モジュール1922は、ストリームの現在選択された組を、環境/シーンの前方/正面部分に対応するコンテンツを通信する第1のストリームに設定するよう構成される。
[000238] The
[000239] コンテンツ配信起動モジュール1924は、選択されたコンテンツストリーム(または、複数のストリーム)の配信を起動するように構成される。いくつかの実施形態では、コンテンツ配信起動モジュール1924が、既に受け取られていない選択された組におけるコンテンツストリームの配信を起動する。いくつかの実施形態では、コンテンツ配信起動モジュール1924は、例えば、ストリームの現在の選択された組に対応するコンテンツを通信するコンテンツストリームに対応したマルチキャストグループ等、選択されたコンテンツストリームに対応するマルチキャストグループ(または、複数のマルチキャストグループ)に参加するための要求信号を送るように構成される。いくつかの他の実施形態では、コンテンツ配信起動モジュール1924は、ネットワーク内のデバイスに、選択されたコンテンツストリームが通信される切り替えデジタルチャネルの配信を要求する要求を生成し、送るように構成される。
[000239] The content
[000240] 画像バッファ更新モジュール1928は、例えば、コンテンツストリームの選択された組によって通信される、更新されたコンテンツが受け取られ、デコードされたとき、画像バッファ(または、複数の画像バッファ)1926を更新されたコンテンツで更新するように構成される。
[000240] The image
[000241] 画像描画モジュール1930は、ディスプレイ1902及び/またはディスプレイデバイス1905上でユーザに表示するために、例えば、デコードされた画像コンテンツ1958を用いて、本発明の特徴に従って、3D画像として知覚されるような方法で表示される、例えば、左と右の眼の画像等の3D画像を生成する。いくつかの実施形態において、画像描画モジュール1930は、ユーザの現在の視野領域に対応する、デコードされた画像コンテンツ1958、環境マップ1954、及び、UVマップを使用した表示のためにコンテンツを描画するよう構成される。従って、いくつかの実施形態では、画像描画モジュール1930は、図17に示されたステップに関して検討された機能を実行するように構成される。生成された画像コンテンツは、3D画像生成モジュール1930の出力である。従って、描画モジュール1930は、ディスプレイに、3D画像コンテンツ1960を描画する。いくつかの実施形態では、画像描画モジュール1930は、例えば、ディスプレイデバイスに、または、他のデバイスに、1つ以上の生成された画像を出力するように構成される。生成された画像は、ネットワークインターフェース1910及び/またはディスプレイデバイスインターフェース1930を介して出力され得る。
[000241]
[000242] 利用可能な帯域幅及び/またはサポートされるデータレート決定モジュール1932は、例えば、コンテンツストリームを受け取るために、所与の時間に利用可能であり得る、現在の最大の利用可能な帯域幅及び/または現在の最大のサポート可能なデータレートを決定するように構成される。利用可能な帯域幅及び/またはサポート可能なデータレートが、通信チャネル状態またはネットワーク問題における変化により時間とともに変化し得るので、いくつかの実施形態では、決定モジュール1932は、利用可能な帯域幅及び/またはサポートされるデータレートにおける変化を検出するために、継続的ベースで、モニタ及び/または決定を実行する。決定された現在の最大のサポート可能なデータレート及び/または帯域幅1950は、決定モジュール1932の出力であり、必要があるときに更新され得る。 [000242] Available bandwidth and / or supported data rate determination module 1932 may, for example, be the current maximum available bandwidth that may be available at a given time to receive a content stream. And / or configured to determine a current maximum supportable data rate. In some embodiments, the decision module 1932 may determine the available bandwidth and / or the available bandwidth and / or the supportable data rate because it may change over time due to changes in communication channel conditions or network issues. Or, monitor and / or make decisions on a continuous basis to detect changes in supported data rates. The determined current maximum supportable data rate and / or bandwidth 1950 is an output of the determination module 1932 and can be updated when needed.
[000243] 頭の位置変化決定モジュール1934は、例えば、頭の位置決定モジュール1916の出力における変化をチェック及び比較することによって、ユーザの頭の位置に変化があったかどうかを決定するように構成される。利用可能な帯域幅及び/またはサポートされるデータレート変化決定モジュール1936は、決定モジュール1932によって決定される、現在の最大の利用可能な帯域幅及び/または現在の最大のサポート可能なデータレートと比較して、利用可能な帯域幅及び/またはサポートされるデータレートに変化があるかどうかを検出するように構成される。
[000243] Head position
[000244] ストリーム選択モジュール1938は、ユーザの現在の頭の位置に基づいて、所定の時間での再生における使用のために、複数のコンテンツストリームのどれを受け取るかを選択するよう構成される。ユーザの現在の頭の位置及び/または他の要因における変化に基づいて、ストリーム選択モジュール1938は、異なる度に異なるストリーム(または、複数のストリーム)を選択することができる。ストリームの現在選択された組1961は、ストリーム選択モジュール1938の出力であり、受け取るために現在選択されたコンテンツストリームの組を示す。いくつかの実施形態では、ストリーム選択モジュール1938は、ストリーム選択動作の部分として、様々な機能を実行するように構成される複数のサブモジュールを含む。図23は、ストリーム選択モジュール1938、及び、その中に含まれる様々なモジュールをより詳細に示し、後述される。
[000244] The
[000245] 選択されたストリームの組変更決定モジュール1940は、例えば、選択モジュールが1つ以上の追加のコンテンツストリームを選択することに因り、及び/または、受け取られている1つ以上のストリームが終了された/停止されたことに因り、ストリームの現在選択された組1961において変更があったかどうかを決定するよう構成される。選択されたストリームの組更新モジュール1942は、例えば、ストリーム1961の選択された組へのコンテンツストリームの追加または終了に因り、ストリームの選択された組への変更があった場合に、ストリームの選択された組への任意の変更を反映するために、現在の選択されたストリームの組1961を更新するように構成される。ストリーム(または、複数のストリーム)終了モジュール1944は、例えば、ストリームの現在選択された組1961がストリームの選択における変更故に更新されることに因り、以前に受け取られていたが、もはやストリームの現在選択される組にはない1つ以上のコンテンツストリームを受け取ることを終了/停止するよう構成される。
[000245] The selected stream set
[000246] ストリーム情報1946は、受け取ること、及び、再生における使用のために利用可能であり得る複数のコンテンツストリームに関する情報を含む。ストリーム情報1946に含まれる情報は、図18に示され、先に検討されたのと同じまたは同様である。受け取られた、帯域幅及び/またはデータレート割り当て制御情報1948は、異なる視野方向のための帯域幅制約、及び/または、様々な異なる視野方向のためのコンテンツを提供するコンテンツストリームに対応するデータレート上の制約を示す情報を含む。決定された現在の最大のサポート可能なデータレート及び/または帯域幅1950は、所与の時間に、再生システム1900によって決定される最大のサポート可能なデータレート及び/または帯域幅を示す。
[000246]
[000247] 受け取られた環境マップ1954は、3D表面を規定する環境の3D深さマップを含む。関心のある環境に対応する1つ以上のそのような深さマップは、いくつかの実施形態では、再生システム1900によって受け取られ得る。受け取られたUVマップ(または、複数のUVマップ)1956は、関心のある環境/シーンの部分に対応する1つ以上のUVマップを含む。デコードされたデータ1958は、デコーダ1920によって、本発明に従ってデコードされたデータを含む。デコードされたデータ1958は、ストリームの選択された組によって通信された環境のシーンまたはシーン部分を含むコンテンツを含む。
[000247] The received
[000248] いくつかの実施形態では、上述の様々なモジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、例えば、各モジュールが、モジュールが対応する機能を実行するための回路として実装される個々の回路として、ハードウェアで実装される。更に、他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。 [000248] In some embodiments, the various modules described above are implemented as software modules. In other embodiments, the modules are implemented in hardware, for example, as individual circuits where each module is implemented as a circuit for performing the corresponding function. Furthermore, in other embodiments, the modules are implemented using a combination of software and hardware.
[000249] メモリ1912に含まれる例が図19に示されるが、再生デバイス1900に含まれる図示されたモジュールは、例えば、個々の回路として、プロセッサ1908の中にハードウェアで全体が実装され得、及び、いくつかの実施形態では実装される。モジュールは、例えば、異なるモジュールに対応する個別の回路として、ハードウェアで全体が実装され得る、及び、いくつかの実施形態では実装される。他の実施形態において、モジュールのいくつかが、例えば、回路として、プロセッサ1908の中に実装され、他のモジュールが、プロセッサ1908の外部で接続される、例えば、回路として、実装される。理解されるべきであるように、プロセッサ上のモジュールの統合のレベル、及び/または、プロセッサの外部にあるいくつかのモジュールと共に、設計事項の1つであり得る。代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム1900のメモリ1912に記憶され得、モジュールが、例えば、プロセッサ1908等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するために、システム1900の動作を制御する。更に他の実施形態では、様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路がプロセッサ1908への入力を提供し、そして、プロセッサ1908が、ソフトウェア制御の下で、モジュールの機能の部分を実行するよう動作する。
[000249] Although an example included in the memory 1912 is shown in FIG. 19, the illustrated modules included in the
[000250] 図23は、再生システム1900において使用されるストリーム選択モジュールとその中に含まれる各種のモジュールとをより詳細に示す。ストリーム選択モジュールは、図14−16に関連して詳細に説明されたように、本発明の方法に従って1つ以上のコンテンツストリームを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュールは、ユーザの頭の位置、ストリーム情報1946、及び/または、最大のサポート可能なデータレートに基づいて、複数のコンテンツストリームのどれを受け取るかを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュール1938は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度付けをするように構成されたストリームの優先度付けモジュール2306を含む。ストリームの優先度付けモジュール2306の出力は、例えば、割り当てられた優先度でコンテンツストリームの優先度付けリストである。ストリームの優先度付けモジュール2306は、以下に、図24に関して更に詳細に説明される。
FIG. 23 shows in more detail the stream selection module used in the
[000251] ストリーム選択モジュール1938は、更に、例えば、帯域幅及び/またはデータレート制約に基づいて、最も高い優先度を有するストリームのために使用されるべき最大の帯域幅及び/またはデータレートを決定するように構成される最も高い優先度のストリームの最大の帯域幅及び/またはデータレート決定モジュール2308と、より低い優先度を有する各ストリームのために使用されるためのより低い優先度ストリーム(または、複数のストリーム)の最大の帯域幅及び/またはデータレート決定モジュール2310とを含む。決定モジュール2308、2310は、いくつかの実施形態におけるそれぞれの決定を行うために、帯域幅制御情報1948とストリーム優先度付けモジュール2306の出力を使用する。したがって、ストリーム選択モジュール1938は、例えば、ネットワークデバイス/サーバから、再生システムに通信された帯域幅制約に基づいて、少なくとも1つのコンテンツストリームのための帯域幅を決定するように構成された1つ以上のストリームの帯域幅決定モジュールを含み得る。
[000251] The
[000252] ストリーム選択モジュール1938は、更に、最も高い優先度のストリーム(または、複数のストリーム)のために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅及び/またはサポート可能なデータレートに基づいて、最も高い優先度のストリームがサポートされ得るかどうかを決定するよう構成されたモジュール2312と、サポートされ得る最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2314とを含む。いくつかの実施形態では、選択モジュール2314は、最高の優先度を割り当てられた複数のコンテンツストリームから1つのコンテンツストリームを選択するように構成され、最も高い優先度に割り当てられた各コンテンツストリームは、同じ優先度を有する複数のコンテンツストリームから選択するように構成されることの部分として、同じ視線方向に対応するコンテンツを提供する。いくつかの実施形態において、モジュール2314は、利用可能な帯域幅の決定された量に基づいて、例えば、最も高い優先度等の同じ優先度を有する複数のコンテンツストリームから選択するように構成される。従って、いくつかの実施形態では、同じ優先度を有する複数のストリームが利用可能である、例えば、いくつかが、より低いデータレート要求を有する他のものと比較して高いデータレート要求をもつ、場合に、選択モジュール2314は、利用可能な帯域幅及び/またはサポート可能なデータレート、及び、帯域幅制約がそのような選択を可能にするならば、例えば、高データレートストリーム等の最も高い品質のストリームを選択する。
[000252] The
[000253] ストリーム選択モジュール1938は、更に、2番目に最も高い優先度ストリームのために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅(例えば、合計の利用可能な、または、残りの利用可能な)及び/またはサポート可能なデータレートに基づいて、2番目に最も高い優先度のストリームがサポートされ得るかどうかを決定するように構成されたモジュール2316、サポートされ得る2番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2318、3番目に最も高い優先度のストリーム(または、複数のストリーム)のために決定された最大の帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅(例えば、合計の利用可能な、または、残りの利用可能な)及び/またはサポート可能なデータレートに基づいて、3番目の最も高い優先度ストリームがサポートされ得るかどうかを決定するよう構成されたモジュール2320、及び、サポートされ得る3番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール2322を含む。従って、いくつかの実施形態では、ストリーム選択モジュール1938は、例えば、優先度付けモジュール2306により、最も高い優先度を割り当てられている1つ以上のコンテンツストリームを選択するように構成される。
[000253] The
[000254] ストリーム選択モジュール1938は、更に、例えば、1つ以上のより高い優先度のストリームが受け取りのために選択された後、追加のコンテンツストリームを受け取りための任意の残りのまたは追加の利用可能な帯域幅があるかどうかを決定するように構成される追加の容量/帯域幅利用可能性決定モジュール2324を含む。いくつかの実施形態では、ストリーム選択モジュール1938は、更に、1つ以上のより低い優先度ストリームのための最大の決定された最大帯域幅及び/またはデータレートに基づいて、及び、利用可能な帯域幅及び/またはサポート可能なデータレートに基づいて、サポートされ得る1つ以上のより低い優先度のストリームを選択するよう構成されたモジュール2326を含む。
[000254] The
[000255] 図24は、ストリーム選択モジュール1938の、例えば、サブモジュールとして等の部分として、または、個別のモジュールとして実装され得るストリーム優先度付けモジュール2306を示す。ストリームの優先度付けモジュール2306は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度を決定するように構成される。コンテンツストリームが優先度付けされると、ストリーム選択モジュール1938は、優先度付けされたコンテンツストリームからのストリーム選択を行うことができる。いくつかの実施形態では、ストリーム優先度付けモジュール2306は、ユーザの現在の頭の位置に基づいて、ユーザが見ているシーン領域の部分を示す、ユーザの現在の視界を特定するように構成された現在の視界特定モジュール2404と、ユーザの現在の視界に対応するコンテンツを通信するストリーム(または、複数のストリーム)を特定するよう構成された現在の視界ストリーム(または、複数のストリーム)特定モジュール2404を含む。現在の視界ストリーム(または、複数のストリーム)特定モジュール2404の出力は、いくつかの実施形態ではメモリ1912に記憶され得る特定されたストリームのリストであり、リストは、ユーザの頭の位置、従って、視界が変化すると更新され得る。従って、様々な実施形態では、様々な利用可能なコンテンツストリームを優先度付けするために、まず、ユーザの現在の視界が頭の位置に応じて特定され、視界に対応するコンテンツを通信するストリームが特定される。
[000255] FIG. 24 shows a
[000256] いくつかの実施形態では、ストリーム優度付けモジュール2306は、更に、特定されたストリーム(または、複数のストリーム)から、利用可能な、ユーザの現在の視界に対応するシーン領域の部分の大きさを決定するよう構成されたモジュール2406と、各ストリームが提供する部分の大きさに基づいて、ユーザの現在の視界に対応するシーン領域の部分を提供する1つ以上のストリームに優先度付与するように構成された優先度付与/割り当てモジュール2408を含む。いくつかの実施形態において、優先度付与/割り当てモジュール2408は、現在の視界に対応するシーンの最も大きな部分を提供するストリームをプライマリストリームとして指定する等、視界の最も大きい部分を提供するストリームに最も高い優先度を付与するように構成されたモジュール2410を含む。いくつかの実施形態では、優先度付与/割り当てモジュール2408は、更に、例えば、視界のより大きな部分を提供するストリームが、現在の視界に対応するシーンのより小さい部分を提供する他のストリームよりも高い優先度と指定を与えられて、残りのストリームの各々が提供する視界の部分の大きさに基づいて、残りのストリームに、次に最も高い優先度(または、複数の優先度)を付与し、指定する(例えば、2次、3次、等)ように構成されたモジュール2412を含む。
[000256] In some embodiments, the
[000257] いくつかの実施形態では、ストリーム優先度付けモジュール2306は、更に、現在の視界外のシーン領域に対応するコンテンツを提供するストリーム等、優先度付けされるべき残りのストリームが存在するかどうかを決定するように構成されたモジュール2414を含む。
[000257] In some embodiments, the
[000258] いくつかの実施形態では、ストリーム優先度付けモジュール2306は、更に、現在の視界への画像コンテンツの近接、または、頭の回転の方向の一方に基づいて、ユーザの現在の視界の外側のコンテンツを提供する1つ以上の追加のストリームに、例えば、優先度を付与する等の優先度付けをするよう構成されたモジュール2416を含む。いくつかの実施形態において、モジュール2416は、現在の視界の領域に接する画像コンテンツを通信するコンテンツストリームが、現在の視界の外で更に離れたコンテンツストリームより高い優先度を付与されるように、通信される画像コンテンツの現在の視界への近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームを優先度付けするように構成される。
[000258] In some embodiments, the
[000259] いくつかの実施形態において、モジュール2416は、ユーザの頭の回転が、例えば、ユーザの頭の位置における変化の部分として、検出されるかどうかを決定するように構成される頭の回転決定モジュール2418を含む。いくつかであるが全てではない実施形態において、ユーザが、空や屋根に向かって見上げる、または、地面に向かって見下ろす場合、頭の位置におけるそれからの変化はあるが、そのような頭の動きは頭の回転とはみなされない。いくつかの実施形態において、現在の視界の外だが、頭の回転の方向にある画像コンテンツを提供するコンテンツストリームが、頭の回転の方向から離れた方向で現在の視界の外にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与されるように、モジュール2416は、ユーザの頭の回転の方向に基づいて、1つ以上の追加のコンテンツストリームを優先度付けするよう構成される。いくつかのこのような実施形態では、モジュール2416は、更に、現在の視界の外のシーンの部分、例えば、シーン環境の頂部または底部、に対応するコンテンツを提供するストリームに、次により低い優先度(例えば、より高い優先度が、視界に対応するコンテンツを提供するストリームに付与された後)とストリーム指定、例えば、3次、を付与するように構成されたモジュール2420を含む。いくつかの実施形態では、頭の回転がないと決定された場合、頭の回転決定モジュールは、追加のストリームに優先度を付与するために、モジュール2420に制御入力を提供する。
[000259] In some embodiments, the
[000260] いくつかの実施形態において、モジュール2416は、更に、先の頭の位置に対するユーザの頭の回転の方向、例えば、左または右、を決定するよう構成される頭の回転の方向決定モジュール2422を含む。いくつかの実施形態では、モジュール2416は、更に、頭の回転の方向を考慮して、現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームに優先度を付与するように構成されたモジュール2424を含む。いくつかの実施形態において、モジュール2424は、頭の回転の方向にあるシーンの部分に対応するコンテンツを提供するストリームに、次により低い優先度(例えば、より高いものから次に利用可能な優先度)と、指定、例えば、3次ストリーム、とを付与するように構成されたモジュール2426を含む。従って、頭の回転が検出された場合、ストリームへの優先度の付与は、いくつかの実施形態において、頭の回転の方向に基づいて行われることが理解されるべきである。いくつかの実施形態において、モジュール2416は、更に、考慮されている残りのストリームのいずれかにより低い優先度を付与するように構成された追加モジュール2428を含む。
[000260] In some embodiments, the
[000261] 単一のプロセッサ、例えば、コンピュータ、として、図19の実施形態に示されるが、プロセッサ1908は、例えば、1つ以上のコンピュータ等の1つ以上のプロセッサとして実装されてもよいことが理解されるべきである。ソフトウェアで実施される場合、モジュールは、プロセッサ1908によって実行されると、プロセッサ1908をモジュールに対応する機能を実装するように構成するコードを含む。図19、23、及び、24に示される様々なモジュールがメモリ1912に記憶される実施形態では、メモリ1912は、例えば、プロセッサ1908等の少なくとも1つのコンピュータにモジュールが対応する機能を実装させるために、例えば、各モジュールのための個別のコード等のコードを備える、コンピュータが読出し可能な媒体を備えるコンピュータプログラム製品である。
[000261] Although illustrated in the embodiment of FIG. 19 as a single processor, eg, a computer, the
[000262] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用され得る。しかし、例えば、回路に実装されたモジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得る。理解されるべきであるように、図19、23、及び、24に示されたモジュールは、図14のフローチャート1400に示された、及び/または、記載された対応するステップの機能を実行し、図15−17に示された対応するステップの機能を実行するために、システム1900、または、プロセッサ1908等のその中の要素を制御し、及び/または、構成する。
[000262] Completely hardware based or fully software based modules may be used. However, for example, any combination of software and hardware, such as a module implemented in a circuit, can be used to implement a function. As should be understood, the modules shown in FIGS. 19, 23 and 24 perform the functions of the corresponding steps shown and / or described in the flowchart 1400 of FIG. Control and / or configure
[000263] 図20A、図20B、図20C、図20D、及び、図20Eの組合せを備える図20は、様々な例示的な実施形態に従ってコンテンツ再生システムを動作させる例示的な方法のフローチャート2000である。コンテンツ再生システムは、例えば、様々な実施形態に従って、ディスプレイに接続されたコンテンツ再生デバイスまたはコンピュータシステムである。
[000263] FIG. 20, comprising a combination of FIGS. 20A, 20B, 20C, 20D, and 20E, is a
[000264] 例示的な方法の動作は、コンテンツ再生システムが電源投入され、初期化されるステップ2002で開始する。動作は、ステップ2002から、コンテンツ再生システムが、前記環境の第1の後方視野部分に対応する第1の画像を受け取るステップ2004に進む。動作は、ステップ2004から、コンテンツ再生システムが前記環境の前記第1の後方視界部分に対応する前記受け取られた第1の画像を記憶するステップ2006に進む。動作は、ステップ2006から、コンテンツ再生システムが、前記環境の前記第1の後方視野部分に対応する少なくとも第2の画像を含む、前記環境の第1の後方視野部分に対応する1つ以上の追加の画像を受け取るステップ2008に進む。動作は、ステップ2008から、コンテンツ再生システムが、前記環境の前記第1の後方視野部分に対応する前記受け取られた1つ以上の追加の画像を記憶するステップ2010に進む。動作は、ステップ2010からステップ2012に進む。
[000264] The operation of the exemplary method begins at
[000265] ステップ2012において、コンテンツ再生システムは、前記環境の第2の後方視野部分に対応する第1の画像を受け取る。動作は、ステップ2012から、コンテンツ再生システムが前記環境の前記第2の後方視野部分に対応する前記受け取られた第1の画像を記憶するステップ2014に進む。動作は、ステップ2014から、前記環境の前記第2の後方視野部分に対応する少なくとも第2の画像を含む、前記環境の前記第2の後方視野部分に対応する1つ以上の追加の画像を受け取るステップ2016に進む。動作は、ステップ2016から、コンテンツ再生システムストアが、前記環境の前記第2の後方視野部分に対応する前記受け取られた1つ以上の追加の画像を記憶するステップ2018に進む。動作は、ステップ2018からステップ2020に進む。
[000265] In
[000266] ステップ2020において、コンテンツ再生システムは、前記環境の空の視野部分に対応する1つ以上の画像を受け取る。動作は、ステップ2020から、コンテンツ再生システムが、前記環境の前記空の視野部分に対応する前記受け取られた1つ以上の画像を記憶するステップ2022に進む。動作は、ステップ2022から、コンテンツ再生システムが、前記環境の地面の視野部分に対応する1つ以上の画像を受け取るステップ2024に進む。動作は、ステップ2024から、コンテンツ再生システムが、前記環境の前記地面の視野部分に対応する前記受け取られた1つ以上の画像を記憶するステップ2026に進む。いくつかの実施形態では、空の視野と地面の視野は、見る者の名目上の頭の位置の眺望に関して上と下の方向を指し、屋内環境だけでなく、屋外環境にも適用するために使用される。
[000266] In step 2020, the content playback system receives one or more images corresponding to an empty field of view of the environment. Operation proceeds from step 2020 to step 2022 where the content playback system stores the received one or more images corresponding to the empty field portion of the environment. Operation proceeds from
[000267] いくつかの実施形態では、画像は、例えば、特定の実施形態に応じて、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分の内のいくつかであるが、必ずしも全てではないものに対応して受け取られ得る。 [000267] In some embodiments, an image is included in, for example, a first rear view portion, a second rear view portion, an empty view portion, and a ground view portion, depending on the particular embodiment. Can be received corresponding to some, but not necessarily all.
[000268] 動作は、ステップ2026から、接続ノードA 2028を介して、ステップ2030に、ステップ2034に進み、及び、接続ノードB 2036を介して、ステップ2028、2040、2042、2044、2046、2048、2050、及び、2052に進む。ステップ2030に戻って、ステップ2030において、コンテンツ再生システムは、見る者の頭の位置を決定し、前記頭の位置は、現在の視界に対応する。動作は、ステップ2030から、決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するステップ2032に進む。動作は、ステップ2032から、ステップ2030に進む。ステップ2030と2032は、例えば、継続ベースで、繰り返し実行され、現在の視界は、例えば、リフレッシュされる等、更新される。決定された現在の視界は、出力画像の生成に使用されるために利用可能である。
[000268] Operation proceeds from
[000269] ステップ2034では、コンテンツ再生システムは、環境の第1の部分、例えば、前方部分の視野、に対応するコンテンツを提供する第1のコンテンツストリームを受け取る。 [000269] In step 2034, the content playback system receives a first content stream that provides content corresponding to a first portion of the environment, eg, a field of view of the front portion.
[000270] ステップ2038において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第1の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ2040において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第1の後方視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000270] In
[000271] ステップ2042において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ2044において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第2の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000271] In step 2042, the content playback system corresponds to the second rear view portion of the environment during playback time as measured against the playback time indicated in the first content stream. Control information indicating which of a plurality of previously communicated images to be displayed is received. In
[000272] ステップ2046では、コンテンツ再生デバイスは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ2048において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000272] In
[000273] ステップ2050において、コンテンツ再生システムは、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の前記地面の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ2052において、コンテンツ再生デバイスは、前記イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000273] In
[000274] 動作は、ステップ2032、ステップ2034から、及び、並列に実行され得るステップ(2038、2040、2042、2044、2046、2048、2050、及び、2052)から接続ノードC 2054を介して、接続ノードD 2056を介して、ステップ2058に進む。
[000274] The operations connect from
[000275] いくつかの実施形態では、ステップ2038、2040、2042、2044、2046、2048、2050、及び、2052からの制御情報は、制御情報が使用されるべきステップ2034の対応する第1のストリームコンテンツに、例えば、一度に少しずつの態様で、わずかに先立って送られる。いくつかの他の実施形態では、制御情報のブロックが、第1のコンテンツストリームを受け取ることの開始に先立って、または、同時に、受け取られる。
[000275] In some embodiments, the control information from
[000276] ステップ2058において、コンテンツ再生システムは、
環境の前方部分の視野等の第1の部分の視野に対応する第1のコンテンツストリームから受け取られたコンテンツ、
環境の第1の後方視野部分に対応する、記憶された受け取られた画像、
環境の第2の後方視野部分に対応する、記憶された受け取られた画像、
環境の空の視野部分に対応する、記憶された受け取られた画像、
環境の地面の視野部分に対応する、記憶された受け取られた画像、または、
画像が利用可能でない現在の視界の部分に対応する合成された画像、
の内の少なくとも1つに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。ステップ2058は、ステップ2060、2062、2064、2066、2068、2076、及び、2078を含む。
[000276] In
Content received from a first content stream corresponding to a field of view of the first part, such as a field of view of the front part of the environment;
A stored received image corresponding to a first rear view portion of the environment;
A stored received image corresponding to a second rear view portion of the environment;
A stored received image corresponding to an empty field of view of the environment,
A stored received image corresponding to the ground field of view of the environment, or
A composite image corresponding to the part of the current view where the image is not available,
One or more output images corresponding to the current field of view are generated based on at least one of.
[000277] ステップ2060において、コンテンツ再生システムは、1つ以上の出力画像を生成することにおいて使用されるように、現在の視界に基づいて、例えば、そのために利用可能なデータがある、視野部分の組を決定する。いくつかの例示的な決定された組は、例えば、{}、{正面視野部分}、{第1の後方視野部分}、{第2の後方視野部分}、{空の視野部分}、{地面の視野部分}、{正面視野部分、空の視野部分}、{正面視野部分、地面の視野部分}、{正面視野部分、第1の後方視野部分}、{正面視野部分、第2の後方視野部分}、{正面視野部分、第1の後方視野部分、空の部分}、{正面視野部分、第2の後方視野部分、空の視野部分}、{正面視野部分、第1の後方視野部分、地面の視野部分}、{正面視野部分、第2の後方視野部分、地面の視野部分}、{第1の後方視野部分、空の視野部分}、{第1の後方視野部分、地面の視野部分}、{第1の後方視野部分、第2の後方視野部分}、{第1の後方視野部分、第2の後方視野部分、空の視野部分}、{第1の後方視野部分、第2の後方視野部分、地面の視野部分}、{第2の後方視野部分、空の視野部分}、及び、{第2の後方視野部分、地面の視野部分}、を含む。 [000277] In step 2060, the content playback system is used in generating one or more output images, based on the current field of view, for example, data for which there is data available. Determine the pair. Some exemplary determined sets are, for example, {}, {front field part}, {first back field part}, {second back field part}, {sky field part}, {ground Field part}, {front field part, sky field part}, {front field part, ground field part}, {front field part, first rear field part}, {front field part, second rear field part Part}, {front field part, first back field part, sky part}, {front field part, second back field part, sky field part}, {front field part, first back field part, Ground field part}, {front field part, second rear field part, ground field part}, {first back field part, sky field part}, {first back field part, ground field part }, {First back view portion, second back view portion}, {first back view portion, second back view portion, Visual field portion}, {first rear visual field portion, second rear visual field portion, ground visual field portion}, {second rear visual field portion, empty visual field portion}, and {second rear visual field portion, Visual field portion of the ground}.
[000278] 動作は、ステップ2060からステップ2062に進む。ステップ2062において、コンテンツ再生システムは、以下の2つの条件が満たされているか否かを決定する:(i)ステップ2060からの決定された視野部分の組は、第1の視野部分のみを含む、及び、(ii)第1の視野部分の外の現在の視界の部分はない。該決定が、決定された組が第1の視野部分のみを含み、第1の視野部分の外に現在の視界の部分はないことである場合、動作は、ステップ2062からステップ2064に進み、そうでなければ、動作は、ステップ2062からステップ2066へ進む。
[000278] Operation proceeds from step 2060 to step 2062. In
[000279] ステップ2064において、コンテンツ再生システムは、第1のコンテンツストリームからの受け取られたコンテンツに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。
[000279] In
[000280] ステップ2066において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の何れかの部分があるかどうかを決定する。コンテンツ再生システムが、画像が利用可能でない現在の視界の少なくとも1つの部分があると決定した場合、動作は、ステップ2066からステップ2076に進み、そうでない場合は、動作は、ステップ2066からステップ2068に進む。
[000280] In
[000281] ステップ2068において、コンテンツ再生システムは、1つ以上の出力画像を生成することにおいて使用されるように、視野部分の決定された組に基づいて、現在の視界に対応する1つ以上の出力画像を生成する。ステップ2068は、コンテンツ再生システムは、第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、前記環境の第2の部分に対応する記憶されたコンテンツとに基づいて、現在の視界に対応する1つ以上の出力画像を生成するステップ2070を含み得る、もしくは、時々含む。いくつかの実施形態において、ステップ2070は、ステップ2072、及び、2074の一方または両方を含む。ステップ2072において、コンテンツ再生システムは、受け取られた画像選択情報に基づいて、環境の第2の部分の視野に対応する画像を選択する。動作は、ステップ2072から2074に進む。ステップ2074において、コンテンツ再生システムは、時間の第2の点で取り込まれた前記第1のストリームから得られたコンテンツを、時間の前記第1の点に対応する第1の画像と組み合わせ、ここで、時間の前記第1と第2の点は異なる。 [000281] In step 2068, the content playback system uses one or more corresponding to the current field of view based on the determined set of field portions to be used in generating one or more output images. Generate an output image. Step 2068 allows the content playback system to enter the current view based on at least some received content included in the first content stream and stored content corresponding to the second portion of the environment. A step 2070 of generating one or more corresponding output images may or may not be included. In some embodiments, step 2070 includes one or both of steps 2072 and 2074. In step 2072, the content playback system selects an image corresponding to the field of view of the second portion of the environment based on the received image selection information. Operation proceeds from step 2072 to 2074. In step 2074, the content playback system combines the content obtained from the first stream captured at the second point in time with the first image corresponding to the first point in time, where The first and second points of time are different.
[000282] いくつかの実施形態では、第1の画像は、環境の第2の部分の第1の画像であり、第2の部分は、環境の第1の後方視野部分と環境の第2の後方視野部分の一方である。いくつかのそのような実施形態では、時間における第1の点は、時間における第2の点に先立つ時間に対応する。いくつかのそのような実施形態では、時間における第1の点は、第1のコンテンツストリームにおける画像が取り込まれる間のライブイベントの時間に先行する。 [000282] In some embodiments, the first image is a first image of a second portion of the environment, and the second portion includes a first rear view portion of the environment and a second image of the environment. It is one of the rear vision parts. In some such embodiments, the first point in time corresponds to the time prior to the second point in time. In some such embodiments, the first point in time precedes the time of the live event while images in the first content stream are captured.
[000283] ステップ2076に戻って、ステップ2076は、画像が利用可能でない各部分のために実行される。ステップ2076において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の部分のために画像を合成する。動作は、ステップ2076からステップ2078に進む。ステップ2078において、コンテンツ再生システムは、1つ以上の出力画像及び/または1つ以上の合成された画像を生成することにおいて使用されるように、環境の視野部分の決定された組に基づいて、現在の視界に対応する1つ以上の出力画像を生成する。ステップ2078によって生成される出力画像は、全体に合成された画像、合成された画像からのコンテンツと第1のコンテンツストリームからのコンテンツを含む画像、合成された画像からのコンテンツと第1のコンテンツストリームからのコンテンツと記憶された画像からのコンテンツを含む画像、及び、合成された画像からのコンテンツと記憶された画像からのコンテンツを含む画像を含み得る。様々な実施形態では、ステップ2078は、ステップ2080と2082の一方または両方を含み得、時には含む。
[000283] Returning to step 2076,
[000284] ステップ2080において、コンテンツ再生システムは、第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、環境の例えば第2の部分等の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成する。ステップ2082において、コンテンツ再生デバイスは、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせる。
[000284] In step 2080, the content playback system is based on at least some received content included in the first content stream and a composite image that simulates a portion, such as a second portion, of the environment. One or more output images corresponding to the current field of view are generated. In
[000285] 現在の視界は、経時的に変化し得る、及び、一般的には変化することが理解されるべきである。現在の視界の変化に応答して、出力画像を生成するために使用される、視野部分の異なる組が、ステップ2060において決定され、異なる画像が、例えば、画像のない視界の異なる部分に対応して、必要とされ得、ステップ2076において合成される。加えて、異なる度に、受け取られた制御情報に基づいて、異なる度に組み合された出力画像を生成することにおいて使用されるべく、異なる記憶された画像が特定され得る。
[000285] It should be understood that the current field of view can and will generally change over time. In response to changes in the current field of view, different sets of field portions used to generate the output image are determined in step 2060, with the different images corresponding to, for example, different portions of the field of view without an image. May be required and synthesized in
[000286] 動作は、ステップ2058から、接続ノードE 2084を介して、コンテンツ再生システムが、生成された1つ以上の出力画像を出力する、及び/または、表示するステップ2086に進む。ステップ2086は、コンテンツ再生システムが、第1の出力画像を出力し、及び/または、表示し、第1の出力画像は1つ以上の生成された出力画像の1つであるステップ2088を含む。
[000286] Operation proceeds from
[000287] いくつかの実施形態では、現在の視界に対応する、例えば、ステップ2070で生成された、生成された出力画像は、環境の第1の部分、環境の第2の部分、及び、環境の第3の部分からの情報を含み得、時には含む。いくつかの実施形態では、第1のコンテンツストリームに対応する環境の第1の部分は、正面視野部分であり、環境の第2の部分は、環境の、例えば、右後方視野部分である第1の視野部分、及び、例えば、左後方視野部分である第2の後方視野部分の一方であり、環境の第3の部分は、環境の空の視野部分と地面の視野部分の一方である。いくつかのそのような実施形態では、第1の部分に対応するコンテンツは、イベントが進行中の間、取り込まれ、前記再生システムにストリーミングされるリアルタイムコンテンツを含み、第2及び第3の部分に対応するコンテンツは、リアルタイムでない画像である。 [000287] In some embodiments, the generated output image corresponding to the current view, eg, generated in step 2070, is a first part of the environment, a second part of the environment, and the environment. Information, and sometimes including information from the third part. In some embodiments, the first portion of the environment corresponding to the first content stream is a front view portion and the second portion of the environment is a first portion of the environment, eg, the right rear view portion. And the second rear view portion, eg, the left rear view portion, and the third portion of the environment is one of the sky view portion of the environment and the ground view portion. In some such embodiments, the content corresponding to the first portion includes real-time content that is captured and streamed to the playback system while an event is in progress, and corresponds to the second and third portions. The content is an image that is not real time.
[000288] 様々な実施形態では、現在の視界に対応する出力画像を生成するためにコンテンツを組み合わせることは、例えば、環境の正面視野部分に対応する第1のコンテンツストリームから得られる画像、環境の第1の後方視野部分に対応する記憶された画像、環境の第2の後方視野部分に対応する記憶された画像、環境の空の視野部分に対応する記憶された画像、環境の地面視野部分に対応する記憶された画像、及び、画像がない現在の視界における領域に対応する合成された画像の内の任意の2つの間の境界領域といった1つ以上の境界領域において、フィルタリング、ぼかし、輝度変化、及び/または、色変化を行うことを含む。 [000288] In various embodiments, combining the content to generate an output image corresponding to the current view includes, for example, an image obtained from a first content stream corresponding to a front view portion of the environment, A stored image corresponding to the first back view portion of the environment, a stored image corresponding to the second back view portion of the environment, a stored image corresponding to the empty view portion of the environment, and a ground view portion of the environment Filtering, blurring, and luminance changes in one or more boundary regions such as the corresponding stored image and the boundary region between any two of the synthesized images corresponding to the region in the current view where there is no image And / or performing a color change.
[000289] いくつかの実施形態では、第1のコンテンツストリームに対応する、第1の、例えば、正面視野部分、及び、受け取られた画像が記憶される1つ以上の追加の部分によって覆われない、環境のいくつかの部分がある。様々な実施形態では、環境のそれらの覆われていない部分のために、画像が合成される。例えば、一実施形態では、空の視野部分に対応する記憶された画像が存在しないことがあり、現在の視界が空の視野の部分を含む場合、画像が合成される。他の例では、第1の後方視野部分と第2の後方視野部分との間に、例えば、覆われていない領域等の良く見えない場所(dead spot)が存在し得る。いくつかの実施形態では、画像を合成することは、環境中の隣接領域に対応して、例えば、記憶された画像の部分、または、受け取られた第1のコンテンツストリームから得られた画像の部分等の画像の部分を繰り返すことを含む。 [000289] In some embodiments, the first, eg, front view portion, corresponding to the first content stream and not covered by one or more additional portions where the received image is stored There are several parts of the environment. In various embodiments, images are composited for those uncovered parts of the environment. For example, in one embodiment, there may be no stored image corresponding to an empty field of view and if the current field of view includes an empty field of view, the image is synthesized. In other examples, there may be a dead spot between the first rear view portion and the second rear view portion, for example, an uncovered area. In some embodiments, compositing the images may correspond to adjacent regions in the environment, for example, a portion of the stored image or a portion of the image obtained from the received first content stream. Including repeating image portions such as.
[000290] いくつかの実施形態では、ステップ2034において受け取られた第1の画像コンテンツは、例えば、左と右の眼の画像のペアが受け取られるといった、左眼の画像と右眼の画像を含む立体視画像コンテンツである。いくつかのそのような実施形態において、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分に対応して受け取られ、記憶された画像は、左の眼の画像と右の眼の画像とを、例えば、ペアで、含む。従って、例えば、ステップ2070において、現在の視界に対応する1つ以上の出力画像を生成する場合、例えば、正面視野部分といった第1の視野部分に対応する第1のコンテンツストリームからの左眼の画像は、環境の1つ以上の他の部分に対応する記憶された左眼の画像と組み合され、例えば、正面視野部分等の第1の視野部分に対応する第1のコンテンツストリームからの右眼の画像は、環境の1つ以上の他の部分に対応する記憶された右画像と組み合される。 [000290] In some embodiments, the first image content received in step 2034 includes a left eye image and a right eye image, eg, a left and right eye image pair is received. This is stereoscopic image content. In some such embodiments, the received and stored images corresponding to the first back view portion, the second back view portion, the sky view portion, and the ground view portion are An eye image and a right eye image are included, for example, in pairs. Thus, for example, when generating one or more output images corresponding to the current field of view in step 2070, the left eye image from the first content stream corresponding to the first field portion, eg, the front field portion. Is combined with a stored left eye image corresponding to one or more other parts of the environment, eg, a right eye from a first content stream corresponding to a first field portion, such as a front field portion. Are combined with stored right images corresponding to one or more other parts of the environment.
[000291] いくつかの他の実施形態では、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分に対応する、受け取られ、記憶された画像は、画像の元のペアからの左眼の画像または右眼の画像を含み、または、例えば、視野部分を取り込むために単独で動作している単一のカメラからの、単一(モノ)の画像を含む。従って、そのような実施形態において、例えば、ステップ2070において、現在の視野に対応する1つ以上の出力画像を生成するとき、例えば、正面視野部分に対応する、第1のコンテンツストリームからの左眼画像と第1のコンテンツストリームからの対応する右眼の画像の両方が、他の視野部分からの同じ記憶された画像と組み合わされる。 [000291] In some other embodiments, received and stored images corresponding to a first back view portion, a second back view portion, an empty view portion, and a ground view portion are: Contains a left eye image or right eye image from the original pair of images, or a single (mono) image, eg, from a single camera operating alone to capture the field of view Including. Thus, in such an embodiment, for example in step 2070, when generating one or more output images corresponding to the current field of view, for example, the left eye from the first content stream corresponding to the front field of view portion. Both the image and the corresponding right eye image from the first content stream are combined with the same stored image from the other field of view.
[000292] 更に他の実施形態において、記憶された画像のいくつかは、左と右の眼の画像ペアの両方を含み、他方、他のものは単一の記憶された画像を含む。例えば、第1の後方視野部分に対応する記憶された受け取られた画像は、左と右の眼の画像のペアを含み得るが、他方、空の視野部分に対応する記憶された受け取られた画像は、ペアではなく、例えば、モノ画像といった単一の画像を含み得る。 [000292] In still other embodiments, some of the stored images include both left and right eye image pairs, while others include a single stored image. For example, the stored received image corresponding to the first rear view portion may include a pair of left and right eye images, while the stored received image corresponding to the empty view portion. May include a single image, for example a mono image, rather than a pair.
[000293] いくつかの実施形態において、例えば、第1のコンテンツストリームに対応する、環境の第1の部分は、第1の視野部分であり、環境の第2の部分は、例えば、見る者の右後方に対応する第1の後方視野部分、または、見る者の左後方に第2の後方視野部分等の後方視野部分であり、環境の第3の部分は空の視野部分または地面の視野部分である。いくつかのそのような実施形態では、画像は、第1、第2、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分についてより、前記第1の部分に対応するイベントのために、より多くの画像が受け取られる。いくつかのそのような実施形態では、前記第3の部分についてよりも、前記第2の部分に対応して、より多くの画像が受け取られる。 [000293] In some embodiments, for example, the first portion of the environment, corresponding to the first content stream, is a first view portion, and the second portion of the environment is, for example, a viewer's A first rear view portion corresponding to the right rear or a rear view portion such as a second rear view portion on the left rear of the viewer, and the third portion of the environment is an empty view portion or a ground view portion. It is. In some such embodiments, images are received at different rates corresponding to the first, second, and third portions, and more for the second portion, corresponding to the first portion. More images are received for the event. In some such embodiments, more images are received corresponding to the second portion than for the third portion.
[000294] いくつかの実施形態に従って、コンテンツ再生システムを動作させる例示的な方法は、以下を含む:
見る者の頭の位置を決定すること、前記頭の位置は現在の視界対応する、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ること、
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像に基づいて、1つ以上の出力画像を生成すること、及び、
第1の出力画像を出力する、または、表示すること、前記第1の出力画像は、1つ以上の生成された出力画像の1つである。
いくつかの実施形態において、コンテンツ再生システムは、コンテンツ再生デバイスである。いくつかの再生システムは、ディスプレイに接続されたコンピュータシステムである。
[000294] An exemplary method of operating a content playback system, according to some embodiments, includes:
Determining the position of the viewer's head, said head position corresponding to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
At least some received content included in the first content stream, and i) stored content corresponding to a second portion of the environment, or ii) a second portion of the environment Generating one or more output images based on the composite image to be simulated; and
Outputting or displaying the first output image, the first output image is one of the one or more generated output images.
In some embodiments, the content playback system is a content playback device. Some playback systems are computer systems connected to a display.
[000295] 様々な態様において、方法は、更に、以下を含む:
前記環境の第2の部分に対応する第1の画像を受け取ること、及び、
前記環境の前記第2の部分に対応する前記第1の画像を記憶すること。
[000295] In various embodiments, the method further comprises:
Receiving a first image corresponding to a second portion of the environment; and
Storing the first image corresponding to the second portion of the environment.
[000296] いくつかの実施形態では、前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、現在の視界に対応する1つ以上の出力画像を生成することは、時間の第2の点で取りこまれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせることを含み、時間の前記第1と第2の点は異なる。いくつかのそのような実施形態では、時間における前記第1の点は、時間における前記第2の点に先行する時間に対応する。いくつかのそのような実施形態では、前記第1のコンテンツストリームに含まれた画像が取り込まれる間のライブイベントの時間に先行する。 [000296] In some embodiments, the first image of the second portion of the environment corresponds to a first point in time and generates one or more output images corresponding to a current view. Doing includes combining content obtained from the first content stream captured at a second point in time with the first image corresponding to the first point in time, The first and second points are different. In some such embodiments, the first point in time corresponds to the time preceding the second point in time. In some such embodiments, it precedes the time of the live event while the images contained in the first content stream are captured.
[000297] 様々な実施形態において、方法は、更に、前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取ることを含み、前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む。 [000297] In various embodiments, the method further includes receiving one or more additional images corresponding to the second portion of the environment, the method corresponding to the second portion of the environment. The one or more additional images include at least a second image.
[000298] いくつかの実施形態において、方法は、前記第1のコンテンツストリームに示された再生時間に対して計測されたような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを含む。 [000298] In some embodiments, a method corresponds to the second portion of the environment during a playback time as measured relative to the playback time indicated in the first content stream. Receiving control information indicating which of a plurality of previously communicated images is to be displayed.
[000299] いくつかの態様では、前記環境の第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。
いくつかのそのような実施形態において、方法は、更に、前記環境の第3の部分に対応する1つ以上の画像を受け取ることを含む。
[000299] In some aspects, the second portion of the environment is one of a first back view portion, a second back view portion, an empty view portion, or a ground view portion.
In some such embodiments, the method further includes receiving one or more images corresponding to the third portion of the environment.
[000300] 様々な実施形態において、前記環境の前記第1の部分は正面視野部分であり、前記第3の部分は、空の視野または地面の視野部分の1つであり、画像は、前記第1、第2、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分についてより、前記第1の部分に対応するイベントに対応するイベントのために、より多くの画像が受け取られる。 [000300] In various embodiments, the first portion of the environment is a front view portion, the third portion is one of an empty view field or a ground view portion, and an image is the first view portion. More images are received for events corresponding to events corresponding to the first part than for the second part, received at different rates corresponding to the first, second and third parts. Received.
[000301] 様々な実施形態において、前記第1の部分に対応するコンテンツは、イベントが進行中であった間に前記再生デバイスに取り込まれ、ストリーミングされたリアルタイムコンテンツを含み、前記第2及び第3の部分に対応する前記画像に対応するコンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記イベントの部分の間に、環境の前記第2の部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取り、少なくともいくつかの受け取られたコンテンツに基づいて、現在の視界に対応する1つ以上の出力画像を生成することは、受け取られた画像選択情報に基づいて、環境の第2の部分に対応する画像を選択することを含む。 [000301] In various embodiments, the content corresponding to the first portion includes real-time content captured and streamed to the playback device while an event was in progress, the second and third The content corresponding to the image corresponding to the part is an image that is not real time. In some such embodiments, during the portion of the event, receiving image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used, and at least Generating one or more output images corresponding to the current view based on some received content is based on the received image selection information to generate an image corresponding to the second portion of the environment. Including selecting.
[000302] 様々な実施形態では、例示的な方法は、画像が前記現在の視界の部分のために利用可能でないことを決定すること、画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成すること、及び、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせることを含む。 [000302] In various embodiments, an exemplary method determines that an image is not available for a portion of the current view, for the portion of the current view where an image is not available. Combining the image to be used and combining the combined image with at least a portion of the received image to generate an image corresponding to the current field of view.
[000303] 様々な実施形態において、第1の画像コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである。 [000303] In various embodiments, the first image content is a stereoscopic image content including a left-eye image and a right-eye image.
[000304] 図21は、図1と7に示されたもの等のコンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、処理し、表示するために使用され得る、本発明に従って実装された例示的なコンテンツ再生システム2100を示す。システム2100は、ディスプレイ2102を含む単一の再生デバイス2100‘として、または、コンピュータシステム2100に接続された、例えば、ヘッドマウントディスプレイといった外部ディスプレイ等の要素の組み合わせとして、実装され得る。
[000304] FIG. 21 illustrates the present invention that can be used to receive, decode, store, process, and display image content received from a content distribution system such as that shown in FIGS. 1 illustrates an exemplary
[000305] 少なくともいくつかの実施形態では、コンテンツ再生システム2100は、3Dヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ2105を含み得るOculus社のRIFT(商標) VR(バーチャルリアリティ)ヘッドセットを使用して実装され得る。いくつかの実施形態では、ヘッドマウントディスプレイ2105は、ヘッドマウントディスプレイ805と同じである。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、1つ以上の表示スクリーンを有するヘッドマウントディスプレイ、または、他のヘッドマウントデバイスが、ユーザの左と右の眼にコンテンツを表示するために使用される。ヘッドマウントは、異なる眼に単一のスクリーンの異なる部分を晒すように構成され、単一のスクリーン上に左と右の眼に異なる画像を表示することによって、単一のディスプレイは、見る者の左と右の眼によって別々に知覚される左と右の眼の像を表示するために使用され得る。いくつかの実施形態では、セルフォンの画面が、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。
[000305] In at least some embodiments, the
[000306] コンテンツ再生システム2100は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び/または、モノ(単一画像)である、受け取られたエンコードされた画像データをデコードし、例えば、ユーザによって3D画像として知覚される、異なる左と右の眼の画像を描画し、表示することによって、顧客に対する表示のための3D画像コンテンツを生成する能力を有する。いくつかの実施形態では、コンテンツ再生システム2100は、家庭やオフィス等の顧客の宅内に設けられるが、同様に、画像取り込みサイトに設けられてもよい。コンテンツ再生システム2100は、本発明に従って、信号受け取り、デコード、処理、生成、表示、及び/または、他の動作を実行し得る。
[000306] The
[000307] システム2100は、ディスプレイ2102、ディスプレイデバイスインターフェース2103、入力デバイス2104、入力/出力(I/O)インターフェース2106、プロセッサ2108、ネットワークインターフェース2110、及び、メモリ2112を含む。メモリ2112は、例えば、ソフトウェアモジュールのアセンブリといったモジュール2114のアセンブリと、データ/情報2116を含む。いくつかの実施形態では、システム2100は、例えば、回路等のハードウェアモジュールのアセンブリ等のモジュール2115のアセンブリを含む。システム2100の様々なコンポーネントは、データがシステム2100のコンポーネント間で、及び/または、他の接続によって、または、無線インターフェースを介して通信されることを可能にするバス2109を介して互いに接続される。いくつかの実施形態において、ディスプレイ2102は、破線の枠を用いて図示されるオプションの要素として含まれているが、ヘッドマウント立体視ディスプレイデバイス等の外部のディスプレイデバイス2105が、ディスプレイデバイスインターフェース2103を介して再生デバイスに接続され得る。
[000307] The
[000308] 例えば、セルフォンプロセッサがプロセッサ2108として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ2108、ディスプレイ2102、及び、メモリ2112を含み得る。プロセッサ2108、ディスプレイ2102、メモリ2112は、全て、セルフォンの部分であってよい。システム2100の他の実施形態では、プロセッサ2108は、ディスプレイ2105がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、XBOXまたはPS4等のゲームシステムの部分であってよい。プロセッサ2108及び/またはディスプレイ2112が、頭に装着されるデバイスに設けられるか否かは重要ではなく、理解され得るように、いくつかの場合には、電力、熱、重量の観点から、ヘッドギアの中にプロセッサ2108を共存させることは便利であり得るが、少なくともいくつかの場合には、プロセッサ2108とメモリ2112を、ディスプレイを含むヘッドギアに接続されるようにすることが望まれ得る。
[000308] For example, if a cellphone processor is used as the
[000309] 様々な実施形態は、ヘッドマウントディスプレイ2105または2102を企図するが、方法と装置は、また、3D画像をサポートすることができる、ヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム2100は、ヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装されることができる。
[000309] Although various embodiments contemplate a head mounted
[000310] メモリ2112は、プロセッサ2108によって実行されたとき、本発明に従った動作を実行するようコンテンツ再生システム2100を制御する、例えば、ルーチンといった様々なモジュールを含む。メモリ2112は、例えば、ソフトウェアモジュールのアセンブリといったモジュール2114のアセンブリと、データ/情報2116とを含む。
[000310] The memory 2112 includes various modules, such as routines, that control the
[000311] データ情報2116は、以下の全ての内の1つ以上を含む:
第1の後方視野部分に対応する受け取られた画像2118、
第2の後方視野部分に対応する受け取られた画像2120、
空の視野部分に対応する受け取られた画像2122、及び、
地面の視野部分に対応する受け取られた画像。
後方視野部分に対応する例示的な受け取られた画像は、例えば、立っている聴衆または観衆の画像、座っている聴衆または観衆の画像、異なる可視広告をもった画像、応援している観衆の画像、等を含む。空の視野に対応する例示的な受け取られた画像は、例えば、晴天、異なる雲のパターン、異なる時間に対応する暗さの異なる程度、等を含む。
データ情報2116は、更に、以下の内の1以上または全てを含む:
第1の後方視野部分に対応する受け取られた制御情報2130、
第2の後方視野部分に対応する受け取られた制御情報2132、
空の視野部分に対応する受け取られた制御情報2134、及び
地面の視野部分に対応する受け取られた制御情報2136。
データ情報2116は、更に、
決定された現在の見る者の頭の位置2126、
決定された現在の視界2128、
例えば、正面視野部分に対応する右眼の画像と左眼の画像のペアを含む受け取られた第1のコンテンツストリーム2128、
例えば、組み合わせるために利用可能な少なくともいくつかの受け取られたコンテンツがある現在の視界に対応する、出力画像を生成することにおいて使用されるべき視野部分の決定された組2138、
合成された画像(または、複数の画像)2140、
生成された出力画像2142、
を含む。
生成された出力画像は、例えば、正面といった第1の視野部分に対応する第1のコンテンツストリームからの組み合わされた画像コンテンツを含み、例えば、後方視野部分、空の部分、または、地面の部分からの受け取られ記憶された画像の部分を含み、及び/または、合成された画像または合成された画像の部分を含む、生成された出力画像を含み得、時には含む。
[000311]
A received image 2118 corresponding to the first rear view portion,
A received
A received image 2122 corresponding to an empty field of view, and
The received image corresponding to the field of view of the ground.
Exemplary received images corresponding to the rear view portion include, for example, standing audience or audience images, sitting audience or audience images, images with different visual advertisements, and cheering audience images. , Etc. Exemplary received images corresponding to a sky field of view include, for example, clear sky, different cloud patterns, different degrees of darkness corresponding to different times, and the like.
Received control information 2134 corresponding to the sky field portion and received
The
The determined position 2126 of the current viewer's head,
The determined current field of
For example, a received
For example, a
A combined image (or multiple images) 2140,
Generated output image 2142,
including.
The generated output image includes the combined image content from the first content stream corresponding to the first field of view, eg, front, eg, from the back field part, the sky part, or the ground part And / or may include a generated output image that includes a portion of the received and stored image and / or a composite image or a portion of the composite image.
[000312] 図22は、例示的な実施形態に従った図21の例示的なコンテンツ再生システム2100または図8のシステム800に含まれ得るモジュールのアセンブリ2200の図である。モジュール2200のアセンブリにおけるモジュールは、例えば個別の回路等のプロセッサ2108の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。モジュールのアセンブリ2200におけるモジュールは、例えば、異なるモジュールに対応する個別回路として、モジュールのアセンブリ2115の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。他の実施形態において、モジュールのいくつかは、プロセッサ2108の中に、例えば、回路として、実装され、他のモジュールは、例えば、プロセッサ2108の外部に接続されたモジュールのアセンブリ2115の中の回路として、実装される。理解されるべきであるように、プロセッサ上の、及び/または、プロセッサの外部にあるいくつかのモジュールをもった、モジュールの集積のレベルは、設計上の選択肢の1つであってよい。
[000312] FIG. 22 is a diagram of an
[000313] 代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム2100のメモリ2112に記憶され、モジュールは、例えば、プロセッサ2108等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するようにシステム2100の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ2200は、モジュールのアセンブリ2114としてメモリ2112に含まれる。更に他の実施形態において、モジュールのアセンブリ2200における様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路は、プロセッサ2108に入力を提供し、プロセッサは、次に、ソフトウェア制御の下、モジュールの機能の部分を実行するよう動作する。例えば、コンピュータ等の単一のプロセッサとして図21の実施形態に示されているが、プロセッサ2108は、例えば、複数のコンピュータ等の1つ以上のプロセッサとして実装され得ることが理解されるべきである。
[000313] Alternatively, rather than being implemented as a circuit, all or some of the modules are implemented in software and stored in memory 2112 of
[000314] ソフトウェアで実装される場合、モジュールは、プロセッサ2108によって実行されると、モジュールに対応する機能を実装するようにプロセッサ2108を構成するコードを含む。モジュール2200のアセンブリがメモリ2112に記憶されている実施形態では、メモリ2112は、例えば、プロセッサ2108等のコンピュータに、モジュールが対応する機能を実装させるために、各モジュールのための個別のコード等のコードを備えるコンピュータ読出し可能な媒体を備えるコンピュータプログラム製品である。
[000314] When implemented in software, a module, when executed by the
[000315] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用されてもよい。しかし、例えば、回路で実装モジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得ることが理解されるべきである。理解されるべきであるように、図22に示されたモジュールは、図20のフローチャート2000の方法に図示され、及び/または、記載された対応するステップの機能を実行するために、システム2100、または、プロセッサ2108等のその中の要素を制御し、及び/または、構成する。従って、モジュール2200のアセンブリは、図20の1つ以上のステップに対応する機能を実行する様々なモジュールを含む。
[000315] Fully hardware based or fully software based modules may be used. However, it should be understood that any combination of software and hardware, such as, for example, a mounting module in a circuit, can be used to implement a function. As should be understood, the modules shown in FIG. 22 may be used to perform the functions of the corresponding steps illustrated and / or described in the method of
[000316] モジュール2200のアセンブリは、見る者の頭の位置決定モジュール2202、現在の視界決定モジュール2204、コンテンツストリーム選択モジュール2206、コンテンツストリーム受け取りモジュール2208、画像受け取りモジュール2210、受け取られた画像記憶モジュール2212、制御情報受け取りモジュール2214、出力画像生成モジュール2216、出力モジュール2242、ディスプレイモジュール2244、及び、制御ルーチン2246を含む。
[000316] The assembly of
[000317] 見る者のヘッド位置決定モジュール2202は、見る者の頭の位置を決定するように構成され、前記頭の位置は、現在の視界に対応する。現在の視界決定モジュール2204は、前記決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するように構成される。
[000317] The viewer's head
[000318] コンテンツストリーム選択モジュール2206は、例えば、見る者等のユーザ入力に基づいて、例えば、複数の代替のコンテンツストリームの中から、コンテンツストリームを選択するように構成される。異なるコンテンツストリームは、異なるイベントに対応し得る。様々な実施形態では、同じイベントに対応する異なるコンテンツストリームは、例えば、見る者に代替の正面視野観を提供するため等に、異なる方向を指す異なるカメラに対応する。いくつかの実施形態では、選択され得る、画像ストリームの少なくともいくつかが、左の眼の画像と右の眼の画像のペアを含む立体視画像コンテンツを含む。 [000318] The content stream selection module 2206 is configured to select a content stream from among a plurality of alternative content streams, for example, based on a user input such as a viewer, for example. Different content streams may correspond to different events. In various embodiments, different content streams corresponding to the same event correspond to different cameras pointing in different directions, eg, to provide an alternative front view to the viewer. In some embodiments, at least some of the image streams that may be selected include stereoscopic image content that includes a pair of left eye images and right eye images.
[000319] コンテンツストリーム受け取りモジュール2208は、環境の、例えば、前方部分の視野等の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成される。様々な実施形態において、第1のコンテンツストリームにおいて受け取られた、第1の画像コンテンツは、左眼の画像と右眼の画像のペアを含む立体視画像コンテンツである。
[000319] The content
[000320] 画像受け取りモジュール2210は、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分、及び、地面の視野部分、等の1つ以上の異なる視野部分に対応する画像を受け取るように構成される。画像受け取りモジュール2210は、前記環境の第2の部分に対応する第1の画像を受け取るように構成される。いくつかのそのような実施形態では、画像受け取りモジュールは、更に、環境の前記第2の部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、少なくとも第2の画像を含む環境の第2の部分に対応する。いくつかの実施形態では、前記環境の第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。いくつかの実施形態では、前記環境の第2の部分は、第1の後方視野部分、または、第2の後方視野部分の1つである。いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の第3の部分に対応する1つ以上の画像を受け取るように構成される。いくつかの実施形態では、環境の第1の部分は、正面視野部分であり、環境の第3の部分は、空の視野または地面の視野部分の1つである。
[000320]
[000321] いくつかの実施形態において、画像受け取りモジュール2210は、前記環境の第1の後方視野部分に対応する第1の画像を受け取るように構成され、更に、前記環境の前記第1の後方視野部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、前記第1の後方視野部分に対応する少なくとも第2の画像を含む前記第1の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の第2の後方視野部分に対応する第1の画像を受け取るよう構成され、更に、前記環境の第2の後方視野部分に対応する1つ以上の追加の画像を受け取るように構成され、前記1つ以上の追加の画像は、前記第2の後方視野部分に対応する少なくとも第2の画像を含む前記第2の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の空の視野部分に対応する1つ以上の画像を受け取るように構成される。いくつかの実施形態では、画像受け取りモジュール2210は、前記環境の地面の視野部分に対応する1つ以上の画像を受け取るように構成される。
[000321] In some embodiments, the
[000322] 受け取られた画像記憶モジュール2212は、画像受け取りモジュール2212によって受け取られた画像を記憶するように構成される。受け取られた画像記憶モジュール2212は、環境の前記第2の部分に対応する第1の画像を記憶するように構成される。受け取られた画像記憶モジュール2212は、環境の第2の部分に対応する1つ以上の追加の画像を記憶するように構成される。受信された画像記憶モジュール2212は、前記環境の第3の部分に対応する、受け取られた1つ以上の画像を記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記第1の後方視野部分に対応する第1の画像と、前記環境の第1の後方視野部分に対応する1つ以上の追加の画像とを記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記第2の後方視野部分に対応する第1の画像と、前記環境の第2の後方視野部分に対応する1つ以上の追加の画像とを記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記空の視野部分に対応する1つ以上の画像に記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール2212は、前記環境の前記地面の視野部分に対応する1つ以上の画像を記憶するように構成される。
[000322] The received
[000323] 制御情報受け取りモジュール2214は、第1のコンテンツストリームに示された再生時間に対して測定されるような再生時間の間、前記環境の第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。様々な実施形態では、制御情報受け取りモジュール2214は、更に、第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の第3の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の第3の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。
[000323] The control
[000324] いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第1の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記第1の後方視野部分に対応する複数の画像のどれが表示されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記第2の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000324] In some embodiments, the control
[000325] いくつかの実施形態では、情報制御受け取りモジュール2214は、第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、前記第1のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記地面の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール2214は、イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000325] In some embodiments, the information
[000326] 出力画像生成モジュール2216は、環境の第1の部分の視野に対応する第1のコンテンツストリームからの受け取られたコンテンツ、環境の第1の後方視野部分に対応する記憶された受け取られた画像、環境の第2の後方視野部分に対応する記憶された受け取られた画像、環境の空の視野部分に対応する記憶された受け取られた画像、環境の地面の視野部分に対応する記憶された受け取られた画像、または、画像が利用可能でない現在の視界の部分に対応する合成された画像、の少なくとも1つに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。出力画像生成モジュール2216は、視野部分の組決定モジュール2218、コンテンツストリームのみの決定モジュール2220、欠落部分決定モジュール2222、画像合成器モジュール2224、コンテンツストリーム出力画像生成モジュール2226を含む。合成された出力画像生成モジュール2228、出力画像のコンテンツストリームベース生成モジュール2230、出力画像のストリームベースでない生成モジュール2236も含む。
[000326] The output
[000327] 視野部分の組決定モジュール2218は、1つ以上の出力画像を生成することにおいて使用されるために、現在の視界に基づいて、前記環境の、例えば、少なくともいくつかの利用可能な画像コンテンツが存在する、視野部分の組を決定するように構成される。いくつかの例示的な決定された組は、例えば、{}、{正面視野部分}、{第1の後方視野部分}、{第2の後方視野部分}、{空の視野部分}、{地面の視野部分}、{正面視野部分、空の視野部分}、{正面視野部分、地面の視野部分}、{正面視野部分、第1の後方視野部分}、{正面視野部分、第2の後方視野部分}、{正面視野部分、第1の後方視野部分、空の視野部分}、{正面視野部分、第2の後方視野部分、空の視野部分}、{正面視野部分、第1の後方視野部分、地面の視野部分}、{正面視野部分、第2の後方視野部分、地面の視野部分}、{第1の後方視野部分、空の視野部分}、{第1の後方視野部分、地面の視野部分}、{第1の後方視野部分、第2の後方視野部分}、{第1の後方視野部分、第2の後方視野部分、空の視野部分}、{第1の後方視野部分、第2の後方視野部分、地面の視野部分}、{第2の後方視野部分、空の視野部分}、及び、{第2の後方視野部分、地面の視野部分}、を含む。
[000327] The field portion set
[000328] コンテンツストリームのみの決定モジュール2220は、1つ以上の出力画像が、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分または地面の視野部分、または、合成された画像等の他の部分の視野からの記憶された受け取られた画像に依存する必要なしに、第1のコンテンツストリーム内のコンテンツに基づいて生成されるべきであるかどうかを決定するよう構成される。コンテンツストリームのみの決定モジュール2220は、決定された組が、第1のコンテンツストリームに対応する、例えば、正面の、第1の視野部分である単一の要素を含むかどうかをチェックし、及び、視界が、例えば、正面等の第1の視野部分の中にあるがどうかをチェックするように構成される。
[000328] The content stream only
[000329] 欠落部分決定モジュール2222は、画像が現在の視界の部分のために利用可能でないこと、例えば、画像が、環境の正面視野に対応する第1のコンテンツストリームから、または、環境の他の部分に対応する受け取られた記憶された画像からの何れかから利用可能でないことを決定するように構成される。画像合成器モジュール2224は、画像が利用可能でない前記現在の視界の部分のために使用されるべき画像を合成するように構成される。様々な実施形態では、画像合成モジュール2224は、例えば、境界上のいくらかのつなぎを可能にするために、欠落している部分を埋めるために必要とされるよりも僅かに大きい合成された画像を生成する。
[000329] The missing part determination module 2222 determines that the image is not available for a portion of the current view, eg, the image is from a first content stream corresponding to the front view of the environment or other of the environment It is configured to determine that it is not available from any of the received stored images corresponding to the portion.
[000330] コンテンツストリーム出力画像生成モジュール2226は、決定された組が、例えば、正面視野部分等の第1の視野部分だけを含み、例えば、コンテンツストリームのみの決定モジュール2220によって決定されるように、第1の視野部分の外に現在の視界の部分がない場合に、第1のコンテンツストリームからの受け取られたコンテンツのみに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。いくつかの実施形態では、コンテンツストリーム出力画像生成モジュール2226は、第1のコンテンツストリームから得られた画像に対してトリミング動作を実行する。
[000330] The content stream output
[000331] 出力画像のコンテンツストリームベース生成モジュール2230は、例えば、正面視野に対応するコンテンツストリームといった第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、i)第1の後方視野、第2の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ、または、ii)画像が利用可能でない視界の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。環境の第2の部分に対応する記憶されたコンテンツは、例えば、受け取られた画像記憶モジュール2212によって記憶された、記憶された画像である。合成画像は、例えば、モジュール2224によって生成された画像である。いくつかの実施形態では、出力画像のコンテンツストリームベース生成モジュール2230は、現在の視界に対応する1つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。
[000331] The output image content stream
[000332] 出力画像のコンテンツストリームベース生成モジュール2230は、生成されている出力画像の中に1つ以上の合成画像を組み込むように構成された合成された画像組み込みモジュール2232を含む。合成された画像組み込みモジュール2232は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、受け取られた第1のコンテンツストリームから得られた、例えば、正面視野部分の、第1の視野部分からの受け取られた画像、または、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つに対応する記憶された受け取られた画像、等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組込みモジュール2234は、生成されている出力画像に、1つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール2230、モジュール2232、及び/または、モジュール2234は、境界領域において混ぜ合わせ(ブレンド)を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び/または、色変化を含む。
[000332] The output image content stream
[000333] 出力画像のストリームベースでない生成モジュール2236は、i)例えば、第1の後方視野、第2の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ等の環境の部分に対応する記憶されたコンテンツ、または、ii)例えば、画像が利用可能ではない視界の部分をシミュレートする合成画像等の環境の部分シミュレートする合成画像、の少なくとも一方に基づいて、現在の視界に対応する1つ以上の出力画像を生成するように構成される。モジュール2236は、現在の視界が、第1のコンテンツストリームに対応する、例えば、正面視野といった第1の部分に対応する領域の外にある場合、1つ以上の画像を生成する。いくつかの実施形態では、出力画像のコンテンツストリームベースでない生成モジュール2236は、現在の視界に対応する1つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。
[000333] The non-stream-based
[000334] 出力画像のストリームベースでない生成モジュール2236は、生成されている出力画像の中に、1つ以上の合成された画像を組み込むよう甲構成された合成された画像組込みモジュール2238を含む。合成された画像組み込みモジュール2238は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分からの受け取られた画像等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組み込みモジュール2240は、生成されている出力画像に、1つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール2236、モジュール2232、及び/または、モジュール2234は、境界領域において混ぜ合わせ(ブレンド)を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び/または、色変化を含む。
[000334] The output image non-stream-based
[000335] 出力モジュール2242は、例えば、出力画像のコンテンツストリームベース生成モジュール2130、コンテンツストリーム出力画像生成モジュール2226、出力画像のコンテンツストリームベースでない生成モジュール2236によって生成される等の1つ以上の生成された出力画像を出力するように構成され、前記1つ以上の出力画像は、第1の出力画像を含む。出力モジュールは、例えば、ネットワークインターフェース2110及び/またはディスプレイデバイスインターフェース2103を介して、第1の出力画像を出力するように構成される。
[000335] The
[000336] ディスプレイモジュール2244は、例えば、出力画像のコンテンツストリームベース生成モジュール2230、コンテンツストリーム出力画像生成モジュール2226、及び、出力画像のコンテンツストリームベースでない生成モジュール2136によって生成される、1つ以上の生成された出力画像を表示するように構成され、前記1つ以上の出力画像は第1の出力画像を含む。ディスプレイモジュール2244は、例えば、ディスプレイ2102及び/またはディスプレイ2105を介して、第1の出力画像を表示するように構成される。
[000336] The
[000337] 制御ルーチン2246は、システム2100の動作を制御するために、デバイス制御ルーチンと通信ルーチンを含む。
[000337] The
[000338] 例えば、図21のシステム2100等の例示的なコンテンツ再生システム、いくつかの実施形態に従って、以下を含む:
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュール2202、前記頭の位置は、現在の視界に対応する;
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るように構成されるコンテンツストリーム受け取りモジュール;
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する1つ以上の出力画像を生成するよう構成される出力画像のコンテンツストリームベース生成モジュール2230; 及び、
第1の出力画像を出力するように構成された出力モジュール2242、または、第1の出力画像を表示するよう構成されたディスプレイモジュール2244の少なくとも1つ、前記第1の出力画像は、1つ以上の生成された出力画像の1つである。
[000338] For example, an exemplary content playback system, such as
A viewer's head
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment An output image content stream
At least one
[000339] いくつかの実施形態では、前記コンテンツ再生システム2100は、コンテンツ再生デバイス2100’である。いくつかの実施形態では、コンテンツ再生システム2100は、ディスプレイ2105に接続されたコンピュータシステム2100’である。
[000339] In some embodiments, the
[000340] いくつかの実施形態では、システムは、更に、以下を備える:
前記環境の前記第2の部分に対応する第1の画像を受け取るように構成された画像受け取りモジュール2210; 及び
前記環境の前記第2の部分に対応する前記第1の画像を記憶するように構成された受け取られた画像記憶モジュール2212。
[000340] In some embodiments, the system further comprises:
An
[000341] 様々な実施形態では、前記環境の前記第2の部分の前記第1の画像は、時間の第1の点に対応し、前記出力画像のコンテンツストリームベース生成モジュール2230は、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせるように構成され、時間の前記第1及び第2の点は異なる。いくつかのそのような実施形態では、時間の前記第1の時点は、時間の前記第2の点に先行する時間に対応する。様々な実施形態では、時間の前記第1の点は、その間に前記第1のコンテンツストリームに含まれた画像が取り込まれるライブイベントの時間に先行する。
[000341] In various embodiments, the first image of the second portion of the environment corresponds to a first point in time, and the content stream
[000342] いくつかの実施形態では、前記画像受け取りモジュール2210は、更に、前記環境の前記第2の部分に対応する1つ以上の追加の画像を受け取るように構成され、前記環境の前記第2部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む。
[000342] In some embodiments, the
[000343] 様々な実施形態において、システムは、更に、前記第1のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第2の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成された制御情報受け取りモジュール2214を備える。
[000343] In various embodiments, the system further corresponds to the second portion of the environment during playback time as measured against the playback time indicated in the first content stream. A control
[000344] いくつかの実施形態では、前記環境の前記第2の部分は、第1の後方視野部分、第2の後方視野部分、空の視野部分、または、地面の視野部分の1つである。いくつかのそのような実施形態において、前記画像受け取りモジュール2210は、更に、前記環境の第3の部分に対応する1つ以上の画像を受け取るように構成される。
[000344] In some embodiments, the second portion of the environment is one of a first back view portion, a second back view portion, an empty view portion, or a ground view portion. . In some such embodiments, the
[000345] いくつかの実施形態では、前記環境の前記第1の部分は正面視野部分であり、前記第3の部分は、空の視野または地面の視野部分の1つであり、画像は、前記第1、第2、及び、第3の部分に対応した異なるレートで受け取られ、より多くの画像が、第2の部分のためよりも、第1の部分に対応するイベントのために受け取られる。 [000345] In some embodiments, the first portion of the environment is a front view portion, the third portion is one of a sky view portion or a ground view portion, and an image is More images are received at different rates corresponding to the first, second, and third portions, and more images are received for events corresponding to the first portion than for the second portion.
[000346] いくつかの実施形態では、前記第1の部分に対応する前記コンテンツは、イベントが進行している間に取り込まれ、前記再生デバイスにストリーミングされるリアルタイムコンテンツを含み、前記第2と第3の部分に対応する前記コンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記制御情報受け取りモジュール2214は、更に、前記イベントの部分の間に、環境の前記第2の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成され、出力画像のコンテンツストリームベース生成モジュール2230は、現在の視界に対応する1つ以上の画像を生成するよう構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第2の部分に対応する画像を選択するように構成される。
[000346] In some embodiments, the content corresponding to the first portion includes real-time content that is captured and streamed to the playback device while an event is in progress, the second and second The content corresponding to the
[000347] 様々な実施形態において、システムは、更に、画像が前記視界の部分のために利用可能でないことを決定する欠落部分決定モジュール2222と、画像が利用可能でない前記視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュール2224と、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組込みモジュール2232とを備える。
[000347] In various embodiments, the system further includes a missing portion determination module 2222 for determining that an image is not available for a portion of the view, and for the portion of the view where an image is not available. An
[000348] 様々な実施形態においては、前記第1の画像コンテンツは、左眼の画像と右眼の映像を含む立体視画像コンテンツである。 [000348] In various embodiments, the first image content is a stereoscopic image content including a left-eye image and a right-eye image.
[000349] いくつかの実施形態では、モジュールのアセンブリ2200は、例えば、図8に示された他のモジュールに加えて、図8のコンテンツ再生システム800に含まれる。モジュールのアセンブリ2200内のモジュールは、システム800の中で、バス809に接続され、メモリ812の中に、プロセッサ808の中に、及び/または、プロセッサ808の外部のハードウェアモジュールとして、含まれてもよい。
[000349] In some embodiments, the
[000350] 図23は、いくつかの実施形態に従って再生システム1900において使用され得る例示的なストリーム選択モジュール1938を示す図2300である。
[000350] FIG. 23 is a drawing 2300 illustrating an exemplary
[000351] 図24は、図23のストリーム選択モジュールの部分として、または、個別のモジュールとして実装され得る例示的なストリーム優先度付けモジュール2306を示す図2400である。
[000351] FIG. 24 is a drawing 2400 illustrating an exemplary
[000352] いくつかの実施形態は、立体視映像をエンコードし、圧縮するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装する非一時的なコンピュータ可読媒体に向けられる。他の実施形態は、プレーヤ側で映像をデコードし、解凍するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装するコンピュータ可読媒体に向けられた実施形態である。エンコード及び圧縮は可能な別個の動作として述べられるが、エンコードは圧縮を実行するために使用され得、従って、エンコードは圧縮を含み得ることが理解されるべきである。同様に、デコードは解凍を含み得る。 [000352] Some embodiments implement a set of software instructions, such as instructions executable by a computer, to control a computer or other device to encode and compress stereoscopic images, for example. Directed to temporary computer-readable media. Other embodiments may be implemented on a computer-readable medium that implements a set of software instructions, such as, for example, computer-executable instructions, to control a computer or other device to decode and decompress video on the player side. FIG. 6 is a directed embodiment. Although encoding and compression are described as possible separate operations, it should be understood that encoding can be used to perform compression, and thus encoding can include compression. Similarly, decoding can include decompression.
[000353] 様々な実施形態の技術は、ソフトウェア、ハードウェア、及び/または、ソフトウェアとハードウェアの組合せを用いて実装され得る。様々な実施形態は、例えば、画像データ処理システム等の機器に向けられる。様々な実施形態は、また、例えば、画像データを処理する方法等の方法に向けられる。様々な実施形態は、また、コンピュータ等の非一時的な機器や、例えば、方法の1つ以上のステップを実装するように機器を制御するための機器が読取り可能な命令を含む、ROM、RAM、CD、ハードディスク、等の読取り可能な媒体に向けられる。 [000353] The techniques of various embodiments may be implemented using software, hardware, and / or a combination of software and hardware. Various embodiments are directed to devices such as, for example, image data processing systems. Various embodiments are also directed to methods such as, for example, methods for processing image data. Various embodiments also include non-transitory equipment such as a computer, ROM, RAM, including instructions readable by the equipment for controlling the equipment to implement one or more steps of the method, for example. , CDs, hard disks, etc.
[000354] 本発明の様々な特徴は、モジュールを使用して実装される。そのようなモジュールは、ソフトウェアモジュールとして実装され得、また、いくつかの実施形態では実装される。他の実施形態では、モジュールは、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。いくつかの実施形態では、モジュールは、個別の回路として実装され、各モジュールが、該モジュールが対応する機能を実行するための回路として実装される。多様な実施形態は、例えば、いくつかがハードウェアの中に、いくつかがソフトウェアの中に、いくつかがハードウェアとソフトウェアの組み合わせを使用してといったように、異なるモジュールが異なって実装されるいくつかの実施形態を含むよう企図される。また、ルーチン及び/またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアと対照的に、専用のハードウェアで実装されてもよいことを注記する。そのような実施形態は、本発明の範囲内に留まる。上記の方法または方法ステップの多くは、上述の方法の全てまたは部分を実装するように、例えば、追加のハードウェアをもった、または、もたない汎用コンピュータ等の機械を制御するために、例えば、RAM、フロッピー(登録商標)ディスク等のメモリデバイス等の機械が読取り可能な媒体に含まれる、ソフトウェア等の機械が実行可能な命令を使用して実装され得る。従って、他のものもある中で、本発明は、例えば、プロセッサ及び関連するハードウェア等の機械に上述された方法(または、複数の方法)のステップの1つ以上を実行させるための機械が実行可能な命令を含む機械が読取り可能な媒体に向けられる。 [000354] Various features of the present invention are implemented using modules. Such a module may be implemented as a software module, and in some embodiments is implemented. In other embodiments, the module is implemented in hardware. In yet other embodiments, the modules are implemented using a combination of software and hardware. In some embodiments, the modules are implemented as separate circuits, and each module is implemented as a circuit for performing the functions to which the module corresponds. Various embodiments may implement different modules differently, for example, some in hardware, some in software, and some using a combination of hardware and software. It is contemplated to include some embodiments. It is also noted that routines and / or subroutines, or some of the steps performed by such routines, may be implemented with dedicated hardware as opposed to software running on a general purpose processor. To do. Such embodiments remain within the scope of the invention. Many of the methods or method steps described above may be implemented, for example, to control a machine, such as a general purpose computer, with or without additional hardware, to implement all or part of the method described above. It may be implemented using machine-executable instructions, such as software, included in a machine-readable medium such as a memory device such as a RAM, floppy disk, etc. Accordingly, among others, the present invention provides a machine for causing a machine, such as a processor and associated hardware, to perform one or more of the steps of the method (or methods) described above. A machine containing executable instructions is directed to a readable medium.
[000355] 上述された様々な実施形態の方法及び装置に対する多くの追加の変形が、上記説明に鑑みて、当技術に技量を有する者に明らかである。そのような変形は、範囲内にあるとみなされるべきである。 [000355] Many additional variations on the methods and apparatus of the various embodiments described above will be apparent to those skilled in the art in view of the above description. Such variations should be considered within range.
Claims (68)
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第1の時間において、再生システムにおける使用のために受け取るかを選択することと、
再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取ることと、
を備える方法。 A method of operating a playback system,
Selecting which of the plurality of content streams to receive at a first time for use in the playback system based on the position of the user's head;
Receiving one or more selected content streams for use for playback;
A method comprising:
前記ユーザの現在の視界に対応するコンテンツを通信する1つ以上のストリームを特定することと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する1つ以上のコンテンツストリームを優先度付けすることと、
を含む、請求項2に記載の方法。 The prioritization means that
Identifying one or more streams communicating content corresponding to the user's current view;
Prioritizing one or more content streams that provide a portion of the scene corresponding to the current view based on the size of the portion of the view that each stream provides;
The method of claim 2 comprising:
前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のストリームを優先度付けすること、
を含む、請求項3に記載の方法。 Prioritizing the content stream further comprises:
One or more additional ones that communicate content corresponding to portions outside the current field of view based on at least one of the proximity of the image portion communicated to the current field of view or the direction of head rotation Prioritize streams,
The method of claim 3 comprising:
前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する1つ以上の追加のコンテンツストリームを優先度付けすること、
を含み、
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項4に記載の方法。 Prioritizing content streams
Prioritizing one or more additional content streams communicating content corresponding to portions outside the current view based on proximity of image content communicated to the current view;
Including
Content streams that communicate image content in contact with the current field of view are given higher priority than content streams that are further away from the current field of view.
The method of claim 4.
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項4に記載の方法。 Prioritizing the one or more additional content streams is based on the direction of rotation of the user's head,
A content stream that provides image content outside the current view but in the direction of head rotation provides an image content outside the view and away from the direction of head rotation. Given higher priority than the content stream,
The method of claim 4.
コンテンツストリームを受け取るために利用可能な帯域幅を決定することと、
前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択することと、
を備える、請求項2に記載の方法。 The step of selecting further comprises:
Determining the bandwidth available to receive the content stream;
Selecting from a plurality of content streams having the same priority based on the determined amount of available bandwidth;
The method of claim 2 comprising:
前記同じ優先度を有する複数のコンテンツストリームから選択することは、更に、前記少なくとも1つのコンテンツストリームのための決定された前記帯域幅に基づく、
請求項8に記載の方法。 Determining bandwidth for at least one content stream based on bandwidth constraints communicated to the playback system;
Selecting from a plurality of content streams having the same priority is further based on the determined bandwidth for the at least one content stream.
The method of claim 8.
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項9に記載の方法。 Further comprising receiving bandwidth constraints for different viewing directions;
The individual bandwidth constraint specifies the maximum bandwidth that should be used to receive one or more content streams that provide content corresponding to the viewing direction corresponding to the individual bandwidth constraint.
The method of claim 9.
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応する、
請求項8に記載の方法。 Selecting from the plurality of content streams having the same priority includes selecting one content stream from the plurality of content streams given the highest priority;
Each content stream given the highest priority corresponds to the same viewing direction,
The method of claim 8.
前記2番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項11に記載の方法。 Selecting from the plurality of content streams having the same priority includes selecting one content stream from the plurality of content streams given the second highest priority;
Each content stream given the second highest priority provides content corresponding to the same viewing direction;
The method of claim 11.
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送ることを含む、
請求項15に記載された方法。 Further initiating delivery of the selected content stream;
Initiating delivery of the selected content stream includes signaling to join a multicast group corresponding to the selected content stream.
The method of claim 15.
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送ることを含む、
請求項15に記載の方法。 Further initiating delivery of the selected content stream;
Initiating delivery of the selected content stream includes sending a request to a device in the network requesting delivery of a switched digital channel with which the selected content stream is communicated.
The method of claim 15.
再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取るよう構成された受信機を含むインターフェースと、
を備える再生システム。 A stream selection module configured to select which of a plurality of content streams to receive for use in a playback system at a first time based on a user's head position;
An interface including a receiver configured to receive one or more selected content streams for use for playback;
A playback system comprising:
前記ユーザの現在の視界に対応するコンテンツを通信する1つ以上のストリームを特定するよう構成された特定モジュールと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する1つ以上のコンテンツストリームを優先度付けするよう構成された優先度付与モジュールと、
を含む、請求項19に記載の再生システム。 The stream prioritization module is
An identification module configured to identify one or more streams communicating content corresponding to the current view of the user;
A prioritization module configured to prioritize one or more content streams that provide a portion of the scene corresponding to the current view based on the size of the portion of the view provided by each stream;
The playback system according to claim 19, comprising:
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項21に記載の再生システム。 The additional stream priority assignment module is configured to communicate one or more additional contents communicating content corresponding to a portion outside the current view based on proximity of image content communicated to the current view. Configured to prioritize streams,
Content streams that communicate image content in contact with the current field of view are given higher priority than content streams that are further away from the current field of view.
The reproduction system according to claim 21.
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項21に記載の再生システム。 The additional stream priority assignment module prioritizes one or more additional content streams based on the direction of rotation of the user's head;
A content stream that provides image content outside the current view but in the direction of head rotation provides an image content outside the view and away from the direction of head rotation. Given higher priority than the content stream,
The reproduction system according to claim 21.
前記ストリーム選択モジュールは、前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択するよう構成された選択モジュールを含む、
請求項19に記載の再生システム。 An available bandwidth and data rate determination module configured to determine available bandwidth to receive the content stream;
The stream selection module includes a selection module configured to select from a plurality of content streams having the same priority based on the determined amount of available bandwidth.
The reproduction system according to claim 19.
前記選択モジュールは、前記少なくとも1つのコンテンツストリームのための決定された前記帯域幅に更に基づき、前記同じ優先度を有する前記複数のコンテンツストリームから選択するよう構成される、
請求項25に記載の再生システム。 The stream selection module further comprises a stream bandwidth determination module configured to determine bandwidth for at least one content stream based on bandwidth constraints communicated to the playback system;
The selection module is further configured to select from the plurality of content streams having the same priority based further on the determined bandwidth for the at least one content stream.
The reproduction system according to claim 25.
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する1つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項26に記載の再生システム。 The receiver is further configured to receive bandwidth constraints for different viewing directions;
The individual bandwidth constraint specifies the maximum bandwidth that should be used to receive one or more content streams that provide content corresponding to the viewing direction corresponding to the individual bandwidth constraint.
The reproduction system according to claim 26.
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、前記同じ視野方向に対応するコンテンツを提供する、
請求項25に記載の再生システム。 The selection module is configured to select one content stream from a plurality of content streams given the highest priority;
Each content stream given the highest priority provides content corresponding to the same viewing direction as part of being configured to select from a plurality of content streams having the same priority;
The reproduction system according to claim 25.
前記2番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項28に記載の再生システム。 The selection module selects one content stream from the plurality of content streams given the second highest priority as part of being configured to select from the plurality of content streams having the same priority. Configured,
Each content stream given the second highest priority provides content corresponding to the same viewing direction;
The reproduction system according to claim 28.
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送るよう構成される、
請求項32に記載された再生システム。 A content delivery activation module configured to activate delivery of the selected content stream;
The content delivery activation module is further configured to signal to join a multicast group corresponding to the selected content stream.
The reproduction system according to claim 32.
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送るよう構成される、
請求項32に記載の再生システム。 A content delivery activation module configured to activate the delivery of the selected content stream;
The content delivery activation module is further configured to send a request to a device in the network requesting delivery of a switched digital channel over which the selected content stream is communicated.
The reproduction system according to claim 32.
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第1の時間において、再生システムにおける使用のために受け取るかを選択するように、
再生のための使用のために、1つ以上の選択されたコンテンツストリームを受け取るように、
再生システムを制御する、プロセッサが実行可能な命令を含む非一時的なコンピュータによって読み出し可能な媒体。 When executed by the processor
Based on the user's head position, to select which of the multiple content streams to receive for use in the playback system at a first time,
To receive one or more selected content streams for use for playback,
A non-transitory computer readable medium containing instructions executable by a processor to control a playback system.
見る者の頭の位置を決定することと、前記頭の位置は現在の視界に対応し、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することと、
第1の出力画像を出力すること、または、表示することと、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、
方法。 A method of operating a content playback system,
Determining the position of the viewer's head, which corresponds to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment Generating one or more output images corresponding to the current field of view based on the combined image to be
Outputting or displaying a first output image, wherein the first output image is one of the one or more generated output images;
Method.
前記環境の前記第2の部分に対応する前記第1の画像を記憶することと、
を更に備える、請求項36に記載の方法。 Receiving a first image corresponding to the second portion of the environment;
Storing the first image corresponding to the second portion of the environment;
The method of claim 36, further comprising:
前記現在の視界に対応する1つ以上の出力画像を生成することは、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせることを含み、
時間の前記第1の点と第2の点は異なる、
請求項39に記載の方法。 The first image of the second part of the environment corresponds to a first point in time;
Generating one or more output images corresponding to the current field of view includes content obtained from the first content stream captured at a second point in time at the first point in time. Combining with the corresponding first image,
The first point and the second point of time are different,
40. The method of claim 39.
前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む、
請求項40に記載の方法。 Further comprising receiving one or more additional images corresponding to the second portion of the environment;
The one or more additional images corresponding to the second portion of the environment include at least a second image;
41. The method of claim 40.
前記第3の部分は、空の視野または地面の視野部分の1つであり、
画像は、前記第1の部分、第2の部分、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分のためよりもより多くの画像が、前記第1の部分に対応するイベントのために受け取られる、
請求項46に記載の方法。 The first portion of the environment is a front vision portion;
The third part is one of a sky field or a ground field part;
Images are received at different rates corresponding to the first part, the second part, and the third part, and more images are received in the first part than for the second part. Received for the corresponding event,
48. The method of claim 46.
前記第2の部分と第3の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項47に記載の方法。 The content corresponding to the first portion includes real-time content captured while the event was in progress and streamed to the content playback system;
The content corresponding to the image corresponding to the second part and the third part is a non-real-time image;
48. The method of claim 47.
少なくともいくつかの受け取られたコンテンツに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することは、受け取られた前記画像選択情報に基づいて、前記環境の前記第2の部分に対応する画像を選択することを含む、
請求項36に記載の方法。 Further comprising receiving image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used during a portion of the event;
Generating one or more output images corresponding to the current view based on at least some received content is based on the received image selection information based on the second portion of the environment. Including selecting an image corresponding to
37. A method according to claim 36.
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成することと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせることと、
を更に備える、請求項49に記載の方法。 Determining that an image is not available for the portion of the current view;
Compositing an image to be used for the portion of the current view where no image is available;
Combining the synthesized image with at least a portion of the received image to generate an image corresponding to the current field of view;
50. The method of claim 49, further comprising:
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュールと、前記頭の位置は現在の視界に対応し、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取るよう構成されたコンテンツストリーム受け取りモジュールと、
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成するよう構成された出力画像のコンテンツストリームベース生成モジュールと、
第1の出力画像を出力するように構成された出力モジュール、または、第1の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、
を備えるシステム。 A content playback system,
A viewer head positioning module configured to determine a position of the viewer's head, the head position corresponding to a current field of view;
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment A content stream base generation module of an output image configured to generate one or more output images corresponding to the current field of view based on a composite image to be
At least one of an output module configured to output a first output image or a display module configured to display a first output image, and the first output image is generated one One of the above output images,
A system comprising:
前記環境の前記第2の部分に対応する前記第1の画像を記憶するよう構成された受け取られた画像記憶モジュールと、
を更に備える、請求項52に記載のシステム。 An image receiving module configured to receive a first image corresponding to the second portion of the environment;
A received image storage module configured to store the first image corresponding to the second portion of the environment;
53. The system of claim 52, further comprising:
前記出力画像のコンテンツストリームベース生成モジュールは、時間の第2の点において取り込まれた前記第1のコンテンツストリームから得られたコンテンツを、時間の前記第1の点に対応する前記第1の画像と組み合わせるよう構成され、
時間の前記第1の点と第2の点は異なる、
請求項55に記載のシステム。 The first image of the second part of the environment corresponds to a first point in time;
The output image content stream base generation module is configured to convert content obtained from the first content stream captured at a second point in time to the first image corresponding to the first point in time. Configured to combine,
The first point and the second point of time are different,
56. The system of claim 55.
前記環境の前記第2の部分に対応する前記1つ以上の追加の画像は、少なくとも第2の画像を含む、
請求項56に記載のシステム。 The image receiving module is further configured to receive one or more additional images corresponding to the second portion of the environment;
The one or more additional images corresponding to the second portion of the environment include at least a second image;
57. The system of claim 56.
前記第3の部分は、空の視野または地面の視野部分の1つであり、
画像は、前記第1の部分、第2の部分、及び、第3の部分に対応する異なるレートで受け取られ、前記第2の部分のためよりもより多くの画像が、前記第1の部分に対応するイベントのために受け取られる、
請求項62に記載のシステム。 The first portion of the environment is a front vision portion;
The third part is one of a sky field or a ground field part;
Images are received at different rates corresponding to the first part, the second part, and the third part, and more images are received in the first part than for the second part. Received for the corresponding event,
64. The system of claim 62.
前記第2の部分と第3の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項63に記載のシステム。 The content corresponding to the first portion includes real-time content captured while the event was in progress and streamed to the content playback system;
The content corresponding to the image corresponding to the second part and the third part is a non-real-time image;
64. The system of claim 63.
前記出力画像のコンテンツストリームベース生成モジュールは、前記現在の視界に対応する1つ以上の出力画像を生成するよう構成されることの部分として、受け取られた前記画像選択情報に基づいて、前記環境の前記第2の部分に対応する画像を選択するよう構成される、
請求項64に記載のシステム。 The control information receiving module is further configured to receive image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used during the portion of the event;
The output image content stream base generation module is configured to generate one or more output images corresponding to the current field of view based on the received image selection information as part of the environment selection. Configured to select an image corresponding to the second portion;
66. The system of claim 64.
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュールと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組み込みモジュールと、
を更に備える、請求項65に記載のシステム。 A missing portion determination module configured to determine that an image is not available for the portion of the current view;
An image synthesizer module configured to synthesize an image to be used for the portion of the current view where no image is available;
A combined image embedding module configured to combine the combined image with at least a portion of the received image to generate an image corresponding to the current field of view;
66. The system of claim 65, further comprising:
見る者の頭の位置を決定することと、ここで、前記頭の位置は現在の視界に対応し、
環境の第1の部分に対応するコンテンツを提供する第1のコンテンツストリームを受け取ることと、
前記第1のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、i)前記環境の第2の部分に対応する記憶されたコンテンツ、または、ii)前記環境の第2の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する1つ以上の出力画像を生成することと、
第1の出力画像を出力すること、または、表示することと、前記第1の出力画像は、生成された1つ以上の前記出力画像の1つである、
のステップを実行するように前記コンテンツ再生システムを制御する、プロセッサにより実行可能な命令を含む非一時的な機械により読取り可能な媒体。 When executed by the content playback system processor,
Determining the position of the viewer's head, wherein said head position corresponds to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment Generating one or more output images corresponding to the current field of view based on the combined image to be
Outputting or displaying a first output image, wherein the first output image is one of the one or more generated output images;
A non-transitory machine readable medium containing instructions executable by a processor to control the content playback system to perform the steps of:
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462004547P | 2014-05-29 | 2014-05-29 | |
US62/004,547 | 2014-05-29 | ||
PCT/US2015/033420 WO2015184416A1 (en) | 2014-05-29 | 2015-05-29 | Methods and apparatus for delivering content and/or playing back content |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017527230A true JP2017527230A (en) | 2017-09-14 |
Family
ID=54699946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017515038A Withdrawn JP2017527230A (en) | 2014-05-29 | 2015-05-29 | Method and apparatus for distributing and / or playing content |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP3149937A4 (en) |
JP (1) | JP2017527230A (en) |
KR (2) | KR102611448B1 (en) |
CN (1) | CN106416239B (en) |
CA (1) | CA2948642A1 (en) |
WO (1) | WO2015184416A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019521584A (en) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Signaling of Virtual Reality Video in Dynamic Adaptive Streaming over HTTP |
JP2019134383A (en) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | Remote control operation system and communication method thereof |
JP2021513305A (en) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ, インコーポレイテッド | Simulate a local experience by livestreaming a shareable perspective of a live event |
JP2021526778A (en) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Huawei Technologies Co.,Ltd. | VR video playback method, terminal, and server |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
CN106937128A (en) * | 2015-12-31 | 2017-07-07 | 幸福在线(北京)网络技术有限公司 | A kind of net cast method, server and system and associated uses |
CN105791882B (en) * | 2016-03-22 | 2018-09-18 | 腾讯科技(深圳)有限公司 | Method for video coding and device |
WO2017177090A1 (en) * | 2016-04-08 | 2017-10-12 | Visbit Inc. | View-aware 360 degree video streaming |
US10219014B2 (en) | 2016-06-02 | 2019-02-26 | Biamp Systems, LLC | Systems and methods for bandwidth-limited video transport |
US20180007422A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for providing and displaying content |
WO2018004933A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for gaze tracking |
KR20180025797A (en) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | Method for Streaming Image and the Electronic Device supporting the same |
WO2018049221A1 (en) * | 2016-09-09 | 2018-03-15 | Vid Scale, Inc. | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming |
US20190251735A1 (en) * | 2016-09-13 | 2019-08-15 | Interdigital Vc Holdings, Inc. | Method, apparatus and stream for immersive video format |
KR102376593B1 (en) * | 2016-09-29 | 2022-03-21 | 코닌클리케 필립스 엔.브이. | image processing |
WO2018063957A1 (en) * | 2016-09-30 | 2018-04-05 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
KR102633595B1 (en) | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | Display apparatus and the control method thereof |
KR20180059210A (en) | 2016-11-25 | 2018-06-04 | 삼성전자주식회사 | Image processing apparatus and method for image processing thereof |
US10244200B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | View-dependent operations during playback of panoramic video |
US10244215B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | Re-projecting flat projections of pictures of panoramic video for rendering by application |
CN108156484B (en) * | 2016-12-05 | 2022-01-14 | 奥多比公司 | Prioritizing tile-based virtual reality video streams with adaptive rate allocation |
US10595069B2 (en) | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
FI20165925L (en) * | 2016-12-05 | 2018-06-06 | Rolls Royce Oy Ab | Optimizing data stream transmissions from marine vessel |
US10242714B2 (en) | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
CN108668138B (en) * | 2017-03-28 | 2021-01-29 | 华为技术有限公司 | Video downloading method and user terminal |
US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
US10311630B2 (en) * | 2017-05-31 | 2019-06-04 | Verizon Patent And Licensing Inc. | Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene |
US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
WO2019017913A1 (en) * | 2017-07-18 | 2019-01-24 | Hewlett-Packard Development Company, L.P. | Virtual reality buffering |
WO2019078033A1 (en) * | 2017-10-20 | 2019-04-25 | ソニー株式会社 | Playback device and method, and generation device and method |
TWI653882B (en) | 2017-11-23 | 2019-03-11 | 宏碁股份有限公司 | Video device and encoding/decoding method for 3d objects thereof |
US10990831B2 (en) | 2018-01-05 | 2021-04-27 | Pcms Holdings, Inc. | Method to create a VR event by evaluating third party information and re-providing the processed information in real-time |
WO2019143959A1 (en) * | 2018-01-22 | 2019-07-25 | Dakiana Research Llc | Method and device for presenting synthesized reality companion content |
CN110198457B (en) * | 2018-02-26 | 2022-09-02 | 腾讯科技(深圳)有限公司 | Video playing method and device, system, storage medium, terminal and server thereof |
CN112219406B (en) | 2018-03-22 | 2023-05-05 | Vid拓展公司 | Latency reporting method and system for omni-directional video |
US10666863B2 (en) | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
US11917127B2 (en) | 2018-05-25 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Monitoring of video streaming events |
US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
KR20190136417A (en) * | 2018-05-30 | 2019-12-10 | 삼성전자주식회사 | Method for tramsmitting stereoscopic 360 degree video data, display apparatus thereof, and storing device of video data thereof |
KR102435519B1 (en) * | 2018-06-20 | 2022-08-24 | 삼성전자주식회사 | Method and apparatus for processing 360 degree image |
EP3588970A1 (en) * | 2018-06-22 | 2020-01-01 | Koninklijke Philips N.V. | Apparatus and method for generating an image data stream |
CN111614974B (en) * | 2020-04-07 | 2021-11-30 | 上海推乐信息技术服务有限公司 | Video image restoration method and system |
KR20220039113A (en) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | Method and apparatus for transmitting video content using edge computing service |
US20220103655A1 (en) * | 2020-09-29 | 2022-03-31 | International Business Machines Corporation | Proactively selecting virtual reality content contexts |
US11632531B1 (en) * | 2021-05-03 | 2023-04-18 | Amazon Technologies, Inc. | Synchronization and presentation of multiple 3D content streams |
CN115250363A (en) * | 2022-09-22 | 2022-10-28 | 广州市千钧网络科技有限公司 | Multi-view live broadcast system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
JP2005065051A (en) * | 2003-08-18 | 2005-03-10 | Sony Corp | Imaging apparatus |
JP2009017064A (en) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | Video receiver and multicast distribution content reception control method |
JP2013521743A (en) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | Bit rate adjustment in adaptive streaming systems |
US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
US8130260B2 (en) * | 2005-11-09 | 2012-03-06 | Johns Hopkins University | System and method for 3-dimensional display of image data |
KR101313797B1 (en) * | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | Apparatus and method for presenting display of 3D image using head tracking |
US20110181601A1 (en) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capturing views and movements of actors performing within generated scenes |
US8988512B2 (en) * | 2011-04-14 | 2015-03-24 | Mediatek Inc. | Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof |
FR2988964A1 (en) * | 2012-03-30 | 2013-10-04 | France Telecom | Method for receiving immersive video content by client entity i.e. smartphone, involves receiving elementary video stream, and returning video content to smartphone from elementary video stream associated with portion of plan |
CN103533340B (en) * | 2013-10-25 | 2016-04-06 | 深圳市汉普电子技术开发有限公司 | The bore hole 3D player method of mobile terminal and mobile terminal |
-
2015
- 2015-05-29 CA CA2948642A patent/CA2948642A1/en active Pending
- 2015-05-29 WO PCT/US2015/033420 patent/WO2015184416A1/en active Application Filing
- 2015-05-29 EP EP15798986.4A patent/EP3149937A4/en not_active Withdrawn
- 2015-05-29 KR KR1020227019042A patent/KR102611448B1/en active IP Right Grant
- 2015-05-29 KR KR1020167036714A patent/KR102407283B1/en active IP Right Grant
- 2015-05-29 JP JP2017515038A patent/JP2017527230A/en not_active Withdrawn
- 2015-05-29 CN CN201580028645.9A patent/CN106416239B/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
JP2005065051A (en) * | 2003-08-18 | 2005-03-10 | Sony Corp | Imaging apparatus |
JP2009017064A (en) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | Video receiver and multicast distribution content reception control method |
JP2013521743A (en) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | Bit rate adjustment in adaptive streaming systems |
US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Non-Patent Citations (1)
Title |
---|
S. HEYMANN ET AL.: "Representation, Coding and interactive Rendering of High-Resolution Panoramic Images and Video using", PROC. PANORAMIC PHOTOGRAMMETRY WORKSHOP, JPN6019001113, 2005, pages 1 - 5 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019521584A (en) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | Signaling of Virtual Reality Video in Dynamic Adaptive Streaming over HTTP |
US11375291B2 (en) | 2016-05-24 | 2022-06-28 | Qualcomm Incorporated | Virtual reality video signaling in dynamic adaptive streaming over HTTP |
JP2019134383A (en) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | Remote control operation system and communication method thereof |
JP7059662B2 (en) | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | Remote control system and its communication method |
JP2021513305A (en) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ, インコーポレイテッド | Simulate a local experience by livestreaming a shareable perspective of a live event |
JP7346459B2 (en) | 2018-02-06 | 2023-09-19 | フェニックス リアル タイム ソリューションズ, インコーポレイテッド | Simulating local experiences by live streaming shareable perspectives of live events |
JP2021526778A (en) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Huawei Technologies Co.,Ltd. | VR video playback method, terminal, and server |
JP7150984B2 (en) | 2018-05-22 | 2022-10-11 | 華為技術有限公司 | VR video playback method, terminal, and server |
US11765427B2 (en) | 2018-05-22 | 2023-09-19 | Huawei Technologies Co., Ltd. | Virtual reality video playing method, terminal, and server |
Also Published As
Publication number | Publication date |
---|---|
KR20170015938A (en) | 2017-02-10 |
WO2015184416A1 (en) | 2015-12-03 |
EP3149937A1 (en) | 2017-04-05 |
CN106416239B (en) | 2019-04-09 |
CA2948642A1 (en) | 2015-12-03 |
KR102407283B1 (en) | 2022-06-10 |
EP3149937A4 (en) | 2018-01-10 |
KR102611448B1 (en) | 2023-12-07 |
CN106416239A (en) | 2017-02-15 |
KR20220081390A (en) | 2022-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11871085B2 (en) | Methods and apparatus for delivering content and/or playing back content | |
KR102611448B1 (en) | Methods and apparatus for delivering content and/or playing back content | |
US20210409672A1 (en) | Methods and apparatus for receiving and/or playing back content | |
US11381801B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
RU2665872C2 (en) | Stereo image viewing | |
US20170324945A1 (en) | Methods and apparatus for streaming content | |
JP2018507650A (en) | Method and apparatus for supporting content generation, transmission, and / or playback | |
WO2019146425A1 (en) | Image processing device, image processing method, program, and projection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190410 |