TWI672040B - 視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體 - Google Patents

視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI672040B
TWI672040B TW106103456A TW106103456A TWI672040B TW I672040 B TWI672040 B TW I672040B TW 106103456 A TW106103456 A TW 106103456A TW 106103456 A TW106103456 A TW 106103456A TW I672040 B TWI672040 B TW I672040B
Authority
TW
Taiwan
Prior art keywords
collection
segment
video
tracks
stream
Prior art date
Application number
TW106103456A
Other languages
English (en)
Other versions
TW201733355A (zh
Inventor
羅伯特 史庫濱
雅構 夏契茲
湯瑪士 夏以爾
寇尼拉斯 黑爾吉
卡斯登 古寧貝格
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201733355A publication Critical patent/TW201733355A/zh
Application granted granted Critical
Publication of TWI672040B publication Critical patent/TWI672040B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

藉由使用一檔案格式在保持一致性情況下減小關於一完整場景之一視訊資料串流及併入有形成節段的一影像塊集合之影像塊經編碼成的切片來導出一節段特定視訊資料串流，該等影像塊併入至一或多個來源軌之一集合中，且使用包含建構指令之一或多個收集軌之一集合以便藉由傳信該等切片之某些部分的替換及指示複製該等切片之某些部分來指示該節段特定視訊資料串流之一合成。此外，描述一種概念，其關於由自一視訊串流伺服器至一用戶端之一視訊串流表示的一場景內之一興趣區域之一位置的一指示。為了有利地在大部分應用中操控預提取或其他優先排序概念，使一視訊串流伴隨有以使得該興趣區域之該位置按時序變化之方式指示該位置的一資訊。

Description

視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體
發明領域
本申請案係關於支援對興趣場景節段或區域之特殊處理的視訊串流概念。
發明背景
在使用(例如)DASH(HTTP動態自適應串流)(HTTP=超文字傳送協定)之視訊串流中，能夠將視訊串流限制於某一場景節段或優先排序某一興趣區域將有利的情形變得愈來愈多。舉例而言，不需要在頭部安裝式顯示應用中傳輸完整全景視圖視訊。確切而言，將僅僅需要傳輸關於由使用者查看之節段的場景節段。中斷視訊串流之部分幾乎不產生有效視訊資料串流。允許移除視訊資料串流之某些部分的情形大部分限於諸如移除分層式視訊串流之增強層的某些情境。然而，此類情境大部分處理由視訊資料串流輸送之資訊量就位元深度、空間解析度、時間解析度或類似者而言而非場景節段而言的可縮放性。
此外，將有利的是能夠為串流傳輸目標(亦即，用戶端)提供關於某一視訊圖像內的興趣區域之提示，以便有利地(例如)將此興趣區域預設為比視訊圖像的其他部分較佳。直至現在為止，仍可能執行此興趣區域傳信，但此等能力受限制且給伺服器與用戶端之間的通信帶來壓力。
發明概要
因此，本發明之目標為提供允許在維持減小之串流與原始串流之間的一致性之情況下串流傳輸場景節段特定減小之資料串流的視訊串流概念，及提供允許興趣區域傳信之更有效率方式的視訊串流概念。
此目標藉由獨立申請專利範圍之標的物來予以達成。
本申請案之發明人已發現：藉由使用檔案格式在保持一致性情況下減小關於完整場景之視訊資料串流及併入有形成節段的影像塊集合之影像塊經編碼成的切片可導出節段特定視訊資料串流，該等影像塊併入至一或多個來源軌之集合中，且使用包含建構指令的一或多個收集軌之集合以便藉由傳信該等切片之某些部分的替換及/或指示複製該等切片之某些部分來指示該節段特定視訊資料串流之合成。藉由此量測，減小視訊資料串流以便僅關於某一場景節段，然而接收端(亦即，用戶端側)仍能夠藉由執行如由該等建構指令指示的該合成來獲得一致節段特定視訊資料串流是可行的。
基於本申請案之另一發現關於興趣區域在由自視訊串流伺服器至用戶端之視訊串流表示的場景內之位置指示。已認識到興趣區域之固定位置通常不足以在大部分應用中有利地操控預提取或其他優先排序概念。因此，視訊串流伴有以某一方式指示興趣區域之位置的一資訊，該方式使得位置按時序變化。為了將對伺服器/用戶端通信之限制保持為低，可在視訊串流之五個格式框內(亦即，在該視訊串流自身內)藉助於SAND (伺服器及網路輔助dash)訊息及/或藉助於串流傳輸會話之開始處的初始資訊輸送來以某種方式輸送該資訊，該方式使得該資訊排程興趣區域之位置的即將出現改變。
上述概念之組合是可行的，且亦為後續描述及附屬申請專利範圍之主題。
下文關於諸圖所提出的對本申請案之實施例的描述首先聚焦於涉及在保持一致性情況下支援對節段特定視訊資料串流之串流傳輸的視訊串流之實施例。在下文中，描述涉及ROI位置指示之實施例。在應用中，兩種類型之實施例可一起使用以便利用兩個概念。
為了激勵且易化對涉及節段特定視訊資料串流傳輸之實施例的理解，描述應用情境之實例，其說明希望僅僅串流傳輸由視訊資料串流表示之主場景的節段之來源。此實例是關於HEVC作為基礎視訊編解碼器而提供，但關於HEVC提供該實例之實情不應被視為本申請案及隨後所解釋之實施例將限於HEVC的暗示。確切而言，任一其他視訊編解碼器可用作基底。
可使用「影像塊」概念來產生HEVC位元串流，該概念破壞圖像中預測相依性(包括熵解碼相依性)。每一影像塊可經單獨地處理，例如，可由一個處理器/核心處理。若每一影像塊包括至不同切片中，則不存在在不同影像塊當中共享之資訊，且僅經重建構樣本之迴路濾波可在接通時為必需的。若使用影像塊，則在N×M影像塊之矩形圖案中結構化完整視訊。對於某些使用情況，類似於獲自大全景之較小窗(也稱為RoI)的呈現，僅將需要對影像塊之一子集進行解碼。然而，首先必須以某種方式編碼HEVC位元串流，該方式使得框間預測以使得未自先前圖像之不同影像塊預測圖像之影像塊的方式受限。即使滿足此等限制，但若位元串流之對應於一些影像塊的彼等部分串接同時移除位元串流之不需要部分，則所得位元串流可不再為一致的HEVC位元串流。
在圖16中所繪示之實例中，繪示對於所選RoI (藉由圖中之矩形960所描繪)，如何提取由九個影像塊(就HEVC規範而言為影像塊集合)構成之影像塊子集。在圖16中，九個影像塊為CU位址100、110、120、200、210、220、300、310及320所指示之影像塊。所提取HEVC位元串流並不有效，此係因為所提取部分之CuAddr不自0開始(此意謂其不含有具有等於1之first_slice_segment_in_pic_flag的切片)且一些CuAddr及對應資料現在是缺失的，亦即，在自一個影像塊列傳遞至另一影像塊列時影像塊之間的CU位址並非連續的。顯然，此取決於選擇哪些影像塊，(例如)若省略最左上之影像塊，則剩餘影像塊無法形成一致之HEVC位元串流。
除了關於CU位址空間之所描述問題以外，亦需要產生額外參數(諸如PPS、SPS、VPS)或SEI訊息以匹配所提取位元串流(亦即，包含比完整HEVC位元串流少量之影像塊的RoI)之特性。
亦即，關於圖16之上述描述清晰地顯現出在移除視訊資料串流之部分以便獲得節段特定減小之視訊資料串流的情況下保持一致性並非簡單任務。下文中所描述之實施例允許在保留一致性之情況下傳輸視訊資料串流之節段特定部分。
圖1繪示根據本申請案之一實施例的視訊串流伺服器10，且出於易於理解對伺服器10之操作模式的描述起見，示意性說明視訊12、視訊12經寫碼成且伺服器10可至少部分地存取之視訊資料串流14、以及串流16，伺服器10向用戶端提供串流16之串流傳輸以便藉由下文更詳細地描述之合成來自其獲得節段特定視訊資料串流。應注意，存在實施伺服器10之若干可能性。舉例而言，可以硬體(諸如電子電路)、以韌體(諸如場可規劃陣列)或以軟體(諸如藉由使用經恰當地規劃之電腦)實施伺服器10。
如下文更詳細地描述，視訊串流伺服器10經組配以向用戶端顯現串流16之可用串流傳輸。基於後一串流，用戶端能夠以下文中更詳細地概述之方式合成節段特定視訊資料串流。有利地，串流16中之資料量相比於資料或視訊資料串流14之量減小。為了理解原理，首先描述視訊資料串流14及視訊12經寫碼成視訊資料串流14之方式。伺服器10至少相對於視訊資料串流14之並不由伺服器10移除以用於基於其建構串流16之部分存取視訊資料串流14。
如圖1中所繪示，視訊12由一連串圖像18構成。視訊12之外的例示性三個連續圖像18在圖1中所繪示之依序次序20可對應於輸出或呈現時間次序。因此，每一圖像18表示場景之空間取樣，亦即，由樣本陣列構成，且因此視訊12表示場景之空間時間取樣。圖像18中之每一者完整地繪示場景。術語「完整地」應指示以下實情：經寫碼成資料串流14之圖像18中的每一者繪示場景，而如稍後所描述之經寫碼成可基於串流16合成的節段特定視訊資料串流僅僅繪示場景之節段22。
圖像在空間上經細分成影像塊。圖像18細分成影像塊可使得影像塊有規律地配置於列及行中。舉例而言，在圖1之實例中，圖像18繪示為細分成影像塊之3×3陣列，其中使用參考符號24大體上指示影像塊，且藉由在一個圖像18內使用A至I標記影像塊來將影像塊彼此區分。然而，每個圖像之影像塊的數目並不限於影像塊之此數目。確切而言，圖像18可替代地切分成任何陣列之N×M影像塊，其中(例如) N×M ＞ 2。然而，應注意，影像塊24可具有除矩形形狀以外之形狀。此外，亦不應將圖像18細分成以列及行配置之影像塊24的陣列視為限制性的。確切而言，可使用其他類型之影像塊分割。亦應注意，影像塊24不應限於如涉及HEVC之影像塊概念的HEVC標準中所指示的「影像塊」。此處在圖1中所提及之影像塊24應指示圖像18細分成之子區域中的任一子區域。如圖1中所繪示，若圖像細分成的影像塊24在圖像18當中相等以使得影像塊之間的影像塊邊界在與圖像18之影像塊邊界26比較時重合可為有利的。
儘管關於圖像18如何經編碼成資料串流14之詳細方式為多樣的，但應至少以使得視訊資料串流14由一連串切片26構成之方式完成寫碼。
切片26為(例如)可在其處傳輸資料串流14之單元。切片26可(例如)形成資料串流14可在其處個別地或以連續切片之集合分別經封包化成NAL單元或變換封包的單元。如下文更詳細地描述，每一切片26可由切片標頭及酬載節段構成。目前，將可以說圖像18經編碼成資料串流14之切片26，使得每一切片中已編碼有不大於一個影像塊24。在圖1中，(例如)已說明每一影像塊24經編碼成恰好一個切片26，但此僅僅為一實例且不應被視為限制圖1之實施例的範疇。在圖1中，分別使用大寫字母A至I及自圖像18通向資料串流14之短劃線以便說明切片26與影像塊24之間的關聯。如圖1中所說明，資料串流14可包含以使得與某一圖像18之影像塊24相關聯的切片26配置於資料串流14內之方式所排序的切片26，該配置方式使得在切片之間不存在為/具有其中編碼有任一其他圖像的影像塊之切片。亦即，攜載不同圖像18之影像塊24的切片26不交錯。然而，彼亦僅僅為一實例，且不應被視為限制另一描述。出於完整性起見，圖1亦說明可能在資料串流14內存在不可歸於圖像18之任何特定影像塊24的切片28。此類切片28可(例如)攜載寫碼參數，寫碼參數之有效性或範疇涉及多於一個影像塊、完整圖像18或甚至一連串圖像18。儘管在下文中提出之描述聚焦於切片26，但顯而易見的是，可以如關於切片26所描述之類似方式處理切片28，以便獲得基於本發明實施例之積極效果之優點。
如已在上文中指示，伺服器10存取視訊資料串流14之切片26。舉例而言，視訊資料串流14可按原樣儲存於數位儲存媒體上，且伺服器10讀取視訊資料串流14或自其讀取相關部分以便形成串流16。然而，如將在下文中更詳細地解釋，根據替代性實施例，伺服器10直接存取以伺服器10可直接讀取串流16以便將其串流傳輸至用戶端之方式所概念化的經預調節視訊資料。在關於伺服器10向用戶端顯現之可用串流16描述其他細節之後後一態樣將變得更清晰。
詳言之，伺服器10向用戶端顯現可用串流16，以便為用戶端提供僅僅關於場景之節段22的減小量之資料。舉例而言，在圖1之實例中，節段22經描繪為僅僅涵蓋影像塊D、E、G及H之2×2子陣列或由該子陣列形成。因此，影像塊A、B、C、F及I不屬於節段22，亦即，在其外部，且因此其中已編碼有在節段22外部之圖像18的部分。因此，伺服器10經組配以使得串流16中已併入有切片26之僅僅一部分或子集。詳言之，伺服器10經組配以使得串流16以檔案格式經格式化且包括一或多個來源軌30d 、30e 、30g 及30H 之集合30及一或多個收集軌之集合32。集合30中已併入有節段22內之影像塊經編碼成的切片26，亦即，影像塊D、E、G及H。在圖1中，已選擇且描繪一實施例，其中集合30之每一來源軌與節段22內之影像塊中的一者相關聯，其中藉由使用參考符號30之低等級索引之各別大寫字母來指示該關聯。亦即，在此實施例之情況下，每一來源軌併入有相關聯影像塊24經編碼成之切片26。若存在此情況，則可使用預定規則以便將其他切片(諸如切片28)分佈至集合30上。完成此分佈之方式在此處並不重要。此外，根據一替代性實施例，並不使用來源軌與節段22內之影像塊之間的一對一關聯。確切而言，可能在集合30內僅僅存在一個來源軌。
圖1說明集合32僅僅包含一個收集軌321 之情況。然而，如隨後所解釋，關於節段22之收集軌的集合32可超過一個。舉例而言，集合32內之收集軌的數目可等於節段22內之影像塊24的數目。
一或多個收集軌之集合32包含建構指令，該等建構指令指示僅僅繪示場景22之節段的圖像經編碼成之節段特定視訊資料串流的前述合成。在圖1中藉助於一連串矩形34說明建構指令。
如自對與圖1之視訊串流伺服器10通信的用戶端之以下描述將顯而易見，建構指令34藉由傳信對切片26之併入至來源軌集合30中的某些部分之替換及指示複製切片26在來源軌集合30內之某些部分來指示或界定以便(例如)由用戶端執行的節段特定視訊資料串流之合成。
圖2繪示適配於圖1之視訊串流伺服器10的用戶端50，其中用戶端經組配以藉由自視訊串流伺服器10擷取串流16及執行如由建構指令34指定的節段特定視訊資料串流之合成來自視訊串流伺服器10擷取關於節段22之視訊。為了易化對用戶端50之操作模式的後續描述之理解，圖2示意性地亦描繪用戶端50自視訊串流伺服器10擷取之串流16，以及用戶端50藉由如由指令34指示的合成所構建之節段特定視訊資料串流52。
儘管稍後關於圖5a至圖5e描述建構指令34及一連串此等指令34可界定節段特定視訊資料串流52之適合合成的方式之實例的細節，但現提出簡要說明。如在上文中關於圖1所描述，不同圖像之切片26不彼此交錯可能為資料串流一致性之一個要求。因此，在後續指令傳信關於後續圖像18之影像塊的切片26之合成之前，該連串指令34以適合之次序將屬於一個圖像之影像塊的某些部分複製至資料串流52中。因此，在圖2之節段特定視訊資料串流52中，經合成切片54繪示為按某一次序存在於資料串流52中，以使得在串流次序中關於一個圖像之切片不與關於另一圖像之切片交錯。切片54表示切片26之經修改版本。在圖2中藉助於各別影像塊24之大寫字母說明經修改切片54與節段22內之影像塊之間的關聯。為了說明切片54相對於切片26之此種「修改」，參考說明切片26之圖3。在圖3中，切片26被說明為由在語法元素方面經寫碼之節段56繼之以非在語法元素方面經寫碼之節段58構成。應強調，僅僅出於說明之目的而選擇節段56及58當中之次序。此外，節段58可甚至缺失而切片26可不經平分成節段56及58，但可具有節段56及/或58中之多於一者。術語「在語法元素方面經寫碼」可指示資料串流之語法元素60在此節段56內以某種方式經寫碼成資料串流的實情，該方式使得對於節段56內之資料串流中的每一位元，各別位元僅關於恰好一個語法元素60，且反之亦然。換言之，經寫碼到各別節段56中之語法元素60的序列是在節段56中以某種方式經寫碼，該方式使得連續語法元素60之間的接面保留在位元串流域中以使得每一語法元素60可唯一地與節段56內之對應連續大量一或多個位元相關聯。舉例而言，在此節段56內，可在未壓縮之情況下或藉由使用可變長度碼來對語法元素60進行寫碼。與之相比，「非在語法元素方面經寫碼」應指示節段58，經寫碼到各別節段58中之語法元素的序列之間的接面在位元串流域中抹除以使得節段58內之位元不再可歸於語法元素中之恰好一者。舉例而言，此節段58可(例如)為經算術壓縮部分。
舉例而言，節段56可能為或可能包含切片26之切片標頭，而節段58為或包含切片26之酬載節段。舉例而言，用以對資料串流14進行寫碼之視訊編解碼器可(例如)為預測性編解碼器。經寫碼到節段56中之語法元素60可(例如)包含指示各別切片26是否為經寫碼成各別資料串流14之各別圖像的第一切片之旗標60a，及/或指示經寫碼成切片26之圖像的切片部分之位置或切片位址的語法元素60b。語法元素60可(例如)經寫碼成切片26之切片標頭。經寫碼成酬載節段及/或非在語法元素方面經寫碼之節段58的語法元素可為諸如寫碼模式、區塊細分資訊、預測參數(諸如運動向量分量)、圖像參考索引及/或殘餘樣本值及/或傳信預測殘餘之變換係數位準的語法元素。
作為由用戶端50執行之合成62的部分，在以切片26形成經修改切片52之過程中，收集軌集合32內之指令34中的一或多者可複製資料串流26之中的某一部分。在圖3中藉由使用陰影說明此類指令34。亦以陰影方式說明切片26及52內之經複製部分66及70。在位元串流域中執行複製，亦即，並不執行轉碼。在經壓縮或位元域中而非在語法層級中執行複製。可穿插或交錯於在圖3中繪示為陰影之複製指令內的一或多個其他指令34可傳信將一替換而非切片26之非經複製部分插入至經修改切片52中。切片26之非經複製部分在圖3中說明為非陰影且亦在切片52內以非陰影方式繪示替換。經替換或非經複製部分64(如圖3中所繪示)可包含具有經修改值之語法元素60，此等語法元素的經修改值由各別替換指令傳信，在圖3中藉助於非陰影矩形34繪示各別替換指令之一個實例。待插入於經修改切片54內之資料串流52而非串流16之切片26內的各別非經複製部分64內之替換的內容可在指令34之運算子欄位內傳信或可由替換運算子34 (諸如)藉由指向收集軌集合32內之各別欄位來藉助於一些其他構件傳信。指令34之序列因此產生經修改切片54：在圖3之實例中，複製指令34複製經複製部分66，於是替換指令將替換非經複製部分64之替換68插入至切片54中，於是複製指令34將切片26之另一複製部分70複製至切片54中。相比於對應於部分66、64及70之序列的原始切片26，因此獲得之經修改切片54關於經修改部分66、68及70的序列。然而，應注意，僅出於說明之目的而選擇圖3之實例，且(例如)合成62內關於切片26的修改程序可以替換指令開始。因此，第一複製指令可能(例如)不存在。此外，如將自以下描述顯而易見，亦可能存在其他類型之建構指令，其合成執行或參與可(例如)取決於指令中提出之某一索引，以使得僅僅在欄位中之索引對應於可充當一種類型之參數化設定的「所選」索引情況下，執行各別指令。所得收集軌因此在取決於索引傳信之合成中變化。此外，儘管未在圖3中具體指示，但在合成參考(亦即，來源軌之切片)內可能存在如下部分，該等部分既不被複製亦不被替換，亦即簡單捨棄/跳過，且可能存在予以簡單捨棄/跳過64之不必要部分的機制。
以關於圖3所概述之方式，可以某種方式相比於資料串流14及16中之對應切片26修改資料串流52內之切片54，該方式使得語法元素60正確地暫存至節段22之周界，亦即，參考(例如)節段22之左上角而非圖像18之左上角。
因此，若此動作特定視訊資料串流52饋入至如由圖2中之虛線框說明的視訊解碼器72中，則視訊解碼器輸出視訊74，視訊74之圖像76僅僅繪示場景節段22且因此僅僅由影像塊D、E、G及H構成。
以類似於圖1之描述的方式，可以硬體、韌體或軟體實施用戶端50。亦即，用戶端50可為電子電路、場可規劃陣列或可包含經恰當地規劃之處理器且視訊解碼器72同樣適用。關於視訊解碼器72，可注意，其可包括於用戶端50內或可在用戶端外部。
以至此所描述之方式，應顯而易見的是，合成62以相對於資料串流14保留一致性之方式產生視訊資料串流52。舉例而言，如上文所描述，視訊一致性可能(例如)需要屬於經寫碼成各別視訊資料串流之視訊的一個圖像之資料串流內的切片(例如)按光柵掃描次序、逐列、自上而下沿著橫越圖像之影像塊24的某一影像塊次序定序。舉例而言，在視訊資料串流14中屬於某一圖像的影像塊按ABC之次序自A至I橫越，且在資料串流52中經修改切片54以某種方式經定序，該方式使得切片按D、E、G、H之次序屬於視訊74之一個圖像24的影像塊，繼之以關於下一圖像之影像塊的切片，等。在每一經修改切片54內，可能已相對於其值校正語法元素(諸如語法元素60)，而可能已在資料串流52內採用無任何修正的切片之其他部分，亦即，經複製部分，諸如複製部分70。亦可在資料串流52內修改諸如切片28之其他切片。舉例而言，在圖2中例示性地描繪切片78以表示切片28之經修改版本。因此，資料串流52內之切片54的序列由在收集軌之集合32中執行指令34之對應次序產生。可藉由考慮能夠對視訊資料串流14進行解碼以重建構視訊12之視訊解碼器由視訊資料串流52替代地饋入的情況來說明一致性保留。由於一致性保留，視訊解碼器將由於對視訊資料串流52進行解碼而獲得視訊74。應注意，圖4之視訊解碼器(例如)可為圖2之視訊解碼器72，且因此在圖4中選擇相同參考符號。然而，應注意，根據替代方案，視訊解碼器72可能由於視訊解碼器72之降低的複雜度層級而不能夠對原始視訊資料串流14進行解碼。舉例而言，使用MPEG標準之術語，視訊解碼器72可(例如)為根據不足以對原始視訊資料串流14進行解碼但足以對減少之視訊資料串流52進行解碼的設定檔、層級或層之視訊解碼器。儘管如此，資料串流14及52兩者皆符合諸如HEVC之一個視訊編解碼器。
在提供用於實施至此所描述之實施例的其他細節之前，為易於理解應提交一些註解。舉例而言，上述描述聚焦於伺服器10為用戶端提供特定針對圖像18之此場景的某一個節段22的節段特定串流16之能力。自然地，伺服器10可能夠相對於在圖1中由點虛線80描繪之此場景的某一其他節段以對應輸出串流形式提供來源軌之對應集合30及收集軌之集合32，該節段例示性涵蓋或由影像塊B、C、E及F形成。亦即，節段22及80兩者皆為場景之由圖像18的影像塊之對應n×m子陣列構成的矩形節段。來源軌之集合30將接著輸送關於影像塊B、C、E及F之切片且一或多個收集軌之集合(亦即，32)將執行對減小之節段特定視訊資料串流的對應合成，對該資料串流之解碼產生對應於場景節段24之圖像。「所支援」節段之數目可甚至大於兩個。除此之外，其部分串流傳輸被支援之任何節段(諸如22及80)亦不限為涵蓋連續影像塊集合或與連續影像塊集合等寬。確切而言，形成節段之集合可由影像塊之非連續集合構成。舉例而言，想像由圖像18繪示之場景是360°全景視圖。在彼情況下，有意義節段可亦由自場景之一個邊緣延伸至相對邊緣之節段(諸如涵蓋影像塊C、A、F、D之節段)形成。在經獨立地寫碼之影像塊的情況下，對應收集軌可仍然將對應來源軌合成至一致節段特定視訊資料串流，從而產生繪示與子節段AD並排拼接之子節段CF的節段特定圖像。取決於應用，甚至在圖像76之節段中相對於其在圖像18中之相對位置重新配置影像塊可是可行且有意義的。
此外，上述描述確切而言大體上關於圖像分別經寫碼成資料串流14及52之方式。根據一實例，圖像18經編碼成視訊資料串流14之切片26，其中橫跨影像塊24的影像塊邊界之寫碼互依性中斷。圖像18可經編碼成視訊資料串流14之切片26，甚至使得每一切片24已編碼成獨立於涵蓋相同圖像(亦即，包括各別影像塊之圖像)之空間不同部分的任一其他影像塊24或涵蓋與任一其他圖像空間不同之部分的任一其他影像塊之不大於一個影像塊24。舉例而言，某一圖像之影像塊E將經編碼成對應切片26，其中不管影像塊是在相同圖像還是任一其他圖像內，任何影像塊A、B、C、D、F、G、H、I皆不具有任何寫碼互依性。此限制可能需要基於視訊12而形成資料串流14之編碼器限制接近當前影像塊之影像塊邊界的可用運動向量，以免指向參考圖像之需要除影像塊E以外的影像塊之樣本以用於形成運動補償預測的部分。然而，應注意，不必使用諸如混合型視訊寫碼編解碼器之預測性編解碼器。舉例而言，替代地，可在具有或不具有運動補償、無損寫碼技術或類似者之情況下使用小波寫碼來對圖像18進行寫碼。此外，因為在對圖像18進行寫碼中所利用之空間互依性大部分限於相對小距離，所以圖像18可甚至在橫跨影像塊邊界25之寫碼互依性並未中斷的情況下經寫碼成視訊資料串流14之切片26。在重建構減小之視訊資料串流52的過程中，藉由刪去節段22及將其環境處理為不在視訊74之圖像76內的對應資訊之損耗將引起重建構失真，但由於沿著圖像76之周界的有限區域，圖像76之所得品質取決於應用可能為足夠的。關於下文所闡明之細節，亦應注意，此等細節具體言之參考ISO基本媒體檔案格式作為串流52之檔案格式的一實例。然而，串流52不限於使用此檔案格式進行格式化。確切而言，亦可使用任一其他檔案格式。如圖1中所說明，串流16可根據所使用檔案格式而包含檔案標頭90，檔案標頭90界定含於由串流16表示之檔案中的來源軌之集合30及收集軌之集合32，連同(例如)軌30加32當中之互依性的界定，諸如收集軌之集合32對來源軌之集合30的相依性。此外，取決於檔案格式，指標可含於檔案標頭90中用於指向集合30及32內之個別軌。為此目的，串流16可細分成存取單元或樣本，其各自對應於圖像76之一個圖像時刻。
使用諸如ISO基本媒體檔案格式之檔案格式，有可能在檔案16中儲存允許讀取影像塊24之某一子集的旁側資訊，及產生可由任何標準一致解碼器72解碼的一致(例如，HEVC)位元串流52。
此解碼器72之輸出74可為完整視訊格式之矩形子集22。
應注意，可能有必要具有用於不同影像塊子集22、80之不同切片標頭。為了確保切片標頭對於每一影像塊子集22、80具有正確CuAddr 60b，可產生資料之多個版本。因此，將有可能產生用於每一影像塊子集22、80之專用收集軌32，其在檔案16中指向正確NAL單元儲存有正確CuAddr 60b之不同位置。然而，此將導致在一些影像塊子集發生特定調整之情況下複寫所有位元串流，從而帶來若干缺點： - 檔案大小將增大(在許多情況下：倍增) - 不同影像塊子集之同時傳輸將增大(在許多情況下：倍增)輸送資料速率 - 針對不同子集快取相同影像塊的不利影響將對應於不同軌及視訊資料。
因此，至此所描述之實施例已選擇另一種方式： 1. 原始位元串流之影像塊24的切片26儲存於單獨軌30A至30I中。每一完整圖像18按由亦儲存於檔案16 (諸如標頭90中)中之一些元資料給出的預界定次序對應於每一軌30A至30I之一個樣本的串接。 2. 對於某一影像塊子集22，產生額外軌32，其自形成原始位元串流之軌集合30收集所選資訊。 3. 可產生多個「收集」軌，大體上每個影像塊子集22或80一個此軌。 4. 「收集」軌之每一樣本由一或多個建構器34之陣列構成(比較圖5d)。 5. 對每一建構器陣列之解譯產生NAL單元或切片54。 6. 可使用三種類型之建構器： - 即刻資料建構器，其保存特定針對影像塊子集產生之資料100，比較圖5a。此可(例如)用以包括影像塊子集22之樣本中的每一切片之有效slice_header。 - 樣本建構器，其各自指向另一軌，選擇自所參考軌30D…30H之樣本所擷取的資訊，比較圖5b。此可用以指向有效slice_header抑或切片酬載(藉由使用偏移來跳過與酬載相鄰之slice_header)。所複製部分之偏移102及長度104可為運算子。 - 樣本項建構器，其各自指向所參考軌之取樣項且選擇資訊(諸如參數集)，比較圖5c。
注意：相比於該檔案格式標準中已指定之結構，此處所描述之方法可串接樣本之任意部分，且將此等部分與在樣本中給出之任意資料串接以形成輸出樣本。先前已指定之結構可參考另一軌中之資料，但將產生特定針對於其設計目的的一些標頭資料，諸如RTP暗示樣本(其可僅產生RTP封包，儘管其自其他軌收集資料且可包括任意資料)，或提取器NAL單元(其可僅產生一或多個NAL單元，儘管此可藉由指示自另一軌收集之資料區塊的長度來加以截斷)。
· 可指定指示需要支援新語法元素的新品牌。
· 若收集軌之樣本使用相容語法(比較圖5e)(此允許藉由舊版讀取器50進行解析，從而忽略新樣本)，則現有碼點可用於此類「收集」軌之樣本項。
使用等式1計算切割成N ×M 個影像塊24之圖像18的所有可能矩形(連續)影像塊子集22 (80)之數目C 。在表1中繪示在N ≤ 8及M ≤ 8情況下C 的所得值。等式 1 ： 表1 —— N×M 配置之可能連續矩形影像塊子集的數目
使用等式2來計算具有n×m之某一大小的可能矩形影像塊子集22的數目(圖像大小N×M，如上文所描述)。在表2中針對3 ≤ N ≤ 8及2 ≤ M ≤ 8繪示針對來自N×M之圖像的3×2影像塊子集之所得值C3 ,2 。等式2 ： 表2 —— N×M 配置之可能3×2 影像塊子集的數目
關於圖2至圖5所提出之上述描述不僅揭露關於可能建構指令之詳細實例，而且揭露以下可能性：首先，節段22可能僅僅為一個影像塊寬而非為n×m影像塊之陣列寬，且其次，伺服器10及用戶端50可以上文所概述之方式操作，但關於選擇若干節段中之一者的可能性，數目不限於一個(22)或兩個(22/80)。取決於伺服器10顯現節段特定視訊資料串流之擷取可用的節段之大小及此等節段之位置，有可能並非所有影像塊邊界25亦形成由伺服器10支援之節段中的任一者之周界。此又意謂根據本申請案之一實施例，有可能圖像18經編碼成視訊資料串流14之切片26，其中僅僅橫跨影像塊邊界25中斷寫碼互依性，該等邊界與由伺服器10支援之節段中的任一者之周界共置。在僅支援節段22及80之情況下，例如，將藉由中斷與節段22及80之周邊共置的寫碼互依性而將圖像18編碼成切片26來僅僅考慮彼等影像塊邊界25，亦即，僅僅考慮影像塊對AD、BE、EF、HI、AB、DE、EH與FI之間的影像塊邊界25。然而，根據一實施例，舉例而言，在較高密度之節段的情況下，所有影像塊邊界25將引起寫碼互依性中斷。就此而言，應再次注意，剛剛關於相同圖像之影像塊之間的寫碼互依性中斷之相同陳述可亦適用於亦限制對先前圖像之相依性的前述可能性，亦即，此係因為運動預測經以某種方式受限制，該方式使得不存在對橫過節段周界中之任一者的時間參考圖像之部分的相依性。
以下實施例提供關於伺服器10如何顯現關於某一節段之某一串流(諸如關於節段22之串流16)可用的可能細節。為了易化理解後續細節，參考圖6，圖6再次繪示視訊12及對應來源軌30A 至30I 。在此處，選擇圖1之實例，就一個圖像而言，每一來源軌根據該實例而併入有屬於各別圖像之恰好一個影像塊之切片及其他圖像中之共置影像塊的切片。因此，來源軌30A 併入有關於圖像18之影像塊A的所有切片26。同樣地，來源軌30B 攜載關於所有圖像18之影像塊B的所有切片26等。在每一來源軌30A 至30I 中，屬於一個時刻或圖像18之切片26在隨後串流傳輸至用戶端之檔案格式串流中形成一個「樣本」。樣本(圖像)之序列(亦即，關於圖像的某一序列120之連續大量切片)形成可個別地由用戶端經由對應URL擷取之片段122。舉例而言，在圖6中，其中編碼有圖像18之序列120的影像塊A之切片26的序列形成片段122，片段122之後為已編碼成圖像18之後續序列124的影像塊A之切片26，該切片26形成來源軌30A 之後續片段126，等。以相同方式，其他來源軌30B 至30I 亦按時序細分成樣本(圖像) 120及124及片段122及126。
在接著所描述之實施例中，以類似方式使每一節段之收集軌的集合32可用。舉例而言，在圖6中，說明伺服器顯現對場景之四個不同節段(亦即，當中僅僅節段位置不同之各自2×2寬的節段) 221 至224 的擷取可用。對於此等節段221 至224 中之每一者，在伺服器處顯現一個收集軌321 至324 可用。每一收集軌321 至324 亦按時序結構化成樣本及片段。對於每一樣本128，收集軌(諸如收集軌321 )包含建構指令34，建構指令34之依序執行引起合成僅繪示對應節段221 之減小之節段特定視訊資料串流的對應存取單元，亦即，引起合成重建構繪示節段221 之圖像的對應切片。對於合成，收集軌321 僅僅需要來源軌30A 、30B 、30D 及30E 。以類似方式，收集軌322 至324 相對於對應節段222 至224 含有用於每一樣本/圖像128之建構指令34。正如來源軌30A 至30I ，收集軌321 至324 可由用戶端以片段122及126之單元個別地擷取，該等單元各自攜載對應收集軌321 至324 之樣本128的對應序列。因此，在圖6之實例中，用戶端需要擷取收集軌321 連同所參考來源軌30A 、30B 、30D 及30E 以便獲得關於節段221 之節段特定視訊資料串流。
因此，根據圖6之實施例，用戶端10將來源軌30A 至30I 及收集軌321 至324 中之每一者處理為單獨表示，且將在(例如)諸如媒體呈現描述之資訊清單中的自用戶端52至伺服器10之對應請求之後將情況傳信至用戶端，媒體呈現描述為描述在伺服器10上可用之媒體資料的檔案。然而，此意謂由伺服器10提供至用戶端50之媒體呈現描述需要包含大量資訊。舉例而言，對於每一表示，亦即，對於30A 至30I 及321 至324 (所有一共13個表示)中之每一者，媒體呈現描述可包含基本URL或URL基底之指示、圖像大小之指示(亦即，在來源軌30A 至30I 之情況下，影像塊大小之一指示及在收集軌321 至324 之情況下，節段大小之指示)，界定用於相對於或結合基本URL判定對應表示之片段的URL之計算調節的片段或URL模板，及/或對應表示相依於之表示的指示(諸如表示30A 、30B 、30D 及30E 之指示作為表示321 相依於之參考表示)。此為大量資料。
關於圖7加以說明此情況，圖7說明4×3影像塊分割及具有大小3×2之對應四個節段的說明性情況。應注意，在後續描述中，節段221 至224 有時被稱作興趣區域RoI。此外，關於收集軌之表示被稱作收集表示，而對應於來源軌之表示被稱作影像塊表示。
儘管可藉由選擇可能提供之RoI尺寸的減小之數目來減小可能組合之數目，例如，僅限制於2×2、3×2或3×3影像塊RoI，但媒體呈現描述(MPD)中之DASH中所描述的額外軌或表示之數目將仍極高。圖7在概念上繪示所描述解決方案將如何用於將提供3×2 RoI之4×3影像塊全景視訊。
收集表示中之每一者將使用@dependencyId以指示其在原始表示影像塊表示：表示影像塊(Rep. Tile) 1至表示影像塊12當中取決於哪些表示。
接著所描述之實施例試圖藉由朝向表示之集合(亦即，關於收集軌之表示的集合)擴展片段模板概念來克服具有攜載關於收集軌之大量冗餘資訊之巨大媒體呈現描述的問題。並非單獨地描述每一收集表示之媒體呈現描述，根據下一實施例之媒體呈現描述為媒體呈現描述或資訊清單提供URL模板，該URL模板界定計算調節以用於判定相依於節段之空間位置的收集表示之片段的URL。計算調節將使得所計算URL將在所有收集軌321 至324 之片段當中互相相異。若節段221 至224 之大小相同，則可使用此概念以使得資訊清單或媒體呈現描述可描述收集表示之特性，特性通常為所有收集表示(節段221 至224 )之共同特性。舉例而言，媒體呈現描述或資訊清單可僅僅一次指示所有收集表示之圖像大小、寫碼設定檔及/或基本URL。將亦在資訊清單或媒體呈現描述內針對收集表示僅僅一次傳信URL或片段模板。用戶端可基於對由所擷取收集表示自身屬於之各別節段涵蓋之影像塊的瞭解而判定當前所擷取收集表示之對應來源軌的集合。
換言之，後一實施例允許使用URL之片段模板擷取收集表示。其由使用模板之GatheringRepresentation的概念構成。因為上文在圖7中所描繪之所有收集表示應具有相同特性(諸如圖像尺寸、圖像縱橫比、設定檔、層級等)，但其在對其他表示之相依性及高解析度視訊中之右上位置方面不同，所以可提供將基於模板之具有URL的單個表示，且基於高解析度視訊中之右上位置，可導出屬於所要收集表示之片段中的每一者之特定URL。
傳信方面之例示可如圖8中所繪示，圖8繪示收集表示之URL模板的實例。
所描述傳信將允許建立URL及基於RoI之位置而導出必需影像塊。更具體言之，為了使用此收集軌模板基本解決方案，將不同元素及屬性添加至MPD。首先，影像塊表示可分離成不同AdaptationSets，且可使用現有空間關係描述符(SRD)。接著，可提供嵌入有GatheringRepresentations之另一AdaptationSet。若GatheringRepresenations含於AdaptationSet內，則不可同時提供其他表示(「正常表示」)。可藉由被稱作@ GatheringRepresentationsPresent之新屬性(或替代地藉由添加允許指示此特殊表示之存在的URN (統一資源名稱)使用描述符(例如，EssentialProperty描述符))指示GatheringRepresenations之存在。含有可經下載以結合GatheringRepresenations使用之影像塊表示的AdaptationSets由屬性@BaseAdaptationSetIds指示。用於GatheringRepresenations之RepresenationBaseType中以及正常表示中的現有@width及@height屬性可用以導出所需使用給定GatheringRepresenation之影像塊表示的數目。另外，屬性@sameQualityRanking可用以指示具有不同品質之不同影像塊的表示不應結合GatheringRepresenations使用。因為模板URL用於導出GatheringRepresenations之片段的URL，所以需要機制以導出可置放於此URL模板內之參數。在DASH 4中，使用標識符用於模板URL取代。URL 模板之標識符
$Number$及$Time$用以識別表示內之給定片段且產生其URL。$RepresenationID$及$Bandwidth$可用以識別表示。$RepresenationID$對應於唯一標識符，而$Bandwidth$可在多於一個表示當中共享。因此，需要規則以基於含有實際影像塊之正常表示而導出GatheringRepresenation之$RepresenationID$。此意謂SegmentTemplate元素在與GatheringRepresenation一起使用時必須含有此標識符，且需要添加提供機制以產生$RepresenationID$之新建構器(或現有建構器之擴展，例如，EssentialProperty描述符)。此由元素idDerivationMechanism添加至在上文繪示之XML語法中。一個實例將為：(例如)當@schemeIdURL等於「urn:mpeg:dash:GatheringRepresentationIDderivation:2015」時，寬度@value等於1，此意謂影像塊表示之@id屬性經串接以產生對應GatheringRepresenation之$RepresenationID$。
所描述方法將有助於藉由使用基於模板之表示來減小MPD之大小。然而，此方法將仍需要自用戶端側發佈額外HTTP GET用於收集表示片段，且將產生將需要由伺服器側伺服之大量小檔案，已知此對於伺服器及快取不利。然而，此將使「moov」框中之軌的數目保持為低，此係因為在每一時間處僅下載一收集表示，且因此具有相同解析度之所有收集表示可具有相同軌，此將允許將「moov」框保持為小。
因為在「moov」框中且更顯式地在「trak」框中描述軌相依性，所以moov框應接著含有所有相依性之超集，@dependencyId將接著在MPEG-DASH中產生正確相依性。此將導致在「tref」框內傳信之所有相依軌在每一時間處並不存在，此將暗示僅可能使用具有參考不同軌之多個建構器的顯式重建構進行AU重建構，且自不同軌(屬於所要RoI)收集不同建構器之隱式重建構將不可能。此實情將產生來自多個收集軌當中之幾種「重複」傳信的一些額外負擔。
圖9繪示在伺服器側處將存在用於收集片段之大量小檔案。
因此，儘管上述描述提供如何減小媒體呈現描述140 (圖8)之大小以便允許將來源軌及收集軌作為單獨表示(亦即，影像塊表示及收集表示)進行單獨處理之可能性，但圖9揭露待由用戶端50自伺服器10歷時對應於表示之片段的每一時間間隔擷取之片段的數目為相當大的。圖9藉由使用陰影繪示收集表示之片段來區分一方面影像塊表示中之任一者的片段與另一方面收集表示之片段。如圖9中所繪示，用戶端50需要針對當前下載之收集表示之各片段142擷取N個影像塊片段144，其中N為與當前下載之收集表示相關聯之節段在空間上涵蓋之影像塊的數目。舉例而言，在圖6之實例中，對於當前下載之視訊節段221 至224 ，將必須由用戶端50擷取四個片段。然而，由於各片段擷取要求必須將對應請求自用戶端50發送至伺服器10，因此避免收集片段152之額外發送可是有利的，在考慮到此等片段相比於影像塊片段144相當小之實情時尤其如此。
為了避免大量小檔案之問題(其對於伺服器及CDN不利)，另一實施例由在每一表示及因此(子)片段處具有2個軌構成，如下文中所繪示。第一軌將對應於僅描述在獨立於其他影像塊播放時恢復每一影像塊(或當更多影像塊囊封於相同軌中時，影像塊之群組)之樣本的方式的典型視訊軌。見圖10且相比於圖9之情形。
對於收集軌，將存在若干選項。
第一選項由使用上文所描述之技術構成，此將意謂所要RoI之左上影像塊的額外軌(收集軌)將僅指示所需軌相依性，且將藉由按照先前界定之建構器的指令來執行顯式AU重建構。使用者將取決於哪一者為左上影像塊而播放一個或另一收集軌(在圖中之實例中，其將為最初軌N+1及稍後軌M)。當查看經下載收集軌且假定每樣本單個切片時，將在圖11中描繪存在之建構器。
為了參考圖6再次說明情形，參考圖12，圖12相對於圖6之實例繪示用戶端50將關於節段221 中之興趣時刻/圖像/樣本擷取四個片段，但在此處使用不花費收集軌之額外表示的概念。確切而言，收集軌321 至324 「隱藏」或「包括」於來源軌自身之片段內。圖12繪示由用戶端50歷時某一時刻擷取之四個片段，針對每一來源軌30A 、30B 、30D 及30E 擷取一個片段。如上文所描述，收集軌321 至324 將包括於彼等來源軌之片段內，該等片段對應於形成對應於各別收集軌之節段的左上影像塊之影像塊。舉例而言，在來源軌30A 之片段內輸送收集軌321 ，在來源軌30B 之片段內輸送收集軌322 ，在來源軌30D 之片段內輸送收集軌323 ，且在來源軌30E 之片段內輸送收集軌324 。圖12繪示用戶端50自來源軌30A 、30B 、30D 及30E 中擷取一個樣本以便擷取收集軌321 取決於之來源軌，該收集軌包括於來源軌30A 中。收集軌321 之樣本128的建構操作34之序列依序執行關於影像塊A、B、D及E之合成。建構操作之序列因此細分成四個部分1501 至1504 。以相同方式，收集軌322 至324 之對應建構指令含於其他來源軌30B 、30D 及30E 內。用戶端不需要來源軌，但對其他節段222 至224 中之任一者感興趣之用戶端包括來源軌。如自圖12可見，在建構指令之部分當中，在每一收集軌321 至324 中存在關於影像塊E之一個部分。然而，此等部分(例如)相對於藉由使用波形括號152所說明之子部分非常類似且相同。關於影像塊E之部分的未由部分152涵蓋之剩餘部分可(例如)關於上文使用參考符號60a及60b關於圖3所論述之第一切片及切片位址指示。為了移除冗餘，可使用隨後解釋之概念。然而，在描述此之前，應注意，僅在來源軌30A 內輸送收集軌321 (來源軌關於對應節段221 之左上方影像塊)亦可變化，此係因為(例如)部分151至154分佈至由對應節段221 涵蓋之影像塊上。在彼情況下，舉例而言，收集軌321 將分佈至來源軌30A 、30B 、30D 及30E 上。
如上文已關於圖11及圖12所論述，將存在大量冗餘資訊。另外，若對於將不同量之影像塊進行分組之RoI將存在多於一個可能解析度，則將需要更多收集軌，每一潛在解析度具有一個收集軌，其中圖中之所標示資料將在各處冗餘。
另一個實施例處理之前描述之關於冗餘資訊的問題。出於該目的，考慮隱式重建構，其中每一收集軌由存在建構器索引之建構器陣列構成。取決於視訊內(或遵循「tref」相依性次序)之對應軌的位置，將判定(i)索引，且將僅執行具有CIDX=i之建構器。因此，將允許共享共同資訊(諸如NALU酬載大小)且僅傳信不同標頭之可能性節省一些額外負擔。在圖13中，繪示用於之前描述之即刻建構器的此建構器之結構(可以類似方式擴展其他提取器)。
在圖14中，繪示在使用此技術時之樣本建構器。
因此，將需要較少冗餘資料，如在圖14中可見。
亦即，將如下達成避免上文關於圖12所論述之冗餘的後一可能性：並非輸送收集軌(諸如完全在關於對應節段221 內之左上方(或任一其他)影像塊的來源軌內之收集軌321 )，在每一來源軌30A 至30I 內輸送可參數化收集軌。「參數化」之數目將對應於與關於各別來源軌之影像塊重疊的節段之數目。舉例而言，來源軌30E 關於影像塊E，影像塊E為每一節段221 至224 之部分。因此，在來源軌30E 內輸送之可參數化收集軌將具有四個可用參數化。對於在影像塊B、F、D及H之來源軌內輸送的可參數化收集軌將需要存在僅僅兩個參數化，且對於影像塊A、C、G及I之來源軌並不需要或僅僅需要存在一個參數化。「參數化」將使各別可參數化收集軌轉變成實際收集軌321 至324 之各別部分。舉例而言，在來源軌30E 內輸送之可參數化收集軌將在使用第一值經參數化時產生部分1504 。用戶端50將因此擷取來源軌30A 、30B 、30D 及30E 以用於下載場景之節段221 ，且連續地針對每一圖像或樣本而執行在來源軌30A 內輸送之(經參數化或非經參數化)收集軌，來源軌30B 及30D 之經對應地參數化收集軌及來源軌30E 之經恰當地參數化收集軌等用於以下樣本或圖像。使用另一參數化，來源軌30E 之相同可參數化收集軌可形成非經參數化收集軌322 至324 中之任一者之部分152。如關於圖13及圖14所指示，可使用「可索引建構指令」以便形成可參數化收集軌之非相同部分或可調適部分。取決於所應用索引，僅僅彼等可索引指令將參與合成，合成之索引欄位對應於所應用索引。然而，應重複，可相對於在圖12中所繪示之情況放大所支援節段之集合以亦包括自一個場景邊緣延伸至另一場景邊緣之節段，此是由於(例如)在場景為360°全景視圖時為有意義的。具有對應收集軌之額外節段可為(例如)涵蓋影像塊集合{C,A,D,F}及{D,F,G,I}之節段。在彼情況下，所有影像塊A至I之來源軌的片段將併入有可參數化收集軌，參數設定之數目對於軌30D 、30E 、30F 為三個，且對於軌30A 、30B 、30C 、30G 、30H 、30I 為兩個。
為了重建構對應於所選RoI之存取單元(AU)，明顯的是，需要使用多於一個片段之此等收集軌中的若干者。在這種情況下，知曉在收集軌當中需要遵循之相依性係重要的。一個選項將為在左上位置處遵循影像塊之「tref」相依性，同時忽略其他收集軌之相依性。
另外，若允許多於一個RoI尺寸(每圖像N×M個影像塊，N為水平中之影像塊的數目且M為垂直中之影像塊的數目)，則軌之數目將在未使用此技術時極快速地增大。此將導致需要下載大量「moov」框或下載具有所有經界定軌之極大「moov」框。具有每表示多個軌之隱式重建構將允許擺脫必須下載極小片段(其對於快取及CDN效能為不利的)，但相比於上文所描述之第一方法將需要下載大「moov」框或大數目個「moov」框，其中針對收集軌提供單獨表示。
藉由隱式AU重建構，上文所描述之技術可經擴展以使得可藉由添加額外CIDX來將相同軌用於不同RoI尺寸。建構器之使用將與上文所描述相同，其中將僅執行具有給定索引之建構器。
然而，在這種情況下，將不可能使用「tref」框導出相依性，此係因為不可能描述不同相依性。類似地，描述設定檔、層級等之樣本項可不能如其當前情況般進行使用，此係因為相同軌將用於不同最終RoI解析度。
「tref」將由收集軌中之每一者使用以指示其適用於哪一影像塊軌。將添加新框以滿足相關聯若干收集軌之功能性以提取給定ROI。此軌應在中心，且(例如)藉由「moov」框中之某一種類替代性分組描述所有可能ROI。將存在播放具有給定尺寸之ROI的多個替代方案，但該等替代方案中之每一者將對應於全景視訊中之給定位置。
當前實施例包括描述可能操作點且允許需要同時用於AU重建構之相關聯不同軌的替代性樣本群組之界定，且包括需要用於建構器陣列中以用於獲得正確NALU之CIDX。
替代性樣本群組可接著描述設定檔、層級，亦即，其應包括相同於樣本項之資訊。
在實施例2中，收集軌已被視為提供為單獨表示。在非外部表示用於收集軌(亦即，其含於相同於影像塊自身之片段中)之情況下，有必要在MPD中傳信不同影像塊可一起經解碼。此可藉由添加元素或修改現有子集元素來完成。使用收集軌之可用ROI的尺寸以及共同下載資料之mimeType將包括於此元素中。
因此，在簡要地概述關於經由自適應串流傳輸將來源軌及收集軌輸送至用戶端之最新描述之後，以下內容應顯而易見：可在單獨片段(亦即，單獨表示之片段)內輸送來源軌及收集軌，每一來源軌及收集軌與單獨URL相關聯，可因此區分來源軌表示與收集軌表示。對於所得減小之節段特定視訊資料串流52之某一片段，用戶端50因此必須提取每一來源軌之在想要節段內輸送影像塊之對應片段加收集軌之關於想要節段的對應片段。媒體呈現描述或資訊清單可包含收集表示之互相相異URL基底的顯式傳信，其中單獨地描述此等收集表示之特性，諸如圖像大小、片段模板等。為了減小資訊清單檔案大小，可通常在所有收集表示之資訊清單內提交URL模板。計算調節將界定對相依於節段之空間位置的收集軌之片段的URL之計算，其根據此資訊清單減小概念而具有相同大小且僅僅在場景位置中不同於彼此。資訊清單可因此通常相對於此等收集表示而描述收集表示之許多或所有剩餘表示特性，諸如圖像大小等。在其他實施例中，僅僅來源軌之片段與互相相異URL相關聯且因此形成對應來源軌表示之片段。根據此實施例，用戶端針對某一想要節段提取在想要場景節段內輸送切片之彼等來源軌表示的片段，且此等片段同時輸送或包括與想要節段相關聯之收集軌，該等收集軌含有建構指令以自所提取片段內輸送之切片合成節段特定視訊資料串流。可僅僅在關於想要節段內之影像塊的來源軌中之一預定者的片段(諸如輸送關於想要節段內之預定影像塊位置內的影像塊之切片的片段，諸如想要節段之左上方影像塊)內輸送某一想要節段之收集軌。在另一實施例中，每一來源軌表示在其片段內包含來源軌特定可參數化收集軌。在此處，用戶端仍僅僅提取屬於關於想要節段內之影像塊之切片的來源軌的彼等片段，其中恰當地參數化在片段內輸送之可參數化收集軌且按節段內之影像塊當中所界定的影像塊次序基於經參數化收集軌而執行節段特定視訊資料串流之合成：藉由接著按影像塊次序執行經參數化收集軌之接下來樣本來以影像塊次序執行經參數化收集軌之樣本(亦即，關於預定圖像之部分)。可藉由選擇預定索引以使得跳過包含另一索引之可參數化收集軌內的建構指令來執行參數化。然而，如上文所描述，甚至在將收集軌填滿至來源軌之片段中的情況下，用戶端可提供有關於所併入收集軌之資訊，該資訊類似於如在將收集軌處理為單獨表示之情況下在MPD內輸送之資訊。舉例而言，資訊清單或MPD可提供有可(亦即)藉由指示對應收集軌之存在來一起回放多個影像塊(亦即，某一節段)的前景，且此資訊可另外含有節段相關資訊，諸如描述對藉由使用各別收集軌之合成所得的節段特定視訊資料串流進行解碼所需之設定檔、層級及層的資訊。在此意義上，資訊清單將亦指示關於哪些影像塊集合可被一起播放(亦即，形成所允許節段中之一者)且哪些影像塊集合並不可被播放之限制。
可如下具體地體現上述概念及實施例以便對應地擴展ISO基本媒體檔案格式。在此處，視情況，可在不同軌(被稱作影像塊軌)中攜載可獨立地解碼之HEVC影像塊。影像塊軌為如下視訊軌，存在對攜載影像塊所屬之相關聯HEVC層的NAL單元之HEVC軌的「tbas」參考。此影像塊軌中之樣本或樣本描述框將皆不含有VPS、SPS或PPS NAL單元。確切而言，此等NAL單元將在樣本中或在含有相關聯層之軌的樣本描述框中，如由各別影像塊軌之「tbas」軌參考識別。影像塊軌及含有相關聯層之軌兩者(如由「tbas」軌參考指示)可使用提取器(如在下文中所界定)以指示應如何理解想要位元串流。影像塊軌中之樣本為一或多個影像塊之切片的全集。不管是使用影像塊軌還是含有完整視訊之軌，相同者可充當參考或來源軌，視需要藉由使用提取器來自參考或來源軌中提取片件，上文呈現了提取器之實例，且現解釋提取器之另外實例。詳言之，ISO基本媒體檔案格式中用於HEVC及L-HEVC軌的提取器可使得能夠緊密地形成藉由參考提取NAL單元資料之軌，亦即，收集軌。提取器可含有一或多個建構器： a) 樣本建構器藉由參考自另一軌之樣本提取NAL單元資料。 b) 樣本描述建構器藉由參考自樣本描述提取NAL單元資料。 c) 直列式建構器包括NAL單元資料。
因此，此提取器的組成可類似於圖5e或圖5d，其中陣列長度指示可經中斷。樣本建構器及樣本描述建構器可類似圖5a至圖5c體現。
彙集器可包括或參考提取器。提取器可參考彙集器。當提取器由需要其之檔案讀取器處理時，提取器由在按其出現次序解析所含有建構器時所得的位元組邏輯地替換。除彙集器以外，由樣本建構器參考之位元組不應含有提取器；提取器不應直接或間接地參考另一提取器。自然地，所參考軌——來源軌可含有提取器，即使不得含有由提取器參考之資料時亦如此。
提取器可含有一或多個建構器以用於自當前軌或自藉助於類型「scal」之軌參考連結至其中駐留提取器軌之另一軌提取資料。經解析提取器之位元組應為以下各者中之一者： a) 一個完整NAL單元；應注意當參考彙集器時，複製所包括位元組及所參考位元組兩者 b) 多於一個完整NAL單元
在該兩種情況下，經解析提取器之位元組以有效長度欄位及NAL單元標頭開始。
在經由所指示「scal」軌參考所參考的軌中，僅自單個經識別樣本複製樣本建構器之位元組。在解碼時間上進行對準，亦即，僅使用時間至樣本表，繼之以樣本編號中之計數偏移。提取器為媒體層級概念且因此在考慮任何編輯清單之前應用於目的地軌。自然地，兩個軌中之編輯清單可選擇為相同。
下文給出提取器之語法實例： class aligned(8) Extractor () { NALUnitHeader(); do { unsigned int(8) constructor_type; if( constructor_type == 0 ) SampleConstructor(); else if( constructor_type == 1 ) SampleDescriptionConstructor(); else if( constructor_type == 2 ) InlineConstructor(); } while( !EndOfNALUnit() ) }
關於上述語法實例之語義，相同者可為： NALUnitHeader()可指示ISO/IEC 23008-2 NAL單元之最初兩個位元組。對於ISO/IEC 23008-2視訊nal_unit_type可設定為49。forbidden_zero_bit可如ISO/IEC 23008-2中所指定般設定。其他欄位可關於nuh_layer_id及nuh_temporal_id_plus1，且可如稍後所指定般設定。constructor_type指定後繼建構器。SampleConstructor、SampleDescriptionConstructor及InlineConstructor分別對應於等於0、1及2之constructor_type。constructor_type之其他值可或可不經保留用於其他建構器。EndOfNALUnit()為當此提取器中後繼有更多資料時返回0 (假)之函數；否則其返回1 (真)。
關於樣本建構器語法，請見以下實例： class aligned(8) SampleConstructor () { unsigned int(8) track_ref_index; signed int(8) sample_offset; unsigned int((lengthSizeMinusOne+1)*8) data_offset; unsigned int((lengthSizeMinusOne+1)*8) data_length; }
上述樣本建構器語法之語義可為如下： track_ref_index：指示類似圖5b及圖5c中之TRI的所參考軌。 sample_offset：索引具有所參考軌之「樣本」，亦即，所參考軌之對應於想要圖像ID的部分之開始。亦即，sample_offset對應於圖5b中之SO； data_offset：待複製之參考樣本內的第一位元組之偏移。若提取以彼樣本中之資料的第一位元組開始，則偏移取值0。亦即，data_offset對應於圖5b及圖5c中之資料偏移； data_length：待複製之位元組的數目。若此欄位取值0，則data_offset應指NAL單元長度欄位之開始，且複製完整單個所參考NAL單元(亦即，自由data_offset參考之長度欄位獲得待複製之長度，在彙集器之情況下由additional_bytes欄位擴充)。舉例而言，比較在圖5b及圖5c中提出之資料長度。
請注意，若兩個軌使用不同lengthSizeMinusOne值，則將需要再格式化所提取資料以符合目的地軌之長度欄位大小。
關於樣本描述建構器語法，請見以下實例： class aligned(8) SampleDescriptionConstructor () { unsigned int(8) length; unsigned int(8) track_ref_index; int(8) sample_description_index; fieldSize = (length – 2) / 2; unsigned int(fieldSize) data_offset; unsigned int(fieldSize) data_length; }
上述樣本描述建構器語法之語義可為如下： 長度：此欄位之後屬於SampleDescriptionConstructor的位元組之數目。長度之值應甚至大於或等於4，且小於或等於10。其對應於圖5b及圖5c中之欄位DFL； track_ref_index識別「tref」框中枚舉之「scal」類型軌參考之索引。0之值指示當前軌，其處發現此建構器。1之值指示第一軌參考。track_ref_index之值不應超出軌參考之數目。其對應於圖5b及圖5c中之欄位TRI； sample_description_index識別「stsd」框中枚舉之樣本描述的索引。sample_description_index之值應既不為零亦不超出樣本項之數目。其對應於圖5c中之欄位SO； data_offset為用以定址待自樣本描述複製之區塊的第一資料位元組之無符號偏移。0之值意謂複製以所參考樣本描述之第一位元組開始。其對應於圖5b及圖5c中之欄位資料偏移； data_length指定待自所參考軌中之樣本描述複製的資料區塊之長度。0之值意謂不自所參考樣本描述複製位元組。data_length不應超出所參考樣本描述之大小。其對應於圖5b及圖5c中之欄位資料長度； 關於直列式建構器語法，請見以下實例： class aligned(8) InlineConstructor () { unsigned int(8) length; unsigned int(8) inline_data[length]; }
上述直列式建構器建構器語法之語義可為如下： 長度：此欄位之後屬於InlineConstructor的位元組之數目。長度之值應大於0。保留等於0之長度值。其對應於圖5a中之欄位DFL； inline_data：應在解析直列式建構器時返回之資料位元組。其對應於圖5a中之欄位資料欄位； 彙集器及提取器兩者可使用如ISO/IEC 23008-2中所指定之NAL單元標頭。由提取器提取或由彙集器彙集之NAL單元為藉由以遞歸方式檢測彙集器或提取器之內容所參考或包括之所有彼等NAL單元。可如下設定欄位nuh_layer_id及nuh_temporal_id_plus1：nuh_layer_id可設定為所有所彙集或提取NAL單元中之欄位的最低值。nuh_temporal_id_plus1可設定為所有所彙集或提取NAL單元中之欄位的最低值。
亦即，視訊資料可經概念化用於以上述方式中之任一者將場景之空間上可變節段串流傳輸至用戶端。以檔案格式格式化視訊資料，且視訊資料包含一或多個來源軌，每一來源軌與視訊之充分捕獲場景的圖像在空間上細分成之影像塊中的一各別者相關聯，其中來源軌已分佈到視訊之圖像經寫碼成之視訊資料串流的切片中，使得每一切片已編碼成不大於一個影像塊；且視訊資料包含一或多個收集軌之集合，該等收集軌中之每一收集軌與由影像塊之對應子集形成且包含建構指令的節段之多個位置中的一各別者相關聯，該等建構指令指示合成在各別位置處繪示場景之節段的圖像經寫碼成之節段位置特定視訊資料串流。可在圖5a至圖5c或圖5a至圖5e之實例之外或在剛呈現之實例之外選擇建構指令。
以下實施例涉及為用戶端提供RoI預提取之提示的概念。
當前，高解析度及廣角視訊正變得愈來愈流行。其包括180°至360°全景或球形視訊。隨著彼等視訊之大小增大，按高解析度傳輸完整視訊變得不切實際。舉例而言，不同串流傳輸方法探究將視訊分裂為多個影像塊且僅傳輸涵蓋使用者之興趣區域(RoI)的影像塊。其他方法可涉及傳輸待以變化特性(諸如品質、解析度等)編碼的視訊區域，以最佳化傳輸至使用者之視訊位元速率。
在諸如上文所提及的此等方法中之任一者中，想法為基於使用者偏好而進行視訊傳輸最佳化，其中按高品質下載向使用者繪示之視訊部分，而可按相同或另一品質下載由於使用者互動而可向使用者繪示之一些其他部分(不視為RoI)以作為預提取。
DASH標準允許藉由使用空間關係描述符來傳信視訊之彼等所提供部分的空間關係。儘管此描述符允許使用者在所提供內容涵蓋之視訊的空間區域方面理解所提供內容之關係，但相對於RoI傳信存在間隙。使用者不具有關於(例如)視訊內之時空活動的詳細資訊。一些工作(諸如[1])繪示知曉視訊之RoI的時空特性可產生有效率得多的傳輸方案，在該方案中可相比於未知曉RoI特性之傳輸方案按更高品質下載視訊之重要空間區域，其涵蓋大部分使用者感興趣之主要活動。
此外，作為實際考慮，可分析此服務中之串流傳輸會話啟動。在作出關於實際媒體資料之下載的決策之前知曉RoI特性對於用戶端而言為至關重要的。因此，在VOD會話啟動或實況調入上，以最佳品質請求RoI，且實際上向使用者顯示RoI。
使用Role-Main傳信之基於MPD的解決方案伴隨有非按比例增大MPD大小之缺點，且無法以有效率方式用於實況串流傳輸服務，此係因為此將需要過於頻繁之MPD拉動抑或來自必須請求在用戶端處觸發MPD更新之新MPD的幾種指示之額外延遲。
本文中所描述之實施例在下文提議用以傳信一或多個RoI之位置及其移動的機制，亦即，隨時間推移映射到表示或影像塊： - 使用「emsg」檔案格式框之帶內解決方案：適合於VoD。攜載此框之每一片段將指示下一個片段之RoI的空間位置，以使得用戶端可(例如)藉由更多地使用其可用頻寬用於預提取對應表示來充分地使用每一片段。適合於預提取暗示，不適合於啟動ROI。 - 使用SAND訊息之帶外解決方案：適合於實況服務。在此環境中，「emsg」可能並非最佳解決方案，此係因為內容產生部分將增大延遲，此係因為將有必要等待待處理之下一片段以便能夠添加「emsg」框。另外，此資訊可在VoD上下文中用於回放啟動(或搜尋)。適合於預提取暗示及啟動ROI。 - 另一選項為針對藉由聲明位置(x，y)及尺寸(寬度，高度)所描述之一或多個RoI描述不同時間間隔的檔案之開始處的框。
使用「emsg」之概念可為如下。
DASH事件訊息框在MPEG DASH中經界定為： aligned(8) class DASHEventMessageBox extends FullBox(‘emsg’, version = 0, flags = 0){ string scheme_id_uri; string value; unsigned int(32) timescale; unsigned int(32) presentation_time_delta; unsigned int(32) event_duration; unsigned int(32) id; unsigned int(8) message_data[]; } }
所提議RoI傳信將接著添加傳信主要RoI座標之scheme_id_uri。URN「urn:mpeg:dash:RoIchangeEvent:2016」可經界定以識別RoI特性。替代地，可擴展現有方案「urn:mpeg:dash:event:2012」且可添加新值。
對於使用此方案之事件，「‘emsg’. message_data[]」欄位將含有在下方界定之DASHRoIchangeEvent結構： aligned(8) struct DASHRoIchangeEvent { if ( `emsg`.value == 1 ) //single RoI { unsigned int(32) source_id; // Refers to the source_id in MPD in Sect. H.2 unsigned int(32) x; // horizontal position of RoI unsigned int(32) y; // vertical position of RoI unsigned int(32) width; // width position of RoI unsigned int(32) height; // height position of RoI } if ( `emsg`.value == 2 ) //multiple RoIs { unsigned int(32) source_id; // Refers to the source_id in MPD in Sect. H.2 unsigned int(8) num_RoIs; // Number of RoIs present for (i=0;i＜numRoIs;i++){ unsigned int(32) x_i; // horizontal position of RoI unsigned int(32) y_i; // vertical position of RoI unsigned int(32) width_i; // width position of RoI unsigned int(32) height_i; // height position of RoI } } }
資訊將關於待下載之下一片段。替代地，可開發藉由添加其他emsg.values來指示多於一個片段之RoI的另一版本。
使用SAND之概念可為如下。
將界定在給定時間處指示RoI之新參數增強接收(PER，亦即，自DASH感知網路元件(DANE)發送至DASH用戶端之訊息)。訊息將類似於在之前對於「emsg」情況所界定之訊息：
(例如)在描述RoI之時間改變的「moov」中使用中心框之概念可如下描述。 RoIdescriptionbox ‘roid’ aligned(8) class SegmentIndexBox extends FullBox(‘sidx’, version, 0) { unsigned int(32) source_ID; unsigned int(32) timescale; if (version==0) { unsigned int(32) earliest_presentation_time; // earliest presentation time for which the box describes the RoIs } else { unsigned int(64) earliest_presentation_time; } unsigned int(16) reserved = 0; unsigned int(16) RoIs_count; for(i=1; i ＜= RoIs_count; i++) //number of RoIs described in time { unsigned int(32) RoI_duration; unsigned int(32) x; unsigned int(32) y; unsigned int(32) width; unsigned int(32) height; } }
類似地，可改變訊息以藉由添加如下文所示之參數來併入多個RoI： … for(i=1; i ＜= RoIs_count; i++) //number of RoIs intervals described { unsigned int(8) RoI_count_per_interval for(i=j; j ＜= RoIs_count; j++) //number of RoIs described for each of intervals in time { unsigned int(32) RoI_duration; unsigned int(32) x; unsigned int(32) y; unsigned int(32) width; unsigned int(32) height; } }
為了解釋根據剛概述之概念的實施例，參考以下諸圖。圖15繪示視訊串流伺服器200及用戶端250。僅僅作為選項，可以以便符合圖1至圖15之上述實施例中的任一者之方式實施伺服器200及用戶端250。在任何情況下，視訊串流伺服器200經組配以某種方式使表示場景且自伺服器200串流傳輸至用戶端250之視訊串流216伴隨有指示興趣區域270之位置的資訊260，該方式使得該位置按時序變化。亦即，視訊串流伺服器200存取表示某一場景之視訊資料。視訊資料中可(例如)已編碼有視訊280，視訊280之每一圖像290繪示場景。可以上文關於圖1至圖15概述之方式概念化關於視訊280之視訊資料。亦即，伺服器200可以某種方式經組配，該方式使得允許用戶端250以所擷取視訊串流216僅僅關於興趣區域270之方式自伺服器200擷取視訊串流216，該興趣區域將使用圖1至圖15之術語來表示節段。替代地，伺服器200僅僅以某種方式顯現可對視訊資料串流216進行擷取，該方式使得視訊資料串流216完全地輸送關於場景之資訊。然而，在後一情況中，將(例如)允許用戶端250按不同次序擷取或提取視訊串流216之片段。舉例而言，用戶端250可能夠在擷取在相同時間部分中但關於另一空間區域之片段之前首先提取關於視訊280之某一時間部分且關於場景之某一空間區域的片段。如藉由提到伺服器200及用戶端250可能夠以符合圖1及圖2之伺服器10及用戶端50的方式體現將顯而易見，圖15中之視訊串流260可為對應於圖1之串流16的串流。
圖15說明資訊260使興趣區域270之位置在時間上變化。在無此資訊260之情況下，用戶端250不能夠在當前時間片段內提取此場景之最可能包括此場景之最受關注部分的片段。然而，出於預提取目的且出於恰當地開始對視訊串流216之擷取之目的，對於用戶端250將有利的是，儘可能早地知曉資訊260以便顯現由用戶端之使用者引起的關於視訊280之空間上不同區域的提取請求，但儘可能不參考視訊280之已提取時間片段。
根據一實施例，視訊串流伺服器10經組配以在視訊串流之檔案格式框內輸送資訊260。亦即，將根據檔案格式而將視訊串流216自伺服器200輸送至用戶端250，且資訊260將嵌入於該因此經格式化之視訊串流216內。自然地，用戶端250將必須「盲目地(blindly)」(亦即，在並無關於興趣區域270之位置的任何資訊260的情況下)開始對視訊串流216之擷取。替代地，關於興趣區域270 (亦即，關於在開始對視訊進行擷取時興趣區域之位置)的另一資訊可由伺服器200包括至媒體呈現描述中，或經來自用戶端250至伺服器200之適當請求而包括至視訊串流216之自伺服器200發送的初始片段中。以此方式，用戶端250將有機會藉由接著使用資訊260以便排程視訊280之預提取將來時間片段來自媒體呈現描述中之適當資訊獲得關於興趣區域270之位置的第一暗示。
根據上文亦已描述之替代方案，視訊串流伺服器200可為DASH伺服器且經組配以藉助於SAND訊息在帶外而非在視訊串流216之檔案格式框內輸送資訊260。在使用該兩個概念情況下，視訊串流伺服器200能夠間歇地更新資訊260以便更新興趣區域270之位置。詳言之，視訊串流伺服器能夠在獨立於用戶端請求之時刻處排程資訊270之間歇性更新。亦即，用戶端250不需要將更新資訊260之請求發送至伺服器200。確切而言，伺服器200自行起始對資訊260之更新或再發送。
另外或替代地，伺服器200可甚至經以某種方式組配以在串流傳輸之開始處輸送資訊260，該方式使得資訊260亦排程興趣區域270之位置的即將出現之改變。舉例而言，視訊280之視訊內容可在伺服器側處已知，且因此伺服器200可(例如)以某種方式為資訊清單或媒體呈現描述提供資訊260，該方式使得資訊260以時間變化方式指示興趣區域270之位置，亦即，以位置在視訊280之時間長度期間在經排程時刻處改變的方式指示興趣區域270之位置。替代地，伺服器200可在已請求且檢測MPD之後(例如)以某種方式為由用戶端通常提取之初始片段提供資訊260，該方式使得資訊260以時間變化方式指示興趣區域270之位置。在後一情況中，可使用上文所描述之中心框或RoIdescriptionBox。
可在MPD中向用戶端指示資訊260之存在或可用性的指示。資訊260之存在或視訊串流216伴隨有資訊260之實情可顯現為相依於用戶端之對應請求。若未由用戶端如此請求，則伺服器200可因此跳過該伴隨。在資訊260為帶內資訊(諸如包括於MPD (「emsg」)中或初始片段(「roid」變體)中之資訊)之情況下，程序可(例如)以用戶端請求包含可用性之各別指示的MPD開始，用戶端再請求MPD連同對資訊260之請求，或繼之以用戶端自伺服器請求初始片段連同對資訊260之存在的請求。以類似方式，可使帶外資訊260之存在相依於來自用戶端之對應請求。取決於用戶端之希望，伺服器將或將不經由SAND訊息將RoI 資訊260發送至用戶端。
類似於已提及伺服器10及用戶端50可以硬體、韌體或軟體體現之上述描述，伺服器200及用戶端250可以相同方式(亦即，以硬體、韌體或軟體形式)予以實施。
儘管已在設備之上下文中描述一些態樣，但顯而易見，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述的態樣亦表示對應區塊或物件或對應設備之特徵的描述。可藉由(或使用)硬體設備(例如，類似微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可藉由此設備執行最重要之方法步驟中的一或多者。
本發明之經編碼資料串流或信號可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。只要已描述一些資訊插入至資料串流中或編碼成資料串流，則此描述應同時被理解為所得資料串流包含各別資訊、旗標之語法元素或等之揭示內容。
取決於某些實施要求，本發明之實施例可以硬體或軟體予以實施。可使用數位儲存媒體(例如軟性磁碟、DVD、藍光、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行該實施，媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)以使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，以使得執行本文中所描述方法中之一者。
一般而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上運行時，程式碼操作性地用於執行該等方法中之一者。程式碼可(例如)儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上、用於執行本文中所描述之方法中的一者的電腦程式。
換言之，因此，發明方法之實施例為具有在電腦程式運行於電腦上時用於執行本文中所描述之方法中的一者的程式碼之電腦程式。
因此，本發明方法之另一實施例為包含記錄於其上的用於執行本文中所描述之方法中的一者的電腦程式之資料載體(或數位儲存媒體，或電腦可讀媒體)。資料載體、數位儲存媒體或所記錄媒體通常係有形的及/或非暫時性的。
因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可(例如)經組配以經由資料通信連接(例如，經由網際網路)而傳送。
另一實施例包含經組配以或適於執行本文中所描述之方法中的一者的處理構件(例如，電腦或可規劃邏輯裝置)。
另一實施例包含電腦，該電腦具有安裝於其上之用於執行本文中所描述之方法中的一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。接收器可(例如)為電腦、行動裝置、記憶體裝置或類似者。設備或系統可(例如)包含用於將電腦程式傳送至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。一般而言，該等方法較佳地由任一硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來予以實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體予以實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來予以執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或以軟體執行。
上述實施例僅僅說明本發明之原理。應理解，本文中所描述之配置及細節的修改及變化對於熟習此項技術者將顯而易見。因此，其僅意欲由接下來之申請專利範圍的範疇限制，而非由藉助於本文中實施例之描述及解釋所呈現的特定細節限制。
參考文獻 [1] Mavlankar, Aditya, David Varodayan, and Bernd Girod. "Region-of-interest prediction for interactively streaming regions of high resolution video." Packet Video 2007. IEEE, 2007.
10、200‧‧‧伺服器
12、74、280‧‧‧視訊
14‧‧‧視訊資料串流
16‧‧‧串流
18、76、290‧‧‧圖像
20‧‧‧依序次序
22、221 、222 、223 、224 、56、58、80‧‧‧節段
24、A、B、C、D、E、F、G、H、I‧‧‧影像塊
25‧‧‧影像塊邊界
26、28、54、78‧‧‧切片
30、32‧‧‧集合
30A 、30B 、30C 、30D 、30E 、30F 、30G 、30H 、30I ‧‧‧來源軌
321 、322 、323 、324 ‧‧‧收集軌
34‧‧‧建構指令
52‧‧‧節段特定視訊資料串流
60、60b‧‧‧語法元素
60a‧‧‧旗標
62‧‧‧合成
64‧‧‧非經複製部分
66、68、70、1501 、1502 、1503 、1504 、151、152、153、154‧‧‧部分
72‧‧‧視訊解碼器
90‧‧‧檔案標頭
102‧‧‧偏移
104‧‧‧長度
100、110、120、200、210、220、300、310、320‧‧‧CU位址
120‧‧‧序列
122、142‧‧‧片段
124‧‧‧後續序列
126‧‧‧後續片段
128‧‧‧樣本
140‧‧‧資訊清單
141‧‧‧URL模板
144‧‧‧影像塊片段
216‧‧‧視訊串流
250‧‧‧用戶端
260‧‧‧資訊
270、900‧‧‧興趣區域(RoI)
上文所概述之概念的有利實施為附屬申請專利範圍之主題。下文中關於諸圖描述本申請案之較佳實施例，在圖當中： 圖1示意性地繪示根據一實施例之伺服器，連同伺服器10存取之視訊資料串流，及連同伺服器10向用戶端顯現之可用串流； 圖2示意性地繪示適配於圖1之伺服器的用戶端，連同入埠串流及用戶端基於其所合成之節段特定視訊資料串流的示意性說明，以及在節段特定視訊資料串流之外重建構節段特定視訊之視情況存在的視訊解碼器72之示意性說明； 圖3繪示根據一實施例的關於某一切片的合成之子程序的示意圖； 圖4繪示能夠處理圖1之伺服器存取的視訊資料串流以及如由圖2之用戶端合成的視訊特定視訊資料串流以便說明一致性維持的視訊解碼器之示意圖； 圖5a至圖5b繪示由指示建構指令之類型的建構器標記、繼之以資料欄位長度指示DFL且接著繼之以圖7a之情況中的資料欄位長度之資料欄位構成的建構指令之實例，藉此表示將替換插入(例如)至經合成串流中的插入指令之實例，而圖7b繪示具有另一建構器標記之複製指令的實例，複製指令之資料欄位具有亦由資料欄位長度指示符指示之長度，但複製指令包含對參考軌TRI之索引、對待由開始點複製之部分的指示中指令參考之樣本或圖像或存取單元的指示符(亦即，SO)、資料偏移及長度、資料長度； 圖5c示意性地繪示圖7b之指令的替代方案； 圖5e繪示根據第一實施例之建構指令陣列或序列的示意圖； 圖5d示意性地繪示建構器陣列之替代方案； 圖6繪示經概念化以有利地充當關於圖1至圖4概述之串流傳輸概念的基礎之視訊資料的示意圖； 圖7示意性地繪示其中場景細分成4×3影像塊的一實例，其中提供至用戶端之節段各自具有3×2影像塊之共同大小，連同說明每一影像塊來源軌及收集軌與對應個別表示之關聯，藉此在十二個影像塊表示及四個收集表示中結束； 圖8繪示資訊清單或可用以藉由傳信共同URL模板來減小資訊清單之大小的媒體呈現描述檔案的實例； 圖9繪示根據一方面為來源軌且另一方面為收集軌提供單獨表示之實施例說明由用戶端起始之各別片段提取導引之自伺服器至用戶端的片段訊務之示意圖； 圖10繪示說明相比於圖9之在來源軌之片段內輸送收集軌資訊之替代方案的示意圖； 圖11說明根據輸送根據圖10之收集軌以便說明所得冗餘之實施例所輸送的收集軌； 圖12繪示說明在關於對應節段之左上方影像塊的來源軌表示之片段內輸送收集軌之示意圖，以便在將圖6之實例視作基礎時說明所得冗餘； 圖13繪示說明經修改以便包含額外索引欄位CIDX之建構指令的一實例之示意圖，額外索引欄位允許包含所繪示建構指令的對應收集軌可參數化，此係因為僅僅在建構指令之CIDX對應於用作參數化設定之索引時執行建構指令； 圖14示意性地繪示使用如圖13中所繪示之可索引建構指令的可參數化收集軌之一實例，其中圖14繪示不同參數化設定下之相同可參數化收集軌，其中藉由環繞指示可索引建構指令當中之實際上執行的建構指令； 圖15繪示繪示根據實現時變興趣區域指示之實施例的伺服器及用戶端之示意圖； 圖16繪示細分成影像塊之視訊的示意圖，以便說明至用戶端之節段特定視訊資料串流傳輸將有利的例示性使用情況。

Claims (55)

  1. 一種視訊串流伺服器，其經組配以存取一視訊資料串流之切片，一視訊之圖像經寫碼成該視訊資料串流，該等圖像中之每一者繪示一場景，其中該等圖像在空間上細分成影像塊且每一切片已編碼成不大於一個影像塊；以及向用戶端顯現關於該場景之一節段的一串流之一串流傳輸可用，該串流以一檔案格式經格式化且包含併入有該等切片之一或多個來源軌的一集合，為一或多個影像塊之一集合寬的該節段內的影像塊經編碼成該等切片，包含建構指令之一或多個收集軌的一集合，該等建構指令指示一節段特定視訊資料串流之一合成，繪示該場景之節段的圖像經編碼成該視訊資料串流，其方式為：傳信對該等切片之併入至該一或多個來源軌中的第一部分之替換，及/或指示複製該等切片之併入至該一或多個來源軌中的第二部分。
  2. 如請求項1之視訊串流伺服器，其中該等圖像在橫跨影像塊邊界之寫碼互依性中斷的情況下經編碼成該視訊資料串流之該等切片。
  3. 如請求項1之視訊串流伺服器，其中每一來源軌與該視訊之該等圖像在空間上細分成之該等影像塊中的一各別者相關聯，且併入有與該各別來源軌相關聯之該圖像的該影像塊經編碼成之該等切片。
  4. 如請求項1之視訊串流伺服器，其經組配以向該用戶端發送一資訊清單，該資訊清單將一或多個來源軌之該集合中之每一者及一或多個收集軌之該集合處理為單獨表示，且將一或多個收集軌之該集合指示為相依於該一或多個來源軌。
  5. 如請求項1之視訊串流伺服器，其經組配以使得該視訊資料串流及該節段位置特定視訊資料串流可由一個視訊解碼器解碼。
  6. 如請求項1之視訊串流伺服器，其經組配以向該用戶端顯現關於該場景之另一節段的另一串流之一串流傳輸可用，該另一串流以該檔案格式經格式化且包含併入有該等切片之一或多個來源軌的另一集合，為一或多個影像塊之另一集合寬之該另一節段內的影像塊經編碼成該等切片，包含建構指令之一或多個收集軌的另一集合，該等建構指令指示另一節段特定視訊資料串流之一合成，繪示該場景之另一節段的圖像經編碼成該視訊資料串流，其方式為：傳信對該等切片之併入至一或多個來源軌之該另一集合中的第一部分之替換，及/或指示複製該等切片之併入至該一或多個來源軌之該另一集合中的第二部分。
  7. 如請求項6之視訊串流伺服器，其經組配以向該用戶端提供一資訊清單，該資訊清單將該集合及一或多個來源軌之另一集合中之每一來源軌，一或多個收集軌之該集合及一或多個收集軌之該另一集合處理為單獨表示，且將一或多個收集軌之該集合指示為相依於一或多個來源軌之該集合且將一或多個收集軌之該另一集合指示為相依於一或多個來源軌之該另一集合。
  8. 如請求項7之視訊串流伺服器，其中該視訊串流伺服器經組配以為該資訊清單提供分別關於一或多個收集軌之該集合及一或多個收集軌之該另一集合的該等表示的互相相異URL基底之一顯式傳信。
  9. 如請求項7之視訊串流伺服器，其中該節段與另一節段就影像塊而言具有相等大小，且該視訊串流伺服器經組配以為該資訊清單提供一URL模板，該URL模板界定一計算調節用於判定分別關於一或多個收集軌之該集合及一或多個收集軌之該另一集合的該等表示的片段之URL，此相依於待擷取之該場景的該節段之一空間位置。
  10. 如請求項7之視訊串流伺服器，其經組配以向該用戶端提供一資訊清單，該資訊清單將一或多個來源軌之該集合及另一集合處理為單獨表示，以及在對應於含有如下該等切片的該等來源軌之表示的片段內輸送一或多個收集軌之該集合，該等切片已編碼成該場景之節段內的影像塊，且在對應於含有如下該等切片的來源軌之表示的片段內輸送一或多個收集軌之該另一集合，該等切片已編碼成該另一場景之節段內的影像塊。
  11. 如請求項10之視訊串流伺服器，其經組配以在對應於含有如下該等切片的該來源軌之一表示的片段內輸送一或多個收集軌之該集合，該等切片已在該場景之節段內編碼成定位於一預定影像塊位置處的該影像塊，且在對應於含有如下該等切片的該來源軌之一表示的片段內輸送一或多個收集軌之該另一集合，該等切片已在該另一場景之節段內編碼成定位於該預定影像塊位置處的該影像塊。
  12. 如請求項10之視訊串流伺服器，其經組配以為該資訊清單提供指示可以分離於其他來源軌之方式擷取一或多個來源軌之該集合及一或多個來源軌之該另一集合的一資訊，且在其片段內輸送一或多個收集軌之該集合及一或多個收集軌之該另一集合。
  13. 如請求項12之視訊串流伺服器，其經組配以對於處於該場景之節段內的每一影像塊，在對應於如下該來源軌之一表示的片段內輸送一或多個收集軌之該集合中之一者，該來源軌含有已編碼成該各別影像塊之該等切片，該一者特定針對於該各別影像塊內之該節段位置特定視訊資料串流的該合成，以及對於處於該另一場景之節段內的每一影像塊，在對應於如下該來源軌之一表示的片段內輸送一或多個收集軌之該另一集合中之一者，該來源軌含有已編碼成該各別影像塊之該等切片，該一者特定針對於該各別影像塊內之該另一節段位置特定視訊資料串流的該合成。
  14. 如請求項13之視訊串流伺服器其中該節段與該另一節段彼此重疊以使得存在處於該場景之節段及該另一場景之節段內的一預定影像塊，且該視訊串流伺服器經組配以在對應於如下該來源軌之該表示的片段內輸送一可參數化收集軌，該來源軌含有已編碼成該預定影像塊之該等切片，該收集軌係可參數化的以便，根據一第一參數化設定，變成一或多個收集軌之該集合中特定針對於該預定影像塊內之該節段位置特定視訊資料串流之該合成的該收集軌，以及根據一第二參數化設定，變成一或多個收集軌之該另一集合中特定針對於該預定影像塊內之該另一節段位置特定視訊資料串流之該合成的該收集軌。
  15. 如請求項14之視訊串流伺服器，其中該可參數化收集軌包含建構指令，該等建構指令包含以下各者之一索引一或多個收集軌之該集合中特定針對於該預定影像塊內之該節段位置特定視訊資料串流之該合成的該收集軌，其產生於在該可參數化收集軌內跳過彼等建構指令，由該等指令包含之該索引不同於一第一設定，以及一或多個收集軌之該另一集合中特定針對於該預定影像塊內之該另一節段位置特定視訊資料串流之該合成的該收集軌，其產生於在該可參數化收集軌內跳過彼等建構指令，由該等指令包含之該索引不同於一第二設定。
  16. 如請求項1之視訊串流伺服器，其中該等第一部分為在語法元素方面經寫碼之資料串流部分或處於在語法元素方面經寫碼之資料串流部分內，該等部分在經寫碼位元層級與語法層級之間轉換的過程中保留語法元素之間的邊界。
  17. 如請求項1之視訊串流伺服器，其中該等第二部分為經算術寫碼資料串流部分或涵蓋經算術寫碼資料串流部分。
  18. 一種用戶端，其經組配以自一視訊串流伺服器擷取關於一場景之一節段的一視訊，該用戶端經組配以自該視訊串流伺服器擷取一串流，該串流以一檔案格式經格式化且包含併入有切片之一或多個來源軌的一集合，一或多個來源軌之該集合中之該等切片形成一視訊資料串流之切片的一子集，一視訊之圖像經寫碼成該視訊資料串流，該等圖像中之每一者繪示一場景，其中該等圖像在空間上細分成影像塊且該視訊資料串流之每一切片已編碼成不大於一個影像塊，切片之該子集併入有為一或多個影像塊之一集合寬的該節段內的影像塊經編碼成的該等切片；以及包含建構指令之一或多個收集軌的一集合，該等建構指令指示一節段位置特定視訊資料串流之一合成，繪示該場景之節段的圖像經編碼成該視訊資料串流；根據一或多個收集軌之該集合中之建構指令而合成該節段特定視訊資料串流，其方式為：藉由由該等建構指令傳信之替換來替換併入至該一或多個來源軌中之該等切片的第一部分，及/或複製該等切片之併入至該一或多個來源軌中的第二部分；藉由一視訊解碼器來使該節段位置特定視訊資料串流經受解碼。
  19. 如請求項18之用戶端，其中該等圖像在橫跨影像塊邊界之寫碼互依性中斷的情況下經編碼成該視訊資料串流之該等切片，使得每一切片已編碼成獨立於任一其他影像塊之該不大於一個影像塊，該任一其他影像塊涵蓋包括該一個影像塊之該圖像或任一其他圖像的一空間不同部分。
  20. 如請求項18之用戶端，其中每一來源軌與該視訊之該等圖像在空間上細分成之該等影像塊中的一各別者相關聯，且併入有與該各別來源軌相關聯之該等圖像的該影像塊經編碼成之該等切片。
  21. 如請求項18之用戶端，其經組配以自該視訊串流伺服器接收一資訊清單，該資訊清單將該一或多個來源軌中之每一者及一或多個收集軌之該集合處理為單獨表示，且將一或多個收集軌之該集合指示為相依於該一或多個來源軌，及自該視訊串流伺服器擷取該等單獨表示以作為該串流。
  22. 如請求項18之用戶端，其中該視訊資料串流及該節段位置特定視訊資料串流兩者可由該視訊解碼器解碼。
  23. 如請求項18之用戶端，經組配以自該視訊串流伺服器擷取關於該場景之另一節段的另一串流，該另一串流以該該檔案格式經格式化且包含併入有該等切片之一或多個來源軌的另一集合，影像塊之另一集合中在空間上形成該另一節段的影像塊經編碼成該等切片，包含建構指令之一或多個收集軌的另一集合，該等建構指令指示另一節段位置特定視訊資料串流之一合成，繪示該場景之另一節段的圖像經編碼成該視訊資料串流，根據一或多個收集軌之該另一集合中之建構指令而合成該另一節段位置特定視訊資料串流，其方式為：藉由由一或多個收集軌之該另一集合中的該等建構指令傳信之替換來替換併入至一或多個來源軌之該另一集合中之該等切片的第一部分，及/或複製該等切片之併入至該一或多個來源軌之該另一集合中的第二部分，以及藉由該視訊解碼器來使該另一節段位置特定視訊資料串流經受解碼。
  24. 如請求項23之用戶端，其經組配以自該視訊串流伺服器接收一資訊清單，該資訊清單將一或多個來源軌之該集合及另一集合中之每一來源軌，一或多個收集軌之該集合以及一或多個另外收集軌之該集合處理為單獨表示，且將一或多個收集軌之該集合指示為相依於一或多個來源軌之該集合且將一或多個收集軌之該另一集合指示為相依於一或多個來源軌之該另一集合，以及在自該視訊串流伺服器擷取該串流之過程中，自該視訊串流伺服器擷取與一或多個來源軌之該集合及一或多個收集軌之該集合相關聯之該等表示，且在自該視訊串流伺服器擷取該另一串流之過程中，自該視訊串流伺服器擷取與一或多個來源軌之該另一集合及一或多個收集軌之該另一集合相關聯的該等表示。
  25. 如請求項24之用戶端，其中該用戶端經組配以自該資訊清單導出分別關於一或多個收集軌之該集合及一或多個收集軌之該另一集合的該等表示的互相相異URL基底之一顯式傳信。
  26. 如請求項24之用戶端，其中該節段與另一節段就影像塊而言具有相等大小，且該用戶端經組配以在自該視訊串流伺服器擷取該串流之過程中及在自該視訊串流伺服器擷取該另一串流之過程中，自該資訊清單導出界定一計算調節之一URL模板，使用該計算調節來判定分別關於一或多個收集軌之該集合及一或多個收集軌之該另一集合的該等表示的片段之URL，此相依於待擷取之該場景的該節段之一空間位置，基於所判定該等URL而擷取在擷取該串流之情況下輸送一或多個收集軌之該集合且在擷取該另一串流之情況下擷取一或多個收集軌之該另一集合的該等片段。
  27. 如請求項24之用戶端，其經組配以自該視訊串流伺服器接收一資訊清單，該資訊清單將一或多個來源軌之該集合及另一集合中之每一者處理為單獨表示，以及在自該視訊串流伺服器擷取該串流之過程中，自對應於含有如下該等切片的該等來源軌之表示的片段讀取該一或多個收集軌，該等切片已編碼成該場景之節段內的影像塊，且在自該視訊串流伺服器擷取該另一串流之過程中，自對應於含有如下該等切片的來源軌之表示的片段讀取一或多個收集軌之該另一集合，該等切片已編碼成該另一場景之節段內的影像塊。
  28. 如請求項27之用戶端，其經組配以在自該視訊串流伺服器擷取該串流之過程中，自對應於含有如下該等切片的該來源軌之一表示的片段讀取一或多個收集軌之該集合，該等切片已在該場景之節段內編碼成定位於一預定影像塊位置處的該影像塊，且在自該視訊串流伺服器擷取該另一串流之過程中，自對應於含有如下該等切片的該來源軌之一表示的片段讀取一或多個收集軌之該另一集合，該等切片已在該另一場景之節段內編碼成定位於該預定影像塊位置處的該影像塊。
  29. 如請求項27之用戶端，其經組配以在自該視訊串流伺服器擷取該串流之過程中，對於處於該場景之節段內的每一影像塊，自對應於如下該來源軌之一表示的片段讀取一或多個收集軌之該集合中之一者，該來源軌含有已編碼成該各別影像塊之該等切片，該一者特定針對於該各別影像塊內之該節段位置特定視訊資料串流之該合成，以及在自該視訊串流伺服器擷取該另一串流之過程中，自對應於如下該來源軌之一表示的片段讀取一或多個收集軌之該另一集合中之一者，該來源軌含有已編碼成該各別影像塊之該等切片，該另一者特定針對於該各別影像塊內之該另一節段位置特定視訊資料串流的該合成。
  30. 如請求項29之用戶端其中該節段與該另一節段彼此重疊以使得存在處於該場景之節段及該另一場景之節段內的一預定影像塊，且該用戶端經組配以在自該視訊串流伺服器擷取該串流之過程中及在自該視訊串流伺服器擷取該另一串流之過程中，自對應於如下該來源軌之該表示的片段讀取一可參數化收集軌，該來源軌含有已編碼成該預定影像塊之該等切片，在擷取該串流之情況下，使用一第一參數化設定來參數化該可參數化收集軌，使得該可參數化收集軌變成一或多個收集軌之該集合中特定針對於該預定影像塊內之該節段位置特定視訊資料串流之該合成的該收集軌，以及在擷取該另一串流之情況下，使用一第二參數化設定來參數化該可參數化收集軌，使得該可參數化收集軌變成一或多個收集軌之該另一集合中特定針對於該預定影像塊內之該另一節段位置特定視訊資料串流之該合成的該收集軌。
  31. 如請求項30之用戶端，其經組配以在使用該第一參數化設定來參數化該可參數化收集軌之過程中，在該可參數化收集軌內跳過包含不同於一第一設定之一索引的建構指令，以及在使用該第二參數化設定來參數化該可參數化收集軌之過程中，在該可參數化收集軌內跳過包含不同於一第二設定之一索引的建構指令。
  32. 如請求項18之用戶端，其中該等第二部分為在語法元素方面經寫碼之資料串流部分或處於在語法元素方面經寫碼之資料串流部分內，該等部分在經寫碼位元層級與語法層級之間轉換的過程中保留語法元素之間的邊界。
  33. 如請求項18之用戶端，其中該等第一部分為經算術寫碼資料串流部分或涵蓋經算術寫碼資料串流部分。
  34. 一種數位儲存媒體，其上儲存有視訊資料，其經概念化用於將一場景之一在空間上可變之節段串流傳輸至一用戶端，該視訊資料以一檔案格式經格式化且包含一或多個來源軌之一集合，每一來源軌與一視訊之充分捕獲該場景的圖像在空間上細分成之影像塊中的一各別者相關聯，其中該等來源軌已分佈至一視訊資料串流之切片中，該視訊之該等圖像經寫碼成該視訊資料串流以使得每一切片已編碼成不大於一個影像塊；以及一或多個收集軌之一集合，每一集合之收集軌與該節段之多個位置中的一各別者相關聯，該節段由該等影像塊之一對應子集形成且包含指示一節段位置特定視訊資料串流之一合成的建構指令，在該各別位置處繪示該場景之節段的圖像經寫碼成該資料串流，其方式為：傳信對切片之已編碼成來自該等來源軌之該影像塊子集中之任何影像塊的第一部分之替換，及/或複製該等切片之已編碼成該影像塊子集中之任何影像塊的第二部分。
  35. 如請求項34之數位儲存媒體，其中該等第二部分包括在切片之切片標頭中的語法元素，該等語法元素指示該切片標頭屬於之該切片就橫越解碼次序之一圖像而言是否為該視訊之一圖像的一第一切片，及/或該切片標頭屬於之切片的一位置，該位置係相對於一預定圖像之角點所量測。
  36. 一種視訊串流伺服器，其經組配以使表示一場景且自該視訊串流伺服器串流傳輸至一用戶端之一視訊串流伴隨有一資訊，該資訊以使得該場景內之一興趣區域的一位置按時序變化之方式指示該位置。
  37. 如請求項36之視訊串流伺服器，其中該視訊串流伺服器經組配以在該視訊串流之一檔案格式框內輸送該資訊。
  38. 如請求項36之視訊串流伺服器，其中該視訊串流伺服器為一DASH伺服器且經組配以藉助於SAND訊息在帶外輸送該資訊。
  39. 如請求項36之視訊串流伺服器，其中該視訊串流伺服器經組配以間歇地更新該資訊以便更新該位置。
  40. 如請求項38之視訊串流伺服器，其中該視訊串流伺服器經組配以在獨立於用戶端請求之時刻處排程對該資訊之該間歇性更新。
  41. 如請求項36之視訊串流伺服器，其中該視訊串流伺服器經組配以使得該資訊排程該興趣區域之該位置的即將出現之改變的方式在該串流傳輸之一開始處輸送該資訊。
  42. 如請求項41之視訊串流伺服器，其中該視訊串流伺服器經組配以在該視訊串流之一資訊清單內或在該視訊串流之一初始片段內在該串流傳輸之該開始處為該用戶端提供該資訊。
  43. 一種用戶端，其經組配以自一視訊串流伺服器擷取表示一場景之一視訊串流，且使用該視訊串流伴隨有之資訊來以使得該場景內之一興趣區域之一位置按時序變化之方式來判定該位置，。其中該用戶端經組配來相比於關於該興趣區域之一周圍的第二將來部分而優先排序對該視訊串流之關於該興趣區域的第一將來部分之一預提取。
  44. 如請求項43之用戶端，其中該用戶端經組配以自該視訊串流之檔案格式框導出該資訊。
  45. 如請求項43之用戶端，其中該用戶端為一DASH用戶端且經組配以自SAND訊息在帶外導出該資訊。
  46. 如請求項43之用戶端，其中該用戶端經組配以自該視訊串流伺服器接收對該資訊之間歇更新以便更新該位置。
  47. 如請求項45之用戶端，其中該用戶端經組配以在獨立於由該用戶端發送至該視訊串流伺服器之用戶端請求的時刻處接收對該資訊之該間歇性更新。
  48. 如請求項43之用戶端，其中該用戶端經組配以使得該資訊排程該興趣區域之該位置的即將出現之改變的方式在該串流傳輸之一開始處導出該資訊。
  49. 如請求項48之用戶端，其中該用戶端經組配以在該串流傳輸之該開始處自該視訊串流伺服器發送之該視訊串流的一資訊清單導出該資訊或在擷取該視訊串流之媒體片段之前由該用戶端提取之該視訊串流的一初始片段內導出該資訊。
  50. 如請求項43之用戶端，其經組配以在該視訊串流之關於該興趣區域的一部分處開始對該視訊串流之該擷取，且繼續對關於該興趣區域之一周圍的部分之該擷取。
  51. 一種用於視訊串流傳輸之方法，其包含接收一視訊資料串流之切片，一視訊之圖像經寫碼成該視訊資料串流，該等圖像中之每一者繪示一場景，其中該等圖像在空間上細分成影像塊且每一切片已編碼成不大於一個影像塊；以及向用戶端顯現關於該場景之一節段的一串流之一串流傳輸可用，該串流以一檔案格式經格式化且包含併入有該等切片之一或多個來源軌的一集合，為一或多個影像塊之一集合寬之該節段內的影像塊經編碼成該等切片，包含建構指令之一或多個收集軌的一集合，該等建構指令指示一節段特定視訊資料串流之一合成，繪示該場景之節段的圖像經編碼成該視訊資料串流，其方式為：傳信對該等切片之併入至該一或多個來源軌中的第一部分之替換，及/或指示複製該等切片之併入至該一或多個來源軌中的第二部分。
  52. 一種用於自一視訊串流伺服器擷取一視訊之方法，該視訊關於一場景之一節段，該方法包含自該視訊串流伺服器擷取一串流，該串流以一檔案格式經格式化且包含併入有切片之一或多個來源軌之一集合，一或多個來源軌之該集合中之該等切片形成一視訊資料串流之切片的一子集，一視訊之圖像經寫碼成該視訊資料串流，該等圖像中之每一者繪示一場景，其中該等圖像在空間上細分成影像塊且該視訊資料串流之每一切片已編碼成不大於一個影像塊，切片之該子集併入有為一或多個影像塊之一集合寬之該節段內的影像塊經編碼成之該等切片；以及包含建構指令之一或多個收集軌的一集合，該等建構指令指示一節段位置特定視訊資料串流之一合成，繪示該場景之節段的圖像經編碼成該視訊資料串流；根據一或多個收集軌之該集合中之建構指令而合成該節段特定視訊資料串流，其方式為：藉由由該等建構指令傳信之替換來替換併入至該一或多個來源軌中之該等切片的第一部分，及/或複製該等切片之併入至該一或多個來源軌中的第二部分；藉由一視訊解碼器來使該節段位置特定視訊資料串流經受解碼。
  53. 一種用於自一視訊串流伺服器擷取表示一場景之一視訊串流的方法，該方法包含使用該視訊串流伴隨有之資訊來以使得該場景內之一興趣區域之一位置按時序變化之方式判定該位置，相比於關於該興趣區域之一周圍的第二將來部分而優先排序對該視訊串流之關於該興趣區域的第一將來部分之一預提取。
  54. 一種具有電腦程式之電腦可讀媒體，該電腦程式具有用於當在一電腦上運行時執行如請求項51至53中任一項之一方法的一程式碼。
  55. 一種電腦可讀儲存媒體，其儲存一串流，其由如請求項51之一視訊串流傳輸方法進行串流傳輸。
TW106103456A 2016-02-02 2017-02-02 視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體 TWI672040B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??16153929.1 2016-02-02
EP16153929 2016-02-02

Publications (2)

Publication Number Publication Date
TW201733355A TW201733355A (zh) 2017-09-16
TWI672040B true TWI672040B (zh) 2019-09-11

Family

ID=55359394

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106103456A TWI672040B (zh) 2016-02-02 2017-02-02 視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體

Country Status (8)

Country Link
US (2) US11134282B2 (zh)
EP (1) EP3412032A1 (zh)
JP (2) JP6766157B2 (zh)
KR (2) KR102618049B1 (zh)
CN (2) CN113316023B (zh)
CA (1) CA3013111C (zh)
TW (1) TWI672040B (zh)
WO (1) WO2017134110A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3412032A1 (en) 2016-02-02 2018-12-12 Fraunhofer Gesellschaft zur Förderung der Angewand Scene section and region of interest handling in video streaming
CN106101847A (zh) * 2016-07-12 2016-11-09 三星电子（中国）研发中心 全景视频交互传输的方法和系统
CA3034585A1 (en) * 2016-08-30 2018-03-08 Sony Corporation Distribution device, distribution method, reception device, reception method, program, and content distribution system
EP3750303B1 (en) * 2018-02-05 2024-04-03 Telefonaktiebolaget LM Ericsson (publ) A method, a user equipment and a computer program product for enabling a dynamic adaptive streaming over http, dash, player to fetch media segments from a network
EP3759922A1 (en) 2018-04-03 2021-01-06 Huawei Technologies Co. Ltd. Error mitigation in sub-picture bitstream based viewport dependent video coding
GB2575074B (en) * 2018-06-27 2022-09-28 Canon Kk Encapsulating video content with an indication of whether a group of tracks collectively represents a full frame or a part of a frame
CN110798707B (zh) * 2018-08-02 2023-06-16 华为技术有限公司 传输媒体数据的方法、客户端和服务器
US10779014B2 (en) 2018-10-18 2020-09-15 At&T Intellectual Property I, L.P. Tile scheduler for viewport-adaptive panoramic video streaming
CN111263191B (zh) * 2018-11-30 2023-06-27 中兴通讯股份有限公司 视频数据的处理方法、装置、相关设备及存储介质
US10897627B2 (en) 2019-01-11 2021-01-19 Western Digital Technologies, Inc. Non-volatile memory system including a partial decoder and event detector for video streams
GB2587364B (en) * 2019-09-24 2023-11-15 Canon Kk Method, device, and computer program for encapsulating media data into a media file
US20220345746A1 (en) * 2019-09-27 2022-10-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Merging friendly file format
US11064194B2 (en) 2019-10-31 2021-07-13 Western Digital Technologies, Inc. Encoding digital videos using controllers of data storage devices
CN111079567B (zh) * 2019-11-28 2020-11-13 中科驭数（北京）科技有限公司 采样方法、模型生成方法、视频行为识别方法及装置
US10979784B1 (en) 2019-12-02 2021-04-13 CodeShop, B.V. Track format for carriage of event messages
US10841645B1 (en) 2019-12-09 2020-11-17 Western Digital Technologies, Inc. Storage system and method for video frame segregation to optimize storage
EP4097981A1 (en) * 2020-01-29 2022-12-07 Nokia Technologies Oy A method, an apparatus and a computer program product for video streaming
US11562018B2 (en) 2020-02-04 2023-01-24 Western Digital Technologies, Inc. Storage system and method for optimized surveillance search
US11526435B2 (en) 2020-02-04 2022-12-13 Western Digital Technologies, Inc. Storage system and method for automatic data phasing
US11328511B2 (en) 2020-03-13 2022-05-10 Western Digital Technologies, Inc. Storage system and method for improved playback analysis
US11546406B2 (en) * 2020-04-13 2023-01-03 Tencent America LLC Media systems and methods including mixed event message tracks
US20220109856A1 (en) * 2020-10-06 2022-04-07 Samsung Electronics Co., Ltd. Access of essential video coding (evc) slices in a file
US11218784B1 (en) 2021-04-09 2022-01-04 CodeShop, B.V. Method and system for inserting markers in a media presentation
CN116912385B (zh) * 2023-09-15 2023-11-17 深圳云天畅想信息科技有限公司 视频帧自适应渲染处理方法、计算机装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096002A1 (en) * 2002-11-14 2004-05-20 Opentv, Inc. Positioning of images in a data stream
TW201233103A (en) * 2010-12-30 2012-08-01 Verisign Inc Active validation for DDoS and SSL DDoS attacks
TW201249210A (en) * 2011-01-28 2012-12-01 Eye Io Llc Encoding of video stream based on scene type
CN103491457A (zh) * 2012-06-11 2014-01-01 Rgb网络有限公司 用于组合用于流式视频信号的资产的方法及设备
US20150208095A1 (en) * 2012-06-29 2015-07-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video data stream concept
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP4185013B2 (ja) * 2004-04-14 2008-11-19 日本電信電話株式会社 動画像受信表示方法，動画像送信方法，動画像受信表示装置，動画像送信装置，動画像受信表示プログラム，動画像送信プログラムおよびそれらのプログラム記録媒体
DE102007049351A1 (de) 2007-10-15 2009-04-16 Siemens Ag Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
US20120300048A1 (en) * 2011-05-25 2012-11-29 ISC8 Inc. Imaging Device and Method for Video Data Transmission Optimization
PL3094092T3 (pl) * 2011-09-07 2018-11-30 Sun Patent Trust Sposób dekodowania obrazów i urządzenie do dekodowania obrazów
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
KR102158629B1 (ko) * 2011-12-29 2020-09-22 엘지전자 주식회사 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치
GB2501675B (en) * 2012-03-27 2014-11-19 Microsoft Corp Encoding and transmitting video streams
US9516308B2 (en) * 2012-04-27 2016-12-06 Qualcomm Incorporated Parameter set updates in video coding
PL2866439T3 (pl) * 2012-06-26 2021-05-31 Lg Electronics Inc. Sposób dekodowania wideo i sposób kodowania wideo
TWI669952B (zh) * 2012-09-18 2019-08-21 美商Ｖｉｄ衡器股份有限公司 使用圖塊及圖塊組的感興趣區域視訊編碼的方法及裝置
CN104904225B (zh) * 2012-10-12 2019-05-07 佳能株式会社 用于对视频数据进行流传输的方法和相应装置
KR102539065B1 (ko) * 2013-01-04 2023-06-01 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
JP6135958B2 (ja) * 2013-01-16 2017-05-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ダウンロード及びストリーミングのためのコンテンツの記憶及び送信
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
KR101861979B1 (ko) * 2013-01-18 2018-05-28 캐논 가부시끼가이샤 미디어 데이터 영역 및 메타 데이터 영역을 포함하는 미디어 파일의 생성 방법 및 디바이스
JP6514197B2 (ja) * 2013-07-15 2019-05-15 ジーイー ビデオ コンプレッション エルエルシー ネットワーク装置およびエラー処理の方法
JP6541309B2 (ja) * 2014-06-23 2019-07-10 キヤノン株式会社 送信装置、送信方法、及びプログラム
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US20170105004A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of coding a predictive random access picture using a background picture
US10674185B2 (en) * 2015-10-08 2020-06-02 Koninklijke Kpn N.V. Enhancing a region of interest in video frames of a video stream
TWI579540B (zh) * 2015-12-02 2017-04-21 財團法人工業技術研究院 多點光譜系統
EP3412032A1 (en) * 2016-02-02 2018-12-12 Fraunhofer Gesellschaft zur Förderung der Angewand Scene section and region of interest handling in video streaming
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096002A1 (en) * 2002-11-14 2004-05-20 Opentv, Inc. Positioning of images in a data stream
TW201233103A (en) * 2010-12-30 2012-08-01 Verisign Inc Active validation for DDoS and SSL DDoS attacks
TW201249210A (en) * 2011-01-28 2012-12-01 Eye Io Llc Encoding of video stream based on scene type
CN103491457A (zh) * 2012-06-11 2014-01-01 Rgb网络有限公司 用于组合用于流式视频信号的资产的方法及设备
US20150208095A1 (en) * 2012-06-29 2015-07-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video data stream concept
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
JP7273766B2 (ja) 2023-05-15
WO2017134110A1 (en) 2017-08-10
CN108886639A (zh) 2018-11-23
JP2019507980A (ja) 2019-03-22
CN113316023A (zh) 2021-08-27
KR20210049205A (ko) 2021-05-04
CN113316023B (zh) 2023-10-27
JP6766157B2 (ja) 2020-10-07
JP2020205632A (ja) 2020-12-24
CA3013111A1 (en) 2017-08-10
CN108886639B (zh) 2021-05-07
US20220109898A1 (en) 2022-04-07
TW201733355A (zh) 2017-09-16
KR102248185B1 (ko) 2021-05-04
US11917220B2 (en) 2024-02-27
EP3412032A1 (en) 2018-12-12
US11134282B2 (en) 2021-09-28
CN113316025A (zh) 2021-08-27
KR102618049B1 (ko) 2023-12-27
US20190174161A1 (en) 2019-06-06
KR20180110015A (ko) 2018-10-08
CN113316024A (zh) 2021-08-27
CA3013111C (en) 2022-08-30

Similar Documents

Publication Publication Date Title
TWI672040B (zh) 視訊串流伺服器、用戶端、用於視訊串流處理之方法以及數位、電腦可讀儲存媒體
US11128898B2 (en) Method, device, and computer program for encapsulating scalable partitioned timed media data
US10547914B2 (en) Method, device, and computer program for encapsulating partitioned timed media data using sub-track feature
US10645428B2 (en) Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
US20220038793A1 (en) Method, device, and computer program for encapsulating partitioned timed media data
US20190014162A1 (en) Method, device, and computer program for encoding inter-layer dependencies in encapsulating multi-layer partitioned timed media data
CN113316025B (zh) 视频流传输中的场景部分和感兴趣区域处理
CN113316024B (zh) 视频流传输中的场景部分和感兴趣区域处理