JP2006505024A - Data processing method and apparatus - Google Patents

Data processing method and apparatus Download PDF

Info

Publication number
JP2006505024A
JP2006505024A JP2004505908A JP2004505908A JP2006505024A JP 2006505024 A JP2006505024 A JP 2006505024A JP 2004505908 A JP2004505908 A JP 2004505908A JP 2004505908 A JP2004505908 A JP 2004505908A JP 2006505024 A JP2006505024 A JP 2006505024A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
sample
data
metadata
multimedia data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2004505908A
Other languages
Japanese (ja)
Inventor
ヴィシャラム、モハメド、ズバイル
ウォーカー、トビー
タバタバイ、アリ
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data, processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Abstract

マルチメディアデータに関係する1つ以上の記述が特定され(図1)、マルチメディアデータに関連付けられる補足的拡張情報(SEI)に含められる(図24)。 One or more descriptions pertaining to multi-media data are identified (Figure 1), it is included in the Supplemental Enhancement Information associated with the multimedia data (SEI) (Figure 24). 記述を含むSEIは、後に、復号システムに送信され、マルチメディアデータの復号処理において、任意に使用される(図2)。 SEI containing the description later, is transmitted to the decoding system, the decoding of the multimedia data, are optionally used (Figure 2).

Description

関連出願 RELATED APPLICATIONS

この出願は、2002年4月29日に出願された米国特許仮出願番号60/376,651号及び2002年4月29日に出願された米国特許仮出願番号60/376,652号に関連し、これらに対する優先権を主張する。 This application is related to US Provisional Patent Application No. 60 / 376,652, filed in US Provisional Patent Application No. 60 / 376,651 Patent and April 29, 2002, which was filed on April 29, 2002 , claims priority to these. これらの文献は、引用により本願に援用される。 These documents are incorporated herein by reference. 更に、この出願は、2003年2月21日に出願された米国特許出願番号10/371.464号に関連する。 Further, this application is related to U.S. Patent Application No. 10 / 371.464, filed Feb. 21, 2003.

本発明は、マルチメディアファイル形式のオーディオビジュアルコンテンツのストレージ及び検索に関し、詳しくは、ISOメディアファイル形式と互換性があるファイルフォーマットに関する。 The present invention relates to a storage and retrieval of audiovisual content in a multimedia file format and, more particularly, to ISO media file format and file formats are compatible.

著作権表示/許諾 Copyright / license

この明細書の開示内容の一部は、著作権保護の対象となるマテリアルを含む。 A portion of the disclosure of this patent document contains material which is subject to copyright protection. 著作権所有者は、この明細書が特許商標庁への特許出願であると認められる複製に対しては異議を唱えないが、この他のあらゆる全ての著作権を主張する。 The copyright owner has this specification is not objection to the facsimile reproduction deemed a patent application for Patent and Trademark Office records, but otherwise reserves all copyright rights whatsoever. 以下の表示は、後述するソフトウェア及びデータ、並びに添付の図面に適用される。 The following notice applies to later-described software and data as well as the appended drawings. :著作権(c)2003:全ての著作権はソニーエレクトロニクスインク社に帰属する(Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved)。 : Copyright (c) 2003: All rights belong to Sony Electronics Inc. (Copyright (c) 2003, Sony Electronics, Inc., All Rights Reserved).

ネットワーク、マルチメディア、データベース及び他のデジタル容量に対する要求が急速に高まり、多くのマルチメディア符号化及びストレージ法が開発されている。 Network, multimedia, a request to the database and other digital capacity increases rapidly, many multimedia coding and storage methods have been developed. オーディオビジュアルのデータを符号化して、保存するためのよく知られているファイル形式の1つとして、アップルコンピーター社によって開発されたクイックタイムファイルフォーマットがある。 It encodes the audio-visual data, as one of the well known file formats for saving, there is a QuickTime file format developed by Apple Con Peter Corporation. クイックタイムファイルフォーマットは、国際標準化機構(International Organization for Standardization:以下、ISOという。)マルチメディアファイル形式ISO/IEC14496−12オーディオビジュアルオブジェクトの情報技術符号化−パート12(Multimedia file format, ISO/IEC 14496-12, Information Technology-Coding of audio-visual objects-Part 12)の基礎技術として用いられた。 QuickTime file format, the International Organization for Standardization (International Organization for Standardization:. Below, ISO hereinafter) multimedia file format ISO / IEC14496-12 information technology coding of audio-visual objects - Part 12 (Multimedia file format, ISO / IEC 14496 -12, was used as a basic technology for Information technology-Coding of audio-visual objects-Part 12). ISOメディアファイルフォーマット(ISOファイルフォーマットとも呼ばれる。)は、次のような2つの標準ファイルフォーマットのためのテンプレートとして用いられる。 (Also known as an ISO file format.) ISO media file format is used as a template for two standard file formats such as:. (1)モーションピクチャエキスパートグループ(MPEG)によって開発されたMP4と呼ばれる(ISO/IEC14496−14、情報技術、オーディオビジュアルオブジェクトの符号化、パート14(ISO/IEC 14496-14, Information Technology--Coding of audio-visual objects--Part 14):MP4ファイルフォーマット)MPEG−4ファイルフォーマット。 (1) it called MP4 developed by the motion picture experts group (MPEG) (ISO / IEC14496-14, Information Technology, coding of audiovisual objects, Part 14 (ISO / IEC 14496-14, Information Technology - Coding of audio-visual objects - Part 14): MP4 file format) MPEG-4 file format. (2)ジョイントフォトグラフィックエキスパートグループ(JPEG)によって開発されたJPEG2000(ISO/IEC15444−1)のためのファイルフォーマット。 (2) file format for JPEG2000 has been developed by the Joint Photographic Experts Group (JPEG) (ISO / IEC15444-1).

ISOメディアファイルフォーマットはボックス(アトム又はオブジェクトとも呼ばれる。)と呼ばれるオブジェクト指向構造によって構成される。 ISO media file format is constituted by an object-oriented structure called a box (., Also known as atoms or objects). 2つの重要なトップレベルのボックスは、メディアデータ又はメタデータを含んでいる。 Two important top-level box includes media data or metadata. ほとんどのボックスは、実際のメディアデータに関する、叙述的情報、構造的情報及び時間的情報を提供するメタデータの階層を記述する。 Most box, about the actual media data, descriptive information describes the hierarchy of metadata that provides structural information and temporal information. このボックスのコレクションは、ムービーボックスとして知られているボックスに含まれている。 Collection of this box is included in the box, which is known as a movie box. メディアデータ自体は、メディアデータボックス内に含まれていてもよく、外部に存在してもよい。 Media data itself may be contained in the media data box, it may be present outside. 特定のメディアデータに関して情報を提供するメタデータボックスの集団的な階層は、トラックと呼ばれる。 Collective hierarchy of the metadata box that provides information with respect to a particular media data is called a track.

主のメタデータは、ムービーオブジェクトである。 The main meta-data is a movie object. ムービーボックスは、時間的に表現されたメディアデータを記述するトラックボックスを含んでいる。 Movie box includes track box that describes the media data time representation. トラックのためのメディアデータには、様々な種類(例えば、ビデオデータ、オーディオデータ、バイナリ形式スクリーン表示(format screen representations:BIFS)等)がある。 The media data for the tracks, different types (e.g., video data, audio data, binary format screen display (format screen representations: BIFS), etc.) is. 各トラックは更にサンプル(アクセスユニット又はピクチャとも呼ばれる。)に分割される。 Each track is further divided into samples (also known as access units or pictures.). サンプルは、特定の時刻におけるメディアデータのユニットを表している。 Sample represents a unit of media data at a particular time. サンプルメタデータは、一組のサンプルボックスに含まれている。 Sample metadata is included in a set of sample boxes. 各トラックボックスは、各サンプルのための時間、バイトで表現される等を提供するボックスを含むサンプルテーブルボックスメタデータボックスを含んでいる。 Each track box, the time for each sample includes a sample table box metadata box containing a box offering the like in bytes. サンプルは、タイミング、位置及び他のメタデータ情報を表すことができる最も小さいデータ構成要素である。 Sample timing, the smallest data component that can represent the position and other metadata information. サンプルは、連続したサンプルの組を含むチャンクにグループ化できる。 Samples can be grouped into chunks including a set of consecutive samples. 各チャンクは、それぞれ異なるサイズを有していてもよく、異なるサイズのサンプルを含んでいてもよい。 Each chunk may have different sizes, respectively, may contain samples of different sizes.

近年、MPEGの国際電気通信連合(ITU)のビデオグループと画像符号化エキスパートグループ(VCEG)とは、ジョイントビデオチームとして(JVT)、ITU勧告H. Recently, the video group and the image coding Experts Group International Telecommunication Union MPEG (ITU) (VCEG), as Joint Video Team (JVT), ITU Recommendation H. 264又はMPEG4パート10、高度動画像符号化/復号標準(Advanced Video Codec:以下、AVCという。)又はJVTコーデックと呼ばれる新しい画像符号化/復号(コーデック)標準を開発するために共同標準化作業を始めた。 264 or MPEG4 Part 10, Advanced video encoding / decoding standard (Advanced Video Codec:. Hereinafter, AVC hereinafter) or JVT started joint standardization work to develop new image coding / decoding (CODEC) standard called codecs It was. これらの用語及びH. These terms and H. 264や、JVTや、AVC等の略語は、ここでは交換可能に用いる。 264 and, or JVT, abbreviations AVC, etc., here used interchangeably.

JVTコーデック設計では、画像符号化レイヤ(VCL)とネットワーク抽象化レイヤ(NAL)の2つの異なる概念的なレイヤを区別する。 The JVT codec design distinguished picture coding layer (VCL) and two different conceptual layers of a network abstraction layer (NAL). VCLは、動き補償や、係数の変換符号化や、エントロピ符号化等の符号化に関連するコーデックの部分を含んでいる。 VCL includes motion compensation and, and transform coding of coefficients, the portion of the codec related to the encoding of such entropy coding. VCLの出力はスライスであり、各スライスは、一連のマクロブロックと、関連するヘッダ情報とを含んでいる。 The output of the VCL is slices, each slice includes a series of macroblocks and associated header information. NALは、VCLデータを伝送するために用いられたトランスポートレイヤの詳細からVCLを抜き取る。 NAL is withdrawn VCL from the details of the transport layer used to transmit VCL data. VCLは、スライスより高いレベルの情報について、包括的な、伝送から独立した表現を定義する。 VCL, for a higher level of information than the slice, inclusive, defines a separate representation from transmission. NALは、ビデオコーデック自体と、外部世界とのインタフェースを定義する。 NAL defines a video codec itself, the interface with the outside world. 内部的には、NALは、NALパケットを用いる。 Internally, NAL uses NAL packets. NALパケットは、ペイロードのタイプを示すタイプフィールドと、ペイロード内のビットセットとを含んでいる。 NAL packet includes a type field indicating the type of payload, and a bit set in the payload. 単一のスライス内のデータは、更に異なるデータ部分に分割できる。 Data within a single slice can be further divided into different data portions.

多くの既存のビデオ符号化形式では、符号化されたストリームデータは、復号処理を制御するパラメータを含む様々な種類のヘッダを含んでいる。 In many existing video coding formats, stream data encoded includes various kinds of headers containing parameters that control the decoding process. 例えば、MPEG−2ビデオ規格は、シーケンスヘッダ、拡張されたグループオブピクチャ(group of pictures:以下、GOPという。)及びピクチャヘッダを、それらのアイテムに対応するビデオデータの前に設けている。 For example, MPEG-2 video standard, a sequence header, expanded group of pictures: a (group of pictures. Hereinafter referred GOP) and picture header is provided in front of the video data corresponding to those items. JVTでは、VCLデータを復号するために必要な情報は、パラメータセットにグループ化される。 In JVT, the information needed to decode VCL data is grouped into parameter sets. 各パラメータセットには、後にスライスからの参照情報として用いられる識別子が与えられている。 Each parameter set, an identifier to be used as reference information from the slice are given later. パラメータセットは、ストリーム内(帯域内)で送信する代わりに、ストリーム外(帯域外)で送信してもよい。 Parameter set, instead of transmitting in the stream (in-band) may be sent in the stream outside (band).

既存のファイルフォーマットは、符号化されたメディアデータに関連しているパラメータセットを保存する機能を有しておらず、また、パラメータセットを効率的に検索して、伝送できるように、効率的にメディアデータ(すなわち、サンプル又はサブサンプル)をパラメータセットにリンクするための機能も有していない。 Existing file format does not have the function of storing the parameter set associated with encoded media data, also searching for parameter set effectively, so that they can be transmitted efficiently media data (i.e., sample or sub-samples) nor a function for linking the parameter set.

ISOメディアファイルフォーマットにおいては、構文解析メディアデータを用いることなくアクセスできる最小単位は、サンプル、すなわちAVC全体である。 In ISO media file format, the smallest unit that can be accessed without using the parsing media data samples, i.e. an overall AVC. 多くの符号化フォーマットでは、サンプルは、更にサブサンプル(サンプルフラグメント又はアクセスユニットフラグメントとも呼ばれる。)と呼ばれるより小さい単位に分割できる。 In many coding format, the sample may be further divided into smaller units than called sub-sample (., Also known as sample fragments or access unit fragments). AVCでは、サブサンプルは、スライスに対応している。 In AVC, the sub-sample corresponds to a slice. しかしながら、既存のファイルフォーマットは、サンプルのサブパーツへのアクセスをサポートしていない。 However, the existing file format does not support access to the sample of sub-parts. ファイルに保存されたデータに基づき、ストリーミングのためのパケットを柔軟に生成する必要があるシステムでは、サブサンプルにアクセスできないと、ストリーミングのためのJVTメディアデータを柔軟にパケット化することができない。 Based on the data stored in the file, in a system that needs to be flexibly generate packets for streaming, inaccessible to sub-samples can not be flexibly packetize the JVT media data for streaming.

既存のストレージフォーマットでは、メディアデータをストリーミングする際のネットワーク状態の変化に応じて、異なる帯域幅で保存されたストリーム間を切り換えることに関する制約がある。 In existing storage format, in response to changes in network conditions when streaming media data, there are constraints on switching between stream stored in different bandwidths. 典型的なストリーミングのシナリオにおける主要な要求の1つは、ネットワーク状態の変化に応じて圧縮データのビット伝送速度をスケーリングすることである。 One of the key requirements in a typical streaming scenario is to scale the bit rate of the compressed data in response to changing network conditions. これは、通常、異なる帯域幅及び代表的なネットワーク状態のための品質設定を有する複数のストリームを符号化し、1つ以上のファイルにこれらを保存することによって実現される。 This is usually a plurality of streams with quality settings for different bandwidths and representative network conditions encoding is realized by storing them in one or more files. サーバは、ネットワーク状態に応じて、予め符号化されたこれらのストリームを切り換えることができる。 Server, depending on network conditions, it is possible to switch these streams previously encoded. 既存のファイルフォーマットでは、ストリームの切換は、先行するサンプルに依存することなくサンプルを再構築できる場合にのみ可能である。 The existing file format, the switching of a stream is possible only if it can re-build the sample without depending on previous samples. このようなサンプルは、Iフレームと呼ばれる。 Such sample is called an I-frame. 現在、先のサンプルに依存して再構築されるサンプル(すなわち、複数のサンプルを参照して再構築されるPフレーム又はBフレーム)の場合、ストリームの切換はサポートされていない。 Currently, the sample to be reconstructed depending on the previous sample (i.e., P-frame or B-frame is reconstructed with reference to the plurality of samples), the switching of the streams is not supported.

AVC規格は、ストリーム間の効率的な切換、ランダムアクセスと、エラー回復、及びこの他の特徴を提供する切換ピクチャ(switching picture)と呼ばれるツールを提供する(SIピクチャ及びSPピクチャと呼ばれる)。 AVC standard, efficient switching between streams, (referred to as SI pictures and SP pictures) and random access, error recovery, and to provide a tool called switching picture (switching picture) that provides this other features. 切換ピクチャは、再構築される値が切り換えようとしているピクチャと正確に等しい特別な種類のピクチャである。 Switching picture is a picture exactly the same special kind of picture values ​​to be reconstructed You are attempting to switch. 切換ピクチャは、対応するピクチャを予測するために用いられた参照ピクチャとは異なる参照ピクチャを用いることができ、この結果、I−フレームを用いるより効率的に符号化を行うことができる。 Switching picture can use different reference pictures and the reference picture used to predict corresponding pictures, this result, it is possible to efficiently encode than using I- frame. ファイルに保存された切換ピクチャを効率的に利用するためには、どのセットのピクチャが同等であるか及びどのピクチャが予測に用いられるかを知る必要がある。 In order to utilize the switching pictures stored in the file efficiently, it is necessary to know whether and which picture pictures which set is equal is used for prediction. 既存のファイルフォーマットでは、この情報は提供されず、したがって、この情報は、符号化されたを解析することによって、抽出する必要がある(このような処理は非効率的で時間がかかる)。 The existing file format, this information is not provided, therefore, this information by analyzing the coded, it is necessary to extract (such processing takes inefficient and time).

したがって、新しいビデオコード化規格によって提供される新しい能力に対応し、既存のストレージ方法における制約をなくすようにストレージ方法を改善することが望まれる。 Thus, corresponding to the new capabilities offered by the new video coding standards, it is desirable to improve the storage method to eliminate limitations in existing storage method.

マルチメディアデータに関係する1つ以上の記述が特定され、マルチメディアデータに関連付けられる補足的拡張情報(supplemental enhancement information:SEI)に含められる。 One or more descriptions pertaining to multi-media data are identified, supplemental enhancement information associated with the multimedia data: included in (supplemental enhancement information SEI). 記述を含むSEIは、後に、復号システムに送信され、マルチメディアデータの復号処理において、任意に使用される。 SEI containing the description later, is transmitted to the decoding system, the decoding of the multimedia data, are optionally used.

以下、添付の図面を用いて、本発明の実施例を詳細に説明する。 Hereinafter, with reference to the accompanying drawings, an embodiment of the present invention in detail. 添付の図面においては、類似する要素には、類似する参照符号を付す。 In the accompanying drawings, similar elements are given the reference numerals similar. 添付の図面は、本発明を実現する特定の実施例を例示的に示している。 The accompanying drawings, which exemplifies the specific embodiments for implementing the present invention. これらの実施例については、当業者が本発明を実施することができるよう、詳細に説明するが、この他の実施例も可能であり、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的及びこの他の変更を行うことができる。 For these examples, as those skilled in the art can implement the present invention will be described in detail, this other embodiment are possible, without departing from the scope of the present invention, logical, mechanical , electrical, may perform functions and the other changes. したがって、以下の詳細な説明は、限定的には解釈されず、本発明の範囲は、添付の請求の範囲によってのみ定義される。 The following detailed description is therefore, not to be taken in a limiting sense, the scope of the present invention is defined only by the appended claims.

概観 まず、本発明の動作の概観を説明するために、図1に符号化システム100の一実施例を示す。 Overview First, in order to explain the overview of the operation of the present invention, showing an embodiment of an encoding system 100 in FIG. 符号化システム100は、メディアエンコーダ104、メタデータ生成器106及びファイル作成器(file creator)108を備える。 Encoding system 100 includes a media encoder 104, a metadata generator 106 and a file creator (file creator) 108. メディアエンコーダ104は、例えば、ビデオデータ(例えば、自然映像(natural source video scene)と他の外部の映像オブジェクトから作成されたビデオオブジェクト)、音声データ(例えば、自然音声(natural source audio scene)及び他の外部のオーディオオブジェクトから作成された音声オブジェクト)、合成オブジェクト、又はこれらの任意の組合せ組合せを含むメディアデータを受け取る。 Media encoder 104, for example, video data (e.g., natural images (natural source video scene) and video objects created from other external video objects), audio data (e.g., natural speech (natural source audio scene) and other external audio objects created from the audio objects), the composite object, or receive media data including any combination thereof combining. メディアエンコーダ104は、様々な種類のメディアデータを処理するために、複数の別個のエンコーダを備えていてもよく、サブエンコーダを備えていてもよい。 Media encoder 104 in order to process various types of media data may comprise a plurality of separate encoder may be provided with a sub-encoder. メディアエンコーダ104は、メディアがデータを符号化して、メタデータ生成器106に渡す。 Media encoder 104 media encodes the data and passes it to the metadata generator 106. メタデータ生成器106は、メディアファイルフォーマットに基づいて、メディアデータに関する情報を提供するメタデータを生成する。 Metadata generator 106, based on the media file format, generates metadata that provides information about the media data. メディアファイルフォーマットは、ISOメディアファイルフォーマット(又は、これに由来するMPEG−4、JPEG2000等)、クイックタイム、又は他の任意のメディアファイルフォーマットに基づいていてもよく、幾つかの追加的データ構造を含んでいてもよい。 Media file format, ISO media file format (or, MPEG-4, JPEG2000, etc. derived therefrom), QuickTime, or other may be based on any media file format, the number of additional data structures it may comprise. 一実施例では、メディアデータ内においてサブサンプルに関係するメタデータを保存するための追加的データ構造を定義する。 In one embodiment, to define additional data structures for storing metadata pertaining to sub-samples in the media data. 他の実施例においては、従来ではメディアデータに保存されていた復号情報を含んでいる対応するパラメータセットにメディアデータの部分(例えば、サンプル又はサブサンプル)をリンクするメタデータを保存するための追加的データ構造を定義する。 In other embodiments, additional to store metadata that links portions of the media data (e.g., sample or sub-sample) to a corresponding parameter set contains decryption information that was stored in the media data in the conventional to define a data structure. 更に他の実施例ではメディアデータ内のサンプルの相互依存性に基づいて作成された、メタデータデータ内のサンプルの様々なグループに関係するメタデータを保存するための追加的データ構造を定義する。 In yet another embodiment which is created based on the interdependence of the sample in the media data, defining additional data structures for storing metadata relating to different groups of samples in the metadata data. 更に他の実施例では、メディアデータに関連している切換サンプルセット(switch sample set)に関係するメタデータを保存するための追加的データ構造を定義する。 In yet another embodiment, it defines the additional data structures for storing metadata pertaining to switch sample set (switch sample set) associated with the media data. 切換サンプルセットとは、同じ復号値を有するが、異なるサンプルに依存していてもよいサンプルの組を指す。 The switch sample set that have the same decoded value, refers to a set of good example be dependent on the different samples. 更に他の実施例では、使用されているファイルフォーマットにおいて、追加的データ構造の様々な組合せを定義する。 In yet another embodiment, the file format used to define various combinations of additional data structures. これらの追加的データ構造とその機能については、後に詳細に説明する。 And their function these additional data structure, will be described in detail later.

ファイル作成器108は、符号化されたメディアデータとメタデータを保存する。 File creator 108 stores the media data and metadata encoded. 一実施例では、符号化されたメディアデータと関係するメタデータ(例えば、サブサンプルメタデータ、パラメータセットメタデータ、グループサンプルメタデータ又は、切換サンプルメタデータ)は、同じファイルに保存される。 In one embodiment, the metadata (e.g., sub-sample metadata, the parameter set metadata, the group sample metadata or switch sample metadata) associated with encoded media data is stored in the same file. このファイルの構造は、メディアファイルフォーマットによって定義されている。 The structure of this file is defined by the media file format.

他の実施例においては全ての種類又は幾つか種類のメタデータは、メディアデータとは別個に保存される。 All types or some type of metadata in other embodiments is stored separately from the media data. 例えば、パラメータセットメタデータをメディアデータとは別個に保存してもよい。 For example, the parameter set metadata may be stored separately from the media data. 具体的には、ファイル作成器108は、符号化されたメディアデータのファイルを作成するメディアデータファイル作成器114と、メタデータのファイルを作成するメタデータファイル作成器112と、対応するメタデータとメディアデータを同期させるシンクロナイザ116とを備えていてもよい。 Specifically, file creator 108, a media data file creator 114 for creating a file of encoded media data, and metadata file creator 112 for creating a file of metadata and the corresponding metadata it may include a synchronizer 116 for synchronizing media data. メタデータを別個に保存する手法及びこれらのメタデータとメディアデータとの同期については、後により詳細に説明する。 Method to store metadata separately and for the synchronization between these metadata and media data will be described in more detail below.

一実施例において、メタデータファイル作成器112は、メディアデータから独立して保存されたメタデータとして、メディアデータに関連付けられた補足的拡張情報(supplemental enhancement information:以下、SEIという。)メッセージを保存する。 In one embodiment, the metadata file creator 112 as the metadata stored independently of the media data, supplemental enhancement information associated with the media data: store (supplemental enhancement information hereinafter referred SEI.) Message to. SEIデータがなくても、復号処理を行うことができるので、デコーダは、SEIデータを使用する必要はない。 Even without SEI data, it is possible to perform the decoding process, the decoder does not need to use the SEI data. 一実施例では、SEIメッセージは、メディアデータの記述を含ませるために使用される。 In one embodiment, SEI message is used to contain a description of media data. この記述は、MPEG−7規格に従って定義され、記述子と記述スキームから構成される。 This description is defined according to MPEG-7 standard, composed of descriptors and description schemes. 記述子は、オーディオビジュアルのコンテンツの特徴を表し、各特徴の表現の構文ととセマンティクスを定義する。 Descriptor represents characteristics of the content of audiovisual defines the syntax and the semantics of representation of each feature. 記述子の具体例としては、カラー記述子、テクスチャ記述子、動き記述子等がある。 Specific examples of the descriptor, a color descriptor, a texture descriptor, and the like motion descriptor. 記述スキーム(Description scheme:DS)は、それらのコンポーネントの間の関係の構造とセマンティクスを特定する。 Description scheme (Description scheme: DS) specifies the structure and semantics of the relationship between these components. これらのコンポーネントとは、記述子と記述スキームのいずれであってもよい。 And these components may be any of the descriptors and description schemes. この記述を用いることにより、メディアデータが復号された後のメディアデータの検索性と視覚的性能が向上する。 By using this description, improved searchability and visual performance of the media data after the media data is decoded. SEIメッセージのオプションの性質のため、デコーダがSIEメッセージを使用するための特定の能力と特定の構成を備えていない場合、そのデコーダは、SEIメッセージの使用を強制されるわけではないので、SEIメッセージに記述を含めても、復号処理に悪い影響はない。 For optional nature of SEI message, if the decoder does not have a particular configuration and specific ability to use the SIE message, the decoder, since not be forced to use the SEI message, SEI message be included in the description to, there is no bad effect on the decoding process. SEIメッセージのメタデータとしての保存については、後により詳細に説明する。 For storage of the metadata SEI message will be described in more detail below. ファイル作成器108によって作成されたファイルは、チャンネル110を介して保存し又は伝送することができる。 File created by the file creator 108 may be stored or transmitted via a channel 110.

図2は、復号システム200の一実施例を示している。 Figure 2 shows an embodiment of a decoding system 200. 復号システム200は、メタデータ抽出器204、メディアデータストリームプロセッサ206、メディアデコーダ210、合成器(compositor)212及びレンダリング器(renderer)214を備える。 Decoding system 200 includes a metadata extractor 204, a media data stream processor 206, media decoder 210, the combiner (compositor) 212 and renderer (renderer) 214. 復号システム200をクライアント機器内に設け、ローカルな再生に用いてもよい。 Provided decoding system 200 in the client device may be used for local playback. これに代えて、復号システム200は、データのストリーミングに用いてもよく、ネットワーク(例えば、インターネット)208を介して互いに通信を行うサーバ機器及びクライアント機器を備えていてもよい。 Alternatively, the decoding system 200 may be used for streaming data, the network (e.g., Internet) 208 may include a server device and a client device communicate with each other through a. サーバ機器は、メタデータ抽出器204とメディアデータストリームプロセッサ206を備えていてもよい。 The server device may comprise a metadata extractor 204 and the media data stream processor 206. クライアント機器は、メディアデコーダ210、合成器212及びレンダリング器214を備えていてもよい。 The client device may comprise a media decoder 210, synthesizer 212 and a rendering unit 214.

メタデータ抽出器204は、データベース216に保存されている又は(例えば符号化システム100から)ネットワークを介して受信したファイルからメタデータを抽出する機能を担う。 Metadata extractor 204 performs a function of extracting metadata from a file received via a network or stored (e.g., from the encoding system 100) in the database 216. このファイルは、抽出されるメタデータに関連しているメディアデータを含んでいてもよく、含んでいなくてもよい。 This file may contain media data associated with the metadata to be extracted may not include. ファイルから抽出されたメタデータは、上述した追加的データ構造の1つ以上を含んでいる。 Metadata extracted from the file includes one or more additional data structure described above.

抽出されたメタデータは、メディアデータストリームプロセッサ206に渡される。 Metadata extracted is passed to the media data stream processor 206. このメディアデータストリームプロセッサ206は、関連する符号化されたメディアデータも受け取る。 The media data stream processor 206 also receives media data associated encoded. メディアデータストリームプロセッサ206は、メタデータを用いて、メディアデータストリームを生成し、これをメディアデコーダ210に供給する。 Media data stream processor 206 uses metadata to generate a media data stream, and supplies it to the media decoder 210. 一実施例では、メディアデータストリームプロセッサ206は、(例えば、パケット化のために)サブサンプルに関係するメタデータを用いて、メディアデータ内のサブサンプルの位置を特定する。 In one embodiment, the media data stream processor 206 (e.g., for packetization) uses metadata pertaining to sub-sample, to identify the position of the sub-samples in the media data. 他の実施例においては、メディアデータストリームプロセッサ206は、パラメータセットに関係するメタデータを用いて、メディアデータの一部を対応するパラメータセットにリンクさせる。 In other embodiments, the media data stream processor 206 uses metadata pertaining to parameter set, to link a portion of the media data to the corresponding parameter set. 更に他の実施例では、メディアデータストリームプロセッサ206は、メタデータを用いて、所定のグループ内のサンプルにアクセスするために、メタデータ内のサンプルの様々なグループを定義する(例えば、スケーラビリティのために、伝送条件に応じて、他のサンプルが依存していないサンプルのグループを除外して伝送ビットレートを低減する)。 In yet another embodiment, the media data stream processor 206 uses the metadata to access samples in a given group, to define the different groups of samples within the metadata (e.g., for scalability to, to reduce the transmission bit rate, the other samples by excluding the group of samples that do not depend according to the transmission conditions). 更に他の実施例では、メディアデータストリームプロセッサ206は、切換サンプルセットを定義するメタデータを用いて、切り換えるべきサンプルであって、導出されるサンプルが依存するサンプルに依存しないサンプルと同じ復号値を有する切換サンプルを特定する(例えば、Pフレーム又はBフレームにおいて、異なるビットレートを有するストリームへの切換を可能にする)。 In yet another embodiment, the media data stream processor 206 uses metadata that defines switch sample set, a sample to be switched, the same decoding value as the sample sample derived does not depend on the sample depends identifying a switch sample with (e.g., in a P frame or B frame, to allow switching to the stream with a different bit rate).

作成されたメディアデータストリームは、直接(例えば、ローカル再生のために)又はネットワーク208を介して(例えばデータのストリーミングのために)、メディアデコーダ210に供給され、復号される。 Media data streams are created, directly or via a network 208 (e.g., for local playback) (e.g. for data streaming), it is fed to the media decoder 210 and decoded. 合成器212は、メディアデコーダ210の出力を受け取ってシーンを合成(compose)し、合成されたシーンは、ユーザディスプレイ装置内のレンダリング器214によってレンダリングされる。 Synthesizer 212 synthesizes a scene (compose) receives the output of the media decoder 210, the synthesized scenes are rendered by the rendering unit 214 in the user display device.

以下に示す図3を参照した説明は、本発明の実施に適したコンピュータハードウェア及び他の操作コンポーネントに関する概要を明らかにするためのものであるが、これは、適用可能な環境を制限するものではない。 What the description given with reference to FIG. 3 described below, but is intended to clarify an overview of computer hardware and other operating components suitable for implementing the present invention, which is to limit the applicable environments is not. 図3は、図1に示すメタデータ生成器106及び/又はファイル作成器108、又は図2に示すメタデータ抽出器204及び/又はメディアデータストリームプロセッサ206の実現に好適なコンピュータシステムを示している。 Figure 3 illustrates a preferred computer system to implement the metadata generator 106 and / or the file creator 108, or metadata extractor 204 and / or media data stream processor 206 shown in FIG. 2 shown in FIG. 1 .

コンピュータシステム340は、それぞれがシステムバス365に接続されたプロセッサ350と、メモリ355と、入出力装置(input/output capability)360とを備える。 Computer system 340 includes a processor 350, each connected to the system bus 365, a memory 355, and input and output devices (input / output capability) 360. メモリ355は、プロセッサ350によって実行されることにより、ここに説明する処理を実現する命令を格納するよう構成されている。 Memory 355, by being executed by the processor 350, is configured to store instructions to implement the processing described herein. 入出力装置360は、プロセッサ350によってアクセス可能なあらゆる種類のストレージ装置を含む、様々な種類の、コンピュータにより読取可能な媒体を含んでいる。 Output device 360 ​​includes any type of storage device accessible by the processor 350, various types includes a computer readable medium. なお、「コンピュータにより読取可能な媒体」という用語は、デジタル信号がエンコードされた搬送波をも含むことは、当業者にとって明らかである。 Incidentally, the term "computer readable storage medium" means that the digital signal including the encoded carrier will be apparent to those skilled in the art. コンピュータシステム340は、メモリ355において実行されるオペレーティングシステムソフトウェアによって制御される。 Computer system 340 is controlled by an operating system software executing in memory 355. 入出力装置360及びこれに関連する媒体は、このオペレーティングシステムソフトウェアと、本発明に基づく処理とに関する命令と、アクセスユニットとを格納している。 Output device 360 ​​and media related thereto, are stored and the operating system software, the instructions for a process according to the present invention, an access unit. 図1及び図2に示すメタデータ生成器106、ファイル作成器108、メタデータ抽出器204及びメディアデータストリームプロセッサ206は、プロセッサ350に接続されたそれぞれ独立した要素であってもよく、プロセッサ350によって実行される、コンピュータにより実行可能な命令として実現してもよい。 Metadata generator 106 shown in FIGS. 1 and 2, file creator 108, the metadata extractor 204 and the media data stream processor 206 may be independent elements that are connected to the processor 350, the processor 350 is executed, it may be implemented as executable instructions by a computer. 一実施例においては、コンピュータシステム340は、インターネットサービスプロバイダ(Internet Service Provider:以下、ISPという。)の一部であってもよく、或いは、入出力装置360を介してISPに接続され、インターネットを介してアクセスユニットを送受信してもよい。 In one embodiment, the computer system 340, Internet Service Provider: may be part of (Internet Service Provider. Hereinafter referred ISP), or is connected to the ISP via the input device 360, the Internet You may receive an access unit through. なお、本発明は、インターネットアクセス及びインターネットウェブサイトに限定されるものではなく、直接接続されたコンピュータシステム及びプライベートネットワークに適用してもよいことは明らかである。 The present invention is not limited to Internet access and Internet web sites, it is clear that it may be applied directly connected computer systems and private networks.

なお、コンピュータシステム340は、異なるアーキテクチャを有する様々な可能なコンピュータシステムの一例に過ぎないことは明らかである。 The computer system 340, it is clear that only one example of many possible computer systems that have different architectures. 一般的なコンピュータシステムは、少なくともプロセッサと、メモリと、及びプロセッサとメモリを接続するバスとを備えている場合が多い。 Typical computer system includes at least a processor, memory, and in many cases and a bus for connecting the processor and memory. なお、本発明は、マルチプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ等を含む、他のコンピュータシステム構成によっても実現できることは当業者にとって明らかである。 The present invention is a multiprocessor system, minicomputers, including mainframe computers and the like, can be practiced with other computer system configurations will be apparent to those skilled in the art. 更に、本発明は、通信ネットワークを介してリンクされたリモートの処理装置によってタスクが実行される分散型コンピュータシステム環境によっても実現することができる。 Furthermore, the present invention is by remote processing devices that are linked through a communications network may also be practiced in distributed computing environments where tasks are performed.

サブサンプルのアクセス可能性(Sub-Sample Accessibility) Subsample of accessibility (Sub-Sample Accessibility)
図4及び図5は、それぞれ符号化システム100及び復号システム200において実行されるサブサンプルメタデータの保存及び検索のための処理の具体例を示している。 4 and 5 show a specific example of the processes for storing and retrieving sub-sample metadata to be executed in the encoding system 100 and decoding system 200 respectively. この処理は、ハードウェア(例えば回路、専用ロジック等)、ソフトウェア(汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア)又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both. ソフトウェアによって実現できる処理については、これらのフローチャートを用いて本発明を説明することにより、当業者は、適切に構成されたコンピュータによってこの処理を実行するための命令を含むプログラムを開発することができる(コンピュータのプロセッサは、メモリを含むコンピュータにより読取可能な媒体から命令を読み出し、実行する)。 For software-implemented processes, by describing the present invention with reference to the flow charts, those skilled in the art will be able to develop such programs including instructions to carry out the processes on suitably configured computers (the processor of the computer reads an instruction from the computer readable storage medium containing a memory, executes). コンピュータにより実行可能な命令は、コンピュータプログラミング言語として書いてもよく、ファームウェアロジックとして実現してもよい。 Computer-executable instructions may be written as a computer programming language, it may be implemented as firmware logic. 一般的に認知されている規格に準拠するプログラミング言語で書いた場合、このような命令は、様々なオペレーティングシステムにインタフェースされ、様々な種類のハードウェアプラットホームで実行できる。 If written in a programming language conforming to a recognized standard, such instructions can be interfaced to a variety of operating systems can run on a variety of hardware platforms. 更に、本発明では、如何なる特定のプログラミング言語にも基づくことなく、本発明を説明する。 Further, in the present invention, without to any particular programming language, the present invention will be described. ここに開示する本発明の処理を実現するために、様々なプログラミング言語を用いてることができることは明らかである。 In order to realize the process of the present invention disclosed herein, it is apparent that it is possible that using a variety of programming languages. 更に、当分野においては、動作を行い又は結果を生じるものとして、ソフトウェアを様々な呼び方で呼ぶことがある(例えば、プログラム、手続き、プロセス、アプリケーション、モジュール、ロジック等)。 Further, in the art, as causing the performed or the result an operation may be referred software in a variety of call it (e.g., program, procedure, process, application, module, logic, etc.). これらの表現は、コンピュータによるソフトウェアの実行によって、コンピュータのプロセッサが動作を実行し又は結果を生じるということを単に簡略的に表現しているに過ぎない。 These expressions, the execution of the software by a computer, merely merely a shorthand way of saying that the processor of the computer produce or result executing the operation. また、本発明の範囲から逸脱することなく、図4及び図5に示す処理ステップを省略してもよく、他のステップを追加してもよく、更に、ここで説明する処理ステップの実行順序を変更してもよい。 Further, without departing from the scope of the present invention may omit the process steps shown in FIGS. 4 and 5, may be added other steps, further, the order of execution of the process steps described herein it may be changed.

図4は、符号化システム100において、サブサンプルメタデータを作成する処理400の一実施例を示すフローチャートである。 Figure 4 is the coding system 100, is a flow chart diagram of one embodiment of a method 400 for creating a sub-sample metadata. まず、処理400は、処理ロジックが符号化されたメディアデータを含むファイルを受け取る(処理ブロック402)ことによって開始される。 First, process 400, processing logic begins by receiving a file containing the encoded media data (processing block 402). 次に、処理ロジックは、メディアデータ内のサブサンプルの境界を特定する情報を抽出する(処理ブロック404)。 Next, processing logic extracts information identifying a boundary between the sub-samples in the media data (processing block 404). 用いられているファイルフォーマットに応じて、時間的属性を与えることができるデータストリームの最小単位は、サンプル(ISOメディアファイルフォーマット又はクイックタイムにおいて定義されている)、アクセスユニット(MPEG−4において定義されている)又はピクチャ(JVTにおいて定義されている)等と呼ばれる。 Depending on the used file format, the smallest unit of data streams that can provide a temporal attribute (as defined in ISO media file format or Quicktime) samples, is defined in the access unit (MPEG-4 and are) or called picture (as defined in the JVT) or the like. サブサンプルは、サンプルのレベルより下位のデータストリームの連続する部分を表す。 Sub samples represent successive portions of the lower data stream from the level of the sample. サブサンプルの定義は、符号化フォーマットに依存するが、包括的に言えば、サブサンプルとは、単一のエンティティ又はサブユニットの組合せとして復号でき、サンプルの部分的な再構築を可能にする、サンプルの重要なサブユニットである。 Defining sub-sample depends on the coding format, speaking generically, a sub-sample can decode as a combination of a single entity or sub-unit, to enable partial reconstruction of the sample, it is an important sub-unit of the sample. また、サブサンプルは、アクセスユニットフラグメントとも呼ばれる。 Further, sub-sample is also referred to as access unit fragment. サブサンプルは、多くの場合、サンプルのデータストリームの部分(division)を表すので、各サブサンプルは、同じサンプル内の他のサブサンプルに対して依存関係をほとんど又は全く有していない。 Subsample often since they represent a part of the sample data stream (division), each sub-sample has little or no dependencies on other sub-samples within the same sample. 例えば、JVTでは、サブサンプルは、NALパケットである。 For example, the JVT, a sub-sample is NAL packet. 同様に、MPEG−4ビデオでは、サブサンプルは、ビデオパケットである。 Similarly, in MPEG-4 video, sub-samples are video packets.

一実施例では、符号化システム100は、上述のように、JVTにおいて定義されているネットワーク抽象化レイヤで動作する。 In one embodiment, the encoding system 100, as described above, operate in a Network Abstraction Layer as defined in JVT. JVTメディアデータストリームは、一連のNALパケットから構成され、各NALパケット(また、NALユニットと呼ばれる)は、ヘッダ部とペイロード部分を含んでいる。 JVT media data stream consists of a series of NAL packets, each NAL packet (also called NAL unit) includes a header portion and a payload portion. ある種のNALパケットは、各スライスについて符号化されたVCLデータ又は1つのスライスの単一のデータ分割を格納するために用いられる。 Certain NAL packet is used to store a single data division coded VCL data or one slice for each slice. 更に、NALパケットは、SEIメッセージを含む情報パケットであってもよい。 Furthermore, NAL packet may be an information packet containing the SEI message. JVTでは、サブサンプルは、ヘッダとペイロードの両方を有する完全なNALパケットであってもよい。 In JVT, a sub-sample can be a complete NAL packet with both header and payload.

処理ブロック406において、処理ロジックは、メディアデータ内のサブサンプルを定義するサブサンプルメタデータを作成する。 At processing block 406, processing logic creates a sub-sample metadata that defines sub-samples in the media data. 一実施例では、サブサンプルメタデータは、予め定義されたデータ構造の組(例えば、一組のボックス)として組織化される。 In one embodiment, the sub-sample metadata is organized as a predefined data structures set (e.g., a set of boxes). 予め定義されたデータ構造の組には、各サブサンプルのサイズに関する情報を含むデータ構造、各サンプルのサブサンプルの総数に関する情報を含むデータ構造、各サブサンプルを説明する情報(例えば、何がサブサンプルとして定義されているか)を含むデータ構造、各チャンク内のサブサンプルの総数に関する情報を含むデータ構造、各サブサンプルの優先順位に関する情報を含むデータ構造、又はサブサンプルに関係する任意のデータを含む他のデータ構造を含めることができる。 The set of predefined data structures, data structures containing information about the size of each sub-sample, data structures containing information about the total number of sub-samples of each sample, information describing each sub-sample (e.g., what is sub data structure including one) is defined as a sample data structure containing information about the total number of sub-samples in each chunk, data structures containing information about the priority of each sub-sample, or any data related to the sub-sample other data structures, including can contain.

次に、一実施例において、処理ロジックは、データの繰り返しシーケンス(repeated sequence of data)を含むデータ構造が存在するか否かを判定する(デシジョンボックス408)。 Next, in one embodiment, processing logic determines whether the data structure contains a repeated sequence of data (Repeated sequence of data) is present (decision box 408). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンス出現への参照情報(a reference to a sequence occurrence)及び繰り返しシーケンスの出現回数を表す情報に変換する(処理ブロック410)。 If the result of this determination is affirmative, the processing logic converts the information representing the number of occurrences of the reference information (a reference to a sequence occurrence) and repeating sequence of each repeat sequence to the sequence appearance of data (processing block 410).

次に、処理ブロック412において、処理ロジックは、特定のメディアファイルフォーマット(例えば、JVTファイルフォーマット)を用いて、メディアデータに関連するファイルの中にサブサンプルメタデータを含める。 Next, at processing block 412, processing logic specific media file format (e.g., JVT file format) using, include sub-sample metadata into a file associated with media data. メディアファイルフォーマットにより、サブサンプルメタデータは、サンプルメタデータとともに保存してもよく(例えば、サンプルデータ構造を含むサンプルテーブルボックスにサブサンプルデータ構造を含むことができる)、サンプルメタデータとは別に保存してもよい。 The media file format, the sub-sample metadata may be stored with sample metadata (e.g., can include a sub-sample data structures in the sample table box containing sample data structures), kept separately from the sample metadata it may be.

図5は、復号システム200においてサブサンプルメタデータを利用するための処理500の一具体例のフローチャートである。 Figure 5 is a flow diagram of one embodiment of a process 500 for utilizing sub-sample metadata at the decoding system 200. まず、処理500は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック502)。 First, process 500, processing logic begins by receiving a file associated with encoded media data (processing block 502). ファイルは、データベース(ローカル又は外部の)、符号化システム100又はネットワーク上の他の如何なる機器から供給してもよい。 File, database (local or external), may be supplied from any other device on the encoding system 100 or network. ファイルは、メディアデータ内のサブサンプルを定義するサブサンプルメタデータを含んでいる。 The file includes the sub-sample metadata that defines sub-samples in the media data.

次に、処理ロジックは、ファイルからサブサンプルメタデータを抽出する(処理ブロック504)。 Next, processing logic extracts the sub-sample metadata from the file (processing block 504). 上述のように、サブサンプルメタデータは、データ構造の組(例えば、一組のボックス)に保存してもよい。 As described above, the sub-sample metadata, the data structure set (e.g., a set of boxes) may be stored in.

更に、処理ブロック506において、処理ロジックは、抽出されたメタデータを用いて、(同じファイル又は異なるファイルに保存されている)符号化されたメディアデータのサブサンプルを特定し、メディアデコーダに供給するために、複数のサブサンプルを結合してパケットを生成し、これにより、ストリーミングのためのメディアデータの柔軟なパケット化が可能となる(例えば、エラー回復、スケーラビリティ等をサポートできる)。 Furthermore, at processing block 506, processing logic uses the extracted metadata to identify sub-samples of the media data (the same file or different files are stored) encoded, and supplies to the media decoder for, it generates a packet by combining the plurality of sub-samples, thereby, the flexible packets of the media data for streaming is enabled (e.g., error recovery, can support scalability, etc.).

以下、拡張ISOメディアファイルフォーマット(拡張MP4と呼ばれる)に基づいて、サブサンプルメタデータ構造の具体例について説明する。 Hereinafter, based on an extended ISO media file format (referred to as an extended MP4), illustrating a specific example of the sub-sample metadata structures. なお、他のメディアファイルフォーマットを拡張して、サブサンプルメタデータを保存するための同様のデータ構造を組み込むことができることは当業者にとって明らかである。 Note that extends another media file format, it can be incorporated similar data structures for storing sub-sample metadata will be apparent to those skilled in the art.

サブサンプルを含む拡張MP4メディアストリームモデルを図6に示す。 Extended MP4 media stream model including sub-samples are shown in FIG. プレゼンテーションデータ(例えば、同期されたオーディオ及びビデオを含むプレゼンテーション)は、ムービー602として表されている。 Presentation data (e.g., a presentation containing synchronized audio and video) is represented as a movie 602. ムービー602は、一組のトラック604を含む。 Movie 602 includes a set of tracks 604. 各トラック604は、メディアデータストリームを表している。 Each track 604 represents a media data stream. 各トラック604は、サンプル606に分割される。 Each track 604 is divided into the sample 606. 各サンプル606は、特定の時刻におけるメディアデータのユニットを表している。 Each sample 606 represents a unit of media data at a particular time. サンプル606は、更にサブサンプル608に分割される。 Sample 606 is further divided into sub-samples 608. JVT規格では、サブサンプル608は、NALパケット又は単一のピクチャのスライス、複数のデータ部分を含むスライスの1つのデータ部分、帯域内パラメータセット又はSEI情報パケット等のユニットを表すことができる。 In the JVT standard, sub-sample 608 may represent NAL packet or a single slice of the picture, one of the data portion of a slice including a plurality of data portions, a unit such as the parameter set or SEI information packet bandwidth. これに代えて、サブサンプル606は、例えば、メディアにおける空間的領域又は時間的領域を表すコードデータ等、サンプルにおける他の如何なる構造的要素を表していてもよい。 Alternatively, sub-sample 606, for example, code data or the like representing the spatial domain or time regions in the media, may represent any other structural elements in the sample. 一実施例においては、何らかの構造的基準又は意味的基準に基づく、符号化されたメディアデータの如何なる部分もサブサンプルとして扱うことができる。 In one embodiment, based on some structural criteria or semantic criteria, any portion of the encoded media data may also be handled as sub-sample.

トラック拡張ボックスは、トラックフラグメントにおけるサンプルを特定するためにムービーフラグメントが使用されている場合、各サンプルの所要時間とサイズに関する情報を提供し、各サンプルの劣化優先順位(degradation priority)及び他のサンプル情報を指定するために用いられる。 Track expansion box, when movie fragments to identify samples in the track fragment is used, provides information about the duration and size of each sample, degradation priority (degradation priority) of each sample and other sample It is used to specify information. 劣化優先順位とは、サンプルの重要度を定義し、すなわち、(例えば、伝送時の損失のため)そのサンプルが失われた場合、映像の品質にどのような影響があるかを示している。 The degradation priority defines the importance of the sample, i.e., it indicates how (for example, due to loss during transmission) if the sample has been lost, there is what effect the quality of the video. 一実施例においては、トラック拡張ボックスは、トラックフラグメントボックス内のサブサンプルのデフォルト情報を含むように拡張される。 In one embodiment, the track expansion box is extended to include the default information of the sub-samples in the track fragment box. この情報は、例えば、サブサンプル記述のサブサンプル記述への参照情報とを含むことができる。 This information can, for example, and a reference information to the sub-sample description of sub-sample description.

トラックは、複数のフラグメントに分割できる。 Tracks may be divided into multiple fragments. 各フラグメントは、0個以上の連続するサンプルのランを含むことができる。 Each fragment may contain a run of zero or more consecutive samples. トラックフラグメントランボックスは、トラックフラグメント内のサンプルを特定し、トラックフラグメントに保存されたサンプルに関するトラックフラグメントのそれぞれのサンプルの所要時間とサイズに関する情報及びこの他の情報を提供する。 Track Fragment Run Box identifies a sample of the track fragment, to provide a required time information and the other information about the size of each sample of the track fragment regarding the stored samples in the track fragment. トラックフラグメントヘッダボックスは、トラックフラグメントランボックスにおいて用いられるデフォルトデータ値を特定する。 Track fragment header box identifies the default data values ​​used in the track fragment run box. 一実施例では、トラックフラグメントランボックス及びトラックフラグメントヘッダボックスは、トラックフラグメント内のサブサンプルに関する情報を含むように拡張される。 In one embodiment, the track fragment run box and track fragment header box is expanded to include information about the sub-samples in the track fragment. トラックフラグメントランボックス内の拡張された情報としては、例えば、各サンプルのトラックフラグメントに保存されたサブサンプルの数、各サブサンプルのサイズ、サブサンプル記述への参照情報、一組のフラグ等を含めることができる。 The extended information in the track fragment run box, for example, include the number of samples of the sub-samples stored in the track fragment, the size of each sub-sample, references to sub-sample description, a set of flags be able to. 一組のフラグにより、トラックフラグメントがサンプルのチャンク又はサブサンプルにメディアデータを保存するか否か、サブサンプルデータがトラックフラグメントランボックスに存在しているか否か、各サブサンプルが、トラックフラグメントランボックス内にサイズデータ及び/又は記述参照情報データを有しているか否か等を示すことができる。 By a set of flags, whether tracks fragment store media data to a sample of chunks or sub-samples, whether sub-sample data is present in the track fragment run box, each sub-sample, the track fragment run box It may indicate whether such has a size data and / or description reference information data within. トラックフラグメントヘッダボックスの拡張情報は、例えば、各サブサンプルが、サイズデータ及び/又は記述参照データを提供しているか否かを示すフラグのデフォルト値等の情報を含むことができる。 Extended information track fragment header box, for example, each sub-sample, can include information for the default value or the like of a flag indicating whether to provide size data and / or description reference data.

サブサンプルメタデータを保存するためのデータ構造の具体例を図7A〜図7Lに示す。 Specific examples of data structures for storing sub-sample metadata shown in FIG 7A~ Figure 7L.

図7Aに示すように、ISOメディアファイルフォーマットによって定義されたサンプルメタデータボックスを含むサンプルテーブルボックス700は、サブサンプルサイズボックス(sub-sample size box)702、サブサンプル記述関連付けボックス(sub-sample description association box)704、サブサンプル−サンプルボックス(sub-sample to sample box)706、サブサンプル記述ボックス(sub-sample description box)708等のサブサンプルアクセスボックスを含むように拡張される。 As shown in FIG. 7A, ISO sample table box 700 that contains sample metadata boxes defined by the media file format, the sub-sample size box (sub-sample size box) 702, sub-sample description association box (sub-sample description association box) 704, sub-sample - sample box (sub-sample to sample box) 706, is extended to include the sub-sample description box (sub-sample description box) 708 and the like of the sub-sample access box. 一実施例では、サブサンプルアクセスボックスは、サブサンプル−チャンク(sub-sample to chunk box)ボックス及び優先度ボックス(priority box)も含んでいる。 In one embodiment, the sub-sample access boxes, sub-sample - chunk (sub-sample to chunk box) box and priority box (priority box) which also include a. 一実施例では、サブサンプルアクセスボックスを用いるか否かは任意である。 In one embodiment, whether to use sub-sample access box is optional.

図7Bに示すように、サンプル710は、例えば、スライス712等のスライスと、データ部分(data partition)714等のデータ部分と、ROI716等の重要な領域(regions of interest:ROI)とに分割することができる。 As shown in FIG. 7B, the sample 710, for example, a slice such as slice 712, a data portion, such as the data portion (data partition) 714, critical areas such as ROI716: divided into (regions of interest ROI) and be able to. これらの各実施例は、サンプルをサブサンプルに分割する様々な例を表している。 Each of these embodiments represent various examples of dividing the sample into sub-samples. 単一のサンプル内の各サブサンプルは、互いに異なるサイズを有することができる。 Each sub-sample in a single sample may have different sizes from each other.

サブサンプルサイズボックス718は、サブサンプルサイズボックス718のバージョンを指定するバージョンフィールドと、デフォルトサブサンプルサイズを指定するサブサンプルサイズフィールドと、トラック内のサブサンプルの数を表すサブサンプルカウントフィールドと、各サブサンプルのサイズを指定するエントリサイズフィールドとを含んでいる。 Sub-sample size box 718 includes a version field that specifies the version of the sub-sample size box 718, a sub-sample size field specifying the default sub-sample size, the sub-sample count field representing the number of sub-samples within a track, each and an entry size field specifying the size of the sub-samples. サブサンプルサイズフィールドに0が設定されている場合、サブサンプルサイズテーブル720内に格納されているサブサンプルは異なるサイズを有する。 If 0 in the sub-sample size field is set, the sub-samples stored in the sub-sample size table 720 in have different sizes. サブサンプルサイズフィールドの値が0に設定されない場合、このフィールドは、サブサンプルサイズが一定であることを表し、サブサンプルサイズテーブル720が空であることを示す。 If the value of the sub-sample size field is not set to 0, this field indicates that the sub-sample size is constant, indicating that sub-sample size table 720 is empty. テーブル720は、サブサンプルサイズを表すための32ビット固定長フィールド又は可変長フィールドを有していてもよい。 Table 720 may have a 32-bit fixed-length field or a variable-length field for representing the sub-sample size. フィールドが可変長である場合、サブサンプルテーブルは、サブサンプルサイズフィールドの長さをバイト単位で表現するフィールドを含んでいる。 If the field is a variable length, the sub-sample table contains a field representing the length of the sub-sample size field in bytes.

図7Cに示すように、サブサンプル−サンプルボックス722は、サブサンプル−サンプルボックス722のバージョンを特定するバージョンフィールドと、テーブル723内のエントリの数を示すエントリカウントフィールドとを含んでいる。 As shown in FIG. 7C, the sub-sample - sample box 722 subsamples - includes a version field that specifies the version of the sample box 722, and entry count field indicating the number of entries in the table 723. サブサンプル−サンプルテーブルにおける各エントリは、同数の1サンプルあたりのサブサンプルを共有するサンプルのラン(run)における第1のサンプルのインデクスを提供する第1のサンプルフィールドと、サンプルのランにおける各サンプルのサブサンプルの数を提供するサンプル毎サブサンプル(sub-samples-per-sample)フィールドとを含んでいる。 Sub-sample - each entry in the sample table, a first sample field that provides the index of the first sample in the sample run of the shared sub-samples per equal number of one sample (the run), each sample in the sample run of sample each sub sample that provides a number of sub-samples (sub-samples-per-sample) and a field.

テーブル723を用いることにより、ランに幾つのサンプルがあるかを算出し、この数と適切な1サンプル毎のサブサンプルの数とを乗算し、全てのランの結果を合計することによって、トラックのサブサンプルの総数を算出することができる。 By using the table 723, and calculates how to run a number of samples, is multiplied by the number of sub-samples per this number and the appropriate 1 samples, by summing the results of all of the run, the track it is possible to calculate the total number of sub-samples.

他の実施例では、サブサンプルは、サンプルではなくチャンクとしてグループ化する。 In other embodiments, sub-samples are grouped as chunks rather than sample. そして、サブサンプル−チャンクボックス(sub-sample to chunk box)を用いて、チャンク内のサブサンプルが特定される。 The sub-sample - using a chunk box (sub-sample to chunk box), sub-samples within a chunk is identified. サブサンプル−チャンクボックスは、同じ数のサブサンプルと、各チャンク内のサブサンプルの数と、サブサンプル記述のためのインデクスとを共有するチャンクのランにおける第1のチャンクのインデクスに情報を保存する。 Sub-sample - chunk box stores a sub-sample of the same number, the number of sub-samples in each chunk, the information on the index of the first chunk in the run of chunks that share the index for the sub-sample description . サブサンプル−チャンクボックスを用いて、特定のサブサンプル、チャンク内のサブサンプルの位置及びこのサブサンプルの記述を含むチャンクを検出することができる。 Sub-sample - using a chunk box, it is possible to detect a chunk containing the location and description of the sub-sample of a particular sub-sample, the sub-samples within a chunk. 一実施例において、サブサンプルがチャンクとしてグループ化される場合、サブサンプル−サンプルボックス722は、存在しない。 In one embodiment, if the sub-samples are grouped as chunks, sub-sample - sample box 722 is not present. 一方、サブサンプルがサンプルとしてグループ化される場合、サブサンプル−チャンクボックスは、存在しない。 On the other hand, if the sub-samples are grouped as samples, sub-sample - chunk box is absent.

上述のように、サブサンプルアクセスボックスは、各サブサンプルの劣化優先順位を指定する優先順位ボックスを含むことができる。 As described above, the sub-sample access box can include a priority box for specifying the degradation priority for each sub-sample. 劣化優先順位とは、サンプルの重要度を定義し、すなわち、(例えば、伝送時の損失のため)そのサンプルが失われた場合、復号されたメディアデータにどのような影響があるかを示している。 The degradation priority defines the importance of the sample, i.e., (e.g., due to loss during transmission) If the sample is lost, it indicates whether there is any effect on the decoded media data there. 優先順位ボックスのサイズは、サブサンプル−サンプルボックス722又はサブサンプル−チャンクボックスから判定さすることができるトラック内のサブサンプルの数によって定義される。 The size of the priority box, sub-sample - sample box 722 or sub-sample - is defined by the number of sub-samples in the track can be determined from the chunk box.

図7Dに示すように、サブサンプル記述関連付けボックス724は、サブサンプル記述関連付けボックス724のバージョンを指定するバージョンフィールドと、記述されるサブサンプルのタイプ(例えばNALパケット、関心領域)を示す記述タイプ識別子と、テーブル726内のエントリの数を提供するエントリカウントフィールドとを含んでいる。 As shown in FIG. 7D, the sub-sample description association box 724 includes a version field that specifies the version of the sub-sample description association box 724, description type identifier indicating sub-sample type (e.g. NAL packet, ROI) to be described the If, and an entry count field that provides the number of entries in the table 726. テーブル726内の各エントリは、サブサンプル記述IDを示すサブサンプル記述タイプ識別子フィールドと、同じサブサンプル記述IDを共有するサブサンプルのランにおける第1のサブサンプルへのインデクスを提供する第1のサブサンプルフィールドとを含んでいる。 Each entry in the table 726, a sub-sample description type identifier field indicating a sub-sample description ID, a first sub that provides the index of the first sub-samples in the run of the sub-samples that share the same sub-sample description ID and a sample field.

サブサンプル記述タイプ識別子は、サブサンプル記述IDフィールドの使用を制御する。 Sub-sample description type identifier controls the use of the sub-sample description ID field. すなわち記述タイプ識別子において特定されたタイプに応じて、サブサンプル記述IDフィールド自体が記述ID自体の中のサブサンプル記述を直接符号化する記述IDを特定し、又は、サブサンプル記述IDフィールドは、異なるテーブル(すなわち、後述するサブサンプル記述テーブル)へのインデクスとして機能できる。 That is, depending on the type specified in the description type identifier, sub-sample description ID field itself identifies the description ID that directly encodes the sub-sample description in description ID itself or sub-sample description ID field is different table (i.e., sub-sample description table described below) it can serve as an index to. 例えば、記述タイプ識別子がJVT記述を指示する場合、サブサンプル記述IDフィールドは、JVTサブサンプルの特性を指定するコードを含むことができる。 For example, if the description type identifier indicates a JVT description, sub-sample description ID field may contain a code specifying the characteristics of JVT sub-samples. この場合、サブサンプル記述IDフィールドは、サブサンプル内に予め定義されたデータ部分が存在することを表すビットマスクとして用いられる下位8ビットと、NALパケットタイプを表すための、又は将来の拡張のための上位24ビットとを含む32ビットのフィールドであってもよい。 In this case, sub-sample description ID field, and the lower 8 bits used as a bitmask indicating that the predefined data portion in the sub-sample is present, to represent the NAL packet type, or for future expansion the upper 24 bits of it may be a 32-bit field containing a.

図7Eに示すように、サブサンプル記述ボックス728は、サブサンプル記述ボックス728のバージョンを指定するバージョンフィールドと、テーブル730内のエントリの数を示すエントリカウントフィールドと、サブサンプルの特性に関する情報を表すサブサンプル記述フィールドの記述タイプを示す記述タイプ識別子フィールドと、1つ以上のサブサンプル記述エントリ730を含むテーブルとを含む。 As shown in FIG. 7E, sub-sample description box 728, represents a version field that specifies the version of the sub-sample description box 728, an entry count field indicating the number of entries in the table 730, information about the characteristics of the sub-samples It includes a description type identifier field indicating a description type of sub-sample description field, and a table that includes one or more sub-sample description entry 730. サブサンプル記述タイプは、記述情報(descriptive information)が関係するタイプを特定し、サブサンプル記述関連付けテーブル724内の同じフィールドに対応している。 Sub-sample description type identifies the type description information (descriptive information) is concerned, it corresponds to the same field of the sub-sample description association in the table 724. テーブル730内の各エントリは、関連するサブサンプルの特性に関する情報を含むサブサンプル記述エントリを含んでいる。 Each entry in the table 730 includes a sub-sample description entry containing information about the characteristics of the associated sub-sample. 記述エントリの情報とフォーマットは、記述タイプフィールドに依存する。 Information and format of the description entry is dependent on the description type field. 例えば、そして、記述タイプがパラメータセットである場合、各記述エントリは、パラメータセットの値を含む。 For example, When description type is a parameter set, each description entry includes a value of the parameter set.

記述情報は、パラメータセット情報、ROIに関係する情報又はサブサンプルを特徴付けるために必要な他のあらゆる情報に関連付けることができる。 Description information may be associated parameter set information, to any other information necessary to characterize the information or sub-samples relating to ROI. パラメータセットについては、サブサンプル記述関連付けテーブル724は、各サブサンプルに関連するパラメータセットを示す。 For parameter set sub-sample description association table 724 shows a set of parameters associated with each sub-sample. このような場合、サブサンプル記述IDは、パラメータセット識別子に対応している。 In this case, sub-sample description ID corresponds to the parameter set identifier. 同様に、サブサンプルは、以下のように異なる関心領域を表すことができる。 Similarly, the sub-samples can represent different regions of interest in the following manner. まず、サブサンプルを1つ以上の符号化されたマクロブロックとして定義し、次に、サブサンプル記述関連付けテーブルを用いて、ビデオフレーム又は画像の符号化されたミクロブロックの異なる領域への分割を表現する。 First, define a sub-sample as one or more coded macroblocks, then using a sub-sample description association table, representing the division into different areas of micro block coded video frame or image to. 例えば、2つのサブサンプル記述ID(例えば、サブサンプル記述ID1、2)によって、フレーム内の符号化されたマクロブロックを、それぞれ前景領域及び背景領域への割当を示す前景マクロブロックと背景マクロブロックに分割できる。 For example, two sub-sample description ID (e.g., sub-sample description ID1,2) by a coded macroblock in the frame, the foreground macroblock and background macroblock each indicate an assignment of the foreground and background regions It can be divided.

異なる種類のサブサンプルを図7Fに示す。 The different types of sub-samples are shown in Figure 7F. サブサンプルは、分割されていないスライス732、複数のデータに分割されたスライス734、スライス内のヘッダ736。1つのスライスの中央のデータ部分738、1つのスライスの最後のデータ部分740、SEI情報パケット742等を表すことができる。 Subsample, slice 732 is not divided, sliced ​​734 is divided into a plurality of data, the last data portion of the central data portion 738,1 a slice header 736.1 a slice in the slice 740, SEI information packet it is possible to represent the 742 or the like. これらの各サブサンプルタイプは、図7Gに示す8ビットマスク744の特定の値に関連付けてもよい。 Each of these sub-samples type may be associated with a particular value of 8-bit mask 744 shown in FIG. 7G. 8ビットマスクは、上述のように、32ビットのサブサンプル記述IDフィールドの最下位8ビットを構成してもよい。 8-bit mask, as described above, may constitute the least significant 8 bits of the sub-sample description ID field 32 bits. 図7Hは、「jvtd」に等しい記述タイプ識別子を有するサブサンプル記述関連付けボックス724を示す。 Figure 7H shows a sub-sample description association box 724 having equal description type identifier "jvtd". テーブル726は、図7Gに示した値を格納する32ビットのサブサンプル記述IDフィールドを有している。 Table 726 includes a 32-bit sub-sample description ID field storing the values ​​shown in FIG. 7G.

図7H〜図7Kを用いて、サブサンプル記述関連付けテーブルにおけるデータの圧縮を説明する。 With reference to FIGS 7H~ Figure 7K, illustrating the compression of the data in the sub-sample description association table.

図7Iに示すように、圧縮されていないテーブル726は、シーケンス748を繰り返すサブサンプル記述IDのシーケンス750を含んでいる。 As shown in FIG. 7I, the table 726 uncompressed includes a sequence 750 of sub-sample description ID repeating sequence 748. 圧縮されたテーブル746内では、繰り返しシーケンス750は、シーケンス748への参照情報と、このシーケンスが出現する回数を表す情報に圧縮されている。 The compressed table within 746 repeating sequence 750, and references to sequence 748, it is compressed in the information representing the number of times that this sequence appears.

図7Jに示す一実施例においては、サブサンプル記述IDフィールドにおいて、最上位ビットをシーケンスフラグのラン754として用い、次の23ビットを出現インデクス756として用い、これより下位のビットを出現長(occurrence length)758として用いることによって、シーケンス出現(sequence occurrence)を符号化することができる。 In one embodiment, shown in FIG. 7J, the sub-sample description ID field, with the most significant bit as the run 754 of the sequence flag, using the following 23-bit as the appearance index 756, appearing shorter than the lower bits which (occurrence by using as the length) 758, sequence emerge (sequence occurrence) may be encoded. シーケンスフラグのラン754に1が設定されている場合、これは、当該エントリが繰り返しシーケンスの出現を含んでいることを示している。 If the run 754 of the sequence flag 1 is set, this indicates that the entry is repeated includes the emergence of the sequence. シーケンスフラグのラン754に0が設定されている場合、このエントリは、サブサンプル記述IDであることを示している。 If the run 754 of the sequence flag 0 is set, this entry indicates that the sub-sample description ID. 出現インデクス756は、シーケンスの第1の出現のサブサンプル記述関連付けボックス724内の指標であり、出現長758は、繰り返しシーケンス出現の長さを示す。 Appearance index 756 is an index of the first sub-sample description association box 724 of occurrence of the sequence, the appearance length 758 indicates the length of the repeated sequence occurrence.

図7Kに示す他の実施例においては、繰り返しシーケンス出現テーブル760は、繰り返しシーケンスの出現を表すために用いられる。 In another embodiment shown in FIG. 7K, repeated sequence occurrence table 760 is used to represent the occurrence of repetitive sequences. サブサンプル記述IDフィールドの最上位ビットは、エントリがサブサンプル記述IDであるか否かを示すシーケンスフラグ762のランとして、又は、サブサンプル記述関連付けボックス724の一部である繰り返しシーケンス出現テーブル760内のエントリのシーケンスインデクス764として用いられる。 The most significant bit of the sub-sample description ID field entry as a run of sequence flag 762 indicating whether the sub-sample description ID, or repeated sequence occurrence table 760 which is part of a sub-sample description association box 724 used as a sequence index 764 of the entry of. 繰り返しシーケンス出現テーブル760は、繰り返しシーケンスにおける最初のアイテムのサブサンプル記述関連付けボックス724におけるインデクスを特定するための出現インデックスフィールドと、繰り返しシーケンスの長さを指定するためのシーケンス長領域とを含んでいる。 Repeated sequence occurrence table 760 includes the appearance index field for identifying the index of the sub-sample description association box 724 of the first item in the repeating sequence, and a sequence length region for specifying the length of the repeated sequence .

パラメータセット JVT等の所定のメディアフォーマットでは、メディアデータを適切に復号するために必要である基準制御値(critical control value)を含む「ヘッダ」情報が、符号化されたデータの残りの部分から分離され/切り離され、パラメータセット内に保存される。 In certain media formats, such as parameter set JVT, the "header" information that includes a reference control value is necessary to (critical control value) in order to properly decode the media data, separated from the rest of the encoded data is / are disconnected, it is stored in the parameter set. これにより、ストリームにおけるこれらの制御値を符号化されたデータに混在させるのではなく、一意的識別子等のメカニズムを用いて、符号化されたデータにより必要なパラメータセットを示すことができる。 Thus, these control values ​​in the stream rather than mixing in the encoded data, by using a mechanism such as a unique identifier may indicate the parameter sets needed by the coded data. この手法により、符号化されたデータから、より高レベルの符号化パラメータの伝送を分離することができる。 This approach can be from the encoded data, separates the more transmission of high-level coding parameters. また、同時に、制御値の共通の組をパラメータセットとして共有することによって、冗長度を低下させることができる。 At the same time, a common set of control values ​​by sharing a set of parameters, it is possible to lower the redundancy.

パラメータセットを用いる保存されたメディアストリームの効率的な送信をサポートするためには、送信側又はプレーヤは、パラメータセットを伝送し又はパラメータセットにアクセスする時刻及び場所を知るために、符号化されたデータを対応するパラメータに高速にリンクする必要がある。 To support efficient transmission of stored media streams using the parameter set, the sender or the player, in order to know the time and location access to the transmission or parameter sets a parameter set coded there is a need to link to the high-speed data to the corresponding parameter. 本発明の一実施例では、メディアデータのパラメータセットと対応する部分の間の関係を特定するデータをメディアファイルフォーマット内のパラメータセットメタデータとして格納することによりこの機能を実現する。 In one embodiment of the present invention, to achieve this feature by storing data specifying the relationship between the portions corresponding to the parameter set of media data as the parameter set metadata in a media file format.

図8及び図9は、それぞれ符号化システム100及び復号システム200によって実行されるパラメータセットメタデータの保存及び検索のための処理を示している。 8 and 9 illustrate processes for storing and retrieving parameter set metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア(例えば回路、専用ロジック等)、ソフトウェア(汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア)又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.

図8は、符号化システム100において、パラメータセットメタデータを作成するための処理800の一実施例を示すフローチャートである。 8, the encoding system 100, is a flow chart diagram of one embodiment of a method 800 for creating parameter set metadata. まず、処理800は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック802)。 First, the process 800, processing logic begins by receiving a file associated with encoded media data (processing block 802). このファイルは、メディアデータの一部をどのように復号するかを指定する符号化パラメータの組を含んでいる。 This file includes a set of encoding parameters that specify how to decode portions of the media data. 次に、処理ロジックは、パラメータセットと呼ばれる符号化パラメータの組と、メディアデータの対応する部分と間の関係を調べ(処理ブロック804)、パラメータセットと、このパラメータセットとメディアデータ部分との関係を定義するパラメータセットメタデータを作成する(処理ブロック806)。 Next, processing logic examines the set of coding parameters called parameter set, the relationship between the corresponding portions of the media data (processing block 804), the relationship between the parameter sets, and the parameter set and the media data portion create a parameter set metadata that defines the (processing block 806). メディアデータ部分は、サンプル又はサブサンプルによって表してもよい。 Media data portion may be represented by the sample or subsamples.

一実施例では、パラメータセットメタデータは、一組の予め定義されたデータ構造(例えば、一組のボックス)に組織化される。 In one embodiment, the parameter set metadata is organized into a set of predefined data structures (e.g., a set of boxes). 予め定義されたデータ構造の組は、パラメータセットに関する記述的な情報を含むデータ構造と、サンプルとこれに対応するパラメータセットの間の関係を定義する情報を含むデータ構造とを含むことができる。 Set of predefined data structures may include a data structure containing descriptive information about the parameter sets, samples and a data structure containing information defining a relationship between the corresponding parameter sets. 一実施例においては、予め定義されたデータ構造の組は、サブサンプルとこれに対応するパラメータセットの間の関係を定義する情報を含むデータ構造を含んでいる。 In one embodiment, set of predefined data structures may include a data structure containing information that defines the relationship between the sub-samples and corresponding parameter sets. サブサンプル−パラメータセット関係情報(sub-sample to parameter set association information)を含むデータ構造は、サンプル−パラメータセット関係情報(sample to parameter set association information)を含むデータ構造に優先されてもよく、優先されなくてもよい。 Sub-sample - data structure containing the parameter set relationship information (sub-sample to parameter set association information), the sample - parameter set relationship information (sample to parameter set association information) may be preferentially in a data structure containing, precedence may or may not.

次に、一実施例では、処理ロジックは、データの繰り返しシーケンスを含むパラメータセットデータ構造が存在するか否かを判定する(デシジョンボックス808)。 Next, in one embodiment, processing logic determines whether any parameter set data structure contains a repeated sequence of data (decision box 808). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する(処理ブロック810)。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 810).

次に、処理ブロック812において、処理ロジックは、特定のメディアファイルフォーマット(例えば、JVTファイルフォーマット)を用いて、メディアデータに関連するファイル内にパラメータセットメタデータを含める。 Next, at processing block 812, processing logic specific media file format (e.g., JVT file format) using the Include parameter set metadata in a file associated with media data. メディアファイルフォーマットに応じて、パラメータセットメタデータは、トラックメタデータ及び/又はサンプルメタデータとともに保存してもよく(例えば、パラメータセットに関する記述的情報を含むデータ構造をトラックボックスに含めてもよく、関連付け情報を含むデータ構造をサンプルテーブルボックスに含めてもよい。)、トラックメタデータ及び/又はサンプルメタデータとは別に保存してもよい。 Depending on the media file format, the parameter set metadata may be stored with the track metadata and / or sample metadata (e.g., may include data structures containing descriptive information about the parameter set track box, data structure containing association information may be included in the sample table box.) may be stored separately from the track metadata and / or sample metadata.

図9は、復号システム200においてパラメータセットメタデータを利用するための処理900の一実施例を示すフローチャートであるである。 Figure 9 is the decoding system 200 is a flow diagram of one embodiment of a process 900 for utilizing parameter set metadata. まず、処理900は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック902)。 First, process 900, processing logic begins by receiving a file associated with encoded media data (processing block 902). ファイルは、データベース(ローカル又は外部のデータベース)、符号化システム100又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータのためのパラメータセット及びこのメディアデータのパラメータセットと対応する部分(例えば、対応するサンプル又はサブサンプル)の間の関係を定義するパラメータセットメタデータを含んでいる。 The file includes the parameter set metadata that defines the relationship between the portions (e.g., corresponding samples or sub-sample) and the corresponding parameter sets and parameter set of media data for the media data.

次に、処理ロジックは、ファイルからパラメータセットメタデータを抽出する(処理ブロック904)。 Next, processing logic extracts the parameter set metadata from the file (processing block 904). 上述のように、パラメータセットメタデータは、一組のデータ構造(例えば、一組のボックス)に保存できる。 As described above, the parameter set metadata may be stored in a set of data structures (e.g., a set of boxes).

更に、処理ブロック906では、処理ロジックは、抽出されたメタデータを用いて、どのパラメータセットが特定のメディアデータ部分(例えば、サンプル又はサブサンプル)に関連するかを判定する。 Further, the processing block 906, processing logic uses the extracted metadata to determine which parameter set is specific media data portion (e.g., sample or sub-sample) related. この情報は、メディアデータ部分とこれに対応するパラメータセットの伝送時刻を制御するために用いることができる。 This information can be used to control the transmission time of media data portions and corresponding parameter sets. すなわち、特定のサンプル又はサブサンプルを復号するために用いるべきパラメータセットは、サンプル又はサブサンプルを含むパケットより先に、又はサンプル又はサブサンプルを含むパケットと共に送信する必要がある。 That is, the parameter set to be used to decode a particular sample or subsamples, before the packets containing samples or sub-samples, or has to be transmitted with the packets containing samples or sub-samples.

このように、パラメータセットメタデータを用いることにより、より信頼性が高いチャンネルを介して、パラメータセットを別個に送信することが可能となり、伝送エラー又はデータ損失によってメディアストリームの一部が欠落する可能性を低減することができる。 In this way, by using the parameter set metadata, through more channels reliability is high, it is possible to transmit the parameter sets separately, be part of the media stream are missing by transmission error or data loss it is possible to reduce the gender.

以下、拡張ISOメディアファイルフォーマット(拡張ISOと呼ばれる)について、例示的なパラメータセットメタデータ構造を用いて説明する。 Hereinafter, the extended ISO media file format (referred to as an extended ISO), is described with reference to exemplary parameter set metadata structures. 但し、パラメータセットメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing parameter set metadata, it is clear that may extend this other file formats.

パラメータセットメタデータを保存するための例示的なデータ構造を図10A〜図10Eに示す。 Exemplary data structures for storing parameter set metadata shown in FIG 10A~ Figure 10E.

図10Aに示すように、ISOファイルフォーマットによって定義されているトラックメタデータボックスを含むトラックボックス1002は、パラメータセット記述ボックス1004を含むように拡張される。 As shown in FIG. 10A, track box 1002 that includes a track metadata boxes defined by the ISO file format is extended to include a parameter set description box 1004. 更に、ISOファイルフォーマットによって定義されているサンプルメタデータボックスを含むサンプルテーブルボックス1006は、サンプル−パラメータセットボックス1008を含むように拡張される。 Further, a sample table box 1006 that contains sample metadata boxes defined by the ISO file format, sample - is extended to include a parameter set box 1008. 一実施例においては、サンプルテーブルボックス1006は、サブサンプル−パラメータセットボックスを含んでいてもよく、これは、後に詳細に説明するように、サンプル−パラメータセットボックス1008へのサンプルに優先させることができる。 In one embodiment, a sample table box 1006, the sub-sample - may contain parameter sets box, which, as will be described later in detail, the sample - be used to override the sample to parameter set box 1008 it can.

一実施例では、パラメータセットメタデータボックス1004、1008は、必須要件である。 In one embodiment, the parameter set metadata boxes 1004 and 1008 is an essential requirement. 他の実施例においては、パラメータセット記述ボックス1004のみが必須要件である。 In another embodiment, only the parameter set description box 1004 is an essential requirement. 更に他の実施例では、全てのパラメータセットメタデータボックスの全てが任意の要件である。 In yet another embodiment, all the all the parameter set metadata boxes is any requirement.

図10Bに示すように、パラメータセット記述ボックス1010は、パラメータセット記述ボックス1010のバージョンを指定するバージョンフィールドと、テーブル1012内のエントリの数を示すパラメータセット記述カウントフィールドと、パラメータセット自体のためのエントリを含むパラメータセットエントリフィールドとを含んでいる。 As shown in FIG. 10B, the parameter set description box 1010 includes a version field that specifies the version of the parameter set description box 1010, a parameter set description count field indicating the number of entries in the table 1012, for the parameter set itself and a parameter set entry field that contains the entry.

パラメータセットは、サンプルレベル又はサブサンプルレベルから参照することができる。 Parameter sets can be referenced from the sample level or sub-sample levels. 図10Cに示すように、サンプル−パラメータセットボックス1014は、サンプルレベルからパラメータセットへの参照情報を提供する。 As shown in FIG. 10C, the sample - parameter set box 1014 provides reference information from the sample level to the parameter set. サンプル−パラメータセットボックス1014は、サンプル−パラメータセットボックス1014のバージョンを指定するバージョンフィールドと、デフォルトパラメータセットIDを指定するデフォルトパラメータセットIDフィールドと、テーブル1016内のエントリの数を示すエントリカウントフィールドとを含んでいる。 Sample - parameter set box 1014, a sample - a version field that specifies the version of the parameter set box 1014, and default parameter set ID field that specifies the default parameter set ID, an entry count field indicating the number of entries in the table 1016 It contains. テーブル1016内の各エントリは、同じパラメータセットを共有するサンプルのランにおける第1のサンプルのインデクスを提供する第1のサンプルフィールドと、パラメータセット記述ボックス1010へのインデクスを指定するパラメータセットインデクスとを含んでいる。 Each entry in the table 1016, and the first sample field that provides the index of the first sample in the run of samples that share the same parameter set, a parameter set index specifying the index to the parameter set description box 1010 which comprise. デフォルトパラメータセットIDが0のときは、テーブル1016内に格納されているサンプルは、異なるパラメータセットを有する。 When default parameter set ID is 0, the sample stored in the table 1016, has a different set of parameters. デフォルトパラメータセットIDが1のときは、各サンプルに対して、一定のパラメータセットが1つのみ用いられる。 When default parameter set ID is 1, for each sample, a certain parameter set is used only one.

一実施例では、サブサンプル記述関係テーブルに関連して上述したように、テーブル1016内のデータは、各繰り返しシーケンスを最初のシーケンスへの参照情報と、このシーケンスが出現する回数を表す情報に変換することによって圧縮される。 In one embodiment, as described above in connection with the sub-sample description association table data in the table 1016, converts each repeated sequence and the reference information to the first sequence, the information representing the number of times that this sequence appears It is compressed by.

パラメータセットとサブサンプルの間の関係を定義することによって、サブサンプルレベルからパラメータセットを参照することができる。 By defining the relationship between parameter sets and sub-samples can refer to parameter set from the sub-sample level. 一実施例では、パラメータセットとサブサンプルの間の関係は、上述したサブサンプル記述関連付けボックスを用いて定義される。 In one embodiment, the relationship between parameter sets and sub-samples are defined with sub-sample description association box described above. 図10Dは、パラメータセットを識別する記述タイプ識別子を有するサブサンプル記述関連付けボックス1018を示す。 Figure 10D shows a sub-sample description association box 1018 with the description type identifier referring to parameter sets. (例えば、記述タイプ識別子は、「pars」に等しい)。 (For example, the description type identifier is equal to "pars"). テーブル1020内のサブサンプル記述IDは、この記述タイプ識別子に基づき、パラメータセット記述ボックス1010内のインデクスを示す。 Sub-sample description ID in the table 1020, based on the description type identifier indicates the index of the parameter set description box 1010.

一実施例では、パラメータセットを識別する記述タイプ識別子を含むサブサンプル記述関連付けボックス1018が存在している場合、これは、サンプル−パラメータセットボックス1014に優先される。 In one embodiment, when the sub-sample description association box 1018 includes a description type identifier for identifying the parameter set is present, this is a sample - is preferentially in the parameter set box 1014.

パラメータセットは、パラメータセットが作成された時点と、パラメータセットがメディアデータの対応する部分を復号するために用いられる時点との間で変更してもよい。 Parameter set may be changed between the time used for decoding the time the parameter set is created, the corresponding portion of the parameter sets media data. このような変更が行われる場合、復号システム200は、パラメータセットの変更を示すパラメータ更新パケットを受け取る。 If such changes are made, the decoding system 200 receives the parameter update packet indicating a change in parameter sets. パラメータセットメタデータは、更新前と更新後の両方のパラメータセットの状態を特定するデータを含んでいる。 Parameter set metadata includes data identifying the status of both sets of parameters before and after update.

図10Eに示すように、パラメータセット記述ボックス1010は、時刻t0において作成された初期パラメータセット1022のエントリと、時刻t1において受け取られたパラメータ更新パケット1026に応じて作成された更新パラメータセット1024のエントリとを含んでいる。 As shown in FIG. 10E, the parameter set description box 1010, the entry of the initial parameter set 1022 created at time t0, entry of the updated parameter set 1024 created according to the parameter update packet 1026 received at time t1 it includes the door. サブサンプル記述関連付けボックス1018は、これらの2つのパラメータセットを対応するサブサンプルに関連付ける。 Sub-sample description association box 1018 associates these two parameter sets to the corresponding sub-samples.

サンプルグループ トラック内のサンプルは、メディアデータ内のハイレベルの構造を表すシーケンス(不連続であってもよい)に論理的にグループ化(区分)することができるが既存のファイルフォーマットは、このようにグループ化されたデータを表現及び保存する好適なメカニズムを有していない。 Sample Sample Group in track, logically grouped into sequence (may be discontinuous) representing the structure of a high level in the media data (classification) can be, but the existing file format, such It does not have a suitable mechanism to represent and store grouped data. 例えば、JVT等の高度な符号化形式は、単一のトラック内のサンプルを、それらの相互依存性に基づいて複数のグループに組織化する。 For example, advanced encoding format such as JVT, the samples in a single track is organized into a plurality of groups based on their interdependencies. これらのグループ(ここでは、シーケンス又はサンプルグループとも呼ぶ。)を用いて、除外可能な一連のサンプルを特定することができ、ネットワーク状態によって必要とされた場合に、これにより、時間的なスケーラビリティをサポートすることができる。 These groups (also referred to herein as sequence or sample group.) Using, it is possible to identify a set of possible samples excluded, if it is required by the network state, thereby, the temporal scalability it is possible to support. ファイルフォーマットにおいて、サンプルグループを定義するメタデータを保存することにより、メディアの送信側は、上述した特徴を容易且つ効率的に実現することができる。 In the file format, by storing metadata that defines a sample group, the sender of the media, it is possible to realize the features mentioned above readily and efficiently.

サンプルグループの具体例としては、例えば、フレーム間の依存関係によって、それらのサンプルが他のサンプルに依存することなく復号できる組がある。 Specific examples of the sample group, for example, by dependencies between frames, there is a set that can be decoded without the samples depends on other samples. JVTでは、このようなサンプルグループは、拡張グループオブピクチャ(enhanced group of pictures:以下、拡張GOPという。)と呼ばれる。 In JVT, such a sample group, extended group of pictures is called a (enhanced group of pictures hereinafter referred to as the extended GOP.). 拡張GOPでは、サンプルは、サブシーケンスに分割できる。 Enhanced GOP, samples may be divided into sub-sequences. 各サブシーケンスは、互いに依存し、1つの単位として処理できる一組のサンプルを含んでいる。 Each subsequence includes a set of samples that depend on each other, it can be treated as a unit. 更に拡張GOPのサンプルは、より上位のレイヤのサンプルがより下位のレイヤのサンプルのみから予測され、これにより、他のサンプルを復号する能力に影響を与えることなく、最上位のレイヤのサンプルを除外できるように、複数のレイヤに階層的に構造化できる。 Further expansion GOP samples are predicted only from a sample of more lower layer sample of higher layers, thereby, without affecting the ability to decode the other samples, excluding samples uppermost layer as it can be hierarchically structured into a plurality of layers. 他の如何なるレイヤのサンプルにも依存しないサンプルを含んでいる最下位のレイヤは、ベースレイヤと呼ばれる。 Lowest layer that contains the sample that does not depend on the sample of any other layer is referred to as the base layer. ベースレイヤ以外の他の全てのレイヤは、エンハンスメントレイヤ(enhancement layer)と呼ばれる。 All other layers other than the base layer, called the enhancement layer (enhancement layer).

図11は、サンプルが2つのレイヤ、ベースレイヤ1102及びエンハンスメントレイヤ1104、及び2つのサブシーケンス1106、1108に分割される例示的な拡張GOPを示している。 Figure 11 is a sample of two layers, shows an exemplary extension GOP that is divided into a base layer 1102 and an enhancement layer 1104, and the two sub-sequences 1106, 1108. 2つのサブシーケンス1106と1108は、互いに依存することなく破棄することができる。 And two sub-sequences 1106 1108 can be discarded without interdependent.

図12及び図13は、それぞれ符号化システム100及び復号システム200によって実行されるサンプルグループメタデータの保存及び検索のための処理を示している。 12 and 13 illustrate processes for storing and retrieving sample group metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア(例えば回路、専用ロジック等)、ソフトウェア(汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア)又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.

図12は、符号化システム100においてサンプルグループメタデータを作成するための処理1200の一実施例を示すフローチャートである。 Figure 12 is a flow diagram of one embodiment of a process 1200 for creating sample group metadata at the encoding system 100. まず、処理1200は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック1202)。 First, the process 1200, processing logic begins by receiving a file associated with encoded media data (processing block 1202). メディアデータのトラック内のサンプルは、ある種の相互依存性を有する。 Samples in the track of the media data has certain interdependencies. 例えば、トラックは、他の如何なるサンプルにも依存しないIフレーム、先行する単一のサンプルに依存するPフレーム及びIフレーム、Pフレーム及びBフレームのあらゆる組合せを含む先行する2つのサンプルに依存するBフレームを含んでいてもよい。 For example, the track is dependent I-frames do not depend on any other samples, P-frames and I-frame depends on the single preceding samples, the two preceding samples including any combination of P and B frames B it may include a frame. トラックのサンプルは、それらの相互依存性に基づいて、サンプルグループ(例えば、拡張GOP、レイヤ、サブシーケンス等)に論理的に結合できる。 Samples of the track on the basis of their interdependencies, sample group (e.g., extended GOP, layer, sub-sequences, etc.) logically coupled to.

次に、処理ロジックは、各トラック内のサンプルグループを特定するためにメディアデータを調べ(処理ブロック1204)、サンプルグループについて記述し、どのサンプルがどのサンプルグループに含まれているかを定義するサンプルグループメタデータを作成する(処理ブロック1206)。 Next, processing logic, the sample group examined media data (processing block 1204), describes the sample group, which defines which samples are included in which the sample group to identify sample groups in each track It creates metadata (processing block 1206). 一実施例では、サンプルグループメタデータは、一組の予め定義されたデータ構造(例えば、一組のボックス)に組織化される。 In one embodiment, the sample group metadata is organized into a set of predefined data structures (e.g., a set of boxes). 予め定義されたデータ構造の組は、各サンプルグループに関する記述的な情報を含むデータ構造と、各サンプルグループに含まれたサンプルを特定する情報を含むデータ構造と、サブシーケンスを記述する情報を含むデータ構造と、レイヤを記述する情報を含むデータ構造とを含むことができる。 The set of predefined data structures may include a data structure containing descriptive information about each sample group, and a data structure containing information identifying the samples contained in each sample group, the information describing the sub-sequence and data structures may include a data structure containing information describing the layer. 次に、一実施例では、処理ロジックは、データの繰り返しシーケンスを含むサンプルグループデータ構造が存在するか否かを判定する(デシジョンボックス1208)。 Next, in one embodiment, processing logic determines whether any sample group data structure contains a repeated sequence of data (decision box 1208). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する(処理ブロック1210)。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 1210).

次に、処理ブロック1212において、処理ロジックは、特定のメディアファイルフォーマット(例えば、JVTファイルフォーマット)を用いて、メディアデータに関連するファイル内にサンプルグループメタデータを含める。 Next, at processing block 1212, processing logic specific media file format (e.g., JVT file format) using, include sample group metadata in a file associated with media data. メディアファイルフォーマットに応じて、サンプルグループメタデータは、サンプルメタデータとともに保存してもよく(サンプルグループデータ構造をサンプルテーブルボックスに含めてもよい。)、サンプルメタデータとは別に保存してもよい。 Depending on the media file format, sample group metadata may be stored with sample metadata (sample group data structures may be included in the sample table box.) The sample metadata may be stored separately .

図13は、復号システム200においてサンプルグループメタデータを利用するための処理1300の一実施例を示すフローチャートである。 Figure 13 is a flow chart diagram of one embodiment of a method 1300 for utilizing sample group metadata at the decoding system 200. まず、処理1300は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック1302)。 First, the processing 1300, processing logic begins by receiving a file associated with encoded media data (processing block 1302). ファイルは、データベース(ローカル又は外部のデータベース)、符号化システム100又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータ内のサンプルグループを定義するサンプルグループメタデータを含んでいる。 The file includes a sample group metadata defining sample groups in the media data.

次に、処理ロジックは、ファイルからサンプルグループメタデータを抽出する(処理ブロック1304)。 Next, processing logic extracts the sample group metadata from the file (processing block 1304). 上述のように、サンプルグループメタデータは、一組のデータ構造(例えば、一組のボックス)に保存できる。 As described above, sample group metadata may be stored in a set of data structures (e.g., a set of boxes).

更に、処理ブロック1306では、処理ロジックは、抽出されたメタデータを用いて、他のサンプルを復号する能力に影響することなく除外でる一連のサンプルを特定する。 Further, the processing block 1306, processing logic uses the extracted metadata to identify a series of samples exiting excluded without affecting the ability to decode the other samples. 一実施例では、この情報を用いて、特定のサンプルグループにおけるサンプルにアクセスし、ネットワーク容量の変化に応じてどのサンプルを破棄することができるかを判定することができる。 In one embodiment, by using this information, it is possible to access the sample in a particular sample group to determine which sample may be discarded in response to changes in network capacity. 他の実施例では、サンプルグループメタデータは、トラック内のサンプルの一部だけが処理又はレンダリングされるように、サンプルをフィルタリングするために用いられる。 In another embodiment, the sample group metadata, so that only a portion of the sample in the track is processed or rendered, is used to filter the sample.

このように、サンプルグループメタデータにより、サンプルへの選択的なアクセスと、スケーラビリティが容易に実現される。 Thus, the sample group metadata, and selective access to the sample, the scalability can be easily realized.

以下、サンプルグループメタデータ構造の具体例について、拡張ISOメディアファイルフォーマット(拡張MP4とも呼ばれる。)に関連して説明する。 Hereinafter, a specific example of a sample group metadata structure will be described with reference to an extended ISO media file format (referred to as an extended MP4.). 但し、サンプルグループメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing sample group metadata, it is clear that may extend this other file formats.

サンプルグループメタデータを保存するための例示的なデータ構造を図14A〜図14Eに示す。 Exemplary data structures for storing sample group metadata shown in FIG 14A~ Figure 14E.

図14Aに示すように、MP4によって定義されたサンプルメタデータボックスを含むサンプルテーブルボックス1400は、サンプルグループボックス1402とサンプルグループ記述ボックス1404を含むように拡張される。 As shown in FIG. 14A, a sample table box 1400 that contains sample metadata boxes defined by MP4 is extended to include a sample group box 1402 and a sample group description box 1404. 一実施例では、サンプルグループメタデータボックス1402、1404は、任意の要素とする。 In one embodiment, the sample group metadata boxes 1402, 1404 and any element. 一実施例(図示せず)では、サンプルテーブルボックス1400は、サブシーケンス記述エントリボックス及びレイヤ記述エントリボックス等の追加的な任意のサンプルグループメタデータボックスを含んでいる。 In one embodiment (not shown), a sample table box 1400 includes an additional optional sample group metadata boxes such as sub-sequence description entry box and the layer description entry box.

図14Bに示すように、サンプルグループボックス1406は、特定のサンプルグループに含まれるサンプルの組を検出するために用いられる。 As shown in FIG. 14B, the sample group box 1406 is used to detect the set of samples contained in a particular sample group. サンプルグループボックス1406の複数のインスタンスが異なる種類のサンプルグループ(例えば、拡張GOP、サブシーケンス、レイヤ、パラメータセット等)に対応できる。 Multiple instances of different types of sample group sample group boxes 1406 (e.g., extended GOP, subsequence layers, parameter sets, etc.) correspond to. サンプルグループボックス1406は、サンプルグループボックス1406のバージョンを特定するバージョンフィールドと、テーブル1408内のエントリの数を示すエントリカウントフィールドと、サンプルグループの種類を特定するサンプルグループ識別子フィールドと、同じサンプルグループに含まれているサンプルのランにおける第1のサンプルへのインデクスを提供する第1のサンプルフィールドと、サンプルグループ記述ボックスへのインデクスを指定するサンプルグループ記述インデクスとを含んでいる。 Sample group box 1406, a version field that specifies the version of the sample group box 1406, an entry count field indicating the number of entries in the table 1408, and the sample group identifier field to identify the type of the sample group, the same sample group first and sample field that provides the index of the first sample in the run of samples included, and a sample group description index specifying the index to a sample group description box.

図14Cに示すように、サンプルグループ記述ボックス1410は、サンプルグループの特性に関する情報を提供する。 As shown in FIG. 14C, a sample group description box 1410 provides information about the characteristics of the sample group. サンプルグループ記述ボックス1410は、サンプルグループ記述ボックス1410のバージョンを特定するバージョンフィールドと、テーブル1412内のエントリの数を示すエントリカウントフィールドと、サンプルグループの種類を特定するサンプルグループ識別子フィールドと、サンプルグループ記述子を提供するサンプルグループ記述フィールドとを含んでいる。 Sample group description box 1410 contains a version field that identifies the version of the sample group description box 1410, an entry count field indicating the number of entries in the table 1412, and the sample group identifier field to identify the type of the sample group, sample group and a sample group description field to provide a descriptor.

図14Dは、レイヤ(layr)サンプルグループタイプに関するサンプルグループボックス1416の使用を説明する図である。 Figure 14D is a diagram illustrating the use of the sample group boxes 1416 about Layer (layr) sample group type. サンプル1〜11は、サンプルの相互依存性に基づいて、3個のレイヤに分割される。 Samples 1 to 11, based on the interdependence of the sample is divided into three layers. レイヤ0(ベース層)では、サンプル(サンプル1、6、11)は、相互に依存するのみであり、他の如何なるレイヤ内のサンプルにも依存しない。 In the layer 0 (base layer), a sample (Sample 1, 6, 11) is only dependent on one another, it does not depend on samples in any other layers. レイヤ1では、サンプル(サンプル2、5、7、10)は、下位のレイヤ(すなわち、レイヤ0)内のサンプル及びこのレイヤ1内のサンプルに依存する。 In Layer 1, a sample (sample 2, 5, 7, 10), the lower layer (i.e., layer 0) depends on the sample and the sample in this layer 1 in. レイヤ2では、サンプル(サンプル3、4、8、9)は、下位のレイヤ(すなわち、レイヤ0及びレイヤ1)内のサンプル及びこのレイヤ2内のサンプルに依存する。 In Layer 2, the sample (sample 3,4,8,9), the lower layer (i.e., layer 0 and layer 1) depends on the sample in the sample and in the layer 2 in. したがって、レイヤ2のサンプルは、下位のレイヤ0及びレイヤ1からのサンプルを復号する能力に影響することなく除外することができる。 Thus, a sample of the layer 2 can be excluded without affecting the ability to decode samples from lower layers 0 and 1.

サンプルグループボックス1416におけるデータは、上述したようなサンプルとレイヤの間の関係を示す。 Data in the sample group box 1416 shows the relationship between the sample and the layers described above. ここに示すように、このデータは、繰り返しレイヤパターン1414を含んでいる。 As shown here, this data includes a repeating layer pattern 1414. この繰り返しレイヤパターン1414は、上述のように、各繰り返しレイヤパターン1414を最初のレイヤパターンへの参照情報と、このパターンが出現する回数を表す情報に変換することによって圧縮される。 The repeating layer pattern 1414, as described above, and reference information for each repetitive layer pattern 1414 to the first layer pattern is compressed by converting the information representing the number of times this pattern appears.

図14Eは、サブシーケンス(sseq)サンプルグループタイプに関するサンプルグループボックス1418の使用を説明する図である。 Figure 14E is a diagram illustrating the use of the sample group boxes 1418 relates subsequence (sseq) sample group type. サンプル1〜11は、サンプルの相互依存性に基づいて、4個のサブシーケンスに分割される。 Samples 1 to 11, based on the interdependence of the sample is divided into four sub-sequences. レイヤ0におけるサブシーケンス0を除く各サブシーケンスは、他のサブシーケンスが依存しないサンプルを含んでいる。 Each subsequence except subsequence 0 at layer 0 includes samples other subsequence is independent. したがって、サブシーケンスにおけるサンプルは、必要に応じて、一括して除外できる。 Thus, the sample in the sub-sequence, if desired, can be excluded collectively.

サンプルグループボックス1418内のデータは、サンプルとサブシーケンスの間の関係を示している。 Data sample group box 1418 shows the relationship between the sample and the sub-sequence. このデータにより、対応するサブシーケンスの最初のサンプルにランダムアクセスすることができる。 This data can be randomly access the first sample of the corresponding sub-sequences.

一実施例では、サブシーケンス記述エントリボックスは、GOP内のサンプルの各サブシーケンスについて説明するために使用されている。 In one embodiment, the sub-sequence description entry box is used to describe each sub-sequence of samples in the GOP. サブシーケンス記述エントリボックスは、サブシーケンス識別子データ、平均ビットレートデータ、平均フレームレートデータ、参照番号データ及び参照されたデータに関する情報を含むアレーに関係する依存関係情報を提供する。 Subsequence description entry box provides subsequence identifier data, the average bit rate data, the average frame rate data, dependency information relating to array containing information on the reference number data and reference data.

依存関係情報は、このエントリにおいて記述されるサブシーケンスへの参照情報として用いられるサブシーケンスを特定する。 Dependency information identifies the sub-sequence used as references to sub-sequences described in this entry. サブシーケンス識別子データは、このエントリにおいて記述するサブシーケンスの識別子を提供する。 Subsequence identifier data provides an identifier that describes sub-sequence in this entry. 平均ビットレートデータは、このサブシーケンスの平均ビットレートを示す情報(例えば、ビット又は秒によって表される)を含んでいる。 The average bit rate data includes information indicating the average bit rate of the sub-sequence (e.g., as represented by the bits or seconds). 一実施例においては、平均ビットレートは、ペイロードとペイロードヘッダを考慮に入れて算出される。 In one embodiment, the average bit rate is calculated taking into account the payload and payload header. 一実施例においては、平均ビットレートが未定義である場合、平均ビットレートは、0となる。 In one embodiment, if the average bit rate is undefined, the average bit rate becomes 0.

平均フレームレートデータは、エントリのサブシーケンスのフレームにおける平均フレームレートを示す情報を含んでいる。 Average frame rate data includes information indicating the average frame rate in the frame of the sub-sequence of entries. 一実施例においては、平均フレームレートが未定義である場合、平均フレームレートは、0となる。 In one embodiment, if the average frame rate is undefined, the average frame rate becomes 0.

参照番号データは、エントリのサブシーケンスにおける、直接参照されたサブシーケンスの数を示す情報を提供する。 Reference number data, in the sub-sequence of entries, providing information indicating the number of direct reference subsequence. 参照されたデータのアレーは、参照されたサブシーケンスに関する識別情報を提供する。 Array of referenced data provides identifying information about referenced subsequence.

一実施例においては、追加的な層記述エントリボックスを用いて、層情報を提供する。 In one embodiment, using additional layer description entry box, providing a layer information. 層記述エントリボックスは、層の数、層の平均ビットレート及び平均フレームレートに関する情報を提供する。 Layer description entry box provides information number of layers, for the average bit rate and the average frame rate of the layer. ベース層及び1以上の各エンハンスメント層については、層の数は、0となる。 The base layer and one or more respective enhancement layers, the number of layers becomes 0. 平均ビットレートが未定義である場合、平均ビットレートは、0となり、平均フレームレートが未定義である場合、平均フレームレートは、0となる。 If the average bit rate is undefined, the average bit rate, 0, if the average frame rate is undefined, the average frame rate becomes 0.

ストリーム切換 典型的なストリーミングのシナリオにおける主要な要求の1つは、ネットワーク状態の変化に応じて圧縮データのビット伝送速度をスケーリングすることである。 One of the key requirements of the stream switching typical streaming scenario is to scale the bit rate of the compressed data in response to changing network conditions. これを実現する最も単純な手法は、代表的なネットワーク状態に対応する異なるビットレート及び品質設定で複数のストリームを符号化することである。 The simplest approach to achieve this is to encode multiple streams at different bit rates and quality settings for representative network conditions. これにより、サーバは、ネットワーク状態に応じて、これらの予め符号化されたストリーム間を切り換えることができる。 Thus, the server in response to network conditions, it is possible to switch between these pre-encoded stream.

JVT規格は、2つのピクチャのそれぞれが予測に同じフレームを用いることなく一方のピクチャを他方のピクチャと同様に再構築できる切換ピクチャと呼ばれる新しい種類のピクチャを提供する。 JVT standard, each of the two pictures to provide a new type of picture called switching picture capable reconstruct one picture as with the other picture without using the same frame to the prediction. 特に、JVTは、Iフレームと同様に、他の如何なるピクチャにも依存せずに符号化されるSIピクチャと、他のピクチャを参照して符号化されるSPピクチャの2つのタイプの切換ピクチャを提供する。 In particular, JVT, like I frames, and SI picture to be coded independently to any other picture, two types of switching picture SP picture to be coded with reference to other pictures provide. 切換ピクチャを用いることにより、伝送条件の変化に対応して、異なるビット伝送速度と品質設定を有するストリーム間で切換を行い、エラー回復及び早送り及び巻戻し等のトリックモードを実現することができる。 By using the switching picture, in response to a change in transmission conditions, performs switching between streams with different bit rates and quality settings, it is possible to realize a trick mode, such as a return error recovery and fast-forward and up.

ここで、JVT切換ピクチャを有効に活用するためには、ストリーム切換、エラー回復、トリックモード及び他の特徴を実現する場合、プレーヤは、保存されたメディアデータのどのサンプルが代替的な表現を有するか及びこれらのサンプルの依存関係は如何なるものであるかを知る必要がある。 Here, in order to effectively utilize the JVT switching pictures, when implementing stream switching, error recovery, the trick mode and other features, the player which samples the stored media data has an alternative representation or and dependencies of these samples need to know whether any of those. 既存のファイルフォーマットは、このような機能を提供しない。 Existing file format, it does not provide such a function.

本発明の一実施例では、切換サンプルセットを定義することによってこの問題を解決する。 In one embodiment of the present invention solves this problem by defining a switch sample set. 切換サンプルセットは、復号値が同じであるが、異なる参照サンプルを用いることができるサンプルの組を表す。 Switch sample set is decoded value are the same, represent a set of samples that can be used different reference samples. 参照サンプルは、他のサンプルの値を予測するために用いられるサンプルである。 Reference sample is a sample used to predict the value of the other samples. 切換サンプルセットの各要素は、切換サンプルと呼ばれる。 Each element of a switch sample set is referred to as a switch sample. 図15Aは、切換サンプルセットを用いたビットストリーム切換を説明する図である。 Figure 15A is a diagram illustrating the bit stream switching using a switch sample set.

図15Aに示すように、ストリーム1及びストリーム2は、異なる品質及びビットレートパラメータを有する同じコンテンツの2つの符号化データ(encodings)を表している。 As shown in FIG. 15A, Stream 1 and Stream 2 represent two of the encoded data of the same content with different quality and bit rate parameters (encodings). サンプルS12は、どちらのストリームにも出現せず、ストリーム1からストリーム2への切換(切換は、方向的性質を有する)を実現するために用いられるSPピクチャである。 Sample S12, also does not appear in either stream, switching from stream 1 to stream 2 (switching has a directional property) is a SP picture used to implement. サンプルのS12、S2は、切換サンプルセットに含まれている。 Samples of S12, S2 is contained in a switch sample set. S1とS12は、いずれもトラック1のサンプルP12から予測され、S2は、トラック2のサンプルP22から予測される。 S1 and S12, both are predicted from sample P12 of the track 1, S2 is predicted from sample P22 of the track 2. サンプルのS12とS2は、異なる参照サンプルを用いるが、これらの復号値は同一である。 S12 and S2 of the sample, which use different reference samples, these decoded values ​​are identical. したがって、ストリーム1からストリーム2への(ストリーム1内のサンプルS1とストリーム2内のサンプルS2における)切換は、切換サンプルS12を介して行うことができる。 Therefore, from the stream 1 to stream 2 (samples S1 and in the sample S2 in stream 2 in stream 1) switching can be performed via a switch sample S12.

図16及び図17は、それぞれ符号化システム100及び復号システム200によって実行される切換サンプルメタデータの保存及び検索のための処理を示している。 16 and 17 illustrate processes for storing and retrieving switch sample metadata that are performed by the encoding system 100 and decoding system 200. この処理は、ハードウェア(例えば回路、専用ロジック等)、ソフトウェア(汎用コンピュータシステム又は専用マシン上で実行されるソフトウェア)又はこれらの両方の組合せを含む処理ロジックによって実行してもよい。 This processing hardware (e.g., circuitry, dedicated logic, etc.), software may be performed by (a general purpose computer system or software running on a dedicated machine), or processing logic that may comprise a combination of both.

図16は、符号化システム100において、切換サンプルメタデータを作成するための処理1600の一実施例を示すフローチャートである。 16, the encoding system 100, is a flow diagram of one embodiment of a process 1600 for creating switch sample metadata. まず、処理1600は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック1602)。 First, the process 1600, processing logic begins by receiving a file associated with encoded media data (processing block 1602). このファイルは、メディアデータに関する1以上の代替的な符号化データ(例えば、代表的なネットワーク状態に対応する異なる帯域幅及び品質設定を有する。)を含んでいる。 This file contains one or more alternative coded data relating to the media data (e.g., having a different bandwidth and quality settings for representative network conditions.). 代替的な符号化データは、1つ以上の切換ピクチャを含んでいる。 Alternative encoded data includes one or more switching picture. このようなピクチャは、代替的なメディアデータストリーム内に含めてもよく、エラー回復又はトリックモード等の特別な特徴を実現する個別のエンティティとして作成してもよい。 Such pictures may be included in alternative within the media data stream may be created as a separate entity to realize the special features, such as error recovery or trick mode. 本発明では、これらのトラック及び切換ピクチャを作成する手法を特に限定しないが、当業者にとって、様々な手法を用いることができることは明らかである。 In the present invention, but not limit the methods for creating these tracks and the switching picture in particular, to those skilled in the art, it is clear that it is possible to use various techniques. 例えば、代替的符号化データを含む各トラックの対の間に切換サンプルを周期的に(例えば、1秒毎に)挿入してもよい。 For example, an alternative coding data switch sample between each pair of tracks cyclically containing (e.g., every 1 second) may be inserted.

次に、処理ロジックは、異なる参照サンプルを用いて、同じ復号値が導出されるサンプルを含む切換サンプルセットを作成するためにファイルを調べ(処理ブロック1604)、メディアデータに関する切換サンプルセットを定義し、切換サンプルセット内のサンプルを記述する切換サンプルメタデータを作成する(処理ブロック1606)。 Next, processing logic uses the different reference samples, check the file in order to create a switch sample set that contains a sample of the same decoding value is derived (processing block 1604), defines a switch sample set for the media data , to create a switch sample metadata that describes the sample in the switch sample set (processing block 1606). 一実施例では、切換サンプルメタデータは、ネスト化されたテーブルの組を含むテーブルボックス等の予め定義されたデータ構造に組織化される。 In one embodiment, switch sample metadata is organized into a predefined data structure such as a table box containing a set of nested tables.

次に、一実施例において、処理ロジックは、切換サンプルメタデータ構造がデータの繰り返しシーケンスを含むか否かを判定する(デシジョンボックス1608)。 Next, in one embodiment, processing logic determines switch sample metadata structures whether containing repeating sequence of data (decision box 1608). この判定の結果が肯定的である場合、処理ロジックは、データの各繰り返しシーケンスをシーケンスの出現への参照情報及びシーケンスの出現回数を表す情報に変換する(処理ブロック1610)。 If the result of this determination is affirmative, the processing logic converts each repeated sequence of data into a reference information and the number of occurrences of the sequence to the emergence of the sequence (processing block 1610).

次に、処理ブロック1612において、処理ロジックは、特定のメディアファイルフォーマット(例えば、JVTファイルフォーマット)を用いて、メディアデータに関連するファイル内に切換サンプルメタデータを含める。 Next, at processing block 1612, processing logic specific media file format (e.g., JVT file format) using, including switch sample metadata into a file associated with media data. 一実施例においては、切換サンプルメタデータは、ストリーム切換のために指定された別のトラックに保存してもよい。 In one embodiment, switch sample metadata may be stored in a separate track designated for stream switching. 他の実施例においては、切換サンプルメタデータは、サンプルメタデータとともに保存される(例えば、シーケンスデータ構造は、サンプルテーブルボックスに含めてもよい)。 In another embodiment, the switch sample metadata is stored with sample metadata (e.g., sequence data structure, may be included in a sample table box).

図17は、復号システム200において切換サンプルメタデータを利用するための処理1700の一実施例を示すフローチャートであるである。 Figure 17 is the decoding system 200 is a flow chart diagram of one embodiment of a method 1700 for utilizing switch sample metadata. まず、処理1700は、処理ロジックが符号化されたメディアデータに関連するファイルを受け取ることにより開始される(処理ブロック1702)。 First, the process 1700, processing logic begins by receiving a file associated with encoded media data (processing block 1702). ファイルは、データベース(ローカル又は外部のデータベース)、符号化システム100又はネットワーク内の他の如何なる機器から受け取ってもよい。 File, database (local or external), may be received from any other device encoding system 100 or a network. ファイルは、メディアデータに関連する切換サンプルセットを定義する切換サンプルメタデータを含んでいる。 The file includes switch sample metadata defining switch sample sets associated with the media data.

次に、処理ロジックは、ファイルからサンプルグループメタデータを抽出する(処理ブロック1704)。 Next, processing logic extracts the sample group metadata from the file (processing block 1704). 上述のように、切換サンプルメタデータは、例えば、ネスト化されたテーブルの組を含むテーブルボックス等のデータ構造に保存できる。 As described above, the switch sample metadata, for example, can be stored in a data structure such as a table box containing a set of nested tables.

更に処理ブロック1706において、処理ロジックは、抽出されたメタデータを用いて、特定のサンプルを含む切換サンプルセットを検出し、切換サンプルセットからの代替のサンプルを選択する。 In still processing block 1706, processing logic uses the extracted metadata to detect the switch sample set that contains a specific sample and select an alternative sample from the switch sample set. 初期サンプルと同じ復号値を有する代替のサンプルを用いて、ネットワーク状態の変化に応じて、異なる符号化処理が施された2つのビットストリームを切り換えてもよく、これにより、ビットストリーム内にランダムアクセスエントリポイントを提供でき、エラー回復が容易になる。 Using alternative sample having the same decoding value as the initial sample, in response to changing network conditions, it may be switched two bitstreams having different encoding processing is applied, thereby, a random access into the bitstream can provide an entry point, it is easy error recovery.

以下、切換サンプルメタデータ構造の具体例について、拡張ISOメディアファイルフォーマット(拡張MP4とも呼ばれる。)に関連して説明する。 Hereinafter, a specific example of the switch sample metadata structure will be described with reference to an extended ISO media file format (referred to as an extended MP4.). 但し、切換サンプルメタデータを格納するための様々なデータ構造を組み込むように、この他のファイルフォーマットを拡張してもよいことは明らかである。 However, to incorporate various data structures for storing switch sample metadata, it is clear that may extend this other file formats.

図18は、切換サンプルメタデータを保存するための例示的なデータ構造を示している。 Figure 18 illustrates an exemplary data structure for storing switch sample metadata. 例示的なデータ構造は、一組のネスト化されたテーブルを含む切換サンプルテーブルボックスの形式を有している。 The exemplary data structure has the form of a switch sample table box containing a set of nested tables. テーブル1802内の各エントリは、1つの切換サンプルセットを特定する。 Each entry in the table 1802 identifies one switch sample set. 各切換サンプルセットは、再構築の結果が客観的に同じである(又は、知覚的に同じである)が、切換サンプルと同じ又は異なるトラック(ストリーム)内の異なる参照サンプルから予測される場合もある切換サンプルのグループからなる。 Each switch sample set, the result of reconstruction is objectively same (or perceptually the same) may have, it is predicted from different reference samples of the same or different track (stream) and switch sample consisting of a group of a certain switching sample. テーブル1802内の各エントリは、対応するテーブル1804にリンクされる。 Each entry in the table 1802 is linked to a corresponding table 1804. テーブル1804は、切換サンプルセットに含まれる各切換サンプルを特定する。 Table 1804 identifies each switch sample contained in a switch sample set. テーブル1804内の各エントリは、更に切換サンプルの位置(すなわち、そのトラックとサンプル番号)を定義する対応するテーブル1806にリンクされ、トラックは、切換サンプルによって用いられる参照サンプルと、切換サンプルによって用いられる参照サンプルの総数と、切換サンプルによって用いられる各切換サンプルとを含んでいる。 Each entry in the table 1804 is further linked to the corresponding table 1806 that defines the position of the switch sample (i.e., the track and sample number), track the reference samples used by the switch sample, used by the switch sample the total number of reference samples, and a respective switch sample used by the switch sample.

図15Aに示すように、一実施例では、切換サンプルメタデータは、同じコンテンツの異なる符号化が施されたされたバージョンを切り換えるために用いることができる。 As shown in FIG. 15A, in one embodiment, switch sample metadata may be used to switch between different encoding of the same content has been decorated version. MP4では、各代替的な符号化データは、別々のMP4トラックとして保存され、トラックヘッダ内の「代替グループ(alternate group)」は、そのデータが特定のコンテンツを代替的な符号化データであることを示す。 It In MP4, each alternative encoded data is stored as a separate MP4 track, "Alternative group (alternate group)" is in the track header, the data is an alternative encoding data specific content It is shown.

図15Bは、図15Aに示すサンプルS2、S12からなる切換サンプルセット1502を定義するメタデータを含むテーブルを示している。 Figure 15B shows a table that includes metadata defining switch sample set 1502 consisting of a sample S2, S12 shown in FIG. 15A.

図15Cは、2つのビットストリーム間の切替を行うポイントを決定するための処理1510の一実施例を示すフローチャートである。 Figure 15C is a flow diagram of one embodiment of a process 1510 for determining the point of switching between two bitstreams. ストリーム1からストリーム2への切換を行う場合、処理1510は、まず、切換サンプルメタデータを検索し、そしてストリーム1の参照トラックを有する切換サンプル及びストリーム2の切換サンプルトラックを有する切換サンプルを含む全ての切換サンプルセットを検出する(処理ブロック1512)。 When performing switching from stream 1 to stream 2, the process 1510 may first switch sample metadata searching, and all including the switch sample with the switch sample track switch sample and stream 2 having a reference track of stream 1 detecting a switch sample set (processing block 1512). 次に、検出された切換サンプルセットを評価し、ストリーム1の参考トラックを有する切換サンプルの全ての参照サンプルが利用可能である切換サンプルセットを選択する(処理ブロック1514)。 Next, to evaluate the detected switch sample set, all references samples of the switch sample selects a switch sample set is available with reference tracks of the stream 1 (processing block 1514). 例えばストリーム1の参照トラックを有する切換サンプルがPフレームである場合、切換を行う前に、1つのサンプルが利用可能である必要がある。 For example, if switch sample with a reference track of stream 1 is P-frame, before performing the switching, it is necessary one sample is available. 更に、選択された切換サンプルセットにおけるサンプルは、切換ポイントを特定するために用いられる(処理ブロック1516)。 Further, the sample in the selected switch sample set is used to identify the switching point (processing block 1516). すなわちストリーム1の参照トラックを有する切換サンプルを介して、ストリーム1の参照トラックを有する切換サンプルの最も高い参照サンプル(highest reference sample)の直後及びストリーム2の切換サンプルトラックを有する切換サンプルの直後のサンプルが切換ポイントであるとみなされる。 That through the switch sample with a reference track of stream 1, a sample immediately after the switch sample with the switch sample track immediately and the stream 2 of the highest reference sample switch sample having a reference track of stream 1 (highest reference sample) There is considered to be switching point.

他の実施例においては、切換サンプルメタデータを用いて、図19A〜図19Cに示すように、ビットストリームにおけるエントリポイントへのランダムアクセスを容易に行うことができる。 In another embodiment, using a switch sample metadata, as shown in FIG 19A~ Figure 19C, a random access to the entry points in the bit stream can be easily performed.

図19A及び図19Bに示すように、切換サンプル1902は、サンプルS2、S12を含む。 As shown in FIGS. 19A and 19B, a switch sample 1902 includes a sample S2, S12. S2は、P22から予測され、通常のストリーム再生時に用いられるPフレームである。 S2 is predicted from P22, a P frame used during normal stream playback. S12は、(例えばスプライスのために)ランダムアクセスポイントとして用いられる。 S12 is used as (for example for a splice) random access point. S12が一旦復号されると、P24の復号を含むストリーム再生は、P24がS2の後に復号されているかのようにして続行される。 When S12 is once decoded, stream playback including decoding of P24 is, P24 is continued as if being decoded after S2.

図19Cは、サンプルに関するランダムアクセスポイント(例えば、トラックTにおけるサンプルS)を決定するための処理1910の一実施例を示すフローチャートである。 Figure 19C is a random access point for the sample (e.g., sample S in the track T) is a flow diagram of one embodiment of a process 1910 for determining. 処理1910は、切換サンプルメタデータを検索し、切換サンプルトラックTを有する切換サンプルを含む全ての切換サンプルセットを検出することによって開始される(処理ブロック1912)。 Process 1910 retrieves the switch sample metadata is started by detecting all the switch sample set that contains the switch sample with the switch sample track T (processing block 1912). 次に、検出された切換サンプルセットを評価し、切換サンプルトラックTを有する切換サンプルが、復号順序において、サンプルSに先行する最も近いサンプルである切換サンプルセットを選択する(処理ブロック1514)。 Next, to evaluate the detected switch sample set, switch sample having a switch sample track T is, in decoding order, selecting a switch sample set that is closest sample preceding the sample S (processing block 1514). 更に選択された切換サンプルセットから、サンプルSへのランダムアクセスポイントとして、切換サンプルトラックTを有する切換サンプル以外の切換サンプル(サンプルSS)を選択する(処理ブロック1916)。 Further from the selected switch sample set, as a random access point to the sample S, selects the switch sample other than switch sample having a switch sample track T (Sample SS) (processing block 1916). ストリーム再生時には、サンプルSの代わりに(サンプルSSのためのエントリにおいて特定された全ての参照サンプルを復号することによって)サンプルSSが復号される。 During stream playback, in place of the sample S (by decoding all reference samples identified in the entry for sample SS) Sample SS is decoded.

更に別の実施例では図20A〜20Cに示すように、切換サンプルメタデータを用いて、エラー回復を容易に行うことができる。 As further shown in FIG. 20A~20C in another embodiment, by using a switch sample metadata, it can be easily error recovery.

図20A及び図20Bに示すように、切換サンプル2002は、サンプルS2、S12、S22を含む。 As shown in FIGS. 20A and 20B, a switch sample 2002 includes a sample S2, S12, S22. サンプルS2は、サンプルP4から予測される。 Sample S2 is predicted from sample P4. サンプルS12は、サンプルS1から予測される。 Sample S12 is predicted from sample S1. サンプルのP2とP4の間にエラーが発生した場合、サンプルS2の代わりに切換サンプルS12を復号できる。 If an error between P2 and P4 of the sample occurs, it can decode the switch sample S12 in place of the sample S2. これに続いて、ストリーミングは、通常通りサンプルP6から続行される。 Following this, the streaming is continued from the usual sample P6. また、エラーがサンプルS1に影響を与えた場合、同様に、サンプルS2の代わりに切換サンプルS22を復号でき、これに続いて、ストリーミングは、通常通りサンプルP6から続行される。 Also, if an error affects the sample S1, likewise, it can decode switch sample S22 in place of the sample S2, following which, the streaming continues with the usual sample P6.

図20Cは、サンプル(例えば、サンプルS)を送信する際のエラー回復を容易にするための処理2012の一実施例を示すフローチャートである。 Figure 20C is a sample (e.g., sample S) is a flow chart diagram of one embodiment of a method 2012 for facilitating error recovery when sending. 処理2012は、切換サンプルメタデータを検索し、サンプルSに等しい切換サンプルを含む全ての切換サンプルセットを検出することによって開始される(処理ブロック2010)。 Process 2012 retrieves the switch sample metadata is started by detecting all the switch sample set that contains equal switch sample to the sample S (processing block 2010). 次に、検出された切換サンプルセットを評価し、サンプルSに最も近く、参照サンプル値が正しいことが既知である(フィードバック又は他の情報源を介して)切換サンプルSSを有する切換サンプルを選択する(処理ブロック2014)。 Next, to evaluate the detected switch sample set, closest to the sample S, it is known that the reference sample value is correct (through feedback, or other sources) to select a switch sample having a switch sample SS (processing block 2014). そして、サンプルSの代わりに切換サンプルSSを送信する(処理ブロック2016)。 Then, it transmits a switch sample SS in place of the sample S (processing block 2016).

パラメータセット及び補足的拡張情報の保存 上述のように、パラメータセットメタデータ等の幾つかのメタデータは、関連するメディアデータから独立して保存できる。 Parameter set and as storage aforementioned Supplemental Enhancement Information, a number of meta-data such as parameter set metadata may be stored independently of the associated media data. 図21は、本発明の一実施例に基づいて、パラメータセットメタデータを別個に保存する手法を説明する図である。 Figure 21 is based on an embodiment of the present invention, it is a diagram for explaining a method of storing separately the parameter set metadata. 図21に示すように、メディアデータは、ビデオトラック2102に保存され、パラメータセットメタデータは、独立したパラメータトラック2104に保存される。 As shown in FIG. 21, the media data is stored in the video track 2102, the parameter set metadata is stored in a separate parameter track 2104. このパラメータトラック2104には、メディアデータが保存されていないことを示すために、「非アクティブ(inactive)」のマークを付してもよい。 This parameter track 2104, to indicate that the media data is not stored, may be a mark of "inactive (: inactive)." タイミング情報2106は、ビデオトラック2102とパラメータトラック2104の間の同期に用いられる。 Timing information 2106 is used for synchronization between the video track 2102 and a parameter track 2104. 一実施例においては、タイミング情報は、ビデオトラック2102とパラメータセットトラック2104のそれぞれのサンプルテーブルボックス内に保存される。 In one embodiment, timing information is stored in each of the sample table box of the video track 2102 and the parameter set track 2104. 一実施例においては、各パラメータセットは、1個のパラメータセットサンプルによって表され、同期は、メディアサンプルのタイミング情報がパラメータセットサンプルのタイミング情報と等しい場合に実現される。 In one embodiment, each parameter set is represented by a single parameter set samples, synchronization, timing information of a media sample is achieved if equal to the timing information of the parameter set sample.

他の実施例においては、オブジェクト記述子(object descriptor:OD)メッセージを用いて、パラメータセットメタデータが含められる。 In other embodiments, object descriptors: with (object descriptor OD) message, the parameter set metadata is included. MPEG−4規格では、オブジェクト記述子は、単一のオブジェクト(メディアオブジェクト又はシーン記述)に関連するストリームの構成及びこの他の情報を提供する1つ以上のエレメンタリストリーム記述子を表す。 The MPEG-4 standard, the object descriptor represents one or more elementary streams descriptor that provides structure and this other information relevant streams to a single object (media object or scene description). オブジェクト記述子メッセージは、オブジェクト記述子ストリームを介して送信される。 Object descriptor message is transmitted through an object descriptor stream. 図22に示すように、パラメータセットは、オブジェクト記述子メッセージ2204としてオブジェクト記述子ストリーム2202に含まれている。 As shown in FIG. 22, the parameter set is included in the object descriptor stream 2202 as an object descriptor message 2204. オブジェクト記述子ストリーム2202は、メディアデータを搬送するビデオエレメンタリストリームと同期する。 The object descriptor stream 2202 is synchronized with the video elementary streams carrying media data.

SEIの保存について、更に詳細に説明する。 About SEI of storage, it will be described in more detail.

一実施例においては、SEIデータは、メディアデータとともに、エレメンタリストリームに保存される。 In one embodiment, SEI data, along with the media data, is stored in the elementary stream. 図23は、メディアデータと共にエレメンタリストリームデータ2302に直接埋め込まれているSEIメッセージ2304を示す。 Figure 23 shows an SEI message 2304 embedded directly in the elementary stream data 2302 along with the media data.

他の実施例においてはSEIメッセージは、サンプルとして独立したSEIトラックに保存される。 SEI messages in other embodiments is stored in SEI track independent as a sample.

本発明の幾つかの実施例における、独立したトラックにおけるSEIメッセージの保存の手法を図24及び図25に示す、 In some embodiments of the invention, it shows a technique for storage of SEI messages in separate tracks in FIGS. 24 and 25,
図24に示す具体例では、メディアデータは、ビデオトラック2402に保存され、SEIメッセージは、サンプルとして、独立したSEIトラック2404に保存される。 In the specific example shown in FIG. 24, the media data is stored in the video track 2402, SEI message, as a sample, is stored in the SEI track 2404 independent. タイミング情報2406は、ビデオトラック2402とSEIトラック2404との間の同期に用いられる。 Timing information 2406 is used for synchronization between the video track 2402 and SEI track 2404.

図25に示す具体例では、メディアデータは、ビデオトラック2502に保存され、SEIメッセージは、オブジェクトコンテンツ情報(object content information:以下、OCIという。)トラック2504に保存される。 In the specific example shown in FIG. 25, the media data is stored in the video track 2502, SEI message, the object content information: is saved (object content information hereinafter referred OCI.) In the track 2504. タイミング情報2506は、ビデオトラック2502とOCIトラック2504の間の同期に用いられる。 Timing information 2506 is used for synchronization between the video track 2502 and OCI track 2504. MPEG−4規格では、OCIトラック2504は、シーンイベントに関する記述的なテキスト情報を提供するために共通に使用されるOCIデータを保存するために用いられる。 The MPEG-4 standard, OCI track 2504 is used to store the OCI data commonly used to provide descriptive text information about the scene events. 各SEIメッセージは、オブジェクト記述子としてOCIトラック2504に保存される。 Each SEI message is stored in OCI track 2504 as an object descriptor. 一実施例においては、多くの場合、OCIトラックに格納されているデータのタイプを指定するOCI記述子エレメントフィールドは、SEIメッセージを搬送するために使用される。 In one embodiment, often, OCI descriptor element field that specifies the type of data stored in the OCI track is used to carry an SEI message.

更に別の実施例では、SEIデータは、メディアデータから独立したメタデータとして保存される。 In yet another embodiment, SEI data is stored as a separate metadata from the media data. 図26は、本発明の一実施例に従ってメタデータとして保存されたSEIデータを示している。 Figure 26 shows the SEI data stored as metadata in accordance with an embodiment of the present invention.

図26に示すように、ISOメディアファイルフォーマットによって定義されているユーザデータボックス2602は、SEIメッセージを保存するために使用されている。 As shown in FIG. 26, the user data box 2602 that is defined by the ISO media file format is used to store the SEI message. 具体的には、各SEIメッセージは、トラック又はムービーボックスに含まれているユーザデータボックス2602内のSEIユーザデータボックス2604に保存される。 Specifically, each SEI message is stored in the SEI user data box 2604 in the user data box 2602 which are included in the track or movie box.

一実施例においては、SEIメッセージに含まれているメタデータは、メディアデータの記述を含んでいる。 In one embodiment, the metadata contained in the SEI message contains a description of media data. これらの記述は、MPEG−7規格よって定義されている記述子と記述スキームを表していてもよい。 These statements may represent a description scheme and descriptors defined by MPEG-7 standard. 一実施例においては、SEIメッセージは、XMLに基づく記述等のXMLベースのデータの包含をサポートする。 In one embodiment, SEI message, supports the inclusion of data in the XML-based description, etc. based on XML. 更に、SEIメッセージは、異なる種類のエンハンス情報の登録をサポートする。 Furthermore, SEI message, supports registration of different types of enhancement information. 例えば、SEIメッセージは、新たな種類の登録を必要とすることなく、匿名のユーザデータをサポートできる。 For example, SEI messages, without the need for registration of a new type, can support user data anonymous. このようなデータは、特定の用途又は組織に限定して用いられることを意図するデータであってもよい。 Such data may be data that is intended to be used only for specific applications or tissues. 一実施例においては、SEIの存在は、ビットストリーム環境において、指定された開始コードによって示される。 In one embodiment, the presence of the SEI, the bit stream environment, indicated by the specified start code.

一実施例においては、SEIメッセージにおいて記述されている拡張された能力の一部又は全てを提供するデコーダの能力は、外部の手法(例えば、H.245又はSDP勧告)によって示される。 In one embodiment, the ability of a decoder to provide some or all of the expanded capabilities are described in SEI message is indicated by an external method (e.g., H.245 or SDP Recommendation). 拡張された能力を有さないデコーダでは、単に、SEIメッセージを削除してもよい。 At the decoder having no extended capabilities may simply delete the SEI message.

一実施例においては、後に詳細に説明するように、SEIメッセージのペイロードヘッダにおける指定されたフィールドを用いることにより、メディアデータ(例えば、画像符号化レイヤデータ)及びメディアデータの記述を含んでいるSEIメッセージを同期させる。 In one embodiment, as will be described in detail later, SEI that by using the fields specified in the payload header of SEI message, the media data (e.g., image coding layer data) contain and description of media data to synchronize the message.

一実施例においては、ネットワークアダプテーション層は、基本的なトランスポートシステムにおける補足的拡張情報メッセージの伝送をサポートする。 In one embodiment, the network adaptation layer supports the transmission of supplemental enhancement information message in the underlying transport system. ネットワークアダプテーション層は、容認することができる帯域内(画像符号化層と同じトランスポートストリーム)又は帯域外のいずれによってSEIメッセージをシグナリングしてもよい。 Network adaptation layer may signal the SEI message by either can in-band (picture coding layer and the same transport stream) or out-of-band be tolerated.

一実施例においては、MPEG−7メタデータのSEIメッセージへの組込みは、MPEG−7メタデータのデリバリ層としてSEIを用いることによって実現される。 In one embodiment, the integration into the MPEG-7 metadata SEI messages is achieved by using a SEI as delivery layer of MPEG-7 metadata. 詳しくは、SEIメッセージは、1つ以上の記述フラグメントを表すMPEG−7システムアクセスユニット(フラグメント)をカプセル化する。 For more information, SEI message, encapsulates the MPEG-7 system access unit (fragment) representing one or more description fragment. MPEG−7アクセスユニットとメディアデータとの同期は、SEIメッセージのペイロードヘッダにおいて、指定されたフィールドを用いることによって実現される。 Synchronization with MPEG-7 access units and media data, the payload header of SEI messages is achieved by using the specified field.

他の実施例においては、MPEG−7メタデータのSEIメッセージへの組込みは、テキスト符号化又はバイナリの符号化のいずれかに基づいて、記述ユニットによってSEIメッセージを送信することによって実現される。 In other embodiments, incorporation of the MPEG-7 metadata SEI message, based on either the coding of text coding or binary, is realized by sending a SEI message from the description unit. 記述ユニットは、単一のMPEG−7記述子であってもよく、記述スキームであってもよく、完全な記述からの部分的な情報を表すために用いることができる。 Description unit may be a single MPEG-7 descriptors may be a description scheme can be used to represent the partial information from the full description. スケーラブルなカラー記述子のためのXML構文の具体例を以下に示す。 Specific examples of XML syntax for scalable color descriptor below.

記述子又は記述スキームインスタンスは、後に詳細に説明するように、SEIメッセージヘッダを介して、メディアデータの対応する部分(例えば、サブサンプル、サンプル、フラグメント等)に関連付けることができる。 Descriptors or description schemes instance, as will be described later in detail, via the SEI message header, a corresponding portion of media data (e.g., sub-sample, sample, fragment etc.) can be associated with. この実施例では、例えば、単一のフレームのためのバイナリ符号化又はテキスト符号化されたカラー記述子をSEIメッセージとして送ることができる。 In this embodiment, for example, you can send binary encoding or text coded color descriptor for a single frame as a SEI message. SEIメッセージを用いることにより、画像符号化ストリームの潜在的な記述を提供できる。 By using the SEI message can provide a potential description of the image coding stream. 潜在的な記述とは、記述ユニットが潜在的に含まれている画像符号化ストリームの完全な記述である。 Potential and description, a complete description of the image coding stream description unit is included in potential. 潜在的な記述は、以下のような形式を有していてもよい。 Potential description may have the following form.

一実施例においては、記述のSEIメッセージへの組込みをサポートするためにSEIのフォーマットを改訂する。 In one embodiment, to revise the SEI format to support the integration into the description of the SEI message. 具体的には、SEIをSEIメッセージのグループとして表す。 Specifically, representing the SEI as a group of SEI messages. 一実施例においては、SEIをデータのチャンクにカプセル化する。 In one embodiment, encapsulating the SEI into chunks of data. 各SEIチャンクは、1つ以上のSEIメッセージを含むことができる。 Each SEI chunk may include one or more SEI messages. 各SEIメッセージは、SEIヘッダとSEIペイロードを含む。 Each SEI message contains an SEI header and SEI payload. SEIヘッダは、バイト列において、SEIチャンクの最初のバイトから又は先のSEIメッセージに続く最初の第1バイトから開始される。 SEI header, in bytes, starting from the first of the first byte following the first bytes or previous SEI message SEI chunk. ペイロードは、SEIヘッダの直後に続き、SEIヘッダに続くバイトから開始される。 The payload immediately follows the SEI header, starting from the byte following the SEI header.

SEIヘッダは、メッセージの種類、メディアデータ部分の任意の識別子(例えば、サブサンプル、サンプル、フラグメント)、ペイロード長に関する情報を含んでいる。 SEI header, message type, any identifier for the media data portion (e.g., sub-sample, sample, fragment) contains the information about the payload length. SEIヘッダの構文は、例えば、以下の通りである。 The syntax of the SEI header, for example, as follows.

MessageTypeフィールドは、ペイロードのメッセージの種類を示す。 MessageType field indicates the type of message of the payload. SEIメッセージタイプコードの具体例を以下の表1に示す。 Specific examples of the SEI message type code shown in Table 1 below.

PayloadLengthフィールドは、バイトで表現されるSEIメッセージペイロードの長さを指定する。 PayloadLength field specifies the length of the SEI message payload in bytes. また、SEIヘッダは、このSEIメッセージが特定のサンプルに関連付けられているか否かをを示すサンプル同期フラグと、このSEIメッセージが特定のサブサンプルに関連付けられているか否かをを示すサブサンプル同期フラグと(サブサンプル同期フラグが設定されている場合、サンプル同期フラグも設定される)とを含んでいる。 Also, SEI header, sub-sample synchronization flag indicating a sample synchronization flag indicating whether this SEI message is associated with a particular sample, whether this SEI message is associated with a particular sub-sample (if sub-sample synchronization flag is set, also the sample synchronization flag is being set) and a. 更に、SEIペイロードは、このメッセージが関連付けられているサンプルを指定するオプションのサンプル識別子フィールドと、メッセージが関連付けられているサブサンプルを指定するオプションのサブサンプル識別子フィールドとを含んでいる。 Furthermore, SEI payload includes the sample identifier optional field that specifies the sample that this message is associated with, a sub-sample identifier field of options for specifying the sub-sample the message is associated with. サンプル識別子フィールドは、サンプル同期フラグが設定される場合にのみ存在する。 Sample identifier field is present only if the sample synchronization flag is set. 同様に、サブサンプル識別子フィールドは、サブサンプル同期フラグが設定される場合にのみ存在する。 Similarly, sub-sample identifier field is present only if the sub-sample synchronization flag is set. サンプル識別子とサブサンプル識別子フィールドにより、SEIメッセージをメディアデータに同期させることができる。 The sample identifier and sub-sample identifier field, it is possible to synchronize the SEI message to the media data.

一実施例においては、各SEIメッセージは、SEIメッセージ記述子によって送信される。 In one embodiment, each SEI message is sent by the SEI message descriptor. SEI記述子は、1つ以上のSEIメッセージを含むSEIユニットにカプセル化される。 SEI descriptor is encapsulated into SEI unit comprising one or more SEI messages. SEIメッセージユニットの構文は、以下の通りである。 The syntax of the SEI message unit is as follows.

SEIメッセージ記述子の構文は、以下の通りである。 The syntax of the SEI message descriptor is as follows.

タイプフィールドは、SEIメッセージの種類を示す。 Type field indicates the type of SEI message. SEIメッセージの具体例を以下の表2に示す。 Specific examples of the SEI message is shown in Table 2 below.

以下、表2に示す様々な種類のSEIメッセージについて、詳細に説明する。 Hereinafter, the various types of SEI message indicated in Table 2, will be described in detail.

SEIXMLDescriptorタイプは、例えば、完全なXML文書又はより大きい文書からのXMLフラグメントを含むことができるXMLベースのデータをカプセル化する記述子を示す。 SEIXMLDescriptor type are, for example, shows a descriptor that encapsulates the data of the XML-based can contain XML fragments from complete XML document or larger document. SEIXMLDescriptorの構文は、以下の通りである。 The syntax of the SEIXMLDescriptor are as follows.

SEIMetadataDescriptorタイプは、メタデータを含む記述子を示す。 SEIMetadataDescriptor type indicates a descriptor comprising metadata. SEIMetadataDescriptorの構文は、以下の通りである。 The syntax of the SEIMetadataDescriptor are as follows.

metadataFormatフィールドは、メタデータのフォーマットを特定する。 metadataFormat field specifies the format of the metadata. メタデータフォーマットの値の具体例を以下の表3に示す。 Specific examples of the values ​​of the metadata format in Table 3 below.

値0x10は、MPEG−7によって定義されているデータを示す。 The value 0x10 denotes the data defined by MPEG-7. 0x40〜0xFFまでの包括的な範囲に属する値は、独自のフォーマット(private format)の使用を示すために利用可能である。 Values ​​belonging to a comprehensive range up 0x40~0xFF are available to indicate the use of a proprietary format (private format).

metadataContentフィールドは、metadataFormatフィールドによって特定されたフォーマットによるメタデータの表現を含んでいる。 metadataContent field contains the representation of the meta data according to particular format by metadataFormat field.

SEIMetadataRefDescriptorタイプは、メタデータの位置を示すURLを指定する記述子を示す。 SEIMetadataRefDescriptor type indicates a descriptor that specifies the URL indicating the location of the metadata. SEIMetadatRefDescriptorの構文は、以下の通りである。 The syntax of the SEIMetadatRefDescriptor are as follows.

URLStringフィールドは、メタデータの位置を示すUTF−8符号化されたURLを含んでいる。 URLString field contains the UTF-8 encoded URL indicating the location of the metadata.

SEITextDescriptorタイプは、ビデオコンテンツを説明する又はビデオコンテンツに関係するテキストを含む記述子を示す。 SEITextDescriptor type indicates a descriptor that contains the text related to or video content describing the video content. SEITextDescriptorの構文は、以下の通りである。 The syntax of the SEITextDescriptor are as follows.

languageCodeフィールドは、これに続くテキストフィールドの言語に関する言語コードを含んでいる。 languageCode field contains the language code for the language of the text field following it. テキストフィールドは、UTF−8符号化されたテキストデータを含んでいる。 Text field contains the UTF-8 encoded text data.

SEIURIDescriptorタイプは、ビデオコンテンツに関連するユニフォームリソース識別子(uniform resource identifier:URI)を含む記述子を示す。 SEIURIDescriptor type uniform resource identifier associated with the video content (uniform resource identifier: URI) indicating a descriptor including. SEIURIDescriptorの構文は、以下の通りである。 The syntax of the SEIURIDescriptor are as follows.

uriStringフィールドは、ビデオコンテンツのURIを含んでいる。 uriString field contains the URI of the video content.

SEIOCLDescriptorタイプは、オブジェクトコンテンツ情報(Object Content Information:OCI)記述子を表すSEIメッセージを含む記述子を示す。 SEIOCLDescriptor type object content information: indicating the descriptor containing the SEI message indicating (Object Content Information OCI) descriptor. SEIOCLDescriptorの構文は、以下の通りである。 The syntax of the SEIOCLDescriptor are as follows.

ociDescrフィールドは、OCI記述子を含んでいる。 ociDescr field contains an OCI descriptor.

SEIStartSegmentDescriptorタイプは、後に他のSEIメッセージに参照されることができるセグメントの最初を示す記述子を示す。 SEIStartSegmentDescriptor type indicates descriptors initially indicating the segments that can be referenced in other SEI messages later. セグメントの開始は、このSEI記述子が適用されるあるレイヤ(例えば、サンプルのグループ、セグメント、サンプル又はサブサンプル)に関連付けられる。 Starting segment, certain layer (e.g., a group of samples, segment, sample or sub-sample) of the SEI descriptor is applied associated with. SEIStartSegmentDecriptorの構文は、以下の通りである。 The syntax of the SEIStartSegmentDecriptor are as follows.

segmentIDフィールドは、このセグメントを含むストリーム内における固有のバイナリ識別子(unique binary identifier)を示す。 segmentID field indicates a unique binary identifier in the stream containing the segment (unique binary identifier). この値を用いて、他のSEIメッセージのセグメントを参照することができる。 Using this value, it is possible to refer to the segment of the other SEI messages.

SEIEndSegmentDecriptorタイプは、セグメントの最後を示す記述子を示す。 SEIEndSegmentDecriptor type indicates a descriptor that indicates the last segment. これに先行して、同じsegmentID値を含むSEIStartSegmentメッセージが存在する必要がある。 Prior to this, it is necessary to present SEIStartSegment message containing the same segmentID value. ここで不一致が発生した場合、デコーダは、このメッセージを無視する必要がある。 If a mismatch occurs where the decoder is required to ignore this message. セグメントの最後は、このSEI記述子が適用されるあるレイヤ(例えば、サンプルのグループ、セグメント、サンプル又はサブサンプル)に関連付けられる。 The last segment, certain layer (e.g., a group of samples, segment, sample or sub-sample) of the SEI descriptor is applied associated with. SEIEndSegmentDecriptorの構文は以下の通りである。 The syntax of the SEIEndSegmentDecriptor is as follows.

segmentIDフィールドは、このセグメントを含むストリーム内における固有のバイナリ識別子を示す。 segmentID field indicates a unique binary identifier in the stream containing the segment. この値を用いて、他のSEIメッセージのセグメントを参照することができる。 Using this value, it is possible to refer to the segment of the other SEI messages.

オーディオビジュアルメタデータのストレージ及び検索について説明した。 It has been described storage and retrieval of audiovisual metadata. ここでは、特定の実施の形態を示したが、ここに示した特定の実施の形態に代えて、同じ目的を達成する如何なる構成を用いてもよいことは当業者にとって明らかである。 Here, although the specific embodiment, in place of the particular embodiment shown herein, it may use any configuration to achieve the same purpose will be apparent to those skilled in the art. したがって、本出願は、本発明のあらゆる適応例及び変形例を包含するものとする。 This application is therefore intended to cover any adaptations or variations of the present invention.

符号化システムの一実施例のブロック図である。 It is a block diagram of one embodiment of a coding system. 復号システムの一実施例のブロック図である。 It is a block diagram of an embodiment of a decoding system. 本発明の実現に好適なコンピュータ環境のブロック図である。 It is a block diagram of a suitable computer environment the realization of the present invention. 符号化システムにおいて、サブサンプルメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for storing sub-sample metadata. 復号システムにおいて、サブサンプルメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing sub-sample metadata. サブサンプルを有する拡張MP4メディアストリームモデルを説明する図である。 Is a diagram illustrating an extended MP4 media stream model with sub-samples. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. サブサンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing sub-sample metadata. 符号化システムにおいてパラメータセットメタデータを保存するための処理に関するフローチャートである。 It is a flowchart of processing for storing parameter set metadata at the encoding system. 復号システムにおいて、パラメータセットメタデータを利用するための処理に関するフローチャートである。 In the decoding system, a flowchart relating to processing for utilizing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. パラメータセットメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing parameter set metadata. 例示的な拡張グループオブピクチャ(GOP)を示す図である。 It is a diagram illustrating an exemplary extended group of pictures (GOP). 符号化システムにおいて、シーケンスメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for saving the sequence metadata. 復号システムにおいて、シーケンスメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing the sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. シーケンスメタデータを保存するために例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing a sequence metadata. ビットストリーム切換のための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for bit stream switching. ビットストリーム切換のための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for bit stream switching. 2つのビットストリームの間の切換を行うポイントを判定するための処理の一実施例を示すフローチャートである。 It is a flow chart diagram of one embodiment of a method for determining the point for switching between two bit streams. 符号化システムにおいて、切換サンプルメタデータを保存するための処理に関するフローチャートである。 In the encoding system is a flowchart of processing for storing switch sample metadata. 復号システムにおいて、切換サンプルメタデータを使用するための処理に関するフローチャートである。 In the decoding system, a flow chart of a method for utilizing switch sample metadata. 切換サンプルメタデータを保存するための例示的なデータ構造を示す図である。 Is a diagram showing an exemplary data structure for storing switch sample metadata. ランダムアクセスエントリポイントを実現するための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for implementing random access entry point. ランダムアクセスエントリポイントを実現するための切換サンプルセットの使用法を示す図である。 It is a diagram illustrating the use of a switch sample set for implementing random access entry point. サンプルのランダムアクセスポイントを判定するための処理の一実施例に関するフローチャートである。 It is a flowchart of one embodiment of a process for determining a random access point of the sample. エラー回復を実現するための切換サンプルセットの使用法を示す図である。 Is a diagram illustrating the use of a switch sample set for implementing the error recovery. エラー回復を実現するための切換サンプルセットの使用法を示す図である。 Is a diagram illustrating the use of a switch sample set for implementing the error recovery. サンプル送信時のエラー回復を実現するための処理の一実施例に関するフローチャートである。 It is a flowchart of one embodiment of a process for implementing error recovery during sample transmission. 本発明の幾つかの実施例に基づくパラメータセットメタデータの保存を説明する図である。 Is a diagram illustrating the storage of the parameter set metadata in accordance with some embodiments of the present invention. 本発明の幾つかの実施例に基づくパラメータセットメタデータの保存を説明する図である。 Is a diagram illustrating the storage of the parameter set metadata in accordance with some embodiments of the present invention. 本発明の幾つかの実施例に基づく補足的拡張情報(supplemental enhancement information:SEI)の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報(supplemental enhancement information:SEI)の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報(supplemental enhancement information:SEI)の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI). 本発明の幾つかの実施例に基づく補足的拡張情報(supplemental enhancement information:SEI)の保存を説明する図である。 Supplemental Enhancement Information in accordance with some embodiments of the present invention: is a diagram illustrating the storage of the (supplemental enhancement information SEI).

Claims (34)

  1. マルチメディアデータの複数の部分の1つ以上のパラメータセットを定義するパラメータセットメタデータを特定するステップと、 Identifying a parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
    マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するステップとを有するデータ処理方法。 Data processing method and a step of storing separately from the multimedia data parameter set metadata that is sent to the decoding system for decoding multimedia data.
  2. 上記マルチメディアデータの複数の部分は、該マルチメディアデータ内のサンプルであることを特徴とする請求項1記載のデータ処理方法。 Said plurality of portions of multimedia data, the data processing method according to claim 1, characterized in that the samples within the multimedia data.
  3. 上記マルチメディアデータの複数の部分は、該マルチメディアデータの部分内のサブサンプルであることを特徴とする請求項1記載のデータ処理方法。 Said plurality of portions of multimedia data, the data processing method according to claim 1, characterized in that the sub-samples in the portion of the multimedia data.
  4. 上記マルチメディアデータは、ビデオトラックに保存され、 The multi-media data is stored in the video track,
    上記パラメータセットメタデータは、パラメータトラックに保存されることを特徴とする請求項1記載のデータ処理方法。 The parameter set metadata is data processing method according to claim 1, characterized in that it is stored in the parameter tracks.
  5. 上記パラメータトラックを上記ビデオトラックと同期させるステップを更に有する請求項4記載のデータ処理方法。 The data processing method according to claim 4, further comprising the step of the parameter tracks synchronized with said video track.
  6. 上記パラメータトラックは、非アクティブであることを特徴とする請求項4記載のデータ処理方法。 The parameter tracks, data processing method according to claim 4, wherein the inactivity.
  7. 上記各パラメータセットは、パラメータセットサンプルとして、上記パラメータトラックに保存されることを特徴とする請求項4記載のデータ処理方法。 Each parameter set, a parameter set samples, the data processing method according to claim 4, characterized in that it is stored in said parameter track.
  8. ビデオエレメンタリストリームを介して上記マルチメディアデータを送信するステップと、 And transmitting the multimedia data via a video elementary stream,
    上記パラメータセットメタデータをオブジェクト記述子ストリームとして送信するステップとを更に有する請求項1記載のデータ処理方法。 The data processing method according to claim 1, further comprising the step of transmitting the parameter set metadata as objects descriptor stream.
  9. 上記各パラメータセットは、オブジェクト記述子メッセージとして、オブジェクト記述子ストリームを介して送信されることを特徴とする請求項8記載のデータ処理方法。 Each parameter set, as an object descriptor message, data processing method according to claim 8, wherein the transmitted through an object descriptor stream.
  10. 上記オブジェクト記述子ストリームを上記ビデオエレメンタリストリームに同期させるステップを更に有する請求項8記載のデータ処理方法。 The data processing method according to claim 8, further comprising the step of synchronizing the object descriptor stream into the video elementary stream.
  11. 復号システムにおいて、マルチメディアデータ及び独立したパラメータセットメタデータを受信するステップを更に有し、該独立したパラメータセットメタデータは、少なくともマルチメディアデータの一部を復号するために必要である1つ以上のパラメータセットのどれかを特定するために用いられることを特徴とする請求項1記載のデータ処理方法。 In the decoding system, further comprising the step of receiving the multimedia data and independent parameter set metadata, the parameter set metadata said independent, one or more is required to decode at least a portion of the multimedia data the data processing method according to claim 1, characterized in that it is used to identify any of the parameter set.
  12. マルチメディアデータに関係する1つ以上の記述を特定するステップと、 Identifying one or more descriptions pertaining to multimedia data,
    後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報(supplemental enhancement information:SEI)に上記マルチメディアデータに関連する1つ以上の記述を含めるステップとを有するデータ処理方法。 After being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data: data having one or more steps to include a description associated with the multimedia data (supplemental enhancement information SEI) Processing method.
  13. 上記SEIは、マルチメディアデータとは別にSEIメタデータとして保存されることを特徴とする請求項12記載のデータ処理方法。 The SEI is data processing method according to claim 12, wherein the the multimedia data are separately stored as SEI metadata.
  14. 上記SEIメタデータは、複数のSEIメッセージを含んでいることを特徴とする請求項13記載のデータ処理方法。 The SEI metadata, data processing method according to claim 13, characterized in that it comprises a plurality of SEI messages.
  15. 上記複数のSEIメッセージのそれぞれは、ムービーボックスのトラックのボックスとして保存されることを特徴とする請求項14記載のデータ処理方法。 It said each of the plurality of SEI message, the data processing method according to claim 14, wherein the stored as a track box of the movie box.
  16. 上記マルチメディアデータは、ビデオトラックに保存され、上記SEIメタデータは、SEIトラックに保存されることを特徴とする請求項13記載のデータ処理方法。 The multimedia data is stored in the video track, the SEI metadata, data processing method according to claim 13, characterized in that it is stored in the SEI track.
  17. 上記SEIトラックをビデオトラックに同期させるステップを更に有する請求項16記載のデータ処理方法。 The data processing method according to claim 16, further comprising the step of synchronizing the SEI track to the video track.
  18. 上記SEIトラックは、サンプル内に複数のSEIメッセージを含んでいることを特徴とする請求項17記載のデータ処理方法。 The SEI track, data processing method according to claim 17, characterized in that it comprises a plurality of SEI messages in the sample.
  19. ビデオエレメンタリストリームを介して上記マルチメディアデータを送信するステップと、 And transmitting the multimedia data via a video elementary stream,
    オブジェクトコンテンツ情報(object content information:OCI)ストリームを介して、上記SEIメタデータを送信するステップとを更に有する請求項13記載のデータ処理方法。 Object content information (object content information: OCI) through the stream data processing method of claim 13 further comprising the step of transmitting the SEI metadata.
  20. 上記複数のSEIメッセージのそれぞれは、OCI記述子として、OCIストリームを介して送信されることを特徴とする請求項19記載のデータ処理方法。 It said each of the plurality of SEI message, as OCI descriptors, data processing method according to claim 19, wherein the sent through OCI stream.
  21. 上記1つ以上の記述のそれぞれは、記述子及び記述子スキームのいずれかであることを特徴とする請求項12記載のデータ処理方法。 Each of the one or more descriptive data processing method according to claim 12, wherein a is any of descriptors and descriptor scheme.
  22. 上記複数のSEIメッセージのそれぞれは、該複数のSEIメッセージのそれぞれをマルチメディアデータの対応する部分に関連付けるデータを有するペイロードヘッダを含んでいることを特徴とする請求項14記載のデータ処理方法。 It said each of the plurality of SEI message, the data processing method according to claim 14, wherein the includes a payload header having data associated with each of the plurality of SEI messages in the corresponding portion of multimedia data.
  23. 上記マルチメディアデータの対応する部分は、サンプル、サブサンプル、サンプルのグループのうちのいずれか1つであることを特徴とする請求項22記載のデータ処理方法。 The corresponding portion of multimedia data samples, a sub-sample, data processing method according to claim 22, wherein a is any one of a group of samples.
  24. 上記1つ以上の記述をSEIに含めるステップは、MPEG−7システムアクセスユニットを複数のSEIメッセージの1つにカプセル化するステップを含むことを特徴とする請求項12記載のデータ処理方法。 Step of including said one or more described SEI, the data processing method according to claim 12, comprising the step of encapsulating the MPEG-7 system access unit in one of a plurality of SEI messages.
  25. 上記1つ以上の記述のそれぞれを複数のSEIメッセージの1つによって送信するステップを更に有する請求項12記載のデータ処理方法。 The data processing method according to claim 12, further comprising the step of transmitting by one of a plurality of SEI message each of the one or more descriptions.
  26. 上記1つ以上の記述は、テキスト的に又はバイナリ的に符号化されることを特徴とする請求項25記載のデータ処理方法。 The one or more descriptions, data processing method according to claim 25, wherein being textually or binary encoded.
  27. マルチメディアデータを含む第1のファイルを作成するメディアファイル作成器と、 A media file creator that creates a first file including a multimedia data,
    マルチメディアデータの複数の部分と1つ以上のパラメータセットを定義するパラメータセットメタデータを特定し、後に復号システムにおいて、マルチメディアデータを復号するときに使用される、パラメータセットメタデータを含む第2のファイルを作成するメタデータファイル作成器とを備えるデータ処理装置。 Identify the parameter set metadata defining a plurality of portions and one or more parameter sets of the multimedia data, after the decoding system, is used to decode the multimedia data, first includes parameter set metadata 2 a data processing apparatus and a metadata file creator for creating a file.
  28. マルチメディアデータを含む第1のファイルを作成するメディアファイル作成器と、 A media file creator that creates a first file including a multimedia data,
    マルチメディアデータに関係する1つ以上の記述を特定し、後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報(supplemental enhancement information:SEI)に上記マルチメディアデータに関連する1つ以上の記述を含めるメタデータ作成器とを備えるデータ処理装置。 Identify the multimedia data to one or more descriptions pertaining sent after the decoding system, supplemental enhancement information to be optionally used in the decoding of the multimedia data (supplemental enhancement information: SEI) in the multimedia data a data processing apparatus and a metadata generator including an associated one or more described.
  29. マルチメディアデータの複数の部分の1つ以上のパラメータセットを定義するパラメータセットメタデータを特定する特定手段と、 Specifying means for specifying a parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
    マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存する保存手段とを備えるデータ処理装置。 A data processing apparatus and a storage means for storing separately from the parameter set metadata that is sent to the decoding system for decoding multimedia data and multimedia data.
  30. マルチメディアデータに関係する1つ以上の記述を特定する特定手段と、 Specifying means for specifying one or more descriptions pertaining to multimedia data,
    後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報(supplemental enhancement information:SEI)に上記マルチメディアデータに関連する1つ以上の記述を含める記述追加手段とを備えるデータ処理装置。 And one or more description additional means include a description associated with the multimedia data to: (SEI supplemental enhancement information) after being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data data processing apparatus comprising.
  31. メモリと、 And memory,
    上記メモリに接続され、一組の命令を実行する少なくとも1つのプロセッサとを備え、 Coupled to said memory, and at least one processor executes a set of instructions,
    上記少なくとも1つのプロセッサは、上記一組の命令を実行することにより、 The at least one processor executes the set of instructions,
    マルチメディアデータの複数の部分の1つ以上のパラメータセットを定義するパラメータセットメタデータを特定し、 Identify the parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
    マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するデータ処理システム。 Data processing system which separately store the parameter set metadata multimedia data to be transmitted to the decoding system for decoding multimedia data.
  32. メモリと、 And memory,
    上記メモリに接続され、一組の命令を実行する少なくとも1つのプロセッサとを備え、 Coupled to said memory, and at least one processor executes a set of instructions,
    上記少なくとも1つのプロセッサは、上記一組の命令を実行することにより、 The at least one processor executes the set of instructions,
    マルチメディアデータに関係する1つ以上の記述を特定し、 Identifying one or more descriptions pertaining to multimedia data,
    後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報(supplemental enhancement information:SEI)に上記マルチメディアデータに関連する1つ以上の記述を含めるデータ処理システム。 After being sent to the decoding system, the multimedia data of supplemental enhancement information to be optionally used in the decoding (supplemental enhancement information: SEI) in one or more data processing systems to include a description of the associated with the multimedia data.
  33. プロセッサにより実行され、該プロセッサにデータ処理方法を実行させるコンピュータにより読取可能な媒体であって、該データ処理方法は、 Is executed by a processor, a computer readable storage medium for executing a data processing method to the processor, the data processing method,
    マルチメディアデータの複数の部分の1つ以上のパラメータセットを定義するパラメータセットメタデータを特定するステップと、 Identifying a parameter set metadata that defines one or more parameter sets of a plurality of portions of the multimedia data,
    マルチメディアデータを復号するために復号システムに送信されるパラメータセットメタデータをマルチメディアデータとは別に保存するステップとを有するコンピュータにより読取可能な媒体。 Computer readable storage medium, and a step of storing separately from the multimedia data parameter set metadata that is sent to the decoding system for decoding multimedia data.
  34. プロセッサにより実行され、該プロセッサにデータ処理方法を実行させるコンピュータにより読取可能な媒体であって、該データ処理方法は、 Is executed by a processor, a computer readable storage medium for executing a data processing method to the processor, the data processing method,
    マルチメディアデータに関係する1つ以上の記述を特定するステップと、 Identifying one or more descriptions pertaining to multimedia data,
    後に復号システムに送信され、上記マルチメディアデータの復号において任意に使用される補足的拡張情報(supplemental enhancement information:SEI)に上記マルチメディアデータに関連する1つ以上の記述を含めるステップとを有するコンピュータにより読取可能な媒体。 After being sent to the decoding system, the supplemental enhancement information to be optionally used in the decoding of the multimedia data: computer having one or more steps to include a description associated with the multimedia data (supplemental enhancement information SEI) readable medium.
JP2004505908A 2002-02-25 2003-04-29 Data processing method and apparatus Abandoned JP2006505024A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US37665102 true 2002-04-29 2002-04-29
US37665202 true 2002-04-29 2002-04-29
US10371464 US20030163477A1 (en) 2002-02-25 2003-02-21 Method and apparatus for supporting advanced coding formats in media files
US10425685 US20040006575A1 (en) 2002-04-29 2003-04-28 Method and apparatus for supporting advanced coding formats in media files
PCT/US2003/013145 WO2003098475A1 (en) 2002-04-29 2003-04-29 Supporting advanced coding formats in media files

Publications (1)

Publication Number Publication Date
JP2006505024A true true JP2006505024A (en) 2006-02-09

Family

ID=29554444

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004505908A Abandoned JP2006505024A (en) 2002-02-25 2003-04-29 Data processing method and apparatus

Country Status (7)

Country Link
EP (1) EP1500002A1 (en)
JP (1) JP2006505024A (en)
KR (1) KR20040106414A (en)
CN (1) CN100419748C (en)
DE (1) DE10392598T5 (en)
GB (1) GB2403835B (en)
WO (1) WO2003098475A1 (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136211A (en) * 2006-11-27 2008-06-12 Thomson Licensing Encoding device, decoding device, recording device, and audio/video data transmission system
JP2008536193A (en) * 2005-04-13 2008-09-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーションDolby Laboratories Licensing Corporation Check audio metadata
JP2009535969A (en) * 2006-05-03 2009-10-01 テレフオンアクチーボラゲット エル エム エリクソン(パブル) Methods and apparatus for reconstructing the media from media representation
JP2009543386A (en) * 2006-03-27 2009-12-03 ヴィドヨ,インコーポレーテッド In scalable video and audio coding system, using the control message, the system and method for managing scalability information
JP2010509896A (en) * 2006-11-14 2010-03-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated System and method for channel switching
JP2010539834A (en) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
JP2011501553A (en) * 2007-10-16 2011-01-06 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding media content and metadata
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
JP2013051707A (en) * 2007-04-17 2013-03-14 Thomson Licensing Method to transmit video data in data stream and associated metadata
US8670437B2 (en) 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
US8761162B2 (en) 2006-11-15 2014-06-24 Qualcomm Incorporated Systems and methods for applications using channel switch frames
JP2014519789A (en) * 2011-06-14 2014-08-14 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for transmitting and receiving media content in a multimedia system
KR101484843B1 (en) 2013-04-19 2015-01-20 삼성전자주식회사 A method and apparatus for transmitting a media transport packet in a multimedia transport system
JP2015053703A (en) * 2010-07-20 2015-03-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated Providing sequence data sets for streaming video data
JP2015519807A (en) * 2012-04-25 2015-07-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated To identify the parameters set in the video file

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472792B2 (en) 2003-12-08 2013-06-25 Divx, Llc Multimedia distribution system
WO2005086625A3 (en) 2004-02-10 2006-08-17 Thomson Licensing Storage of advanced video coding (avc) parameter sets in avc file format
US8315307B2 (en) 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
KR100729224B1 (en) 2004-10-13 2007-06-19 강원대학교산학협력단 Exteneded Multimedia File Structure and Multimedia File Producting Method and Multimedia File Executing Method
JP2008536420A (en) 2005-04-13 2008-09-04 ノキア コーポレイション Coding scalability information, storing and signaling
EP2005607B1 (en) 2006-03-27 2016-09-07 Vidyo, Inc. System and method for management of scalability information in scalable video coding systems using control messages
US8184153B2 (en) * 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
FR2894739A1 (en) * 2005-12-12 2007-06-15 Thomson Licensing Sa coding method, DECODING METHOD, encoding device and decoding device of video data
EP2041974A4 (en) * 2006-07-12 2014-09-24 Lg Electronics Inc Method and apparatus for encoding/decoding signal
CN101507281B (en) 2006-07-12 2013-06-05 诺基亚公司 Signaling of region-of-interest scalability information in media files
US8365060B2 (en) 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
CA2661578C (en) 2006-08-24 2014-06-17 Nokia Corporation System and method for indicating track relationships in media files
WO2008046243A1 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
WO2008102323A3 (en) * 2007-02-23 2008-11-13 Nokia Corp Backward-compatible characterization of aggregated media data units
WO2008130500A3 (en) 2007-04-18 2008-12-11 Jiancong Luo Coding systems
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
DE102007045741A1 (en) * 2007-06-27 2009-01-08 Siemens Ag Method and apparatus for encoding and decoding multimedia data
KR101451239B1 (en) 2007-08-13 2014-10-15 삼성전자 주식회사 Method for creating and accessing media metadata in media file format and apparatus thereof
CA2695645C (en) * 2007-08-20 2017-05-23 Nokia Corporation Segmented metadata and indexes for streamed multimedia data
US8081635B2 (en) 2008-10-08 2011-12-20 Motorola Solutions, Inc. Reconstruction of errored media streams in a communication system
US20120011270A1 (en) * 2009-04-09 2012-01-12 Clinton Priddle Methods and arrangements for creating and handling media files
US8976871B2 (en) 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
KR101290467B1 (en) * 2009-09-22 2013-07-26 퀄컴 인코포레이티드 Multi-track video coding methods and apparatus using an extractor that references two or more non-consecutive nal units
KR101628432B1 (en) 2010-02-19 2016-06-21 텔레폰악티에볼라겟엘엠에릭슨(펍) Method and arrangement for representation switching in http streaming
CN103098485A (en) * 2010-06-14 2013-05-08 汤姆森特许公司 Method and apparatus for encapsulating coded multi-component video
WO2012030120A3 (en) * 2010-08-31 2012-05-31 ㈜휴맥스 Methods of transmitting and receiving a media information file for http streaming
EP2625867A1 (en) 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (publ) A client, a content creator entity and methods thereof for media streaming
US9161039B2 (en) * 2012-09-24 2015-10-13 Qualcomm Incorporated Bitstream properties in video coding
CN105409235A (en) * 2013-07-19 2016-03-16 索尼公司 File generation device and method, and content reproduction device and method
US20160277769A1 (en) * 2015-03-16 2016-09-22 Microsoft Technology Licensing, Llc Standard-guided video decoding performance enhancements
US9979983B2 (en) 2015-03-16 2018-05-22 Microsoft Technology Licensing, Llc Application- or context-guided video decoding performance enhancements
GB201704882D0 (en) * 2017-03-27 2017-05-10 Canon Kk Method and apparatus for encoding media data comprising generated content

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706493A (en) * 1995-04-19 1998-01-06 Sheppard, Ii; Charles Bradford Enhanced electronic encyclopedia
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US6453355B1 (en) * 1998-01-15 2002-09-17 Apple Computer, Inc. Method and apparatus for media data transmission
US6426778B1 (en) * 1998-04-03 2002-07-30 Avid Technology, Inc. System and method for providing interactive components in motion video
WO2000043910A1 (en) * 1999-01-22 2000-07-27 Kent Ridge Digital Labs Method and apparatus for indexing and retrieving images using visual keywords
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
GB2387287B (en) * 2002-04-05 2006-03-15 Snell & Wilcox Limited Video compression transcoding

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008536193A (en) * 2005-04-13 2008-09-04 ドルビー・ラボラトリーズ・ライセンシング・コーポレーションDolby Laboratories Licensing Corporation Check audio metadata
US8612498B2 (en) 2005-09-27 2013-12-17 Qualcomm, Incorporated Channel switch frame
US8229983B2 (en) 2005-09-27 2012-07-24 Qualcomm Incorporated Channel switch frame
US8670437B2 (en) 2005-09-27 2014-03-11 Qualcomm Incorporated Methods and apparatus for service acquisition
JP2009543386A (en) * 2006-03-27 2009-12-03 ヴィドヨ,インコーポレーテッド In scalable video and audio coding system, using the control message, the system and method for managing scalability information
JP2009535969A (en) * 2006-05-03 2009-10-01 テレフオンアクチーボラゲット エル エム エリクソン(パブル) Methods and apparatus for reconstructing the media from media representation
JP2010509896A (en) * 2006-11-14 2010-03-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated System and method for channel switching
JP2012135027A (en) * 2006-11-14 2012-07-12 Qualcomm Inc Systems and methods for channel switching
US8345743B2 (en) 2006-11-14 2013-01-01 Qualcomm Incorporated Systems and methods for channel switching
US8761162B2 (en) 2006-11-15 2014-06-24 Qualcomm Incorporated Systems and methods for applications using channel switch frames
JP2008136211A (en) * 2006-11-27 2008-06-12 Thomson Licensing Encoding device, decoding device, recording device, and audio/video data transmission system
JP2013051707A (en) * 2007-04-17 2013-03-14 Thomson Licensing Method to transmit video data in data stream and associated metadata
JP2010539834A (en) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン Apparatus and method for reading and storing a file having a media data container and a metadata container
US8660999B2 (en) 2007-10-16 2014-02-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding media content and metadata thereof
JP2011501553A (en) * 2007-10-16 2011-01-06 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for encoding media content and metadata
JP2015053703A (en) * 2010-07-20 2015-03-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated Providing sequence data sets for streaming video data
JP2017175623A (en) * 2010-07-20 2017-09-28 クゥアルコム・インコーポレイテッドQualcomm Incorporated Providing sequence data sets for streaming video data
JP2014519789A (en) * 2011-06-14 2014-08-14 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for transmitting and receiving media content in a multimedia system
KR101863410B1 (en) 2011-06-14 2018-05-31 삼성전자주식회사 Method and apparatus for transmitting/receiving hybrid media content in a multimedia system
JP2015519807A (en) * 2012-04-25 2015-07-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated To identify the parameters set in the video file
KR101484843B1 (en) 2013-04-19 2015-01-20 삼성전자주식회사 A method and apparatus for transmitting a media transport packet in a multimedia transport system

Also Published As

Publication number Publication date Type
KR20040106414A (en) 2004-12-17 application
CN1666195A (en) 2005-09-07 application
EP1500002A1 (en) 2005-01-26 application
WO2003098475A1 (en) 2003-11-27 application
GB2403835A (en) 2005-01-12 application
CN100419748C (en) 2008-09-17 grant
GB0424069D0 (en) 2004-12-01 grant
GB2403835B (en) 2005-11-23 grant
DE10392598T5 (en) 2005-05-19 application

Similar Documents

Publication Publication Date Title
Haskell et al. Digital video: an introduction to MPEG-2
US6771703B1 (en) Efficient scaling of nonscalable MPEG-2 Video
US5850258A (en) High level video decoding apparatus capable of decoding video data of a plurality of channels coded at a lower level
US6535919B1 (en) Verification of image data
US20100049865A1 (en) Decoding Order Recovery in Session Multiplexing
US7023924B1 (en) Method of pausing an MPEG coded video stream
US20100146139A1 (en) Method for streaming parallel user sessions, system and computer software
US20120023249A1 (en) Providing sequence data sets for streaming video data
US6292805B1 (en) System and method for processing object-based audiovisual information
US20040172478A1 (en) Video stream switching
US20120016965A1 (en) Video switching for streaming video data
US20010000962A1 (en) Terminal for composing and presenting MPEG-4 video programs
US20030061369A1 (en) Processing of multimedia data
US20100158109A1 (en) Providing Television Broadcasts over a Managed Network and Interactive Content over an Unmanaged Network to a Client Device
US20080002776A1 (en) Media Content and Enhancement Data Delivery
US20110064146A1 (en) Media extractor tracks for file format track selection
US20040167916A1 (en) System and method of organizing data to facilitate access and streaming
US20060221178A1 (en) System and method for internet broadcasting of mpeg-4-based stereoscopic video
US20080170622A1 (en) Interactive encoded content system including object models for viewing on a remote device
US20120023250A1 (en) Arranging sub-track fragments for streaming video data
US20130170561A1 (en) Method and apparatus for video coding and decoding
US20080201736A1 (en) Using Triggers with Video for Interactive Content Identification
US20070016594A1 (en) Scalable video coding (SVC) file format
US6611262B1 (en) Generation of a bit stream containing binary image/audio data that is multiplexed with a code defining an object in ascii format
US6463445B1 (en) Multimedia information retrieval system and method including format conversion system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060407

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080530

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080530

RD04 Notification of resignation of power of attorney

Effective date: 20080620

Free format text: JAPANESE INTERMEDIATE CODE: A7424

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090205