EP2002654A1 - Verfahren zur erzeugung eines digitalen datenstroms - Google Patents

Verfahren zur erzeugung eines digitalen datenstroms

Info

Publication number
EP2002654A1
EP2002654A1 EP07704647A EP07704647A EP2002654A1 EP 2002654 A1 EP2002654 A1 EP 2002654A1 EP 07704647 A EP07704647 A EP 07704647A EP 07704647 A EP07704647 A EP 07704647A EP 2002654 A1 EP2002654 A1 EP 2002654A1
Authority
EP
European Patent Office
Prior art keywords
metadata
media data
data stream
stream
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07704647A
Other languages
English (en)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Thomas Rathgen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Solutions and Networks GmbH and Co KG
Original Assignee
Siemens AG
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Corp filed Critical Siemens AG
Publication of EP2002654A1 publication Critical patent/EP2002654A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor

Definitions

  • the invention relates to a method for generating a digital data stream and to a method for processing a data stream generated in this way.
  • the invention relates to a transmitter or a receiver for transmitting or receiving a digital data stream and a corresponding digital information carrier.
  • Metadata streams are often transmitted synchronized in time with the actual media data stream, which deliver a content-related description of the corresponding data packets of the media data stream.
  • video sample also referred to as "video sample”
  • metadata stream portion also referred to as a "meta data sample”
  • the provisional MPEG4-SVC Moving Pictures Experts Group
  • MPEG Moving Pictures Experts Group
  • the generated video stream is constructed so that the video images can be extracted in different resolutions.
  • R / D-optimal extraction of the video data is to be achieved here.
  • R / D stands for "rate distortion” and with the R / D-optimal extraction, which is well known to the person skilled in the art and is explained in more detail in the detailed description, it is to be ensured that the best possible quality of the video data stream at a given
  • Such an optimal extraction On is very complex and requires the provision of certain information. It is not enough that only metadata be provided for each video sample, but it is necessary to provide parameters for the individual video data packets within the video samples for the R / D-optimal extraction of video images.
  • the document WO 03/091905 A2 discloses the classification of a data stream by dividing the data stream into data stream subareas, wherein each data stream subarea is assigned to a class.
  • the classes can be selected such that they are independent of the structure and syntax of the data stream to be described, in particular the encoding format of the data stream.
  • the document does not address the synchronized generation of metadata for a media data stream.
  • the object of the invention is to provide a method for generating a digital data stream and a method for processing such a data stream, which allow easy access to metadata of a media data stream. It is another object of the invention to provide a corresponding
  • a media data stream is generated which contains a plurality of media data stream sections sorted temporally in a specific manner, wherein each media data stream section contains one or more media data packets.
  • the media data stream sections may be sorted in temporal succession.
  • a media data stream section is, for example, a predetermined video image in a video data stream.
  • the generated media data stream is assigned a metadata stream that is synchronized with it in a timely manner, the metadata stream comprising metadata stream sections and one or more of the media data stream sections and in particular each metadata stream section each being assigned a metadata stream section.
  • a metadata stream section is generated, in which metadata relating to the corresponding media data flow section is deposited in the metadata stream section.
  • the invention is characterized in that one or more first metadata elements are arranged in a respective metadata flow section such that each media data packet of the media data flow section to which the respective metadata flow section is assigned is assigned a first metadata element of the respective metadata flow section.
  • This assignment ensures that the structure of a respective media data flow section is mapped in the metadata flow section.
  • the assignment according to the invention of metadata elements to media data packets ensures that for each media data packet a unique first metadata element exists, which is assigned to the media data packet.
  • the method according to the invention can also be used in one embodiment if in each case a plurality of media data packets are combined into one or more aggregators in one or more of the media data flow sections.
  • aggregator is to be understood here in general terms, and this includes any type of combination of several media data packets into a group of media data packets. Nevertheless, the term aggregator is also to be understood in its special meaning known from the MPEG4 data formats. There aggregators are used to summarize media data packets with the same quality levels, which are described for example by the so-called. DTQ values.
  • the metadata flow section which is assigned to the respective media data flow section, contains second metadata elements, which are arranged in such a way that a second metadata element is assigned to each aggregator.
  • this uniquely assigns a metadata element to an aggregator, so that a defined mapping of an aggregator in the media data stream also takes place in the corresponding metadata stream.
  • the criteria according to which media data packages are aggregated into aggregators can be arbitrary and play no role in the invention.
  • aggregators are used to aggregate media data packets having substantially the same data quality.
  • the second metadata element includes a metadata element for describing the respective aggregator and the metadata contained in the one or more metadata elements assigned to the one or more media data packets that are aggregated into the respective aggregator.
  • the data stream contains a plurality of media data streams and correspondingly assigned metadata streams.
  • at least one of the media data streams may contain one or more so-called extractors, each of which references one or more media data packets of another media data stream, according to the invention each extractor being assigned a third metadata element in the metadata stream associated with the at least one media data stream.
  • the third metadata element assigned to the extractor is preferably designed such that it contains a metadata element for describing the extractor itself as well as the metadata contained in the first or second metadata element (s) Media data packages that are referenced by the extractor.
  • first metadata elements it is specified in one or more of the first metadata elements whether and / or how many subsequent first and / or second and / or third metadata elements have the same content.
  • the reading out of the metadata from the data stream can be simplified since for several first and / or second and / or third metadata elements, the contents of the individual metadata elements do not have to be accessed each time, but the content of the first metadata element of each other following metadata elements can be used.
  • the media data stream sections and / or the metadata stream sections are referenced in the data stream. Furthermore, the description of one or more quality levels and the instructions may be included in the data stream for direct access to the media data packages of the corresponding quality level. In a further embodiment of the method according to the invention, the first and / or second and / or third metadata elements contained in a metadata stream section can be accessed in the data stream.
  • each media stream portion represents a video image at a predetermined time and the media data packets are video data packets.
  • the video data stream may be an MPEG4 SVC video data stream well known in the art that enables scalable encoding and decoding of video data.
  • the metadata elements contain z. B. content that allows optimized transmission of the data stream at a given data rate.
  • the first and / or second and / or third media data elements contain parameters relating to a rate control of the data stream, preferably parameters of an R / D-optimal extraction of media data, and / or parameters for adapting the quality of the data stream.
  • the invention further relates to a method of generating a digital data stream. drive to process such a generated digital data stream.
  • the data stream is read such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • no separate indices for the association between metadata elements and media data packets have to be stored; rather, the assignment already results from the mapping of the structure of the media data in the metadata.
  • the invention further relates to a transmitter for transmitting a data stream according to the invention, comprising: a first means for generating a media data stream containing a plurality of time-sorted media data stream sections, each media data stream section containing one or more media data packets; second means for associating a metadata stream synchronized with the media data stream with the media data stream, the metadata stream including metadata flow portions, and each of the media data flow portions having a metadata stream portion associated therewith; third means for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion.
  • the transmitter further comprises means for processing the data stream according to the above processing method.
  • the sender can extract parts from the data stream according to predetermined criteria, in particular according to criteria relating to the data rate and / or the data quality, and the sender can send out the extracted parts.
  • the invention further relates to a receiver for receiving a data stream generated according to the invention, comprising: a reading means for reading out the data stream such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • the receiver can in this case be designed such that it can read parts from the data stream according to predetermined criteria, in particular criteria with regard to the data rate and / or the data quality.
  • the invention further comprises a corresponding digital information carrier containing digital information with which a data stream according to the invention
  • the digital information carrier includes a first data storage area for generating a media data stream including a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets. Furthermore, a second data storage area is provided for generating a metadata stream synchronized in time with the media data stream, wherein the metadata stream comprises metadata flow sections and one or more of the media data flow sections and in particular each metadata flow section is assigned a respective metadata flow section.
  • the information carrier is characterized in that one or more first metadata elements are arranged in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream is associated with a first metadata element of the respective metadata flow section.
  • the digital information carrier comprises a track for referencing media data stream sections and / or one or more tracks for referencing metadata stream sections.
  • the tracks for referencing metadata flow sections may here comprise descriptions of groupings of first and / or second and / or third metadata elements with which, for example, predetermined quality levels for the data stream transmission are determined.
  • FIG. 1 shows a schematic representation of a file format known from the prior art, in which stored video data are referenced via a video track;
  • Figure 2 is a schematic representation of a file format known in the art in which video data is referenced via a video track and also metadata is time synchronized with the video data via a metadata track;
  • FIG. 3 shows a schematic representation of the assignment according to the invention of metadata elements to media data packets
  • FIG. 4 shows a schematic representation of a file format according to the invention in which inter alia a media data stream is used which contains so-called extractors;
  • 5 shows a schematic representation of a file format according to the invention, in which the referencing of the media data stream and the time-synchronized metadata stream takes place via corresponding tracks;
  • FIG. 6 shows a schematic representation of a file format according to the invention, in which metadata are provided in several hierarchical levels of the media data stream;
  • FIG. 7 is a schematic representation of a file format according to the invention, in which additional information can be used to access groups of metadata elements in the metadata track directly;
  • Fig. 8 is a schematic representation of a transmitter, a
  • SVC Scalable Video Coding
  • SNR Signal to Noise Ratio
  • the D value represents the local resolution
  • the T value the temporal resolution
  • the Q value the SNR scaling direction for each video packet. The larger the values, the better the quality of the corresponding resolutions.
  • Fig. 1 shows a file format described in the standardization document [1] concerning the format for storing MPEG4 SVC data.
  • the format contains a media data container MD, which contains the area "mdat” in which one or more media data streams MDS are stored, and a description container MT, which includes an area "moov", which contains one or more video tracks VT.
  • a video track stores information that allows access to (or portions of) the media data.
  • a media data stream MDS contains, for example, the temporally organized individual video data packets, wherein the video data packets are designated as NALU (Network Abstraction Layer Unit).
  • NALU Network Abstraction Layer Unit
  • the video track VT contains data with the aid of which a predetermined operating point with defined resolution and refresh rate can be accessed, the operating points being grouped in defined "animals" so that the operating points in an animal have a defined resolution and refresh rate.
  • the evaluation of this data results in extraction instructions illustrated by the remaining (not bold) arrows in FIG.
  • the quality of an animal may vary in certain areas, as well as the resulting data transfer rate of the video data stream.
  • the video track VT thus contains metadata for the individual animals, which describe the resulting quality. This static description refers to the entire representation of the data stream.
  • the metadata can be z. B.
  • the video track VT includes a number of data structures that allow efficient access to the desired media data.
  • the media data stream section SO contains six video data packets NALu, whereas the section Sl comprises five NALus. For each video data packet NALu a corresponding DTQ value is stored. For example, the first video data packet from the left in the media data stream section SO has a DTQ value in the form of the triples (0,0,0). This means that the local resolution has the value or index 0, the time resolution has the index 0, and the SNR scalability also has the index 0. Further, in the file format of Fig.
  • adjacent video data packets are grouped into a so-called aggregator if they have the same DTQ values.
  • the second and the third video data packet from the left in the first media data stream section SO are combined to form an aggregator A, since both video data packets have the same DTQ value (1, 0, 0).
  • the file format contains a description container MT and a media data container MD.
  • TMT timed meta data track
  • This track in turn has references in the form of arrows to a metadata stream MTS within the media data container MD.
  • the metadata stream MTS contains a plurality of metadata stream sections in the form of so-called "meta data samples" MO, Ml, ..., M7, which are synchronized in time with individual media data stream sections SO, Sl,..., S7.
  • the file format of Fig. 2 is described in the standardization document [4], for example. With this format, metadata can be encoded using, for example, binarized XML (BiM).
  • AVC Advanced Video Coding
  • the other quality levels are coded by the fact that the Quantization parameters, for example, reduced by six.
  • the individual FGS refinements are in turn coded in two stages, which are designated as "significant pass” and “refinement pass” and are stored in a so-called FGS NALu.
  • the MPEG4 SVC standard now allows FGS NALus to adjust the video stream to a predetermined bit rate by truncating the individual FGS NALs.
  • the NALs can be cut off here always at the same bit position, which, however, leads to a non-optimal decoding.
  • the FGS NALus may be "pre-cut" at defined locations, these precut fragments (so-called aka
  • R / D optimal extraction the RD values for a video image of a given local resolution level are plotted on an RD diagram over the bit rate. This results in a convex hull, and it can be determined for each point on the convex hull the angle ⁇ , which indicates how much the distortion varies in response to the change in the data rate. The value of ⁇ can be generated after appropriate scaling for each NALu and stored appropriately.
  • the NALs to be retained can then optimally for a given local Resolution and a given data rate are selected. Details of the R / D-optimal extraction of video data packets can be found in the publication [3].
  • quality id The parameter used in selecting the NALs according to the R / D optimal extraction is referred to in the above document [3] as "quality id".
  • quality id the parameter used in selecting the NALs according to the R / D optimal extraction.
  • individual fields for metadata elements are stored in the time-synchronized metadata stream MTS, wherein a metadata element is assigned exactly one video data packet NALu from the media data stream.
  • Any information concerning the individual video data packets can be stored in these metadata elements, in particular the corresponding parameter for the R / D optimal extraction of video data can be stored for each video data packet (eg the aforementioned quality_id).
  • the invention is illustrated in FIG. 3 for the media data flow sections or metadata flow sections SO and MO shown in FIG.
  • the media data stream section SO has the same structure as the media data stream section SO shown in FIG.
  • the metadata flow section MO has the same structure as the media flow section SO.
  • a metadata element ME in MO is provided for each NALu in SO, wherein the assignment of the individual metadata elements ME to the NALus in FIG. 3 is indicated by the arrows P.
  • the aggregator A in SO which combines the second and third NALu with the same DTQ values, with the method according to the invention, the aggregator also has a corresponding one Assigned metadata element, which is designated in Fig. 3 as MA 'and whose assignment to the aggregator A is indicated by the arrow P'.
  • the metadata element MA ' contains a metadata element MEA which describes the properties of the aggregator, for example properties that have all the NALus contained in the aggregator. In the option shown in FIG.
  • the metadata element MA 'contains, after the metadata element MEA, first metadata elements ME for each NALu contained in the aggregator.
  • MEA describes the aggregator and any NALu contained therein.
  • an essential aspect of the invention is that the structure of a media data stream section is mapped in a corresponding metadata stream section.
  • the corresponding assignment between metadata elements and video data packets can be achieved here by parallel counting of the metadata elements in the metadata stream and the video data packets in the media data stream. This counting is shown in FIG. 3 by corresponding numbering of the video data packets NALu and the metadata elements ME and of the metadata element MEA. The numbering is as follows:
  • the first NALu from the left receives the count index 1, the following aggregator A the count index 2 and the aggregator following NALus the count indices 3, 4 and 5. Analogue is counted in the metadata stream. That is to say, the first metadata element, which corresponds to the NALu with the count index 1, likewise receives the number index 1, the metadata element MA 'for the aggregator A is assigned the count index 2, which is also assigned to the aggregator A, and the metadata elements follow The aggregator A contains the counter indices 3, 4 and 5, analogous to the corresponding NALs.
  • the numbering within the aggregator is re-numbered so that the NALus in the aggregator A and the corresponding meta data elements ME have the indices 1 and 2. It should be noted here that the numbers shown in Fig. 3 are not stored in the data format, but automatically result in the use of Zählindizes when accessing the data.
  • FIG. 4 shows a further embodiment of the file format according to the invention, wherein not only a single media data stream MDS and a single synchronized metadata stream MTS are present, but a further media data stream MDS 'is provided to which a corresponding metadata stream MTS' is assigned.
  • the media data stream section SO shown in the media data stream MDS here corresponds to the media data stream section SO of FIG. 3.
  • the metadata stream section MO in the metadata stream MTS corresponds to the metadata stream section MO of FIG. 3.
  • the additionally provided media data stream section MDS ' contains so-called extractors. The use of such extractors is described in Section 7.6 of Standardization Document [1]. These extractors represent packets that serve to refer media data to other media streams. In the example of FIG.
  • the left extractor E in the media data stream MDS 'references the first NALu, the subsequent aggregator A and the two NALus contained in this aggregator in the media data stream MDS.
  • the second extractor E in the media data stream MDS 'references the back three NALus in the media data stream MDS.
  • a further type of metadata elements is provided for the extractors in the metadata stream MTS'.
  • These metadata elements are reproduced in the stream MTS 'of FIG. 4 as MEI' for the left extractor of MDS 'and as ME2' for the right tractor of MDS '.
  • these metadata elements are also referred to as ME '.
  • the assignment between the extractors and the metadata elements ME1 'and ME2' in turn follows by numbering the extractors E with the counting indexes 1 and 2 and the corresponding metadata elements ME1 ', ME2' with the same indices 1 and 2.
  • the metadata elements ME1 'and ME2' contain a metadata element MEE at the beginning describes the entire extractor. This metadata element MEE can be followed by the metadata elements ME of those media data packets (NALus) which are referenced by the extractor.
  • FIG. 5 again shows, in a schematic overall view, the file format generated according to the invention.
  • the structure of Fig. 5 corresponds to the structure of Fig. 2, but the contents of the video track VT, the metadata track TMT and the media data stream MDS and the metadata stream MTS are shown in detail.
  • the video track VT contains a number of metadata structures that describe the video track globally. Such metadata structures concern z. For example, the following descriptions:
  • the metadata track TMT contains data structures which globally describe the time-synchronized metadata in the metadata stream MTS.
  • the metadata track contains in particular a description of the metadata stream (so-called “metric data sample entry”) as well as further necessary structures (such as eg "sample size box”).
  • each NALu in SI is uniquely associated with exactly one metadata element ME in the metadata stream section M1.
  • FIG. 6 shows a data format similar to FIG. 5, but additionally the metadata is stored in several hierarchical levels of the media data stream.
  • metadata concerning the entire metadata track TMT is stored as so-called “track meta data” TMD.
  • different animals or layers are formed, which are stored as so-called “animal meta data” TI in the metadata track TMT, wherein different animals are provided for different quality levels.
  • FIG. 6 shows by way of example the animals TII and TI2.
  • corresponding metadata elements MS are provided in the metadata stream MTS, which describe the corresponding sample or video image at a time.
  • the metadata flow sections MO 'and Ml' are thus formed in the metadata stream MTS according to FIG. 6, these metadata flow sections each containing a metadata element MS and the metadata flow section MO or Ml.
  • the above-described metadata elements ME or MA 'or ME' are provided on the ter lying video packet level.
  • the metadata at the sample level and at the data packet level are thus stored with temporal and structured synchronization to the media data in the metadata stream MTS.
  • FIG. 7 shows a file format similar to FIG. 6, wherein a grouping of the metadata in the metadata track TMT can take place such that individual metadata elements ME or MA 'in the metadata stream MTS can be accessed via the metadata track TMT.
  • the access mechanisms in the metadata track TMT correspond to the access mechanisms in the video track VT.
  • These metadata may e.g. can be sent together with the media data via a network (eg in the "RTP payload format" or in special SEI messages), whereby further adaptation can take place in this network or in a corresponding terminal.
  • the extraction of metadata from the data stream can be done, for example, by the extraction method described in document [3].
  • the method is used in such a way that a data reading device accesses the corresponding metadata in addition to the media data in order to achieve an increased quality in the extraction of parts of the bit stream. It may not be necessary to access all metadata, as the description in the tracks indicates, for example, which media data belongs to a certain local scaling level, the processing of which does not require any additional metadata for the currently selected quality.
  • the metadata can have the same mechanisms for thinning out the data stream (so-called stream thinning) or used for data extraction as for the media data.
  • stream thinning the same mechanisms for thinning out the data stream
  • the grouping shown there can, inter alia, be used to generate a scalable metadata stream, ie it is possible to group the metadata in such a way that they are, for example, scalable by relevance.
  • z. B. a temporal scaling of the metadata possible. If the metadata is grouped like the media data, the remaining relevant metadata can easily be extracted when adapting the data stream.
  • Fig. 8 is a schematic diagram showing a transmitter 1, a receiver 2 and a digital information carrier 3 according to an embodiment of the invention.
  • the transmitter 1 comprises a first means 4 for generating a media data stream, which contains a plurality of temporally sorted media stream sections, wherein each media data stream section contains one or more media data packets.
  • the transmitter further comprises a second means for allocating a metadata stream synchronized with the media data stream to the media data stream, wherein the metadata stream contains metadata flow sections and one or more of the media data flow sections each have a metadata flow. tenstromabterrorism is assigned.
  • the transmitter further comprises third means 6 for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion.
  • the data stream generated in the transmitter 1 may be sent to the receiver 2 via any communication path, which may be wireless or wired, as indicated by the arrow 10.
  • the receiver 2 can then suitably process the digital data stream according to the invention.
  • the receiver 2 has a reading means 7, which the
  • Data stream read out such that the assignment of the media data packets to the first metadata elements and / or the aggregatoren to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • the transmitter 1 preferably interacts with a digital information carrier 3, as indicated by the double arrow 11 in FIG. 8.
  • a digital information carrier 3 On the digital information carrier 3, a first data storage area 8 and a second data storage area ⁇ : are provided.
  • the information in the first data storage area 8 can be used to generate a media data stream containing a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets.
  • the information in the second data storage area 9 can be used to generate a metadata stream which is synchronized in time with the media data stream, wherein the metadata stream contains metadata flow segments. holds and one or more of the media data stream sections each associated with a metadata stream section.
  • One or more first metadata elements are arranged in the digital information carrier in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream section is assigned is assigned a first metadata element of the respective metadata stream section.
  • TMD track meta data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung eines digitalen Datenstroms, bei dem ein Mediendatenstrom (MDS) generiert wird, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (S0,..., S7) enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete verfahren zur erzeugung eines digitalen datenstroms(NALu) enthält; dem Mediendatenstrom (MDS) ein zeitlich mit dem Mediendatenstrom (MDS) synchronisierter Metadatenstrom (MTS) zugeordnet wird, wobei der Metadatenstrom (MTS) Metadatenstromabschnitte (M0,..., M7) enthält und einem oder mehreren der Mediendatenstromabschnitte (S0,..., S7) jeweils ein Metadatenstromabschnitt (M0,..., M7) zugeordnet ist. Das Verfahren zeichnet sich dadurch aus, dass in einem jeweiligen Metadatenstromabschnitt (M0,..., M7) ein oder mehrere erste Metadatenelemente (ME) derart angeordnet werden, dass jedem Mediendatenpaket (NALu) des Mediendatenstromabschnitts (S0,..., S7), dem der jeweilige Metadatenstromabschnitt (M0,..., M7) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (M0,..., M7) zugewiesen ist.

Description

Beschreibung
Verfahren zur Erzeugung eines digitalen Datenstroms
Die Erfindung betrifft ein Verfahren zur Erzeugung eines digitalen Datenstroms sowie ein Verfahren zum Verarbeiten eines derart erzeugten Datenstroms. Darüber hinaus betrifft die Erfindung einen Sender bzw. einen Empfänger zum Aussenden bzw. Empfangen eines digitalen Datenstroms sowie einen entspre- chenden digitalen Informationsträger.
Bei der Erzeugung eines Datenstroms aus Multimediadaten werden häufig zeitlich synchronisiert mit dem eigentlichen Me- diendatenstrom Metadatenströme übertragen, welche eine in- haltliche Beschreibung der entsprechenden Datenpakete des Me- diendatenstroms liefern. Im Bereich der Videocodierung ist es beispielsweise bekannt, für jeden Videodatenstromabschnitt, der ein Videobild repräsentiert (auch als "Video Sample" bezeichnet) , einen entsprechenden Metadatenstromabschnitt (auch als "Meta Data Sample" bezeichnet) zeitlich synchronisiert mit dem Videobild in einem entsprechenden Dateiformat zu hinterlegen .
Aus der Videocodierung ist der vorläufige Standard MPEG4-SVC (MPEG = Moving Pictures Experts Group; SVC = Scalable Video Coding) bekannt, bei dem der erzeugte Videostrom derart aufgebaut ist, dass die Videobilder in unterschiedlichen Auflösungen extrahiert werden können. Oftmals ist es hierbei wünschenswert, dass die Qualität des Videodatenstroms an eine vorgegebene Datenübertragungsrate angepasst wird. Insbesondere soll hierbei eine sog. R/D-optimale Extraktion der Videodaten erreicht werden. R/D steht hierbei für „Rate Distorti- on" und mit der R/D-optimalen Extraktion, welche dem Fachmann hinlänglich bekannt ist und in der detaillierten Beschreibung näher erläutert wird, soll gewährleistet werden, dass die bestmögliche Qualität des Videodatenstroms bei einer vorgegebenen Datenrate erreicht wird. Eine solche optimale Extrakti- on ist sehr komplex und erfordert die Bereitstellung bestimmter Informationen. Es reicht dabei nicht aus, dass nur Metadaten für jedes Video Sample bereitgestellt werden, vielmehr ist es notwendig, dass für die einzelnen Videodatenpakete in- nerhalb der Video Samples Parameter für die R/D-optimale Extraktion von Videobildern bereitgestellt werden.
Aus dem Stand der Technik ist es bekannt, auf der Ebene der einzelnen Videodatenpakete Metadaten bereitzustellen. Diese Metadaten werden beispielsweise in den Paketheadern der einzelnen Videodatenpakete gespeichert. Die Speicherung in diesen Headern ist nachteilhaft, da hierdurch keine einfache und standardisierte Möglichkeit geschaffen wird, auf die Parameter für jedes Mediendatenpaket zuzugreifen.
Das Dokument WO 03/091905 A2 offenbart die Klassifizierung eines Datenstroms durch Einteilung des Datenstroms in Daten- stromteilbereiche, wobei jeder Datenstromteilbereich einer Klasse zugeordnet ist. Die Klassen können hierbei derart ge- wählt werden, dass sie von Struktur und Syntax des zu beschreibenden Datenstroms, insbesondere vom Codierungsformat des Datenstroms, unabhängig sind. Die Druckschrift beschäftigt sich nicht mit dem zeitlich synchronisierten Erzeugen von Metadaten für einen Mediendatenstrom.
Aufgabe der Erfindung ist es, ein Verfahren zur Erzeugung eines digitalen Datenstroms sowie ein Verfahren zum Verarbeiten eines solchen Datenstroms zu schaffen, welche einen einfachen Zugriff auf Metadaten eines Mediendatenstroms ermöglichen. Ferner ist es Aufgabe der Erfindung, einen entsprechenden
Sender bzw. Empfänger und einen entsprechenden digitalen Informationsträger zu schaffen.
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge- löst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert. Durch das erfindungsgemäße Verfahren wird ein Mediendaten- strom generiert, der eine Mehrzahl von zeitlich auf eine bestimmte Weise sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Me- diendatenpakete enthält. Die Mediendatenstromabschnitte können beispielsweise zeitlich in aufeinander folgender Reihenfolge sortiert sein. Es ist jedoch auch möglich, die Mediendatenstromabschnitte in Dekodierreihenfolge zu sortieren. Ein Mediendatenstromabschnitt ist beispielsweise ein vorbestimm- tes Videobild in einem Videodatenstrom. Dem erzeugten Medien- datenstrom wird ein zeitlich mit diesem synchronisierter Metadatenstrom zugeordnet, wobei der Metadatenstrom Metadaten- stromabschnitte umfasst und einem oder mehreren der Mediendatenstromabschnitte und insbesondere jedem Mediendatenstromab- schnitt jeweils ein Metadatenstromabschnitt zugeordnet ist. Es wird somit für einen oder mehrere der Mediendatenstromabschnitte ein Metadatenstromabschnitt erzeugt, wobei in dem Metadatenstromabschnitt Metadaten hinterlegt sind, welche den entsprechenden Mediendatenstromabschnitt betreffen.
Die Erfindung zeichnet sich dadurch aus, dass in einem jeweiligen Metadatenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet werden, dass jedem Mediendaten- paket des Mediendatenstromabschnitts, dem der jeweilige Meta- datenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist. Durch diese Zuweisung wird erreicht, dass die Struktur eines jeweiligen Mediendatenstromabschnitts in dem Metadatenstromabschnitt abgebildet wird. Auf diese Weise wird eine standar- disierte Möglichkeit zur Hinterlegung von Metadaten für jedes einzelne Mediendatenpaket geschaffen. Insbesondere wird durch die erfindungsgemäße Zuweisung von Metadatenelementen zu Me- diendatenpaketen erreicht, dass für jedes Mediendatenpaket ein eindeutiges erstes Metadatenelement existiert, das dem Mediendatenpaket zugewiesen ist. Das erfindungsgemäße Verfahren kann in einer Ausführungsform auch dann eingesetzt werden, wenn in einem oder mehreren der Mediendatenstromabschnitte jeweils mehrere Mediendatenpakete zu einem oder mehreren Aggregatoren zusammengefasst sind. Der Begriff Aggregator ist hierbei allgemein zu verstehen und es fällt hierunter jede Art von Zusammenfassung von mehreren Me- diendatenpaketen zu einer Gruppe von Mediendatenpaketen . Nichts desto trotz ist der Begriff Aggregator auch in seinem speziellen, aus der MPEG4-Datenformaten bekannten Sinngehalt zu verstehen. Dort werden Aggregatoren dazu verwendet, Mediendatenpakete mit den gleichen Qualitätsstufen, welche beispielsweise durch die sog. DTQ-Werte beschrieben werden, zusammenzufassen. Um die Struktur eines Mediendatenstromab- schnitts mit Aggregatoren auch in einem entsprechenden Meta- datenstrom abzubilden, enthält der Metadatenstromabschnitt, der den jeweiligen Mediendatenstromabschnitt zugeordnet ist, zweite Metadatenelemente, welche derart angeordnet werden, dass jedem Aggregator ein zweites Metadatenelement zugewiesen ist. Insbesondere wird hierdurch eine eindeutige Zuweisung eines Metadatenelements zu einem Aggregator geschaffen, so dass eine definierte Abbildung eines Aggregators im Medienda- tenstrom auch im entsprechenden Metadatenstrom erfolgt. Nach welchen Kriterien Mediendatenpakete zu Aggregatoren zusammen- gefasst werden, kann beliebig sein, und spielt bei der Erfin- düng keine Rolle. Vorzugsweise werden Aggregatoren jedoch derart verwendet, dass Mediendatenpakete zusammengefasst werden, welche im Wesentlichen die gleiche Datenqualität aufweisen .
In einer weiteren bevorzugten Ausführungsform enthält das zweite Metadatenelement ein Metadatenelement zur Beschreibung des jeweiligen Aggregators und diejenigen Metadaten, die in dem oder den ersten Metadatenelementen enthalten sind, welche dem oder den Mediendatenpaketen zugewiesen sind, die in den jeweiligen Aggregator zusammengefasst sind. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens enthält der Datenstrom mehrere Mediendatenströme und entsprechend zugeordnete Metadatenströme. Hierbei kann wenigstens einer der Mediendatenströme einen oder mehrere sog. Extraktoren enthalten, die jeweils ein oder mehrere Medienda- tenpakete eines anderen Mediendatenstroms referenzieren, wobei gemäß der Erfindung jedem Extraktor ein drittes Metadatenelement in dem Metadatenstrom zugewiesen wird, der dem wenigstens einen Mediendatenstrom zugeordnet ist. Auf diese Weise können in dem erfindungsgemäßen Verfahren auch Mediendatenströme in den Metadaten abgebildet werden, welche Referenzpunkte in der Form von Extraktoren enthalten. Hierbei ist das dritte Metadatenelement, welches dem Extraktor zugewiesen ist, vorzugsweise derart ausgestaltet, dass es ein Metadaten- element zur Beschreibung des Extraktors selbst sowie diejenigen Metadaten enthält, die in dem oder den ersten und/oder zweiten Metadatenelementen enthalten sind, welche dem oder den Mediendatenpaketen zugewiesen sind, die durch den Extraktor referenziert werden.
In einer weiteren bevorzugten Ausgestaltung der Erfindung wird in einem oder mehreren der ersten Metadatenelemente spezifiziert, ob und/oder wie viele nachfolgende erste und/oder zweite und/oder dritte Metadatenelemente den gleichen Inhalt haben. Auf diese Weise kann das Auslesen der Metadaten aus dem Datenstrom vereinfacht werden, da für mehrere erste und/oder zweite und/oder dritte Metadatenelemente nicht jedes Mal auf die Inhalte der einzelnen Metadatenelemente zugegriffen werden muss, sondern der Inhalt des ersten Metadatenele- ments der aufeinander folgenden Metadatenelemente verwendet werden kann.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden in dem Datenstrom die Mediendatenstromab- schnitte und/oder die Metadatenstromabschnitte referenziert. Ferner kann in dem Datenstrom die Beschreibung von einer oder mehreren Qualitätsstufen enthalten sein sowie die Anweisungen zum direkten Zugriff auf die Mediendatenpakete der entsprechenden Qualitatsstufe . In einer weiteren Ausfuhrungsform des erfindungsgemaßen Verfahrens kann in dem Datenstrom auf die in einem Metadatenstromabschnitt enthaltenen ersten und/oder zweiten und/oder dritten Metadatenelemente zugegriffen werden .
Das erfindungsgemaße Verfahren wird insbesondere für Videodatenstrome eingesetzt, wobei jeder Mediendatenstromabschnitt ein Videobild zu einem vorgegebenen Zeitpunkt repräsentiert und die Mediendatenpakete Videodatenpakete sind. Insbesondere kann der Videodatenstrom ein hinlänglich aus dem Stand der Technik bekannter MPEG4-SVC-Videodatenstrom sein, der die skalierbare Codierung und Decodierung von Videodaten ermog- licht.
Ein wesentlicher Aspekt der Erfindung besteht darin, dass die Struktur der Mediendaten in den Metadaten mit Hilfe von Metadatenelementen abgebildet wird, wobei nicht entscheidend ist, welche Informationen tatsachlich in den Metadatenelementen abgelegt sind. In einer Ausfuhrungsform enthalten die Metadatenelemente z. B. Inhalte, welche eine optimierte Übertragung des Datenstroms bei vorgegebener Datenrate ermöglichen. Insbesondere enthalten die ersten und/oder zweiten und/oder dritten Mediendatenelemente Parameter bezuglich einer Ratensteuerung des Datenstroms, vorzugsweise Parameter einer R/D-optimalen Extraktion von Mediendaten, und/oder Parameter zur Adaption der Qualität des Datenstroms.
In einer weiteren Ausgestaltung des erfindungsgemaßen Verfahrens existiert in zumindest einem Teil der Metadatenstromab- schnitte jeweils ein viertes Metadatenelement, welches den Mediendatenstromabschnitt beschreibt, dem der jeweilige Metadatenstromabschnitt zugeordnet ist.
Neben dem oben beschriebenen Verfahren zur Erzeugung eines digitalen Datenstroms betrifft die Erfindung ferner ein Ver- fahren zum Verarbeiten eines derart erzeugten digitalen Datenstroms. Gemäß diesem Verfahren wird der Datenstrom derart ausgelesen, dass die Zuordnung der Mediendatenpakete zu den ersten Metadatenelementen und/oder der Aggregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerierung der ausgelesenen Mediendatenpakete und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird. Es müssen somit keine separaten Indizes zur Zuordnung zwischen Metadatenelementen und Mediendatenpaketen hinterlegt werden, vielmehr ergibt sich die Zuordnung bereits durch die Abbildung der Struktur der Mediendaten in den Metadaten.
Die Erfindung betrifft ferner einen Sender zum Aussenden eines erfindungsgemäßen Datenstroms, umfassend: ein erstes Mittel zur Generierung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält; ein zweites Mittel zum Zuordnen eines zeitlich mit dem Mediendatenstrom synchronisierten Metadatenstroms zum Mediendatenstrom, wobei der Metadatenstrom Metadatenstromabschnitte enthält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metadatenstromab- schnitt zugeordnet ist; ein drittes Mittel zum Anordnen eines oder mehrerer erster Metadatenelemente derart in einem jeweiligen Metadatenstromabschnitt, dass jedem Mediendatenpaket des Mediendatenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist. Vorzugsweise umfasst der Sender ferner ein Mittel zum Verarbeiten des Datenstroms gemäß dem obigen Verarbeitungsverfahren. Vorzugsweise kann der Sender mit diesem Mittel zum Verarbeiten des Datenstroms Teile aus dem Datenstrom gemäß vorgegebe- ner Kriterien extrahieren, insbesondere gemäß Kriterien bezüglich der Datenrate und/oder der Datenqualität, und der Sender kann die extrahierten Teile aussenden. Die Erfindung betrifft ferner einen Empfänger zum Empfangen eines gemäß der Erfindung erzeugten Datenstroms, umfassend: ein Lesemittel zum Auslesen des Datenstroms derart, dass die Zuordnung der Mediendatenpakete zu den ersten Metadatenelementen und/oder der Aggregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerierung der ausgelesenen Mediendatenpakete und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird. Vorzugsweise kann der Empfänger hierbei derart ausgestaltet sein, dass er Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann.
In Analogie zu dem obigen Verfahren zur Erzeugung eines Datenstroms umfasst die Erfindung ferner einen entsprechenden digitalen Informationsträger, der digitale Informationen ent- hält, mit denen ein Datenstrom gemäß dem erfindungsgemäßen
Datenstromerzeugungsverfahren erzeugbar ist. Vorzugsweise beinhaltet der digitale Informationsträger einen ersten Datenspeicherbereich zur Erzeugung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Mediendatenstromab- schnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält. Ferner ist ein zweiter Datenspeicherbereich zur Erzeugung eines zeitlich mit dem Mediendatenstrom synchronisierten Metadatenstroms vorgesehen, wobei der Metadatenstrom Metadatenstromabschnitte umfasst und einem oder mehreren der Mediendatenstromabschnitte und insbesondere jedem Mediendatenstromabschnitt jeweils ein Metada- tenstromabschnitt zugeordnet ist. Der Informationsträger zeichnet sich dadurch aus, dass in einem jeweiligen Metada- tenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet sind, dass jedem Mediendatenpaket des Me- diendatenstromabschnitts, dem der jeweilige Metadatenstromab- schnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist.
In einer bevorzugten Ausführungsform umfasst der digitale In- formationsträger einen Track zur Referenzierung von Medienda- tenstromabschnitten und/oder einen oder mehrere Tracks zur Referenzierung von Metadatenstromabschnitten . Die Tracks zur Referenzierung von Metadatenstromabschnitten können hierbei Beschreibungen von Gruppierungen von ersten und/oder zweiten und/oder dritten Metadatenelementen umfassen, mit welchen beispielsweise vorgegebene Qualitätsstufen für die Daten- stromübertragung festgelegt werden.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
Fig. 1 eine schematische Darstellung eines aus dem Stand der Technik bekannten Dateiformats, in dem gespeicherte Videodaten über einen Videotrack referen- ziert werden;
Fig. 2 eine schematische Darstellung eines aus dem Stand der Technik bekannten Dateiformats, in dem Videodaten über einen Videotrack referenziert werden und ferner Metadaten mit den Videodaten über einen Metadatentrack zeitlich synchronisiert sind;
Fig. 3 eine schematische Darstellung der erfindungsgemäßen Zuweisung von Metadatenelementen zu Mediendatenpa- keten;
Fig. 4 eine schematische Darstellung eines erfindungsgemä- ßen Dateiformats, in dem unter anderem ein Medien- datenstrom verwendet wird, der sog. Extraktoren enthält; Fig. 5 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, in dem die Referenzierung des Me- diendatenstroms und des damit zeitlich synchroni- sierten Metadatenstroms über entsprechende Tracks erfolgt;
Fig. 6 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, bei dem Metadaten in mehreren hierarchischen Ebenen des Mediendatenstroms vorgesehen sind;
Fig. 7 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, bei dem mittels Zusatzinformatio- nen auf Gruppen von Metadatenelementen im Metadatentrack direkt zugegriffen werden kann; und
Fig. 8 eine schematische Darstellung eines Senders, eines
Empfängers sowie eines digitalen Informationsträ- gers gemäß einer Ausführungsform der Erfindung.
Nachfolgend wird das erfindungsgemäße Verfahren anhand von Videodaten beschrieben, welche gemäß dem Standard MPEG4-SVC kodiert sind. SVC steht hierbei für "Scalable Video Coding" und ermöglicht die Codierung und Decodierung von Videodaten auf unterschiedlichen Qualitätsstufen. Es wird hierbei zwischen der Skalierbarkeit bezüglich der örtlichen Auflösung, der Skalierbarkeit bezüglich der zeitlichen Auflösung und der sog. SNR-Skalierbarkeit (SNR = Signal to Noise Ratio) unter- schieden. Die SNR-Skalierbarkeit betrifft hierbei die Genauigkeit der Bildpunkte und je höher diese Genauigkeit ist, desto weniger Artefakte treten im Bild auf. Die Skalierbarkeit des Videodatenstroms wird im SVC-Standard dadurch erreicht, dass in dem Datenstrom verschiedene Qualitätsschich- ten, nämlich eine Basisschicht und darüber liegende Enhance- ment-Layers, vorgesehen sind. Im MPEG4-SVC-Standard wird die Qualität von einzelnen Videodatenpaketen durch sog. DTQ-Werte spezifiziert (DTQ = dependency id, temporal level, qual- ity_level) . Der D-Wert gibt die örtliche Auflösung, der T- Wert die temporale Auflösung und der Q-Wert die SNR- Skalierungsrichtung für jedes Videopaket wieder. Je größer die Werte sind, umso besser ist die Qualität der entsprechenden Auflösungen.
In Fig. 1 ist ein Dateiformat gezeigt, welches in dem Standardisierungsdokument [1] betreffend das Format für die Spei- cherung von MPEG4-SVC-Daten beschrieben ist. Das Format enthält einen Mediendatencontainer MD, welcher den Bereich "mdat" enthält, in dem ein oder mehrere Mediendatenströme MDS abgespeichert sind, und einen Beschreibungscontainer MT, der einen Bereich "moov" umfasst, der einen oder mehrere Video- tracks VT enthält. Ein Videotrack speichert Informationen, die den Zugriff auf die Mediendaten (oder Teile davon) erlauben. Ein Mediendatenstrom MDS enthält beispielsweise die zeitlich organisiert abgelegten einzelnen Videodatenpakete, wobei die Videodatenpakete als NALu (NALu = Network Abstrac- tion Layer unit) bezeichnet sind. Die Daten in dem Videotrack VT beschreiben die relevanten Mediendaten in dem Mediendatenstrom MDS und stellen Referenzen zum Zugriff auf die Mediendaten zur Verfügung. Diese Referenzen sind durch zwei fett gedruckte Pfeile in Fig. 1 angedeutet, wobei die Pfeile ihren Ursprung im Videotrack VT haben. Weiterhin enthält der Videotrack VT Daten, mit deren Hilfe auf einen vorbestimmten Operationspunkt mit definierter Auflösung und Bildwiederholrate zugegriffen werden kann, wobei die Operationspunkte in definierten "Tiers" gruppiert werden, so dass die Operationspunk- te in einem Tier eine definierte Auflösung und Bildwiederholrate aufweisen. Die Auswertung dieser Daten führt zu Extraktionsanweisungen, die durch die restlichen (nicht fett gedruckten) Pfeile in Fig. 1 illustriert sind. Die Qualität eines Tiers kann dabei je nach Applikation in bestimmten Berei- chen variieren, ebenso wie die resultierende Datenübertragungsrate des Videodatenstroms. Der Videotrack VT enthält somit für die einzelnen Tiers Metadaten, welche die resultierende Qualität beschreiben. Diese statische Beschreibung bezieht sich auf die gesamte Repräsentation des Datenstroms. Die Metadaten können z. B. von einem File-Reader oder einem Streaming-Client verwendet werden, um gewünschte Operationspunkte aus den angebotenen auszuwählen. In der Beschreibung des Datenstroms mit Hilfe der Tiers sind zusätzlich Daten enthalten, die dazu dienen, die zur Darstellung der Videobilder erforderlichen Mediendaten aus der Ge- samtmenge der Mediendaten zu extrahieren. Ferner enthält der Videotrack VT eine Reihe von Datenstrukturen, die den effizienten Zugriff auf die gewünschten Mediendaten erlauben.
Von dem Mediendatenstrom MDS sind in Fig. 1 zwei Mediendaten- stromabschnitte SO und Sl wiedergegeben. Jeder dieser Abschnitte stellt ein Videobild zu einem vorbestimmten Zeitpunkt dar und enthält in mehreren Videodatenpaketen entsprechende Informationen zu dem Videobild. In dem Mediendaten- stromabschnitt SO sind hierbei sechs Videodatenpakete NALu enthalten, wohingegen der Abschnitt Sl fünf NALus umfasst. Für jedes Videodatenpaket NALu ist ein entsprechender DTQ- Wert hinterlegt. Beispielsweise hat das erste Videodatenpaket von links in dem Mediendatenstromabschnitt SO einen DTQ-Wert in der Form des Triples (0,0,0) . Dies bedeutet, dass die ört- liehe Auflösung den Wert bzw. Index 0, die zeitliche Auflösung den Index 0 und die SNR-Skalierbarkeit ebenfalls den Index 0 hat. In dem Dateiformat der Fig. 1 sind ferner benachbarte Videodatenpakete zu einem sog. Aggregator zusammenge- fasst, wenn sie die gleichen DTQ-Werte aufweisen. In Fig. 1 sind das zweite und das dritte Videodatenpaket von links in dem ersten Mediendatenstromabschnitts SO zu einem Aggregator A zusammengefasst, da beide Videodatenpakete den gleichen DTQ-Wert (1, 0, 0) aufweisen.
In einer Abwandlung des in Fig. 1 gezeigten Dateiformats ist es auch zusätzlich möglich, sich zeitlich verändernde Metadaten in dem Dateiformat zu hinterlegen. Dies ist in Fig. 2 schematisiert dargestellt. Analog zu Fig. 1 enthalt das Dateiformat einen Beschreibungscontainer MT und einen Medienda- tencontainer MD. Zusatzlich ist in dem Beschreibungscontainer MT jedoch neben dem Videotrack VT ein weiterer Track TMT vor- gesehen (TMT = timed meta data track) . Dieser Track weist wiederum Referenzierungen in der Form von Pfeilen auf einen Metadatenstrom MTS innerhalb des Mediendatencontainers MD auf. Der Metadatenstrom MTS enthalt hierbei eine Vielzahl von Metadatenstromabschnitten in der Form von sog. "meta data samples" MO, Ml, ..., M7, welche zeitlich mit einzelnen Medien- datenstromabschnitten SO, Sl, ..., S7 synchronisiert sind. Das Dateiformat gemäß Fig. 2 ist beispielsweise in dem Standardisierungsdokument [4] beschrieben. Mit diesem Format lassen sich Metadaten zum Beispiel mittels binarisierten XML (BiM) kodieren.
Aus dem Stand der Technik ist es in Bezug auf die MPEG4-SVC- Codierung bekannt, dass die Daten im "fully scalable"-Format abgespeichert werden, "fully scalable" bedeutet hierbei, dass jede erlaubte Kombination der Qualitatsstufen in den Skalierungsrichtungen (d. h. ortliche Auflosung, zeitliche Auflosung und SNR-Skalierbarkeit) extrahiert werden kann. Bei der Übertragung solcher "fully scalable"-Bitstrome ist es insbesondere wünschenswert, die Qualität des Bitstroms optimal an eine vorgegebene Bitrate anzupassen. Im MPEG4-SVC-Standard werden hierbei Mechanismen bereitgestellt, welche eine sehr feine Skalierung des Datenstroms ermöglichen. Insbesondere sind in diesem Standard für jede ortliche bzw. CGS-Auflo- sungsstufe (CGS = Coarse Grain Scalability) und dort für je- des Bild bei der Durchfuhrung der temporalen Zerlegung einer ortlichen Auflosungsstufe maximal vier Qualitatsstufen definiert. Die niedrigste Qualitatsstufe wird wie im MPEG4-AVC- Standard (AVC = Advanced Video Coding) beschrieben codiert, wobei der Quantisierungsparameter QP die Unterschiede zwi- sehen dem ursprunglichen Bild und dem decodierten Bild beein- flusst. Die anderen Qualitatsstufen (sog. „Fine Grain Scalability (FGS) Refinements") werden dadurch codiert, dass der Quantisierungsparameter z.B. um sechs verringert wird. Die einzelnen FGS-Refinements werden wiederum in zwei Stufen codiert, welche als "significant pass" und "refinement pass" bezeichnet sind und in einer sog. FGS-NALu abgespeichert wer- den .
Im MPEG4-SVC-Standard gibt es nunmehr die Möglichkeit, bei der Verwendung von FGS-NALus den Videodatenstrom an eine vorbestimmte Bitübertragungsrate dadurch anzupassen, dass die einzelnen FGS-NALus abgeschnitten werden. Die NALus können hierbei an immer der gleichen Bitposition abgeschnitten werden, was jedoch zu einer nicht optimalen Decodierung führt. Wie in dem Standardisierungsdokument [3] beschrieben, können die FGS-NALus ferner an definierten Stellen „vorgeschnitten" werden, wobei diese vorgeschnittenen Fragmente (sog. aka
„quality layers") in eigenen NALus gespeichert werden. Es ergibt sich somit eine Menge an Kombinationen für alle Bilder von örtlicher, temporaler und SNR-Skalierbarkeit (jeweils unter Berücksichtigung der vorgeschnittenen Teile), die jeweils eine bestimmte Rate und eine bestimmte Qualität besitzen.
Mithilfe der vorgeschnittenen NALus besteht nunmehr die Möglichkeit, eine an die Bitrate optimal angepasste Qualität des Videodatenstroms zu erreichen. Dies ist als R/D-optimale Ex- traktion der FGS-NALus bekannt. Wie bereits zuvor erwähnt, steht RD für Rate Distortion (= Verzerrung des Bildes in Abhängigkeit von der Datenrate) . Bei der R/D-optimalen Extraktion werden die RD-Werte für ein Videobild einer bestimmten örtlichen Auflösungsstufe in einem RD-Diagramm über die Bit- rate aufgetragen. Es ergibt sich hierbei eine konvexe Hülle, und es kann für jeden Punkt auf der konvexen Hülle der Winkel λ bestimmt werden, der angibt, wie stark sich die Verzerrung in Abhängigkeit von der Veränderung der Datenrate verändert. Der Wert von λ kann nach entsprechender Skalierung für jede NALu erzeugt und geeignet abgespeichert werden. Bei der R/D- optimalen Extraktion können dann durch Auswerten des Wertes λ die zu behaltenden NALus optimal für eine gegebene örtliche Auflösung und eine vorgegeben Datenrate ausgewählt werden. Einzelheiten zu der R/D-optimalen Extraktion von Videodatenpaketen finden sich in der Druckschrift [3] .
Der Parameter, der bei der Auswahl der NALus gemäß der R/D- optimalen Extraktion einfließt, ist im obigen Dokument [3] als "quality id" bezeichnet. Im Gegensatz zu den DTQ-Werten, welche im Vorangegangenen beschrieben wurden, existiert im Codierstandard MPEG4-AVC (siehe Dokument [2]) keine normative Festlegung, an welcher Stelle der Wert für die quality_id anzugeben ist. Die Angabe dieses Wertes kann somit nur nichtnormativ in frei verwendbaren Feldern in den Headern der NALus erfolgen.
Gemäß der im nachfolgenden beschriebenen Ausführungsformen der Erfindung werden im zeitlich synchronisierten Metadatenstrom MTS einzelne Felder für Metadatenelemente hinterlegt, wobei einem Metadatenelement genau ein Videodatenpaket NALu aus dem Mediendatenstrom zugeordnet ist. In diesen Metadaten- elementen können beliebige Informationen betreffend die einzelnen Videodatenpakete gespeichert werden, insbesondere kann für jedes Videodatenpaket der entsprechende Parameter für die R/D-optimale Extraktion von Videodaten hinterlegt werden (z. B. die zuvor erwähnte quality_id) . Die Erfindung ist in Fig. 3 für die in Fig. 2 gezeigten Mediendatenstromabschnitte bzw. Metadatenstromabschnitte SO und MO dargestellt. Der Medienda- tenstromabschnitt SO weist hierbei den gleichen Aufbau wie der in Fig. 1 gezeigte Mediendatenstromabschnitt SO auf. Man erkennt aus Fig. 3, dass gemäß der Erfindung der Metadaten- stromabschnitt MO die gleiche Struktur wie der Mediendatenstromabschnitt SO aufweist. Insbesondere ist für jede NALu in SO ein Metadatenelement ME in MO vorgesehen, wobei die Zuordnung der einzelnen Metadatenelemente ME zu den NALus in Fig. 3 mit den Pfeilen P gekennzeichnet ist. Um den Aggregator A in SO, der die zweite und dritte NALu mit gleichen DTQ-Werten zusammenfasst, mit dem erfindungsgemäßen Verfahren ebenfalls zu verarbeiten, ist dem Aggregator auch ein entsprechendes Metadatenelement zugewiesen, welches in Fig. 3 als MA' bezeichnet ist und dessen Zuordnung zu dem Aggregator A mit dem Pfeil P' angedeutet ist. Das Metadatenelement MA' enthält ein Metadatenelement MEA, welches die Eigenschaften des Aggrega- tors beschreibt, beispielsweise Eigenschaften, die alle im Aggregator enthaltenen NALus aufweisen. In der in Fig. 3 gezeigten Option enthält das Metadatenelement MA' nach dem Metadatenelement MEA erste Metadatenelemente ME für jede im Aggregator enthaltene NALu. Alternativ enthält MA' keine Meta- datenelemente ME für jede im Aggregator enthaltene NALu. In diesem Fall beschreibt MEA den Aggregator und jede darin enthaltene NALu.
Wie sich deutlich aus Fig. 3 ergibt, besteht ein wesentlicher Aspekt der Erfindung darin, dass die Struktur eines Medienda- tenstromabschnitts in einem entsprechenden Metadatenstromab- schnitt abgebildet wird. Die entsprechende Zuordnung zwischen Metadatenelementen und Videodatenpaketen kann hierbei durch paralleles Abzählen der Metadatenelemente im Metadatenstrom und der Videodatenpakete im Mediendatenstrom erreicht werden. Dieses Abzählen ist in Fig. 3 durch entsprechende Nummerie- rung der Videodatenpakete NALu und der Metadatenelemente ME sowie des Metadatenelements MEA gezeigt. Die Nummerierung ist hierbei wie folgt:
Die erste NALu von links erhält den Zählindex 1, der nachfolgende Aggregator A den Zählindex 2 und die den Aggregator folgenden NALus die Zählindizes 3, 4 und 5. Analog wird im Metadatenstrom gezählt. Das heißt, das erste Metadatenele- ment, welches der NALu mit dem Zählindex 1 entspricht, erhält ebenfalls den Zahlindex 1, dem Metadatenelement MA' für den Aggregator A ist der Zählindex 2 zugeordnet, der auch dem Aggregator A zugewiesen ist, und die Metadatenelemente nach dem Aggregator A enthalten analog zu den entsprechenden NALus die Zählindizes 3, 4 und 5. Beim Zugriff auf NALus in einem Aggregator wird innerhalb des Aggregators neu nummeriert, so dass die NALus im Aggregator A sowie die entsprechenden Meta- datenelemente ME die Indizes 1 und 2 aufweisen. Es sei hierbei angemerkt, dass die in Fig. 3 gezeigten Nummern nicht in dem Datenformat abgespeichert sind, sondern sich automatisch bei der Verwendung von Zählindizes beim Zugriff auf die Daten ergeben.
Fig. 4 zeigt eine weitere Ausführungsform des erfindungsgemäßen Dateiformats, wobei nicht nur ein einzelner Mediendaten- strom MDS und ein einzelner synchronisierter Metadatenstrom MTS vorliegen, sondern ein weiterer Mediendatenstrom MDS' vorgesehen ist, dem ein entsprechender Metadatenstrom MTS' zugewiesen ist. Der im Mediendatenstrom MDS gezeigte Medien- datenstromabschnitt SO entspricht hierbei dem Mediendaten- stromabschnitt SO der Fig. 3. Ebenso entspricht der Metada- tenstromabschnitt MO in dem Metadatenstrom MTS dem Metadaten- stromabschnitt MO der Fig. 3. Der zusätzlich vorgesehene Me- diendatenstromabschnitt MDS' enthält sog. Extraktoren. Die Verwendung solcher Extraktoren ist unter Abschnitt 7.6 des Standardisierungsdokuments [1] beschrieben. Diese Extraktoren stellen Pakete dar, welche zur Referenzierung von Mediendaten in anderen Mediendatenströmen dienen. In dem Beispiel der Fig. 4 referenziert der linke Extraktor E in dem Mediendatenstrom MDS' die erste NALu, den nachfolgenden Aggregator A und die zwei in diesem Aggregator enthaltenen NALus in dem Me- diendatenstrom MDS. Demgegenüber referenziert der zweite Extraktor E in dem Mediendatenstrom MDS' die hinteren drei NALus in dem Mediendatenstrom MDS.
Um mit dem erfindungsgemäßen Verfahren nunmehr auch den Me- diendatenstrom MDS' , der Extraktoren beinhaltet, zu verarbeiten, ist eine weitere Art von Metadatenelementen für die Extraktoren in dem Metadatenstrom MTS' vorgesehen. Diese Metadatenelemente sind im Strom MTS' der Fig. 4 als MEl' für den linken Extraktor von MDS' und als ME2' für den rechten Ex- traktor von MDS' wiedergegeben. Allgemein werden diese Metadatenelemente auch als ME' bezeichnet. Die Zuordnung zwischen den Extraktoren und den Metadatenelementen MEl' und ME2' er- folgt wiederum durch Nummerierung der Extraktoren E mit den Zählindexes 1 und 2 und der entsprechenden Metadatenelemente MEl', ME2' mit den gleichen Indizes 1 und 2. Die Metadatenelemente MEl' bzw. ME2' enthalten hierbei am Anfang ein Meta- datenelement MEE, welches den gesamten Extraktor beschreibt. Diesem Metadatenelement MEE können sich die Metadatenelemente ME derjenigen Mediendatenpakete (NALus) anschließen, welche durch den Extraktor referenziert werden.
Fig. 5 zeigt in schematischer Gesamtansicht nochmals das gemäß der Erfindung erzeugte Dateiformat. Der Aufbau der Fig. 5 entspricht hierbei dem Aufbau der Fig. 2, wobei jedoch detailliert die Inhalte des Videotracks VT, des Metadatentracks TMT sowie des Mediendatenstroms MDS und des Metadatenstroms MTS gezeigt sind. Der Videotrack VT enthält eine Reihe von Metadatenstrukturen, die den Videotrack global beschreiben. Solche Metadatenstrukturen betreffen z. B. folgende Beschreibungen :
- Die Beschreibung des Videostroms inklusive Kodierverfahren, örtliche Auflösung, Initialisierungsparameter usw. (sogen, "visual sample entry");
Die Beschreibung von Operationspunkten (sog. "scalable tier entry") , wobei pro Operationspunkt ein Eintrag e- xistiert; die Beschreibung der Strukturmuster und die Zuweisung von sog. Gruppenidentitäten zu den Datenelementen (sog. "NALu map entry") ; die Zuordnung der Strukturmuster zu den "Samples", d. h. den Videobildern zu vorbestimmten Zeitpunkten (sog. "sample to group box") ; weitere notwendigen Strukturen, wie z.B. "sample size box".
In dem Metadatentrack TMT sind Datenstrukturen enthalten, welche die zeitlich synchronisierten Metadaten in dem Metadatenstrom MTS global beschreiben. Der Metadatentrack enthält insbesondere eine Beschreibung des Metadatenstroms (sog. „me- ta data sample entry) sowie weitere notwenige Strukturen (wie z. B. "sample size box") .
Die obigen Datenstrukturen sind hinlänglich aus der Beschreibung des MPEG4-Dateiformats und des SVC-Dateiformats bekannt und werden deshalb nicht näher erläutert.
In Fig. 5 ist mit den Pfeilen ZO bzw. Zl die Referenzierung der Metadatenstromabschnitte MO bzw. Ml durch den Metadatentrack TMT wiedergegeben. Ferner sind in Fig. 5 neben den Abschnitten SO und MO, welche bereits in Fig. 3 gezeigt sind, auch Abschnitte Sl und Ml gezeigt. Der Abschnitt Sl stellt wiederum ein Videobild zu einem Zeitpunkt dar, wobei der Ab- schnitt 5 NALus enthält. Im Gegensatz zu dem Abschnitt SO sind in Sl keine Aggregatoren vorgesehen. Somit werden erfindungsgemäß jeder NALu in Sl eindeutig genau ein Metadatenelement ME im Metadatenstromabschnitt Ml zugeordnet.
Fig. 6 zeigt ein Datenformat ähnlich zu Fig. 5, wobei jedoch zusätzlich die Metadaten in mehreren hierarchischen Ebenen des Mediendatenstroms abgespeichert sind. In Fig. 6 sind Metadaten, die den gesamten Metadatentrack TMT betreffen, als sog. "track meta data" TMD gespeichert. Für unterschiedliche Qualitätsstufen werden unterschiedliche Tiers oder Schichten gebildet, welche als sog. "tier meta data" TI in dem Metadatentrack TMT gespeichert sind, wobei für unterschiedliche Qualitätsstufen unterschiedliche Tiers vorgesehen sind. In Fig. 6 sind beispielhaft die Tiers TIl und TI2 dargestellt. Auf der Sample-Ebene, d.h. in Bezug auf ein einzelnes Videobild, sind in dem Metadatenstrom MTS entsprechende Metadatenelemente MS vorgesehen, welche das entsprechende Sample bzw. Videobild zu einem Zeitpunkt beschreiben. Für ein Videobild werden gemäß Fig. 6 somit die Metadatenstromabschnitte MO' bzw. Ml' im Metadatenstrom MTS gebildet, wobei diese Metadatenstromabschnitte jeweils ein Metadatenelement MS und den Metadatenstromabschnitt MO bzw. Ml enthalten. Auf der darun- ter liegenden Videopaketebene sind die im Vorangegangenen beschriebenen Metadatenelemente ME bzw. MA' bzw. ME' vorgesehen. Die Metadaten auf Sample-Ebene und auf Datenpaketebene werden somit mit zeitlicher und strukturierter Synchronisati- on zu den Mediendaten im Metadatenstrom MTS abgespeichert.
Fig. 7 zeigt ein Dateiformat ähnlich zu Fig. 6, wobei eine Gruppierung der Metadaten in dem Metadatentrack TMT derart erfolgen kann, dass auf einzelne Metadatenelemente ME bzw. MA' im Metadatenstrom MTS über den Metadatentrack TMT zugegriffen werden kann. Die Zugriffsmechanismen im Metadatentrack TMT entsprechen hierbei den Zugriffsmechanismen im Videotrack VT. Damit können bei der Extraktion von Teilen des Medienstroms genau diejenigen Teile aus dem Metadatenstrom entnommen werden, welche die relevanten Mediendaten beschreiben. Diese Metadaten können z.B. zusammen mit den Mediendaten über ein Netzwerk (z. B. im „RTP payload format" oder in speziellen SEI-Messages) versendet werden, wobei in diesem Netzwerk oder in einem entsprechenden Endgerät eine weitere Adap- tion erfolgen kann.
Die Extraktion von Metadaten aus dem Datenstrom kann zum Beispiel mit dem Extraktionsverfahren erfolgen, das in dem Dokument [3] beschrieben ist. Das Verfahren wird dabei derart verwendet, dass eine Datenlesevorrichtung neben den Mediendaten auf die entsprechenden Metadaten zugreift, um eine erhöhte Qualität bei der Extraktion von Teilen des Bitstromes zu erreichen. Es ist dabei unter Umständen nicht notwendig, auf alle Metadaten zuzugreifen, da durch die Beschreibung in den Tracks beispielsweise angegeben ist, welche Mediendaten zu einer gewissen örtlichen Skalierungsstufe gehören, für deren Verarbeitung bei der aktuell gewählten Qualität keine zusätzlichen Metadaten erforderlich sind.
Da gemäß dem Verfahren der Erfindung die Metadaten die gleiche Struktur wie die Videodaten aufweisen, können für die Metadaten dieselben Mechanismen zum Ausdünnen des Datenstroms (sog. stream thinning) bzw. zur Datenextraktion verwendet werden wie für die Mediendaten. Dies wird insbesondere dann möglich, wenn im Metadatentrack TMT die gleichen Grouping- Mechanismen wie im Videotrack VT verwendet werden, wie in Fig. 7 gezeigt ist. Die dort gezeigte Gruppierung kann u. a. dazu verwendet werden, einen skalierbaren Metadatenstrom zu erzeugen, d.h. es ist möglich, die Metadaten so zu gruppieren, dass diese beispielsweise nach Relevanz skalierbar sind. Weiterhin ist z. B. eine zeitliche Skalierung der Metadaten möglich. Werden die Metadaten wie die Mediendaten gruppiert, können bei einer Adaption des Datenstroms leicht die verbleibenden relevanten Metadaten extrahiert werden. Insbesondere können für einen Metadatenstrom - ebenso wie für die Mediendaten - mehrere Gruppierungen in verschiedenen Tracks abge- speichert werden. Die Grouping-Mechanismen erlauben z. B. das Zusammenfassen von Teilen der Mediendaten zu den im Vorangegangenen beschriebenen Tiers. Diese Tiers können im SVC- Dateiformat abstrakt beschrieben und ausgewählt werden. Wie in dem Standardisierungsdokument [1] beschrieben, kann hier- bei die Zuordnung der Datenelemente zu den Gruppen mit "Sample to Groupbox" und mit dem "Scalable NALu Nap Entry" erfolgen, wobei jedem Datenelement eine Gruppen-Identität zugeordnet wird.
Fig. 8 ist eine schematische Darstellung, in der ein Sender 1, ein Empfänger 2 sowie ein digitaler Informationsträger 3 gemäß einer Ausführungsform der Erfindung gezeigt sind. Mit dem Sender 1 ist ein erfindungsgemäßer digitaler Datenstrom erzeugbar. Hierzu umfasst der Sender 1 ein erstes Mittel 4 zur Generierung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Medienstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendaten- pakete enthält. Der Sender umfasst ferner ein zweites Mittel zum Zuordnen eines zeitlich mit dem Mediendatenstrom synchro- nisierten Metadatenstroms zum Mediendatenstrom, wobei der Metadatenstrom Metadatenstromabschnitte enthält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metada- tenstromabschnitt zugeordnet ist. In dem Sender ist darüber hinaus ein drittes Mittel 6 vorgesehen, welches zum Anordnen von einem oder mehreren ersten Metadatenelementen in einem jeweiligen Metadatenstromabschnitt derart dient, dass jedem Mediendatenpaket des Mediendatenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist.
Der in dem Sender 1 erzeugte Datenstrom kann über einen beliebigen Kommunikationsweg, der drahtlos oder drahtgebunden sein kann, an den Empfänger 2 gesendet werden, wie durch den Pfeil 10 angedeutet ist. Der Empfänger 2 kann dann den erfindungsgemäßen digitalen Datenstrom geeignet verarbeiten. Hier- zu weist der Empfänger 2 ein Lesemittel 7 auf, welches den
Datenstrom derart ausliest, dass die Zuordnung der Medienda- tenpakete zu den ersten Metadatenelementen und/oder der Ag- gregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerie- rung der ausgelesenen Mediendatenpakte und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird.
Zur Erzeugung des erfindungsgemäßen Datenstroms wechselwirkt der Sender 1 vorzugsweise mit einem digitalen Informationsträger 3, wie durch den Doppelpfeil 11 in Fig. 8 angedeutet ist. Auf dem digitalen Informationsträger 3 sind ein erster Datenspeicherbereich 8 und ein zweiter Datenspeicherbereich <: vorgesehen. Mit den Informationen im ersten Datenspeicherbereich 8 kann ein Mediendatenstrom erzeugt werden, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält. Mit den Informationen in dem zweiten Datenspeicherbereich 9 kann ein zeitlich mit dem Mediendatenstrom synchronisierter Metadatenstrom erzeugt werden, wobei der Metadatenstrom Metadatenstromabschnitte ent- hält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metadatenstromabschnitt zugeordnet ist. In dem digitalen Informationsträger sind in einem jeweiligen Metadatenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet, dass jedem Mediendatenpaket des Medienda- tenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist.
Literaturverzeichnis :
;i] ISO/IEC JTC1/SC29/WG11 N7! )6 - WD 3.0 of ISO/IEC 14496- 15/PDAM2 (SVC File Format; Bangkok, Thailand, Januar 2006
;2] ISO/IEC JTC1/SC29/WG11 N7555 - Working Draft 4 of ISO/IEC 14496-10 :2005/AMD3 Scalable Video Coding, Nice, France, October 2005
;3] I. Amonou, N. Cammas, S. Kervadec, S. Pateux, ΛOn the high level syntax for SVC, ISO/IEC JTC 1/SC 29/WG 11 and ITU-T Q6/SG16, Document JVT-P032, Poznan, Poland, JuIy 2005
A] ISO/IEC JTC1/SC29/WG11 N7475 - ISO/IEC 14496-12 - ISO ba- se media file format Amd2, Poznan, Poland, JuIy 2005
Bezugszeichenliste
VT Videotrack
MT Metadatencontainer MD Mediendatencontainer
MDS Mediendatenstrom
SO, ..., S7 Mediendatenstromabschnitte
A Aggregator
MO, ..., M7 Metadatenstromabschnitte MTS Metadatenstrom
TMT zeitliche Metadatenspur
ME erstes Metadatenelement
MA' zweites Metadatenelement
MEA Metadatenelement für Aggregator P, P' Zuweisungen
NALu Videodatenpaket
E Extraktor
MDS' Mediendatenstrom
MTS' Metadatenstrom MEl', ME2' drittes Metadatenelement
MS Metadatenelement für einen Metadatenabschnitt
TMD track meta data
TI tier meta data
TIl, TI2 Tiers 1 Sender
2 Empfänger
3 digitaler Informationsträger
4 erstes Mittel des Senders
5 zweites Mittel des Senders 6 drittes Mittel des Senders
7 Lesemittel des Empfängers
8 erster Speicherbereich des digitalen Informationsträgers
9 zweiter Speicherbereich des digitalen Informati- onsträgers
10 Pfeil
11 Doppelpfeil

Claims

Patentansprüche
1. Verfahren zur Erzeugung eines digitalen Datenstroms, bei dem: - ein Mediendatenstrom (MDS) generiert wird, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromab- schnitt ein oder mehrere Mediendatenpakete (NALu) enthält; - dem Mediendatenstrom (MDS) ein zeitlich mit dem Mediendatenstrom (MDS) synchronisierter Metadatenstrom (MTS) zugeordnet wird, wobei der Metadatenstrom (MTS) Metadaten- stromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; dadurch gekennzeichnet, dass in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7) ein oder mehrere erste Metadatenelemente (ME) derart angeordnet werden, dass jedem Mediendatenpaket (NALu) des Mediendaten- Stromabschnitts (SO, ..., S7), dem der jeweilige Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils mehrere Mediendatenpakete (NALu) zu einem oder mehreren Aggregatoren (A) zusammengefasst werden und in dem Metadatenstromabschnitt (MO, ..., M7), der dem jeweiligen Me- diendatenstromabschnitt (SO, ..., S7) zugeordnet ist, ein oder mehrere zweite Metadatenelemente (MA' ) derart angeordnet werden, dass jedem Aggregator (A) ein zweites Metadatenelement (MA') zugewiesen ist.
3 . Verfahren nach Anspruch 2 , d a d u r c h g e k e n n z e i c h n e t , d a s s das zweite Metadatenelement (MA' ) ein Metadatenelement (MEA) zur Beschreibung des jeweiligen Aggregators (A) und diejenigen Metadaten enthält, die in dem oder den ersten Metadatenelementen (ME) enthalten sind, welche dem oder den Medienda- tenpaketen (NALu) zugewiesen sind, die in den jeweiligen Ag- gregator zusammengefasst sind.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass durch die Aggregatoren (A) Mediendatenpakete (NALu) zusammen- gefasst werden, welche im Wesentlichen die gleiche Datenqualität aufweisen.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datenstrom mehrere Mediendatenströme (MDS) und entsprechend zugeordnete Metadatenströme (MTS) umfasst.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass wenigstens einer der Mediendatenströme (MDS) einen oder mehrere Extraktoren (E) enthält, die jeweils ein oder mehrere Mediendatenpakete (NALu) eines anderen Mediendatenstroms (MDS) referenzieren, wobei jedem Extraktor (E) ein drittes Metadatenelement (ME') in dem Metadatenstrom (MTS) zugewiesen wird, der dem wenigstens einen Mediendatenstrom (MDS) zugeordnet ist.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das dritte Metadatenelement (ME' ) ein Metadatenelement (MEE) zur Beschreibung des Extraktors (E) und diejenigen Metadaten enthält, die in dem oder den ersten und/oder zweiten Metadatenelementen (ME, MA' ) enthalten sind, welche dem oder den Mediendatenpaketen (NALu) zugewiesen sind, die durch den Extraktor (E) referenziert werden.
8 . Verfahren nach einem der vorhergehenden Ansprüche , d a d u r c h g e k e n n z e i c h n e t , d a s s in einem oder mehreren der ersten Metadatenelemente (ME) jeweils spezifiziert wird, ob und/oder wie viele nachfolgende erste und/oder zweite und/oder dritte Metadatenelemente (ME, MA', ME') den gleichen Inhalt haben.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom die Mediendatenstromabschnitte (SO, ..., S7) und/oder die Metadatenstromabschnitte (MO, ..., M7) referen- ziert werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom die Beschreibung von einer oder mehreren Qualitätsstufen sowie die Anweisungen zum Zugriff auf die Me- diendatenpakete (NALu) der entsprechenden Qualitätsstufe enthalten ist.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom auf die in einem Metadatenstromabschnitt (MO, ..., M7) enthaltenen ersten und/oder zweiten und/oder dritten Metadatenelemente (ME, MA' , ME' ) zugegriffen wird.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Mediendatenstrom (MDS) ein Videodatenstrom ist, wobei je- der Mediendatenstromabschnitt (SO, ..., S7) ein Videobild zu einem vorgegeben Zeitpunkt repräsentiert und die Mediendaten- pakete (NALu) Videodatenpakete sind.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Videodatenstrom ein MPEG4-SVC-Videodatenstrom ist.
14 . Verfahren nach einem der vorhergehenden Ansprüche , d a d u r c h g e k e n n z e i c h n e t , d a s s zumindest ein Teil der ersten und/oder zweiten und/oder dritten Metadatenelemente (ME, MA' , ME' ) Parameter bezüglich ei- ner Ratensteuerung des Datenstroms, insbesondere Parameter einer R/D-optimalen Extraktion von Mediendaten, und/oder Parameter zur Adaption der Qualität des Datenstroms enthält.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in zumindest einem Teil der Metadatenstromabschnitte (MO, ..., M7) jeweils ein viertes Metadatenelemente (MS) existiert, welches den Mediendatenstromabschnitt (SO, ..., S7) beschreibt, dem der jeweilige Metadatenstromabschnitt (MO, ..., M7) zuge- ordnet ist.
16. Verfahren zum Verarbeiten eines mit einem Verfahren nach einem der vorhergehenden Ansprüche erzeugten digitalen Datenstroms, dadurch gekennzeichnet, dass der Datenstrom derart ausgelesen wird, dass die Zuordnung der Mediendatenpakete (NALu) zu den ersten Metadatenelementen (ME) und/oder der Aggregatoren (A) zu den zweiten Metadatenelementen (MA' ) und/oder der Extraktoren (E) zu den dritten Metadatenelementen (ME' ) durch Nummerierung der ausgelesenen Mediendatenpakete (NALu) und/oder Aggregatoren (A) und/oder Extraktoren (E) und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente (MA' , ME' ) ermittelt wird.
17. Sender zum Aussenden eines Datenstroms nach einem der Ansprüche 1 bis 15, gekennzeichnet durch ein erstes Mittel (4) zur Generierung eines Mediendaten- Stroms (MDS), der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Medien- datenpakete (NALu) enthält; ein zweites Mittel (5) zum Zuordnen eines zeitlich mit dem Mediendatenstrom (MDS) synchronisierten Metadaten- Stroms (MTS) zum Mediendatenstrom (MDS) , wobei der Metadatenstrom (MTS) Metadatenstromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromab- schnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; - ein drittes Mittel (6) zum Anordnen eines oder mehrerer erster Metadatenelemente (ME) derart in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7), dass jedem Medienda- tenpaket (NALu) des Mediendatenstromabschnitts (SO, ..., S7), dem der jeweilige Metadatenstromabschnitt (MO, ..., M7 ) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.
18. Sender nach Anspruch 17, dadurch gekennzeichnet, dass der Sender (1) ein Mittel zum Verarbeiten des Datenstroms nach Anspruch 16 aufweist und den verarbeiteten Datenstrom aussenden kann.
19. Sender nach Anspruch 18, dadurch gekennzeichnet, dass der Sender (1) mit dem Mittel zum Verarbeiten des Datenstroms Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere gemäß Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann und die ausgelesenen Teile aussenden kann.
20. Empfänger zum Empfang eines nach einem der Ansprüche 1 bis 15 erzeugten Datenstroms, gekennzeichnet durch ein Lesemittel (7) zum Auslesen des Datenstroms derart, dass die Zuordnung der Mediendatenpakete (NALu) zu den ersten Me- tadatenelementen (ME) und/oder der Aggregatoren (A) zu den zweiten Metadatenelementen (MA' ) und/oder der Extraktoren (E) zu den dritten Metadatenelementen (ME' ) durch Nummerierung der ausgelesenen Mediendatenpakete (NALu) und/oder Aggregato- ren (A) und/oder Extraktoren (E) und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente (MA' , ME' ) ermittelt wird.
21. Empfänger nach Anspruch 20, dadurch gekennzeichnet, dass der Empfänger (2) derart ausgestaltet ist, dass er Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann.
22. Digitaler Informationsträger, dadurch gekennzeichnet, dass der Informationsträger (3) digitale Informationen umfasst, mit denen ein Datenstrom gemäß einem Verfahren nach einem der Ansprüche 1 bis 13 erzeugbar ist.
23. Digitaler Informationsträger nach Anspruch 22, dadurch gekennzeichnet, dass der Informationsträger (3) umfasst: - einen ersten Datenspeicherbereich (8) zur Erzeugung eines Mediendatenstroms (MDS) , der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromabschnitt (SO, ..., S7) ein oder mehrere Mediendatenpakete (NALu) enthält; - einen zweiten Datenspeicherbereich (9) zur Erzeugung eines zeitlich mit dem Mediendatenstrom (MDS) synchronisierten Metadatenstroms (MTS) , wobei der Metadatenstrom (MTS) Metadatenstromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; wobei in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7) ein oder mehrere erste Metadatenelemente (ME) derart angeordnet sind, dass jedem Mediendatenpaket (NALu) des Mediendaten- stromabschnitts (SO, ..., S7), dem der jeweilige Metadaten- stromabschnitt (MO, ..., M7) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.
24. Digitaler Informationsträger nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass der Informationsträger (3) einen Track zur Referenzierung von Mediendatenstromabschnitten (SO, ..., S7) und/oder einen Track zur Referenzierung von Metadatenstromabschnitten (MO, ..., M7) umfasst .
25. Digitaler Informationsträger nach Anspruch 24, dadurch gekennzeichnet, dass der Track zur Referenzierung von Metadatenstromabschnitten (MO, ..., M7 ) die Beschreibungen von Gruppierungen von ersten und/oder zweiten und/oder dritten Metadatenelementen (ME, MA', ME') umfasst.
EP07704647A 2006-03-27 2007-02-19 Verfahren zur erzeugung eines digitalen datenstroms Withdrawn EP2002654A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102006014036 2006-03-27
DE102006045140A DE102006045140A1 (de) 2006-03-27 2006-09-25 Verfahren zur Erzeugung eines digitalen Datenstroms
PCT/EP2007/051571 WO2007110283A1 (de) 2006-03-27 2007-02-19 Verfahren zur erzeugung eines digitalen datenstroms

Publications (1)

Publication Number Publication Date
EP2002654A1 true EP2002654A1 (de) 2008-12-17

Family

ID=38055167

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07704647A Withdrawn EP2002654A1 (de) 2006-03-27 2007-02-19 Verfahren zur erzeugung eines digitalen datenstroms

Country Status (4)

Country Link
EP (1) EP2002654A1 (de)
KR (1) KR20090009832A (de)
DE (1) DE102006045140A1 (de)
WO (1) WO2007110283A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2150060A1 (de) * 2008-07-28 2010-02-03 Alcatel, Lucent Verfahren und Anordnung zur personalisierten Videokodierung
EP2362994A1 (de) * 2008-11-26 2011-09-07 Telefonaktiebolaget L M Ericsson (PUBL) Technik zum umgang mit medieninhalt, so dass er über mehrere medienspuren zugänglich ist
EP3742715B1 (de) 2011-05-27 2024-09-18 Dolby Laboratories Licensing Corporation Skalierbare systeme zur steuerung einer farbverwaltung mit unterschiedlichen metadatenniveaus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7634002B2 (en) * 2003-11-26 2009-12-15 Hewlett-Packard Development Company, L.P. Method and apparatus for updating sequences in a bitstream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007110283A1 *

Also Published As

Publication number Publication date
WO2007110283A1 (de) 2007-10-04
KR20090009832A (ko) 2009-01-23
DE102006045140A1 (de) 2007-10-18

Similar Documents

Publication Publication Date Title
DE3639026C2 (de) Hochauflösendes Bildübertragungsverfahren
DE69823168T2 (de) Verfahren und gerät zur kodierung und formatierung von daten eines videoprogramms zur erzeugung sich mehrfach überlappender darstellungen des videoprogramms
DE69517787T2 (de) Echtzeit-Editierungssteuerung für Videoprogramm-Material
DE69514177T2 (de) System für audiovisuelle vorführung
DE69901018T2 (de) Verfahren und Vorrichtung zur Erzeugung von OSD Daten in einem Videosignal mit kodiertem Format
DE60008233T2 (de) Übertragung von profilierten mediadateien an kunden über ein netzwerk
DE69425010T2 (de) Prioritätsverarbeitung von kodierten Bildsignalen
DE10392598T5 (de) Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
DE69835211T2 (de) Umschaltung zwischen komprimierten videobitströmen
DE10392586T5 (de) Allgemeine Anpassungsschicht für JVT-Video
DE10392282T5 (de) Verfahren und Vorrichtung zum Unterstützen von AVC in MP4
DE69810597T2 (de) Verfahren zur codierung der reihenfolgeinformation für mehrschichten-vertices
WO2011144615A2 (de) Transportstrom-bereitsteller, dab-signal-bereitsteller, transportstrom- analysierer, dab-empfänger, verfahren, computerprogramm und transportstrom-signal
WO2002078352A1 (de) Verfahren zur komprimierung und dekomprimierung von videodaten
DE60211790T2 (de) Videokodierung mit konstanter Qualität
DE112017006610T5 (de) Bildverarbeitungsvorrichtung und Verfahren
DE112010004844T5 (de) Videocodierung unter Verwendung von Pixeldatenströmen
DE102005001287A1 (de) Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
WO2007110283A1 (de) Verfahren zur erzeugung eines digitalen datenstroms
DE60008016T2 (de) Mpeg-4 videospezifisches kontrollpaket zur lieferung von personalisierten kodierungswerkzeugen
EP1247402A1 (de) Verfahren zum ändern des informationsinhaltes eines digitalen video-transportstromes in ausgewählten regionen
DE60008141T2 (de) Digitalfernsehrundfunkverfahren, entsprechendes digitalsignal und entsprechende vorrichtung
DE69230047T2 (de) Fernsehsystem zum Übertragen von Bildsignalen in einem digitalen Format
DE69934206T2 (de) Übertragungssystem für multiplex signale
DE102020106101B4 (de) Verfahren zur automatisierten Anpassung und/oder Erzeugung eines Encoders und/oder zur Erstellung eines Medienstreams, Recheneinheit und Computerprogrammprodukt

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20081027

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: NOKIA SIEMENS NETWORKS GMBH & CO. KG

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20100901