EP1905038A1 - Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung - Google Patents

Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung

Info

Publication number
EP1905038A1
EP1905038A1 EP06763760A EP06763760A EP1905038A1 EP 1905038 A1 EP1905038 A1 EP 1905038A1 EP 06763760 A EP06763760 A EP 06763760A EP 06763760 A EP06763760 A EP 06763760A EP 1905038 A1 EP1905038 A1 EP 1905038A1
Authority
EP
European Patent Office
Prior art keywords
scaling
data
elements
data element
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06763760A
Other languages
English (en)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Thomas Rathgen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1905038A1 publication Critical patent/EP1905038A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/2312—Data placement on disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the invention relates to a method according to the preamble of claim 1 and a device according to the preamble of claim 10.
  • media data streams for example, video data streams or audio data streams
  • a mobile phone is only able to reproduce the video data stream with a small image resolution, for example 176x144 pixels.
  • portable computers such as a tablet PC, can display on their display the video data stream with up to 1280 x 768 pixels.
  • the media data stream can be created in several data streams of different quality. This procedure is disadvantageous since a large storage capacity must be made available for storing these large numbers of data streams for a media data stream.
  • the media data stream is encoded in a base data stream and a plurality of sub-data streams, wherein an improvement of the quality, for example image quality, compared to the base data stream is achieved by adding one or more partial data streams to the base data stream.
  • an improvement of the quality for example image quality
  • a terminal can obtain a data stream to be decoded with a selectable quality such that it is suitable for the device properties of the specific terminal.
  • the scalable coding ensures that on the one hand on the other hand that an adaptation of the device properties for the terminals is made possible by the addition of one or more partial data streams.
  • Encoded media data streams such as a video stream
  • files are organized into files.
  • a file format is known in which coded media data streams are stored.
  • this file format supports "layers” and “subsequences”. It is explicitly pointed out that the "layers” and the “subsequences” are limited to reading the data format, whereas this information is not intended to describe properties of a codec, that is, of scalable data streams.
  • the invention has for its object to provide a method and an apparatus which in the creation of at least one file for storing scalable data streams both a flexible definition of scaling directions and an adaptation of the scalable data streams to device properties of one or more different Endge- rates in simple and efficient way.
  • This object is achieved on the basis of the method according to the O-berbegriff of claim 1 by its characterizing features. Furthermore, this object is achieved according to the preamble of claim 10 by its characterizing features.
  • each scaling level of the scaling features is assigned at least one data element
  • the scalable data stream in a high quality level at least one of those data elements is represented, whose scaling levels of the respective scaling features are equal to or smaller than the scaling levels of the respective scaling features associated with the high quality level
  • the data element is assigned a time index at which the respective data element is to be displayed relative to other data elements
  • the data element is assigned a processing index such that only one or more data elements with a lower value are used to process the data element
  • At least one write list is generated in such a way that it comprises for the data element associated description elements consisting of the scaling level of the respective scaling features, the time index and / or the processing index, at least one of the description lists and the associated data elements are stored in one of the files organized.
  • the inventive method ensures that data elements and their description, which are presented in the form of at least one description list, can be stored in a very flexible manner.
  • the description list is generated in such a way that the description list can be assigned to a terminal functionality, in particular to a computing power or reproduction unit of the terminal.
  • a terminal with a special terminal functionality can find the data elements required for itself quickly in the file in a simple manner.
  • terminals with a wide variety of terminal functionalities can be served.
  • references to finding the associated data elements are preferably added to the description list and the data elements are organized in a data area in one of the files, then the description list and the data area can be managed separately from one another and separated, for example, when the file or files are transmitted be transmitted to each other. In this transmission, a special error protection for the description list and the data area can be used in each case, whereby bandwidth can be achieved compared to a single error protection.
  • a data volume of the write list to be stored can be reduced.
  • the data elements in the data area can be stored in an organized manner depending on the reference associated with the respective data element.
  • the associated processing index can be determined by a position of the respectively stored data element.
  • the data volume can be reduced by omitting the concrete processing indices.
  • the data area for reading the data elements only needs to be processed in one direction, thereby avoiding time-consuming jumps.
  • a data list is stored in accordance with an MPEG-4 AVC description format for MPEG-4 AVC-compatible data elements for describing one of the lowest quality levels in one of the files.
  • the MEPG-4 AVC description format is known from the standard ISO / IEC MPEG-4 AVC. This ensures that the file can also be read and evaluated by terminals that only know the MEPG-4 AVC description format.
  • quality groups are furthermore formed from the quality levels in such a way that the quality group is assigned to one of the quality levels and all data elements are assigned to process this quality group.
  • This can support a scalable coding method which supports layered multiple scaling levels.
  • the invention relates to a device for storing individual data elements of a scalable data stream in at least one file, wherein quality levels of the scalable data stream are described by at least one scaling feature in each of several scaling levels, each scaling level of the scaling features is assigned at least one data element, the scalable data stream in one high quality level is represented by at least one of those data elements whose scaling levels of the respective scaling characteristics are equal to or smaller than the ska associated respectively to the high quality level.
  • the data element is assigned a time index at which the respective data element is to be displayed relative to other data elements having a generator module, which is adapted to the data element, a processing index are assigned such that for processing the data element only one or more data elements with a lower value of the respective processing index are to be taken into account, at least one description list is generated such that it comprises descriptive elements associated with the data element, consisting of the scaling level of the respective scaling characteristics, the time index and / or the processing index At least one of the description lists and the associated data items should be stored in one of the files organized.
  • the inventive method can be implemented and executed.
  • the device can be realized in hardware, in software running on a processor or in a combination of hardware and software.
  • Figure 2 shows procedures for achieving data elements representing different scaling features (refresh rate and image resolution);
  • FIG. 4 shows a circuit diagram for generating data elements from a plurality of images and for producing reconstructed images
  • FIG. 5A A procedure for creating a reconstructed image for the quality level with high image resolution
  • FIG. 5B Procedure for creating a reconstructed image for the quality level with high refresh rate
  • FIG. 6 A description list for the quality levels or data element according to FIG. 2 or 3;
  • Figure 7 A structure of a file consisting of description list and data area
  • FIG. 8A shows a variant of a description list
  • FIG. 8B shows a binary representation of the description list according to FIG. 8A
  • FIG. 9 A device for storing individual data elements of a scalable data stream in a file
  • FIG. 10 shows an application example for using the device within a video server in a network
  • FIG. 12 shows another variant of a description list taking into account device properties
  • FIG. 14 two files, wherein in the first file several description lists and a data list and in the second file the data elements are stored in an organized manner.
  • FIGS. 1 to 14 Elements with the same function and mode of operation are provided in FIGS. 1 to 14 with the same reference numerals.
  • the inventive method for storing individual data elements of a scalable data stream in a file is explained in more detail using a video data stream.
  • the video data stream represents one possible type of scalable data stream.
  • Other types of scalable data streams are, for example, a speech signal, a piece of music or a data record that can be displayed in several quality levels.
  • scalable video data streams have the property that portions of these data streams are of reduced quality, e.g. less sharpness, less local or temporal resolution and / or omission of certain objects, can be decoded.
  • portions of the scalable data stream SD may be tagged depending on a purpose of use, e.g. that certain scenes of the scalable data stream are only accessible to certain age groups.
  • FIG. 1 shows the concept of "fill scalable" video coding.
  • three scaling features, image repetition rate T, spatial resolution S and image sharpness B are plotted on the axes.
  • Each of the scaling features T, S, B can each be resolved in several scaling stages.
  • Tl 15 fps
  • T2 30 fps.
  • the scaling feature image sharpness B comprises two scaling stages BO, Bl, where BO corresponds to a coarse quantization and Bl to a fine quantization.
  • each box represents one of the possible quality levels Q0, ..., Q4, each quality level being represented by an individual triple at scaling levels of the scaling features T, S, B.
  • the quality level Q3 is characterized by the scaling levels Tl, Sl, BO of the scaling features T, S, B.
  • each quality level Q0,... Q4 represents a specific quality of the scalable data stream SD.
  • the quality of the quality level QO is low, since both the image refresh rate, the spatial resolution and the image sharpness are low or coarse.
  • the second quality level Q2 is selected.
  • the spatial resolution S is increased from QCIF to CIF.
  • T0 15 fps
  • Tl 15 fps
  • SO QCIF
  • Sl CIF
  • Pictures PO, Pl, P2 have a spatial resolution of CIF.
  • a first step X10 the image PO is converted from CIF to QCIF, e.g. by means of a two-dimensional subsampling filter, and optionally compressed, so that the result is the data element DO.
  • This step is analogous in the
  • Step X12 performed for the image P2, which generates the data element Dl.
  • step XI for example, first the image P1 is converted from CIF to QCIF, and then a difference image in the form of a B-image is generated by means of the decompressed data elements DO, D1 (steps X20, X21). This difference image is compressed and thus yields the data element D2.
  • step X30 the decompressed data element DO is enlarged from QCIF to CIF, e.g. by means of a two-dimensional filter. Then, in step X40, a difference image from the image PO and the enlarged and decompressed data element DO is detected and compressed. This compressed differential image is referred to as data element D3. To create the data element D4, the procedure is analogous using steps X32 and X42.
  • the data element D2 is first decompressed in step X31 and enlarged from QCIF to CIF. Subsequently, a difference image is calculated taking into account the image Pl, the decompressed and enlarged image D2 and the decompressed and the reconstructed images on the basis of the data elements DO, D3 and the data element. elements Dl and D4.
  • step X50 one of the reconstructed images is determined from the decompressed data element DO enlarged by QCIF to CIF together with the decompressed data element D3. This is done analogously in step X51 for the data elements Dl and D4.
  • step X50 one of the reconstructed images is determined from the decompressed data element DO enlarged by QCIF to CIF together with the decompressed data element D3. This is done analogously in step X51 for the data elements Dl and D4.
  • X41 is also the generation of the difference image and its compression, so that there creates the data element D5.
  • the scaling stages of the scaling features spatial resolution S and repetition frequency T of the data elements generated in FIG. 2 are plotted along the scaling stages. Also indicated is a respective time index ZIO, ..., ZI5 at which the associated data item is output, i. For example, to be displayed on a screen to be.
  • an associated processing index VO,..., V5 is listed.
  • the processing index indicates in which order the individual data elements are processed, e.g. decompressed and processed. For example, if the data item D4, i. the quality level Q2, are processed, at least the data element Dl must be processed, e.g. decompressed and enlarged.
  • the processing index indicates that prior to processing the associated data element D4, one or more data elements Dl having a smaller value of the processing index V1 must already have been processed.
  • Values for the respective processing index VO,..., V5 of the associated data element DO,..., D5 are plotted in the lower section of FIG. This list is exemplary and can also be represented by one or more alternative orders.
  • FIG. 4 shows a circuit diagram for generating data elements from a plurality of images and for producing reconstructed images.
  • the data elements DO,..., D5 are generated with the aid of an encoding module COD from the images PO,..., P2.
  • a decoding module DEC By using a decoding module DEC, one or more reconstructed images R 1, R 1 ', R 2, R 2' can be generated from one or more data elements.
  • the reconstructed images Rl, R2 have a low spatial resolution SO and the images Rl ', R2' have a high spatial resolution Sl.
  • the repetition rate TO 7.5 fps.
  • a reconstructed data stream of Tl 15 fps results.
  • the procedure for generating reconstructed images is explained in greater detail in FIGS. 5A and 5B. If, for example, the reconstructed image R1 corresponds to the quality level Q1 shown in FIG. 3, the data elements DO, D1 and D2 are required for its creation. This dependence can be seen from FIG. If the quality level Q2 has been selected, then, as can be seen in FIG. 5B, the reconstructed image R2 'is created by means of the data elements D1 and D2.
  • a terminal depending on its terminal functionalities, only the quality level and thus only consider those data elements that it can, for example, process or represent.
  • a high quality, scalable data stream takes into account both the data element of this high quality level and one or more lower quality data elements. That means, the scalable data stream of a high quality level is reproduced by one or more of those data elements, the scaling levels of the respective scaling characteristics being equal to or smaller than the scaling levels of the respective scaling characteristics respectively associated with that high quality level.
  • This type of scaling is also known as "fill scalability.” If, for example, the high quality level is Q3, the data packet D5 as well as, for example, all data packets of the lower quality levels must be taken into account in order to generate the scalable data stream DS, namely DO,..., D4.
  • a description list L1 is obtained by sorting the writing elements, e.g. the scaling levels of the scaling features, and / or the time index ZI9, ..., ZI5 and / or the processing index VO, ..., V5 include.
  • the result of this sorting is shown, for example, in FIG. 6.
  • the following three sort criteria were executed in the following sort order:
  • the description list L1 is arranged in the file F such that, after specifying the sorting parameters, the associated data element is specified together with its processing index, such as "t0, TO, SO, V0, DO".
  • FIG. 7 shows an alternative representation of the description list from FIG. 6.
  • a respective reference VDO,..., VD5 is inserted into the description list L1.
  • VDO, ..., VD5 has two functions. On the one hand, it points to an entry within a data section DAT of the file F, in which the individual data elements DO,..., D5 are organized are stored. Thus, by means of the reference VDO, ..., VD5 the data element DO, ..., D5 can be found. This is indicated symbolically in FIG. 7 by dashed arrows with the reference symbols VDO,..., DV5. On the other hand, from the reference VDO,..., VD5 of the data element DO,
  • the data elements and the description list are stored sorted in a single file F.
  • these can be stored in more than a single file, e.g. in the file F the description list Ll and in another file Fl the data elements DO, ..., D5.
  • FIG. 8A shows a further alternative representation of the description list L2.
  • those entries within the description list L2, for which no data element exists have been assigned a marking word "FREI" instead of the reference.
  • FIG. 8B shows a binary representation of the entries of FIG. 8A. This is, for example, a description list L2 '.
  • the description elements assume the following binary values:
  • VDO 000, ..., VD5: 101, FREE: 111
  • the fourth line has the following bit pattern: "00, 1, 1, 111". If the individual binary symbols are replaced by the previously mentioned reference symbols, this fourth row reads: "t ⁇ , Tl, Sl, FREI".
  • the meaning of the reference symbols as binary symbols t.sup.th, t.sub.l, T0, Tl, S0, S, D0, Dl, D2, D3, FREI are known to a decoder or, for example, a priori or are communicated to it separately.
  • FIGS. 6 to 8B a uniform sorting sequence has been selected. This is one of the possible embodiments of the method according to the invention. In general, any order in sorting the descriptors, i. e.g. the time index and scaling levels of the scaling features. In particular, when creating the description lists
  • Terminal functionalities such as a computing power or a playback unit of a terminal are observed.
  • FIG. 12 shows by way of example a description list L4 according to the following sorting order:
  • the terminal When evaluating the description list L4, the terminal only searches in that section of the file F which has the spatial resolution SO as the first sorting parameter. In the section of the description list L4, which begins with the spatial resolution Sl, the terminal does not have to search for possible data elements, since the terminal can not process and display a spatial resolution Sl.
  • individual data elements and / or scaling levels of the scaling features and / or time indices can be marked with an access index.
  • the access index allows Licht an additional sorting criterion in the selection of the data elements to be processed.
  • temporal sections of the scalable data stream SD can only be approved for adults, while remaining time sections are suitable for adolescents of 12 to 18 years.
  • the influence length comprises the images P1 and P2.
  • any arbitrary length of influence GOP with the aid of the invention
  • more than one description list L1, L2, 13 can be contained in the file F.
  • a terminal can individually select one of the description lists for processing the data elements.
  • the terminal e.g. by specifying a number of a description list Ll, the terminal a certain procedure in the processing of the data elements are given.
  • a terminal should only be able to scale into quality groups.
  • the terminal is instructed to process only the description list L3.
  • This description list L3 will be explained later.
  • a data list DL can be added to the file F, whereby this data list DL is allocated according to an MPEG-4 AVC Description format for MPEG-4 AVC-compliant data elements describing one of the lowest quality levels QO, Ql in one of the files F, Fl organized. This can be used in the file to achieve backward compatibility with already existing terminals that can not evaluate the description lists L1.
  • the optional data list DL has been inserted into the file F.
  • the description list Ll and the data area DAT may be stored in a file F or in a plurality of files F, Fl.
  • the description lists L1,..., L3 are stored in the file F and the data area DAT is organized in the further file F1.
  • FIG. 9 shows an exemplary embodiment of a device for carrying out the method according to the invention.
  • uncoded images Pl,..., P3 are recorded by a camera K and transferred to the coding module COD, which generates the data elements DO,..., D5.
  • the coding module COD which generates the data elements DO,..., D5.
  • the generator module GM which, after sorting the description elements, generates at least one of the description lists L 1 and stores them in at least one of the files F.
  • the generator module GM creates the data area DAT within one of the files F, Fl, which comprises the data elements DO,..., D5.
  • the file F may for example be stored on a memory module SM, in particular a hard disk.
  • FIG. 10 shows a possible application example of the device according to the invention.
  • a video server VX which comprises the device according to the invention.
  • the memory module SM can be coupled with the file F to the video server VX.
  • a camera K may be connected to the video server VX.
  • the video server VX is able to send the created file or files with the description list L 1 and the data area DAT to a mobile device MG, for example a GSM Device (GSM - Global System Mobile Communications) or to a computer CG.
  • GSM Global System Mobile Communications
  • the description list L3 can be generated in such a way that the data elements belonging to a respective time index are combined into quality groups G1,..., G3.
  • the first quality group Gl comprises only the data elements DO, Dl of the quality level QO.
  • the second quality group G2 contains the data elements DO, D1, D3, D4 of the quality levels Q0 and Q1.
  • the third quality group G3 comprises the data elements DO,..., D5 of the quality levels Q0,..., Q3.
  • the grouping into quality groups according to FIG. 3 is known to the person skilled in the art as "layered coding" in the context of scalable coding.
  • the layers are characterized by the fact that it is no longer possible to achieve any combination of scaling levels of the scaling features.
  • FIG. 11 shows a further variant of a description list L3 which describes the quality groups G1,..., G3 and has been created according to the following sorting order:
  • the respective quality group G1,..., G3 is shown as representative of the scaling features T, S.
  • the respective quality group G1,..., G3 is shown as representative of the scaling features T, S.
  • the respective quality group G1,..., G3 is shown as representative of the scaling features T, S.
  • the respective quality group G1,..., G3 is shown as representative of the scaling features T, S.
  • the quality group G3 is listed, which in addition to the next smaller quality group G2, are additionally listed during processing or decoding. must be considered. If, for example, a terminal selects the quality group G3, all data elements or references of the lower quality groups G1 and G2 are selected in addition to the data elements or references listed there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in zumindest eine Datei, wobei Qualitätsstufen des skalierbaren Datenstroms durch zumindest ein Skalierungsmerkmal in jeweils mehreren Skalierungsstufen beschrieben werden und jeder Skalierungsstufe der Skalierungsmerkmale jeweils zumindest ein Datenelement zugewiesen wird, bei der dem Datenelement ein Verarbeitungsindex derart zugewiesen wird, dass zur Verarbeitung des Datenelements lediglich ein oder mehrere Datenelement mit einem niedrigeren Wert des jeweiligen Verarbeitungsindices zu berücksichtigen sind, zumindest eine Beschreibungsliste derart erzeugt wird, dass diese für das Datenelement dazugehörige Beschreibungselemente, bestehend aus der Skalierungsstufe der jeweiligen Skalierungsmerkmale, dem Zeitindex und/oder dem Verarbeitungsindex, umfasst, zumindest eine der Beschreibungslisten und die dazugehörigen Datenelemente in einer der Dateien organisiert gespeichert werden. Ferner umfasst die Erfindung eine Vorrichtung, mit der das Verfahren implementierbar und ausführbar ist.

Description

Beschreibung
Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrich- tung
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1 und eine Vorrichtung gemäß dem Oberbegriff des Anspruchs 10.
In vielen Anwendungen werden Mediadatenströme zum Beispiel Videodatenströme oder Audiodatenströme, in unterschiedlichen Qualitäten benötigt. Beispielsweise ist ein Mobiltelefon nur in der Lage den Videodatenstrom mit einer kleinen Bildauflö- sung, zum Beispiel 176 x 144 Bildpunkten, wiederzugeben. Hingegen können tragbare Computer, wie zum Beispiel ein Tablet PC, auf ihrem Display den Videodatenstrom mit bis zu 1280 x 768 Bildpunkten anzeigen.
Um einen Mediadatenstrom für unterschiedliche Endgeräte mit verschiedenen Endgeräteeigenschaften anzubieten, kann der Mediadatenstrom in mehrere Datenströme unterschiedlicher Qualität erstellt werden. Diese Vorgehensweise ist nachteilig, da zur Speicherung dieser Vielzahl von Datenströmen für einen Mediadatenstrom eine große Speicherkapazität zur Verfügung gestellt werden muss.
In einer anderen Variante wird der Mediadatenstrom in einem Basisdatenstrom und mehrere Teildatenströme codiert, wobei durch Hinzunahme eines oder mehrerer Teildatenströme zum Basisdatenstrom eine Verbesserung der Qualität, zum Beispiel Bildqualität, gegenüber dem Basisdatenstrom erzielt wird. Durch diese skalierbare Codierung kann ein Endgerät durch Hinzunahme eines oder mehrerer Teildatenströme zum Basisda- tenstrom einen zu decodierenden Datenstrom mit einer wählbaren Qualität derart erhalten, dass dieser für die Geräteeigenschaften des spezifischen Endgeräts geeignet ist. Durch die skalierbare Codierung wird erreicht, dass zum einen ein geringer Speicherplatzbedarf besteht und zum anderen dass durch die Hinzunahme eines oder mehrerer Teildatenströme eine Anpassung der Geräteeigenschaften für die Endgeräte ermöglicht wird.
Codierte Mediadatenströme, wie zum Beispiel ein Videodatenstrom, werden in Dateien organisiert abgelegt. Aus [1] ist beispielsweise ein Dateiformat bekannt, in dem codierte Mediadatenströme abgelegt werden. Gemäß Kapitel 7 des Dokuments [1] unterstützt dieses Dateiformat "Layers" und "Subsequen- ces". Dabei wird explizit darauf hingewiesen, dass sich die "Layers" und die "Subsequences" auf das Lesen des Datenformats beschränkt, wohingegen diese Information nicht zum Beschreiben von Eigenschaften eines Codecs, das heißt von ska- lierbaren Datenströmen vorgesehen ist.
Ferner wird auf das Dokument [2] verwiesen, welches ein spezielles hierarchisches Format mit fester Struktur für die Reihenfolge von Skalierbarkeitsrichtungen, das heißt für ei- nen speziellen bevorzugten Anwendungsfall, definiert. Das in [2] vorgeschlagene Format zeigt den Nachteil, dass es keine flexible Definition von Skalierungsrichtungen unterstützt.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung anzugeben, welche bei der Erstellung zumindest einer Datei zur Speicherung von skalierbaren Datenströmen sowohl eine flexible Definition von Skalierungsrichtungen als auch eine Anpassung der skalierbaren Datenströme an Geräteeigenschaften eines oder mehrerer unterschiedlicher Endge- rate in einfacher und effizienter Weise ermöglicht.
Diese Aufgabe wird ausgehend von dem Verfahren gemäß dem O- berbegriff des Anspruchs 1 durch dessen kennzeichnende Merkmale gelöst. Ferner wird diese Aufgabe gemäß dem Oberbegriff des Anspruchs 10 durch dessen kennzeichnende Merkmale gelöst.
Sonstige Weiterbildungen der Erfindung sind in den Unteransprüchen wiedergegeben. Bei dem Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in zumindest eine Datei, wobei Qualitätsstufen des skalierbaren Datenstroms durch zumindest ein Skalierungsmerkmal in jeweils mehreren Skalierungsstufen beschrieben werden, jeder Skalierungsstufe der Skalierungsmerkmale jeweils zumindest ein Datenelement zugewiesen wird, der skalierbare Datenstrom in einer hohen Qualitätsstufe durch zumindest eines derjenigen Datenelemente repräsentiert wird, deren Skalierungsstufen der jeweiligen Skalierungsmerkmale gleich wie oder kleiner als die jeweils zur hohen Qualitätsstufe dazugehörigen Skalierungsstufen der jeweiligen Skalierungsmerkmale sind, dem Datenelement ein Zeitindex zugeordnet wird, an dem das jeweilige Datenelement relativ zu an- deren Datenelementen dargestellt werden soll, werden dem Datenelement ein Verarbeitungsindex derart zugewiesen, dass zur Verarbeitung des Datenelements lediglich ein oder mehrere Datenelement mit einem niedrigeren Wert des jeweiligen Verar- beitungsindices zu berücksichtigen sind, zumindest eine Be- Schreibungsliste derart erzeugt, dass diese für das Datenelement dazugehörige Beschreibungselemente, bestehend aus der Skalierungsstufe der jeweiligen Skalierungsmerkmale, dem Zeitindex und/oder dem Verarbeitungsindex, umfasst, zumindest eine der Beschreibungslisten und die dazugehörigen Datenele- mente in einer der Dateien organisiert gespeichert.
Durch das erfindungsgemäße Verfahren wird erreicht, dass Datenelemente und deren Beschreibung, welche in Form zumindest einer Beschreibungsliste dargestellt sind, in sehr flexibler Art und Weise gespeichert werden können.
Werden die Beschreibungselemente in der Beschreibungsliste nach zumindest einem Sortierkriterium, insbesondere sortiert von der niedrigsten Skalierungsstufe zu der höchsten Skalie- rungsstufe, organisiert angeordnet, so kann ein rasches Auffinden von zur Bearbeitung benötigten Datenelementen erzielt werden. Vorzugsweise wird die Beschreibungsliste derart erzeugt, dass die Beschreibungsliste einer Endgerätefunktionalität, insbesondere einer Rechenleistung oder Wiedergabeeinheit des Endgeräts, zuweisbar ist. Dadurch kann in einfacher Art und Wei- se ein Endgerät mit einer speziellen Endgerätefunktionalität die für sich benötigten Datenelemente rasch in der Datei finden. Ferner können durch Angabe mehrerer Beschreibungslisten Endgeräte mit unterschiedlichsten Endgerätefunktionalitäten bedient werden.
Werden vorzugsweise in die Beschreibungsliste Verweise zum Auffinden der dazugehörigen Datenelemente hinzugefügt und die Datenelemente in einem Datenbereich in einer der Dateien organisiert abgelegt, so können die Beschreibungsliste und der Datenbereich separat von einander verwaltet und bspw. bei einer Übermittlung der Datei bzw. der Dateien getrennt von einander übertragen werden. Bei dieser Übertragung kann jeweils ein spezieller Fehlerschutz für die Beschreibungsliste und den Datenbereich eingesetzt werden, wodurch Bandbreite gegen- über einem einzigen Fehlerschutz erreicht werden kann.
Wird zusätzlich der Wert des Verarbeitungsindices des Datenelements aus dem zum Datenelement dazugehörigen Verweis ermittelt, so kann eine Datenmenge der zu speichernden Be- Schreibungsliste reduziert werden.
Vorzugsweise können zusätzlich die Datenelemente in dem Datenbereich in Abhängigkeit des zum jeweiligen Datenelement dazugehörigen Verweises organisiert gespeichert werden. Damit kann durch eine Position des jeweils gespeicherten Datenelements der dazugehörige Verarbeitungsindex ermittelt werden. Hierdurch kann zum einen das Datenvolumen durch ein Weglassen der konkreten Verarbeitungsindices reduziert werden. Zu anderen muss der Datenbereich zum Lesen der Datenelemente nur in einer Richtung abgearbeitet werden, so dass dadurch zeitaufwendige Sprünge vermieden werden. In einer alternativen Erweiterung des erfindungsgemäßen Verfahrens wird zusätzlich zu einer Beschreibungsliste eine Datenliste gemäß einem MPEG-4 AVC Beschreibungsformat für MPEG- 4 AVC-kompatible Datenelemente zur Beschreibung einer der niedrigsten Qualitätsstufen in einer der Dateien organisiert abgelegt. Das MEPG-4 AVC Beschreibungsformat ist aus dem Standard ISO/IEC MPEG-4 AVC bekannt. Dadurch wird erreicht, dass das File auch von Endgeräten, die nur das MEPG-4 AVC Beschreibungsformat kennen gelesen und ausgewertet werden kann.
Vorzugsweise werden weiterhin aus den Qualitätsstufen Qualitätsgruppen derart gebildet, dass die Qualitätsgruppe einer der Qualitätsstufen zugewiesen und alle Datenelemente zum Verarbeiten dieser Qualitätsgruppe zugeordnet werden. Dadurch kann ein skalierbares Codierverfahren unterstützt werden, welches schichtenweise (layered) mehrere Skalierungsstufen unterstützt .
Werden dazu in der Beschreibungsliste lediglich diejenigen Datenelemente oder Verweise der Qualitätsgruppe zugeordnet, welche zusätzlich zu den in der zur Qualitätsgruppe nächst niedrigeren Qualitätsgruppe aufgeführten Datenelementen oder Verweise zur Bildung der Qualitätsgruppe hinzugefügt bzw. benötigt werden, so kann dadurch eine kompakte und speicheref- fiziente Darstellung der Beschreibungsliste gewährleistet werden.
Ferner betrifft die Erfindung eine Vorrichtung zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in zumindest eine Datei, wobei Qualitätsstufen des skalierbaren Datenstroms durch zumindest ein Skalierungsmerkmal in jeweils mehreren Skalierungsstufen beschrieben werden, jeder Skalierungsstufe der Skalierungsmerkmale jeweils zumindest ein Datenelement zugewiesen wird, der skalierbare Datenstrom in einer hohen Qualitätsstufe durch zumindest eines derjenigen Datenelemente repräsentiert wird, deren Skalierungsstufen der jeweiligen Skalierungsmerkmale gleich wie oder kleiner als die jeweils zur hohen Qualitätsstufe dazugehörigen Ska- lierungsstufen der jeweiligen Skalierungsmerkmale sind, dem Datenelement ein Zeitindex zugeordnet wird, an dem das jeweilige Datenelement relativ zu anderen Datenelementen dargestellt werden soll, das ein Generatormodul aufweist, das dazu geeignet ist, dass dem Datenelement ein Verarbeitungsindex derart zugewiesen werden, dass zur Verarbeitung des Datenelements lediglich ein oder mehrere Datenelement mit einem niedrigeren Wert des jeweiligen Verarbeitungsindices zu berücksichtigen sind, zumindest eine Beschreibungsliste derart er- zeugt wird, dass diese für das Datenelement dazugehörige Beschreibungselemente, bestehend aus der Skalierungsstufe der jeweiligen Skalierungsmerkmale, dem Zeitindex und/oder dem Verarbeitungsindex, umfasst, zumindest eine der Beschreibungslisten und die dazugehörigen Datenelemente in einer der Dateien organisiert gespeichert werden.
Mit dieser Vorrichtung ist das erfindungsgemäße Verfahren implementierbar und ausführbar. Die Vorrichtung kann in Hardware, in auf einem Prozessor ablaufende Software oder aus ei- ner Kombination aus Hardware und Software realisiert werden.
Die Erfindung und ihre Weiterbildungen werden nachfolgend anhand der Figuren 1 bis 15 näher erläutert.
Es zeigen:
Figur 1 Qualitätsstufen eines skalierbaren Datenstroms;
Figur 2 Vorgehensweisen zum Erreichen von Datenelementen, die unterschiedliche Skalierungsmerkmale (Bildwiederholrate und Bildauflösung) repräsentieren;
Figur 3 Beschreibungselemente und Datenelement für jede
Qualitätsstufe;
Figur 4 Schaltbild zum Erzeugen von Datenelementen aus mehreren Bildern und zum Erstellen von rekonstruierten Bildern; Figur 5A Vorgehensweise zum Erstellen eines rekonstruierten Bilds für die Qualitätsstufe mit hoher Bildauflösung;
Figur 5B Vorgehensweise zum Erstellen eines rekonstruierten Bilds für die Qualitätsstufe mit hoher Bildwiederholrate;
Figur 6 Eine Beschreibungsliste für die Qualitätsstufen bzw. Datenelement gemäß Figur 2 bzw. 3;
Figur 7 Ein Aufbau einer Datei, bestehend aus Beschreibungsliste und Datenbereich;
Figur 8A Eine Variante einer Beschreibungsliste;
Figur 8B Eine binäre Darstellung der Beschreibungsliste gemäß Figur 8A;
Figur 9 Eine Vorrichtung zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in einer Datei;
Figur 10 Ein Anwendungsbeispiel zur Verwendung der Vorrichtung innerhalb eines Videoservers in einem Netzwerk;
Figur 11 Eine Beschreibungsliste unter Berücksichtigung von Qualitätsgruppen; ;
Figur 12 Eine weitere Variante einer Beschreibungsliste unter Berücksichtigung von Geräteeigenschaften;
Figur 13 Abhängigkeiten einer Anzahl an Bildern in einer
Beschreibungsliste; Figur 14 Zwei Dateien, wobei in de ersten Datei mehrere Beschreibungslisten und eine Datenliste und in der zweiten Datei die Datenelemente organisiert abgelegt sind.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren 1 bis 14 mit denselben Bezugszeichen versehen.
Das erfindungsgemäße Verfahren zur Speicherung einzelner Da- tenelemente eines skalierbaren Datenstroms in eine Datei wird anhand eines Videodatenstroms näher erläutert. Der Videodatenstrom stellt einen möglichen Typ eines skalierbaren Datenstroms dar. Andere Typen von skalierbaren Datenströmen sind beispielsweise ein Sprachsignal, ein Musikstück oder ein Da- tensatz, der in mehreren Qualitätsstufen darstellbar ist.
Skalierbare Videodatenströme besitzen beispielsweise die Eigenschaft, dass Teile dieser Datenströme in verminderter Qualität, das heißt z.B. geringere Schärfe, geringere örtliche oder zeitliche Auflösung und/oder Weglassen bestimmter Objekte, decodiert werden können. Bei bestimmten Codierverfahren ist es möglich, beliebige zusammenhängende Untermengen aus dem Gesamtdatenstrom herauszulösen, was zu einer verminderten örtlichen und/oder zeitlichen und/oder zu einer verschlech- terten Schärfe führt. Ferner können Abschnitte des skalierbaren Datenstroms SD in Abhängigkeit eines Verwendungszwecks markiert werden, z.B. dass bestimmte Szenen des skalierbaren Datenstroms nur bestimmten Altersgruppen zugänglich sind.
In Figur 1 ist das Konzept einer "füll scalable" Videocodierung dargestellt. Dabei sind auf den Achsen drei Skalierungsmerkmale, Bildwiederholrate T, Ortsauflösung S und Bildschärfe B, aufgetragen. Jedes der Skalierungsmerkmale T, S, B ist jeweils in mehreren Skalierungsstufen auflösbar. Dabei ent- spricht TO = 7,5 fps (fps - frames per second = Bilder pro Sekunde), Tl = 15 fps und T2 = 30 fps. Ferner betragen die Skalierungsstufen der Ortsauflösung S in Figur 1 SO = QCIF (QCIF = Quarter Common Intermediate Format = 176x144 Bild- punkte) , Sl =CIF (CIF - Coramon Intermediate Format = 352x288 Bildpunkte) und S2 = 4CIF (4CIF - 4 times Coramon Interchange Format = 704x576 Bildpunkte) . Schließlich umfasst das Skalierungsmerkmal Bildschärfe B zwei Skalierungsstufen BO, Bl, wo- bei BO einer groben Quantisierung und Bl einer feinen Quantisierung entspricht.
In Figur 1 stellt jeder Kasten eine der möglichen Qualitätsstufen QO, ..., Q4 dar, wobei jede Qualitätsstufe durch ein individuelles Triple an Skalierungsstufen der Skalierungsmerkmale T, S, B repräsentiert wird. Beispielsweise ist die Qualitätsstufe Q3 durch die Skalierungsstufen Tl, Sl, BO der Skalierungsmerkmale T, S, B gekennzeichnet. In Figur 1 repräsentiert jede Qualitätsstufe QO, ... Q4 eine bestimmte Quali- tat des skalierbaren Datenstroms SD. Dabei ist die Qualität der Qualitätsstufe QO niedrig, da sowohl die Bildwiederholrate, die Ortsauflösung als auch die Bildschärfe gering bzw. grob sind. Zur Verbesserung der Qualität des skalierbaren Datenstroms SD wird beispielsweise die zweite Qualitätsstufe Q2 ausgewählt. Dabei wird die Ortsauflösung S von QCIF auf CIF erhöht. Somit kann bei einem "füll scalable" Codierverfahren, wie in Figur 1 dargestellt, durch ein Wandern entlang der Achsen, die die Skalierungsstufen der einzelnen Skalierungsmerkmale repräsentieren, eine Verbesserung der Bildqualität erzielt werden.
Mit Hilfe der Figuren 2 bis 5B wird im Folgenden näher auf die Erzeugung bzw. Codierung und Verarbeitung bzw. Decodie- rung des skalierbaren Datenstroms eingegangen. Verfahren zur Codierung und Decodierung eines skalierbaren Datenstroms sind dem Fachmann bekannt, wie zum Beispiel die ISO/IEC MPEG Standardisierungsaktivitäten zu dem SVC (SVC - Scalable Video Co- ding) . Deswegen wird mit Hilfe der Figuren 2 bis 5B lediglich allgemein die Codierung und Decodierung eines skalierbaren Datenstroms erklärt. Es soll ein skalierbarer Datenstrom bzw. Datenelemente eines skalierbaren Datenstroms erzeugt werden, die eine Bildwiederholrate von T0=15 fps und Tl=30 fps, sowie eine Ortsauflösung SO=QCIF und Sl=CIF ermöglichen. Wie in Fi- gur 3 zu sehen, können damit vier verschiedene Qualitätsstufen QO, ... Q3 realisiert werden. Zu jeder Qualitätsstufe wird jeweils zumindest ein Datenelement DO, ..., D5 erzeugt, welches die relevanten Daten der jeweiligen Qualitätsstufen QO, ... , Q3 enthalten.
Anhand von Figur 2 wird auf die Generierung der Datenelemente DO, ..., D5 näher eingegangen. Zur Erzeugung dieser Datenelemente werden drei Bilder PO, Pl, P2 betrachtet, die z.B. zu den Zeitpunkten tθ, tl, t2 aufgenommen worden sind. Diese
Bilder PO, Pl, P2 haben eine Ortsauflösung von CIF. Zunächst wird in einem ersten Schritt XlO das Bild PO von CIF in QCIF gewandelt, z.B. mittels eines zwei-dimensionalen Subsampling Filters, und optional komprimiert, so dass als Ergebnis das Datenelement DO entsteht. Dieser Schritt wird analog im
Schritt X12 für das Bild P2 durchgeführt, welcher das Datenelement Dl erzeugt. Zur Generierung des Datenelements D2 wird im Schritt XlI bspw. zunächst das Bild Pl von CIF in QCIF gewandelt, und dann mittels der dekomprimierten Datenelemente DO, Dl (Schritte X20, X21) ein Differenzbild in Form eines B- Bildes erzeugt. Dieses Differenzbild wird komprimiert und ergibt somit das Datenelement D2.
In einem nächsten Schritt X30 wird das dekomprimierte Daten- element DO von QCIF in CIF vergrößert, z.B. mittels eines zwei-dimensionalen Filters. Dann wird im Schritt X40 ein Differenzbild aus dem Bild PO und dem vergrößerten und dekomprimierten Datenelement DO ermittelt und komprimiert. Dieses komprinierte Differenzbild wird als Datenelement D3 bezeich- net . Zur Erstellung des Datenelements D4 wird analog mittels der Schritte X32 und X42 vorgegangen.
Zur Erzeugung des Datenelements D5 wird zunächst im Schritt X31 das Datenelement D2 dekomprimiert und von QCIF nach CIF vergrößert. Anschließend wird ein Differenzbild unter Berücksichtigung des Bildes Pl, des dekomprimierten und vergrößerten Bildes D2 und der dekomprimierten und der rekonstruierten Bilder auf Basis der Datenelemente DO, D3 und der Datenele- mente Dl und D4 erstellt. Im Schritt X50 wird dabei aus dem dekomprimierten und von QCIF nach CIF vergrößerten Datenelements DO zusammen mit dem dekomprimierten Datenelement D3 eines der rekonstruierten Bilder ermittelt. Dies erfolgt analog im Schritt X51 für die Datenelemente Dl und D4. Im Schritt
X41 erfolgt auch die Generierung des Differenzbildes und dessen Komprimierung, so dass dort das Datenelement D5 entsteht.
In Figur 3 sind entlang der Skalierungsstufen der Skalie- rungsmerkmale Ortsauflösung S und Wiederholfrequenz T der in Figur 2 erzeugten Datenelemente aufgetragen. Ferner ist ein jeweiliger Zeitindex ZIO, ..., ZI5 angegeben, an dem das dazugehörige Datenelement ausgegeben, d.h. bspw. an einem Bildschirm angezeigt, werden soll.
Zusätzlich ist in Figur 3 zu jedem Datenelement DO, ..., D5 ein dazugehöriger Verarbeitungsindex VO, ..., V5 aufgeführt. Der Verarbeitungsindex gibt an, in welcher Reihenfolge die einzelnen Datenelemente verarbeitet, z.B. dekomprimiert und prozessiert werden müssen. Soll bspw. das Datenelement D4, d.h. die Qualitätsstufe Q2, verarbeitet werden, so muss zumindest das Datenelement Dl prozessiert, z.B. dekomprimiert und vergrößert, worden sein. Im Allgemeinen zeigt der Verarbeitungsindex an, dass vor der Verarbeitung des dazugehörigen Datenelements D4 ein oder mehrere Datenelemente Dl mit einem kleineren Wert des Verarbeitungsindices Vl bereits bearbeitet worden sein müssen. Im unteren Abschnitt der Figur 2 sind Werte für den jeweiligen Verarbeitungsindex VO, ..., V5 des dazugehörigen Datenelements DO, ..., D5 aufgetragen. Diese Aufstellung ist exemplarisch und kann auch durch ein oder mehrere alternative Reihenfolgen dargestellt werden.
In den Figuren 2 bzw. 3 sind nur einige wenige Bilder, z.B. PO, Pl und P2, betrachtet worden. Für einen skalierbaren Da- tenstrom DS wird eine Vielzahl von Bildern berücksichtigt, für die jeweils Datenelemente erzeugt werden. Ferner wird darauf verwiesen, dass eine Komprimierung bzw. Dekomprimie- rung optional ist. Diese Komprimierung bzw. Dekomprimierung kann durch den Standard ISO/IEC MPEG-4 AVC ermöglicht werden.
In Figur 4 ist ein Schaltbild zum Erzeugen von Datenelementen aus mehreren Bildern und zum Erstellen von rekonstruierten Bildern zu sehen. Wie bspw. aus Figur 2 bekannt werden mit Hilfe eines Codiermoduls COD aus den Bildern PO, ... , P2 die Datenelemente DO, ..., D5 generiert. Unter Benutzung eines Decodiermoduls DEC können aus ein oder mehreren Datenelemen- ten ein oder mehrere rekonstruierte Bilder Rl, Rl', R2, R2 ' erzeugt werden. Dabei weisen die rekonstruierten Bilder Rl, R2 eine niedrige Ortsauflösung SO und die Bilder Rl', R2 ' eine hohe Ortsauflösung Sl auf. Werden lediglich die Bilder der niedrigen Wiederholrate TO, d.h. die rekonstruierten Bilder Rl bzw. Rl' angezeigt, so beträgt die Wiederholrate TO = 7.5 fps. Werden zusätzlich die rekonstruierten Bilder R2 bzw. R2 ' zur Anzeige gebracht, so entsteht ein rekonstruierter Datenstrom von Tl = 15 fps.
In den Figuren 5A und 5B wird das Vorgehen zur Generierung von rekonstruierten Bildern näher erläutert. Entspricht bspw. das rekonstruierte Bild Rl der in Figur 3 dargestellten Qualitätsstufe Ql, so werden zu dessen Erstellung die Datenelemente DO, Dl und D2 benötigt. Diese Abhängigkeit ist aus Fi- gur 2 entnehmbar. Wurde die Qualitätsstufe Q2 ausgewählt, so wird, wie in Figur 5B zusehen, das rekonstruierte Bild R2 ' mittels der Datenelemente Dl und D2 erstellt.
Aufgrund dieser modularen Vorgehensweise bei der Generierung von rekonstruierten Bildern kann ein Endgerät, in Abhängigkeit seiner Endgerätefunktionalitäten, nur die Qualitätsstufe und somit nur diejenigen Datenelemente betrachten, die es bspw. verarbeiten oder darstellen kann.
Ferner wird angemerkt, dass ein skalierbarer Datenstrom einer hohen Qualitätsstufe sowohl das Datenelement dieser hohen Qualitätsstufe als auch ein oder mehrere Datenelemente der niedrigeren Qualitätsstufen berücksichtigt. Das bedeutet, dass der skalierbare Datenstrom einer hohen Qualitätsstufe durch einen oder mehrere derjenigen Datenelemente wiedergegeben wird, die Skalierungsstufen der jeweiligen Skalierungsmerkmale gleich wie oder kleiner als die jeweils zu dieser hohen Qualitätsstufe dazugehörigen Skalierungsstufen der jeweiligen Skalierungsmerkmale gehören. Diese Art der Skalierung wird auch als "Füll Scalability" bezeichnet. Ist beispielsweise die hohe Qualitätsstufe Q3, so muss zur Generierung des skalierbaren Datenstroms DS in dieser Qualität das Datenpaket D5 als auch bspw. alle Datenpakete der niedrigeren Qualitätsstufen berücksichtigt, und zwar DO, ..., D4.
In einem nachfolgenden Schritt des erfindungsgemäßen Verfahrens wird eine Beschreibungsliste Ll durch Sortieren der Be- Schreibungselemente, die z.B. die Skalierungsstufen der Skalierungsmerkmale, und/oder den Zeitindex ZI9, ..., ZI5 und/oder den Verarbeitungsindex VO, ..., V5 umfassen. Das Ergebnis dieser Sortierung ist bspw. in Figur 6 abgebildet. Dabei ist folgende drei Sortierkriterien in folgender Sortier- reigenfolge ausgeführt worden:
1. Zeitindex ZIO, ..., ZI5 bzw. tθ, ..., t2
2. Bildwiederholrate TO, Tl
3. Ortsauflösung SO, Sl.
Die Beschreibungsliste Ll ist in der Datei F derart angeordnet, dass nach Angabe der Sortierungsparameter das dazugehörige Datenelement zusammen mit dessen Verarbeitungsindex angegeben wird, wie bspw. "tθ, TO, SO, VO, DO".
In Figur 7 ist eine alternative Darstellungsform der Beschreibungsliste aus Figur 6 zu sehen. Dabei werden anstelle des Verarbeitungsindices VO, ..., V5 und des dazugehörigen Datenelements DO, ..., D5 ein jeweiliger Verweis VDO, ..., VD5 in die Beschreibungsliste Ll eingefügt. Dieser Verweis
VDO, ..., VD5 hat zwei Funktionen. Zum einen zeigt er auf einen Eintrag innerhalb eines Datenabschnitts DAT der Datei F, in dem die einzelnen Datenelemente DO, ..., D5 organisiert abgelegt sind. Somit kann mittels des Verweises VDO, ..., VD5 das Datenelement DO, ..., D5 aufgefunden werden. Dies ist in Figur 7 mit gestrichelten Pfeilen mit den Bezugszeichen VDO, ..., DV5 symbolhaft angedeutet. Zum anderen kann aus dem Verweis VDO, ..., VD5 der zum jeweiligen Datenelement DO,
..., D5 dazugehörige Verarbeitungsindex VO, ..., V5 gewonnen werden. So kann der Verarbeitungsindex VO aus der Lage des Datenelements DO innerhalb des Datenabschnitts DAT ermittelt werden. Liegt das Datenelement DO an erster Stelle, so be- trägt der dazugehörige Verarbeitungsindex VO = 0. Liegt dieses Datenelement DO an vierten Stelle, so beträgt der Verarbeitungsindex VO = 3. Dies gilt analog für die weiteren Datenelemente Dl, ..., D5.
In den obigen Ausführungsbeispielen gemäß Figur 6 und 7 sind die Datenelemente und die Beschreibungsliste in einer einzigen Datei F sortiert abgelegt. Im Allgemeinen können diese in mehr als einer einzigen Datei gespeichert werden, z.B. in der Datei F die Beschreibungsliste Ll und in einer weiteren Datei Fl die Datenelemente DO, ..., D5.
In Figur 8A ist eine weitere alternative Darstellungsform der Beschreibungsliste L2 zu sehen. Dabei sind diejenigen Einträge innerhalb der Beschreibungsliste L2, für die kein Daten- element existiert anstelle des Verweises mit einem Markierungswort "FREI" belegt worden.
In der Figur 8B ist eine binäre Darstellung der Einträge der Figur 8A abgedruckt. Dies ist bspw. eine Beschreibungsliste L2 ' . Dabei nehmen die Beschreibungselemente folgende binären Werte an:
00: tθ, 01: tl, 10: t2 0: TO, 1: Tl 0: SO, 1: Sl
VDO: 000, ..., VD5:101, FREI:111 Beispielsweise weist die vierte Zeile folgendes Bitmuster auf: "00, 1, 1, 111". Werden die einzelnen binären Symbole durch die vorher genannten Bezugszeichen ersetzt, so liest sich diese vierte Zeile zu: "tθ, Tl, Sl, FREI". Die Bedeutung der Bezugszeichen als binäre Symbole tθ, tl, TO, Tl, SO, Sl, DO, Dl, D2, D3, FREI sind einem Decoder bzw. Endgerät bspw. a priori bekannt oder werden diesem separat mitgeteilt.
In den Figuren 6 bis 8B ist eine einheitliche Sortierreihen- folge gewählt worden. Dies stellt eine der möglichen Ausführungen des erfindungsgemäßen Verfahrens dar. Im Allgemeinen kann jede beliebige Reihenfolge bei Sortierung der Beschreibungselemente, d.h. z.B. des Zeitindex und der Skalierungsstufen der Skalierungsmerkmale, berücksichtigt werden. Insbe- sondere können bei der Erstellung der Beschreibungslisten
Endgerätefunktionalitäten, wie zum Beispiel eine Rechenleistung oder eine Wiedergabeeinheit eines Endgeräts beachtet werden. Beispielsweise kann auf einem Endgerät maximal ein skalierbarer Datenstrom SD mit einer Ortsauflösung SO=QCIF prozessiert und dargestellt werden. In Figur 12 ist beispielhaft eine Beschreibungsliste L4 nach folgender Sortierreihenfolge dargestellt:
1. Ortsauflösung S 2. Zeitindex bzw. Zeitpunkt 3. Bildwiederholrate T.
Beim Auswerten der Beschreibungsliste L4 sucht das Endgerät lediglich in demjenigen Abschnitt der Datei F, der als ersten Sortierparameter die Ortsauflösung SO aufweist. In dem Abschnitt der Beschreibungsliste L4, welche mit der Ortsauflösung Sl beginnt, muss das Endgerät nicht nach möglichen Datenelementen suchen, da das Endgerät eine Ortsauflösung Sl nicht prozessieren und darstellen kann.
Zusätzlich können einzelne Datenelemente und/oder Skalierungsstufen der Skalierungsmerkmale und/oder Zeitindices mit einem Zugriffsindex markiert werden. Der Zugriffsindex ermög- licht ein zusätzliches Sortierungskriterium bei der Auswahl der zu verarbeitenden Datenelemente. So können zeitliche Abschnitte des skalierbaren Datenstroms SD nur für Erwachsene zugelassen sein, während übrige zeitliche Abschnitte für Ju- gendliche von 12 bis 18 Jahre geeignet sind. Durch eine Markierung der Zeitindices ZIO, ..., ZI5 mittels jeweils eines Zugriffsindices kann ein Verarbeiten von unerwünschten Datenelementen unterbunden bzw. zugelassen werden.
Anhand des Ausführungsbeispiels gemäß Figur 2 sind drei Bilder PO, ..., P2 verarbeitet worden. Dabei beträgt eine Einflusslänge der Verarbeitung (=Codierung) GOP = 2, da bis auf ein zur Verarbeitung benötigtes Hilfsbild PO die Einflusslänge die Bilder Pl und P2 umfasst. Im Allgemeinen kann jede be- liebige Einflusslänge GOP mit Hilfe des erfindungsgemäßen
Verfahrens dargestellt werden. Wird eine größere Einflusslänge GOP, z.B. GOP=I6, gewählt so kann eine Anzahl an Skalierungsstufen der Skalierungsmerkmals Bildwiederholfrequenz T erhöht werden. In Figur 13 ist exemplarisch dargestellt, dass sich die Einflusslängen GOP, GOPl, GOP2 über die Zeit t ändern können z.B. GOP1=2 Bilder, GOP2=3 Bilder.
In einer Erweiterung des erfindungsgemäßen Verfahrens kann mehr als eine Beschreibungsliste Ll, L2, 13 in der Datei F enthalten sein. Dabei kann ein Endgerät individuell eine der Beschreibungslisten zur Verarbeitung der Datenelemente auswählen. Dabei kann, z.B. durch Angabe einer Nummer einer Beschreibungsliste Ll, dem Endgerät eine bestimmte Vorgehensweise bei dem Verarbeiten der Datenelemente vorgegeben wer- den. Bspw. soll einem Endgerät nur eine Skalierbarkeit in Qualitätsgruppen ermöglicht werden. Dazu wird das Endgerät angewiesen lediglich die Beschreibungsliste L3 zu verarbeiten. Diese Beschreibungsliste L3 wird an späterer Stelle erläutert .
In einer alternativen Erweiterung des erfindungsgemäßen Verfahrens kann eine Datenliste DL der Datei F hinzugefügt werden, wobei durch diese Datenliste DL gemäß einem MPEG-4 AVC Beschreibungsformat für MPEG-4 AVC-kompatible Datenelemente zur Beschreibung einer der niedrigsten Qualitätsstufen QO, Ql in einer der Dateien F, Fl organisiert abgelegt wird. Hiermit kann in der Datei eine Rückwärtskompatibilität zu bereits be- stehenden Endgeräten erzielt werden, die die Beschreibungslisten Ll nicht auswerten können. In Figur 14 ist die optionale Datenliste DL in die Datei F eingefügt worden.
Zusätzlich oder alternativ können die Beschreibungsliste Ll und der Datenbereich DAT in einer Datei F oder in mehreren Dateien F, Fl abgelegt sein. Wie aus Figur 14 ersichtlich sind die Beschreibungslisten Ll, ..., L3 in der Datei F und der Datenbereich DAT in der weiteren Datei Fl organisiert gespeichert .
In Figur 9 ist eine beispielhafte Ausführung einer Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens abgebildet. Dabei werden von einer Kamera K uncodierte Bilder Pl, ... , P3 aufgenommen, und an das Codiermodul COD übergeben, der die Datenelemente DO, ..., D5 erzeugt. Diese werden an ein Generatormodul GM übergeben, welche nach Sortierung der Beschreibungselemente zumindest eine der Beschreibungslisten Ll erzeugt und diese in zumindest einer der Dateien F organisiert ablegt. Ferner erstellt das Generatormodul GM den Da- tenbereich DAT innerhalb einer der Dateien F, Fl, der die Datenelemente DO, ..., D5 umfasst. Dabei kann die Datei F beispielsweise auf einem Speichermodul SM, insbesondere einer Festplatte, abgelegt sein.
In Figur 10 ist ein mögliches Anwendungsbeispiel der erfindungsgemäßen Vorrichtung zu sehen. Innerhalb eines Netzwerks NET befindet sich ein Videoserver VX, der die erfindungsgemäße Vorrichtung umfasst. An den Videoserver VX kann das Speichermodul SM mit der Datei F angekoppelt sein. Ferner kann eine Kamera K mit dem Videoserver VX verbunden sein. Zusätzlich ist der Videoserver VX in der Lage, die erstellte Datei bzw. Dateien mit der Beschreibungsliste Ll und dem Datenbereich DAT an ein Mobilfunkgerät MG, beispielsweise ein GSM- Gerät (GSM - Global System Mobile Communications) oder an einen Computer CG zu übermitteln.
In einer Variante des erfindungsgemäßen Verfahrens kann die Beschreibungsliste L3 derart erzeugt werden, dass die zu einem jeweiligen Zeitindex gehörenden Datenelemente in Qualitätsgruppen Gl, ..., G3 zusammengefasst werden. Hierzu wird zunächst auf Figur 3 verwiesen, in der die Qualitätsgruppen Gl, ..., G3 eingezeichnet sind. Dabei können im Ausführungs- beispiel gemäß Figur 3 nicht mehr alle Qualitätsstufen gezielt durch die Qualitätsgruppen Gl, ..., G3 ausgewählt werden. In Figur 3 sind drei Qualitätsgruppen Gl, ..., G3 zu finden. Die erste Qualitätsgruppe Gl umfasst lediglich die Datenelemente DO, Dl der Qualitätsstufe QO. Die zweite Quali- tätsgruppe G2 beinhaltet die Datenelemente DO, Dl, D3, D4 der Qualitätsstufen QO und Ql. Die dritte Qualitätsgruppe G3 umfasst die Datenelemente DO, ..., D5 der Qualitätsstufen QO, ..., Q3. Die Gruppierung in Qualitätsgruppen gemäß Figur 3 ist dem Fachmann als "Layered Coding" im Rahmen der skalier- baren Codierung bekannt. Dabei zeichnen sich die Layers dadurch aus, dass nicht mehr jede beliebige Kombination an Skalierungsstufen der Skalierungsmerkmale erreicht werden kann.
In Figur 11 ist eine weitere Variante einer Beschreibungslis- te L3 abgebildet, die die Qualitätsgruppen Gl, ..., G3 beschreibt und nach folgender Sortierreihenfolge erstellt worden ist:
1. Zeitindex ZIO, ..., ZI5, 2. Qualitätsgruppe Gl, ..., G3
Dabei ist stellvertretend für die Skalierungsmerkmale T, S die jeweilige Qualitätsgruppe Gl, ..., G3 angegeben. Dabei kann anstelle, dass zu jeder Qualitätsgruppe alle dazugehöri- gen Datenelemente bzw. Verweise angegeben werden, lediglich diejenigen Datenelemente bzw. Verweise je Qualitätsgruppe G3 aufgelistet werden, die gegenüber der nächst kleiner Qualitätsgruppe G2 zusätzlich bei der Verarbeitung bzw. Decodie- rung in Betracht gezogen werden müssen. Wählt bspw. ein Endgerät die Qualitätsgruppe G3, so werden neben den dort aufgeführten Datenelementen bzw. Verweisen auch alle Datenelemente bzw. Verweise der niedrigeren Qualitätsgruppen Gl und G2 aus- gewählt. Mit dieser Vorgehensweise kann eine kompakte und speichereffiziente Repräsentation der Beschreibungsliste bei Verwendung von Qualitätsgruppen erreicht werden.
In den vorangegangenen Ausführungsbeispielen wurden lediglich sechs Datenelementen mit den Skalierungsmerkmalen Bildwiederholrate und (BiId-) Ortsauflösung dargestellt. Gemäß der vorliegenden Erfindung können mehr Beschreibungselemente, d.h. z.B. auch eine größere Anzahl an Skalierungsstufe und/oder Skalierungsmerkmalen, vorhanden sein. So ist beispielsweise in Figur 1 neben der Bildwiederholrate T, der Ortsauflösung F die Bildschärfe B in einer dritten Dimension eingezeichnet.
In diesem Dokument zitierte Literaturstellen:
[1] ISO/IEC, "Coding of Moving Pictures and Audio, Information Technology - Coding of Audio-Visual Objects, Part 15: AVC Fileformat", ISO, JTC1/SC29/WG11, MPEG03/N5652, 21. März 2003.
[2] M. Z. Wisharam et al . , "Extensions to ISO/AVC Fileformat to Support the Storage of Scalable Videocoding (SVC) Bitstreams", ISO/IEC JTC1/SC29/WG11, MPEG2005/M12062, Buthan, Korea, April 2005.

Claims

Patentansprüche
1. Verfahren zur Speicherung einzelner Datenelemente (DO, ..., D5) eines skalierbaren Datenstroms (SD) in zumindest ei- ne Datei (F, Fl) , wobei a) Qualitätsstufen (QO, ..., Q3) des skalierbaren Datenstroms (SD) durch zumindest ein Skalierungsmerkmal (T, S, B) in jeweils mehreren Skalierungsstufen (TO, Tl, SO, Sl, BO, Bl) beschrieben werden, b) jeder Skalierungsstufe der Skalierungsmerkmale (T, S, B) jeweils zumindest ein Datenelement (DO, ..., D3) zugewiesen wird, c) der skalierbare Datenstrom (SD) in einer hohen Qualitätsstufe (Q3) durch zumindest eines derjenigen Datenelemente (DO, ..., D5) repräsentiert wird, deren Skalierungsstufen der jeweiligen Skalierungsmerkmale (T, S, B) gleich wie oder kleiner als die jeweils zur hohen Qualitätsstufe (Q3) dazugehörigen Skalierungsstufen (TO, Tl, SO, Sl, BO) der jeweiligen Skalierungsmerkmale (T, S, B) sind, d) dem Datenelement (DO, Dl) ein Zeitindex (ZIO, ZIl) zugeordnet wird, an dem das jeweilige Datenelement (DO) relativ zu anderen Datenelementen (Dl) dargestellt werden soll, dadurch gekennzeichnet, dass e) dem Datenelement (D3) ein Verarbeitungsindex (V3) derart zugewiesen wird, dass zur Verarbeitung des Datenelements (D3) lediglich ein oder mehrere Datenelement (DO, ..., D2) mit einem niedrigeren Wert des jeweiligen Verarbeitungsin- dices (VO, ..., V3) zu berücksichtigen sind, f) zumindest eine Beschreibungsliste (Ll, L2) derart erzeugt wird, dass diese für das Datenelement (DO, ..., D5) dazugehörige Beschreibungselemente, bestehend aus der Skalierungsstufe der jeweiligen Skalierungsmerkmale (T, S, B) , dem Zeitindex (ZIO, ..., ZI5) und/oder dem Verarbeitungs- index (VO, ..., V5) , umfasst, g) zumindest eine der Beschreibungslisten (Ll) und die dazugehörigen Datenelemente (DO, ..., D5) in einer der Dateien (F, Fl) organisiert gespeichert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beschreibungselemente in der Beschreibungsliste (Ll) nach zumindest einem Sortierkriterium, insbesondere sortiert von der niedrigsten Skalierungsstufe (SO) zu der höchsten Skalierungsstufe (Sl), organisiert angeordnet werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Beschreibungsliste (Ll) derart erzeugt wird, dass die Beschreibungsliste (Ll) einer Endgerätefunktionalität, insbesondere einer Rechenleistung oder Wiedergabeeinheit des Endgeräts, zuweisbar ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Beschreibungsliste (Ll) Verweise (VDO, ..., VD5) zum Auffinden der dazugehörigen Datenelemente (DO, ..., D5) hinzuge- fügt werden, die Datenelemente (DO, ..., D5) in einem Datenbereich (DAT) in einer der Dateien (F, Fl) organisiert abgelegt werden.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Wert des Verarbeitungsindices (V2) des Datenelements (D2) aus dem zum Datenelement (D2) dazugehörigen Verweis (VD2) ermittelt wird.
6. Verfahren nach einem der Ansprüche 4 oder 5 , dadurch gekennzeichnet, dass die Datenelemente (DO, ..., D5) in dem Datenbereich (DAT) in Abhängigkeit des zum jeweiligen Datenelement (DO, ..., D5) dazugehörigen Verweises (VDO, ..., VD5) organisiert gespei- chert werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zu einer Beschreibungsliste (Ll) eine Datenliste (DL) gemäß einem MPEG-4 AVC Beschreibungsformat für MPEG-4 AVC-kompatible Datenelemente zur Beschreibung einer der niedrigsten Qualitätsstufen (QO, Ql) in einer der Dateien (F, Fl) organisiert abgelegt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den Qualitätsstufen (QO, ..., Q3) Qualitätsgruppen (Gl, G2, G3) derart gebildet werden, dass die Qualitätsgruppe (G2) einer der Qualitätsstufen (Q2) zugewiesen und alle Datenelemente (D3, DO bzw. Dl und D4) zum Verarbeiten dieser Qualitätsgruppe (G2) zugeordnet werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass in der Beschreibungsliste (L3) lediglich diejenigen Datenelemente (D2, D5) oder Verweise (VD2, VD5) der Qualitätsgruppe (G3) zugeordnet werden, welche zusätzlich zu den in der zur Qualitätsgruppe (G3) nächst niedrigeren Qualitätsgruppe (G2) aufgeführten Datenelementen (D3) oder Verweise (VD3) zur Bildung der Qualitätsgruppe (G3) hinzugefügt werden.
10. Vorrichtung zur Speicherung einzelner Datenelemente (DO, ..., D5) eines skalierbaren Datenstroms (SD) in zumindest eine Datei (F, Fl) , insbesondere gemäß einem der vorhergehenden Ansprüche, wobei a) Qualitätsstufen (QO, ..., Q3) des skalierbaren Datenstroms (SD) durch zumindest ein Skalierungsmerkmal (T, S, B) in jeweils mehreren Skalierungsstufen (TO, Tl, SO, Sl, BO, Bl) beschrieben werden, b) jeder Skalierungsstufe der Skalierungsmerkmale (T, S, B) jeweils zumindest ein Datenelement (DO, ..., D3) zugewiesen wird, c) der skalierbare Datenstrom (SD) in einer hohen Qualitätsstufe (Q3) durch zumindest eines derjenigen Datenelemente (DO, ..., D5) repräsentiert wird, deren Skalierungsstufen der jeweiligen Skalierungsmerkmale (T, S, B) gleich wie oder kleiner als die jeweils zur hohen Qualitätsstufe (Q3) dazugehörigen Skalierungsstufen (TO, Tl, SO, Sl, BO) der jeweiligen Skalierungsmerkmale (T, S, B) sind, d) dem Datenelement (DO, Dl) ein Zeitindex (ZIO, ZIl) zuge- ordnet wird, an dem das jeweilige Datenelement (DO) relativ zu anderen Datenelementen (Dl) dargestellt werden soll, gekennzeichnet durch ein Generatormodul (GM) , das derart ausgestaltet ist, dass e) dem Datenelement (D3) ein Verarbeitungsindex (V3) derart zugewiesen wird, dass zur Verarbeitung des Datenelements (D3) lediglich ein oder mehrere Datenelement (DO, ..., D2) mit einem niedrigeren Wert des jeweiligen Verarbeitungsin- dices (VO, ..., V3) zu berücksichtigen sind, f) zumindest eine Beschreibungsliste (Ll, L2) derart erzeugt wird, dass diese für das Datenelement (DO, ..., D5) dazugehörige Beschreibungselemente, bestehend aus der Skalierungsstufe der jeweiligen Skalierungsmerkmale (T, S, B) , dem Zeitindex (ZIO, ..., ZI5) und/oder dem Verarbeitungs- index (VO, ..., V5) , umfasst, g) zumindest eine der Beschreibungslisten (Ll) und die dazugehörigen Datenelemente (DO, ..., D5) in einer der Dateien (F, Fl) organisiert gespeichert werden.
EP06763760A 2005-07-20 2006-06-16 Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung Withdrawn EP1905038A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005033981A DE102005033981A1 (de) 2005-07-20 2005-07-20 Verfahren zur Speicherung einzelner Datenelemente eines skalierbaren Datenstroms in eine Datei sowie zugehörige Vorrichtung
PCT/EP2006/063268 WO2007009849A1 (de) 2005-07-20 2006-06-16 Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung

Publications (1)

Publication Number Publication Date
EP1905038A1 true EP1905038A1 (de) 2008-04-02

Family

ID=37057358

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06763760A Withdrawn EP1905038A1 (de) 2005-07-20 2006-06-16 Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung

Country Status (6)

Country Link
US (1) US20090119314A1 (de)
EP (1) EP1905038A1 (de)
JP (1) JP2009502066A (de)
CN (1) CN101228586B (de)
DE (1) DE102005033981A1 (de)
WO (1) WO2007009849A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101029854B1 (ko) 2006-01-11 2011-04-15 노키아 코포레이션 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266677B1 (en) * 1999-02-08 2001-07-24 Hewlett Packard Company System and method for ensuring the integrity of stored data
JP2005501365A (ja) * 2001-08-31 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ データ信号の品質を決定する装置及び方法
US7133925B2 (en) * 2002-07-15 2006-11-07 Hewlett-Packard Development Company, L.P. System, method, and format thereof for scalable encoded media delivery
US7725593B2 (en) * 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007009849A1 *

Also Published As

Publication number Publication date
DE102005033981A1 (de) 2007-02-01
US20090119314A1 (en) 2009-05-07
WO2007009849A1 (de) 2007-01-25
CN101228586A (zh) 2008-07-23
JP2009502066A (ja) 2009-01-22
CN101228586B (zh) 2011-09-14

Similar Documents

Publication Publication Date Title
DE3639026C2 (de) Hochauflösendes Bildübertragungsverfahren
DE60109423T2 (de) Videokodierung mit prädiktiver bitebenenkodierung und progressiver fein-granularitätsskalierung (pfgs)
EP0276753B1 (de) Verfahren und Vorrichtung zur digitalen Nachrichtenübertragung und/oder -aufzeichnung und -wiedergabe
DE102006029326A1 (de) Adaptive Videokompression eines graphischen Nutzerinfaces unter Verwendung von Applikations-Metadaten
DE69835211T2 (de) Umschaltung zwischen komprimierten videobitströmen
DE69816971T2 (de) Videokodierer mit skalierungsabhängiger vlc (variable length code) kodierung
DE112010004844T5 (de) Videocodierung unter Verwendung von Pixeldatenströmen
DE60107149T2 (de) Digitales Bildausgabegerät
DE102012215362A1 (de) Datenverarbeitungsvorrichtung, verfahren und steuerprogramm
WO2005022530A1 (de) Verfahren zur erzeugung und wiedergabe einer mediendatei
DE69932407T2 (de) Aufnahmevorrichtung zur aufnahme eines digitalen informationssignals auf einem aufnahmeträger
WO2007009849A1 (de) Verfahren zur speicherung einzelner datenelemente eines skalierbaren datenstroms in eine datei sowie zugehörige vorrichtung
EP0336510B1 (de) Prädiktiver Standbildcodierer
DE102009039095A1 (de) Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
EP1518210B1 (de) Verfahren zur speicherplatzverwaltung in einem speichermedium eines digitalen endgeräts bei einer datenspeicherung nach dem verfahren der priorisierten pixelübertragung
EP1334621B1 (de) Verfahren und vorrichtung zur aufzeichnung von kodierten digitalen audiovisuellen daten
DE102012202315A1 (de) Videosystem zur Darstellung von Bilddaten, Verfahren und Computerprogramm
WO2007110283A1 (de) Verfahren zur erzeugung eines digitalen datenstroms
DE10208480A1 (de) Verfahren zum Erzeugen und zum Abspielen eines Mediadatenstroms, Vorrichtungen zur Ausführung der Verfahren und Computerprogrammprodukt
EP1762100A1 (de) Skalierbares verfahren zur bildencodierung einer folge von originalbildern, sowie dazugehöriges bilddecodierverfahren, encodiervorrichtung und decodiervorrichtung
WO2007113099A1 (de) Verfahren und vorrichtung zum erstellen eines datenblocks für einen skalierbaren datenstrom
DE102005057568B4 (de) Sendeeinrichtung und Empfangseinrichtung
DE102021207643A1 (de) Überwachungsanordnung und Verfahren zur Überwachung
EP0895697B1 (de) Videodecoder und entsprechendes verfahren
WO2005104559A1 (de) Prädiktionsverfahren, sowie zugehöriges verfahren zur decodierung eines prädiktionsverfahrens, zugehörige encodiervorrichtung und decodiervorrichtung

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20071221

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20090122

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20090803