EP3207702A1 - Decodeur, procede et systeme de decodage de flux multimedia - Google Patents

Decodeur, procede et systeme de decodage de flux multimedia

Info

Publication number
EP3207702A1
EP3207702A1 EP15785076.9A EP15785076A EP3207702A1 EP 3207702 A1 EP3207702 A1 EP 3207702A1 EP 15785076 A EP15785076 A EP 15785076A EP 3207702 A1 EP3207702 A1 EP 3207702A1
Authority
EP
European Patent Office
Prior art keywords
decoder
energy
decoding
metadata
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15785076.9A
Other languages
German (de)
English (en)
Inventor
Erwan NOGUES
Daniel Menard
Maxime PELCAT
Erwan RAFFIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Institut National des Sciences Appliquees de Rennes
Original Assignee
Centre National de la Recherche Scientifique CNRS
Institut National des Sciences Appliquees de Rennes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS, Institut National des Sciences Appliquees de Rennes filed Critical Centre National de la Recherche Scientifique CNRS
Publication of EP3207702A1 publication Critical patent/EP3207702A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the invention relates to a decoding device, a method and a system for decoding multimedia data at a terminal while managing the power consumption necessary for decoding and restitution of a multimedia data stream.
  • the invention applies to video decoders, for terminals using the H.264 / AVC standards for Advanced Video Coding or H.265 / HEVC, for High Efficiency Video Coding.
  • Today electronic devices such as mobile phones, smartphones, tablets, etc., offer more and more features, such as video, audio, GPS positioning system (Global Positioning System) and various connectivity, for example multi-radio systems with Wi-Fi, Bluetooth, Universal Mobile Telecommunications System (UMTS), High Speed Packet Access (HSPA), LTE-Advanced network technology, which means that energy of these embedded systems is today very sought.
  • GPS positioning system Global Positioning System
  • UMTS Universal Mobile Telecommunications System
  • HSPA High Speed Packet Access
  • LTE-Advanced network technology which means that energy of these embedded systems is today very sought.
  • UMTS Universal Mobile Telecommunications System
  • HSPA High Speed Packet Access
  • LTE-Advanced network technology LTE-Advanced network technology
  • the company Morphbius offers a subsampled encoder in which the encoding of low quality data is performed.
  • Figure 1 is a reminder of the principle implemented for managing the energy of a mobile terminal.
  • the standard proposes to exchange metadata from an encoder 1 to one or more final decoders 2 (a single decoder is shown in the figure for reasons of simplification).
  • the metadata M d is multiplexed with the conventional data stream F, to obtain a data flow F m .
  • This data flow F m is then transmitted to a receiver 2 through a communication network, for example.
  • the type of network used depends on the application or system.
  • the protocol put in place is different. An example of this is television broadcasting, better known as "broadcast” or streaming or “streaming”.
  • the insertion of the metadata depends on the protocol or mode of transport.
  • the transmission frequency of the metadata can be done at several levels, for example, at the frame level, the image group level or GOP (in English Group of Pictures - 17 frames for example).
  • the decoder will test in the associated field in a frame the presence or absence of the metadata for the sequence to be decoded.
  • the encoder can make a decision to change the metadata broadcast frequency when parameters evolve as an evolution of content (scene change) or compression type (quantization parameter).
  • a preprocessor 101 analyzes the source content F s and a video encoder 102 encodes the contents of an input video.
  • the data stream containing the coded data and the metadata is transmitted to the receiver and decoded by a video decoder 106 which transmits the decoded information to a display module 109.
  • the metadata Md is extracted by means of an analyzer 104 at the video encoder 102 and in this case the metadata is encapsulated in a stream conforming to the format of the video encoder, or at the level 103 of the preprocessor 101 and the metadata is then multiplexed with the stream.
  • the metadata M d is used by the final decoder 2 to reduce the power required for decoding and presenting the data.
  • the video decoder 106 analyzes, 107, the stream F m containing the multimedia stream F and the metadata M d , and transmits the metadata M d to a power or energy control module 108.
  • energy control module will, for example, decode the metadata M d and then apply energy consumption reduction operations for the decoding and display of video streams, P c for example. The same energy control module is present at the encoder.
  • FIG. 2 shows a known architecture of the video encoder comprising a video decoder 20.
  • the video input (compressed data) is transmitted to a transformation module 11 whose output is in connection with a coding module 1 and a quantization module and inverse transformation 1 13.
  • the encoded multimedia data F c are transmitted to a stream generation module 1 14 which will also receive motion estimation information from a motion estimation module 1 15 which receives, on the one hand the video input E v , and on the other hand an image resulting from the application of a loop filter 1 16 (known to those skilled in the art) receiving the parameters or vectors of motion compensation 1 17 to apply to the image parameters and the image parameters obtained by the application of the inverse inverse quantization inverse transform.
  • a loop filter 1 16 known to those skilled in the art
  • An output of the loop filter generates a video output S v .
  • the stream generation module produces a compressed data stream that will be transmitted to the decoder.
  • a buffer 1 19 makes it possible to store the video images before transmission to the motion compensation module and to the motion estimation module 1 15.
  • US patent application 2002080874 describes a system for decoding a data stream representative of a video content and discusses the capacity for complexity decoders of various architectures to decode an incident flow.
  • the terminal word designates, for example, a mobile phone, a tablet or any connected device for receiving multimedia streams.
  • the term multimedia stream may designate various programs, such as movies, music (video clip), which are distributed through communication networks.
  • the object of the present invention relates to a method and a system for managing the energy needed to decode information, multimedia data, video data. It also simplifies the complexity of the filters used, the consumption of filters representing a significant portion of the consumption of a decoder.
  • the invention relates to a device for decoding a multimedia data stream at a terminal by managing the energy necessary for the decoding comprising a decoder of said multimedia data and characterized in that said decoder comprises at least one decoding string " low-power circuit comprising an activation module adapted to activate a first low consumption loop decoder or filter line and a low power interpolation chain as a function of at least one parameter representative of user operation constraints and / or user energy and / or the mobile terminal and one or more metadata M d associated with a maximum degradation of quality, decoding complexity and / or energy required for decoding.
  • decoder comprises at least one decoding string " low-power circuit comprising an activation module adapted to activate a first low consumption loop decoder or filter line and a low power interpolation chain as a function of at least one parameter representative of user operation constraints and / or user energy and / or the mobile terminal and one or more metadata M d associated with a maximum degradation of quality, decoding complexity and / or energy required for decoding.
  • the invention also relates to a system for decoding a multimedia data stream at a terminal by managing the energy required for the decoding, characterized in that it comprises at least the following elements:
  • a multimedia data encoder comprising at least one module adapted to generating one or more metadata M d associated with a decoding complexity and / or a decoding energy of the multimedia data stream decoded by the decoder,
  • a decoder comprising at least one standard decoding chain, at least one metadata extraction module M d contained in the multimedia data stream, an activation module connected to a switch adapted to activate a first decoding or filtering channel; of a low-power loop and a switch to activate a low power interpolation chain according to at least one parameter representative of energy constraints and one or more metadata M d contained in the multimedia data stream .
  • the encoder comprises a modified decoder comprising a low consumption loop filter, an energy estimation module, a standard decoder comprising an energy estimation module, a metadata M d is a pair of values (maximum degradation, potential gain in energy) determined from the multimedia data E v , data S V 2 decoded by the standard decoder, an estimated energy value E 2 by the standard decoder, decoded data Svi by the modified decoder, the estimated energy Ei by the modified decoder.
  • PSN RDecoderReference 10 * logi 0 (d 2 / MSE), d corresponding to the maximum amplitude of the pixels, for example 255 for pixels coded on 8 bits or 1023 for 10 bits coded pixels, MSE corresponding to the mean squared error (E v - Sv 2 ) 2 between the reference data stream E v and the data stream decoded by the standard decoder 10 * logi 0 (d 2 / MSE) with MSE corresponding to the mean squared error (E v - Svi) 2 between the reference data stream E v and the data stream decoded by the modified decoder
  • the metadata can be a pair of values (maximum degradation, potential gain in complexity).
  • the system considers as energy constraint a remaining energy level measured for the battery of a mobile terminal.
  • the low power filters are finite impulse response filters.
  • a metadata M d can be determined from the values of maximum degradation, potential gain, and "low-power" filter coefficient values.
  • the system may also include a module for predicting the type or types of frames present in the multimedia stream, the module activation of the simplified filtering strings being activated according to a frame type or their position in the multimedia data stream.
  • the decoder is, for example, an H.264 / AVC decoder or an H.265 / HEVC decoder and the video image data stream.
  • the invention also relates to a method for decoding data from a multimedia data stream at a terminal by managing the energy required for the decoding, characterized in that it comprises at least the following steps:
  • the method generates a metadata corresponding to a pair of values (maximum degradation, potential gain in energy), these values being calculated during a coding step of the multimedia data taking into account the multimedia data E v , decoded data S V 2 by a standard decoder, an estimated energy value E 2 by the standard decoder, decoded data Svi by a modified decoder, the estimated energy E- ⁇ by the modified decoder.
  • a metadata is calculated in the following manner:
  • PSN RDecoderReference 10 * logi 0 (d 2 / MSE), d corresponding to the maximum amplitude of the pixels, MSE corresponding to the mean squared error (E v - S V 2) 2 between the reference data stream E v and the data stream decoded by the standard decoder Sv2,
  • the method takes as an energy constraint an energy level measurement for the terminal's battery.
  • the method is, for example, implemented in an H.264 / AVC or H.265 / HEVC decoder and in that the data stream consists of video images.
  • FIG. 2 a video coder diagram according to the prior art
  • FIG. 3 a block diagram of the system according to the invention
  • FIG. 4 a diagram showing the generation of metadata according to the invention
  • FIG. 5 a detail of the integration of the modified decoder into the structure of the encoder
  • FIGS. 6A and 6B two curves representing the energy saving achieved
  • FIGS. 7A and 7B two curves comparing the distortion between the HEVC standard and the modified HEVC standard according to the invention.
  • the description will be given by way of example in order to illustrate the principle implemented by the invention for a video stream that a user wishes to download on his terminal in the case of the HEVC standard.
  • the final decoder will adapt the best decoding strategy to its means, by deducting metadata M d associated with energy management at the decoding level, the possible gains in energy consumption that can be achieved through the use of modified filtering functions, in particular by simplifying the filters present in the video decoding chain.
  • a metadata can represent a gain in decoding complexity which makes it possible to deduce a reduction in energy or instantaneous power by the decoder.
  • the metadata M d in the present invention is a distortion / economy pair between the low consumption chains and a standard chain.
  • FIG. 3 is a block diagram of the operation of the system according to the invention according to user constraints 301 and / or according to a battery level of a mobile device 302.
  • the system receives a stream F m composed of compressed data F and M d metadata generated by a modified encoder detailed in Figure 4, the total stream F m is transmitted to a demultiplexer 303 to generate the compressed data stream and metadata.
  • the metadata M d is transmitted to an activation decision module 305 of the filtering chain of a modified video decoder 300.
  • the decision module 305 evaluates the opportunity to activate the modified filtering string of the video decoder according to for example, the battery level of the terminal measured by an appropriate module, indicating whether or not it is necessary to make energy gains by how much, and / or user constraints and / or operating constraints, indicating by for example, maximum allowable degradation, user decoding quality requirements, quality degradation, decoding complexity, or energy required for decoding.
  • the decision to activate the modified filters, command C d is sent to the modified video decoder 300.
  • the compressed data stream F transmitted to the modified video decoder 300 is then decoded by the final video decoder by passing either through a conventional processing chain or a simplified processing chain according to the invention, an example of which is given in FIG. 5.
  • the activation decision can be modified when a new metadata is sent for the following sequence.
  • One of the operating hypotheses of the system according to the invention is as follows: under the compromise of reducing the quality of the decoded video, significant gains in energy consumption can be made. These gains are achieved in particular through the use of modified filtering functions ( Figure 5, for example).
  • FIG. 4 illustrates an exemplary embodiment of a modified video encoder 400 according to the invention making it possible in particular to generate metadata M d used at the level of the modified final decoder.
  • the modules known to those skilled in the art and having functions identical to those introduced in FIG. 4 bear the same references and will not be detailed.
  • the video encoder 400 comprises for example in parallel a standard video encoder module comprising a reference decoder 402 and a modified encoder module comprising a modified decoder 401. This structure makes it possible to generate the metadata or metadata that will be used at the decoder for the activation of the low-power filter chain.
  • the standard video decoder 402 and the modified video decoder 401 each comprise a module making it possible to estimate the energy necessary for the decoding of the video stream and its restitution, for example, a probe of energy or complexity of the flux, 403, 404 .
  • the modified encoder module comprising the decoder 401 there is a first modified video output S v i, and a first estimated energy value E i.
  • the standard decoder module 402 At the output of the standard decoder module 402 there is a second video output reference S V 2, and a second value of estimated decoding energy E 2 .
  • the metadata or metadata are transmitted to a multiplexer and multiplexed by means of a multiplexer 406 with the compressed data stream.
  • the stream comprising the stream of compressed data and the metadata or metadata is transmitted to a modified decoder according to the invention.
  • FIG 4 shows a video decoder detail of the modified encoder.
  • the loop filter is modified, 1 1 6b, as well as the motion compensation module which integrates a module estimating the energy 404.
  • the modified loop filter 1 1 6b is, for example, composed of of low consumption filters an anti-block filter or in English “deblocking filter” low consumption 41 0, followed by a filter introducing an offset known as the English abbreviation "SAO" (abbreviation "Sample”) -adaptive Offset ”) 41 1 detailed in Figure 5. It also includes an energy estimation module 403.
  • the estimated metadata or metadata can be a GEDQ quality degradation energy gain type metadata, this metadata represents the percentage slope of energy gain per dB of signal-to-noise ratio of the curves shown in FIG. 6A and FIG. 6B, for example , corresponding to the current image or image sequence.
  • the metadata can also be a gain in complexity by degradation in GCDQ quality. The complexity is easily calculated thanks to the number of calculations necessary for the decoding.
  • the metadata depends on the decoding hardware architecture, including the processor.
  • the metadata generator also estimates the decoding degradation introduced by the modified decoder. For that, it can use as metric the power-on-noise ratio or PSNR YU v on the three components Y (Luminance) and (U, V) (Chrominance).
  • PSNR YU v the power-on-noise ratio
  • Y Luminance
  • U, V Chrominance
  • dB decibels
  • Differences consider, for example, videos, pixel by pixel, ranging from 0 to 255.
  • PSNR of the sequence is the average of PSNR on all the images of the video sequence considered.
  • PSN R S v2 from the decoded image by the reference decoder 401
  • PSN Rsvi from the decoded image by the modified decoder 402.
  • the metadata GEDQ (Energy Gain by Degradation in Quality) can be calculated in the following way: MGE / (PSNR S v2 - PSN Rsvi).
  • Other metrics measuring the subjective quality of the image can be used as the average opinion score (MOS) in addition to or alternatively to the PSNR metric.
  • the previous examples were given by expressing the normalized PSNR as a percentage. This percentage represents the gain between the standard schema and the proposed level. More generally, the coding may use a dedicated scheme to represent this gain on N bits in the message / protocol. Energy gains can follow a linear, logarithmic scale or be coded on a reduced scale to limit the impact on system throughput.
  • FIG. 5 represents an example of a modified decoder according to the invention.
  • the decoder also includes a low-power filter chain which is activated or not according to the constraints of a user and / or according to the battery level of the mobile terminal and an indicator of activation issued by the activation module receiving at least the metadata.
  • One of the principles implemented in the method according to the invention is to use at the level of the final decoder, so-called “low power” filters in addition to the standard video decoder scheme.
  • Apply “Low power” loop filtering consists either of not filtering the current data stream, an image, or of using finite impulse response filters whose length is smaller than the filters specified in the standard.
  • filter length is meant the degree of complexity of a filter, its window of observation.
  • the activation or not of the "low consumption” filters can be decided according to a pattern corresponding to an activation profile or according to a more complex scheme.
  • the activation decision module can take activation choices for the "low consumption” filters according to numerous criteria. It can, for example, consider the remaining energy in the system (battery level still available), the real-time decoding constraints, the Dynamic Voltage and Frequency Scaling (DVFS) parameters of the processor concerned to adapt the operating frequency to the maximum. near the situation and rendering quality criteria of the decoded video.
  • DVFS Dynamic Voltage and Frequency Scaling
  • N smoothing factor set at 9.5 (as in the state of the art).
  • the generated coefficients are converted into an integer value with the following formula:
  • Filter m (a) PartParty ⁇ Filter m (a) .2 a )
  • a is a coefficient that defines the number of bits on which the quantization is performed, the value of a is chosen lower than the quantization coefficient of the norm, currently equal to 6.
  • a filter of the standard for the interpolation uses a quantization on six bits, and one obtains a filter including the following coefficients:
  • Filter-i / 2 5b (0, 2, -6, 20, 20, -6, 2, 0); the generation of zero coefficients makes it possible to reduce the number of operations performed at the level of the filter and therefore the complexity of the filter.
  • the change of the quantifications shows zero coefficients that will be ignored during the filter calculation. In fact, this amounts to reducing the number of coefficients to be processed and therefore reducing the complexity of the filter.
  • reducing the implementation complexity consists in rounding the coefficients towards their rounding in basis of 2 the closest.
  • This variant embodiment can be implemented regardless of the quantization coefficient used, six for the current standard, or less than six. All the coefficients of the filter or at least the majority of the coefficients are rounded to the power of 2 nearest their value.
  • the filter-i / 2 reference luminance interpolation
  • Filter 1/2 base2 (-2 °, 2 2 , -2 3 , 2 5 , 2 5 , -2 3 , 2 2 2 , -2 °).
  • the compensation will be obtained by the value (2 6 / ⁇ Filter-i / 2 _base2), or more generally by (2 a / ⁇ Filter_ b ase2) with ⁇ Filter_ b ase2 representing the sum of the coefficients of the filter.
  • the compressed data stream F coming from the demultiplexer 551 is transmitted to a first entropy decoding module 501, the decoded stream is transmitted to a reverse quantization and inverse transformation module 502, and to a decoding module of the Inter / intra frame type, 503.
  • the reconstructed data Fr is transmitted to a loop filter 504 which includes a first filter chain 505 composed of a reference deblocking filter 506 followed by a reference ODS filter. 507 whose output is linked to a video output 508, and a second low power filtering chain 509 which comprises a first low consumption deblocking filter 510 followed by a second low consumption SAO filter 51 1.
  • a first switch 512 makes it possible to direct the reconstructed data through the first standard filter chain or the second low power filter chain according to an activation flag C d generated by the activation module 520, a second switch Sending the filtered data to the video output. Without departing from the scope of the invention, it is possible to consider replacing the low-power filters by a line having no filter and ensuring only the transmission of data.
  • the video output S v is connected to a not shown display device and a part of the images is also stored in a buffer memory 521 whose output is connected to a motion compensation module 530.
  • the motion compensation module comprises a switch 538 receiving the activation flag C d in order to choose the filter chain to use.
  • the compensation module 530 comprises a first standard chain 531 comprising a first luminance interpolation module 532 followed by a first chrominance interpretation module 533 whose output is connected to a motion vector compensation module 534.
  • a second low-power filter chain 535 comprises, for example, a low power interpolation module 536 followed by a chroma interpolation module 537.
  • a first switch 538 receives an activation command C d and allows the passage of the video images. stored either in the low power filter chain or in the standard chain, and a second switch 539 connecting either the standard chroma interpolation module 531 or the low power chroma interpolation module 535 to the motion compensation module.
  • the output of the compensation module is transmitted to the intra / inter mode selection module to be applied for the reconstruction of the data.
  • the switches of the low-power decoding chain can be controlled independently, the low-power loop filter chain can be activated independently of the low-power string of the interpolation filter. It is also possible to envisage a scheme in which the low consumption filters of the loop filter are replaced by a data transmission line without any action on the data, this depending on metadata or metadata and / or operating constraints set by the user.
  • the activation level specifies the proportion of images for which "low power" filtering is applied. For example, an activation rate of 25% means that one in four decoded images are decoded with the "low power" filtering mode. These images are evenly distributed over a period of time. For example, by choosing a period of 12 images, image indexes from 1 to 12 and an activation rate of 25%, images 2, 6 and 10 will be decoded with the "low power” filtering mode and the images 1, 3, 4, 5, 7, 8, 9, 1 1 and 12 will be decoded with the reference filtering mode of HEVC, for example.
  • the activation pattern thus defined can be written [2, 6, 10]. In this example, the patterns [1, 5, 9], [3, 7, 1 1] and [4, 8, 12] are also valid.
  • FIG. 6B shows that the effect of the activation level on the signal-to-noise ratio of the decoded video depends on the compression ratio of the video.
  • FIGS. 7A, 7B illustrate the consequence of the activation level of the low-power filters on the signal-to-noise ratio of the decoded video.
  • the activation level is used to select the low power filters to apply. A finer adjustment of the filtering parameters is possible, for example by choosing the images on which we will apply or not the low power filtering. For this, the decision module receives information on the type of frames contained in the current data stream. A decision will therefore be made at the frame level to decide whether the method applies unmodified filters or modified filters.
  • image types I (intra), P (predicted) and B (bidirectional)
  • I intra
  • P predicted
  • B bidirectional
  • the information 550 of the decoded picture type is transmitted to the activation decision block by the entropy decoding.
  • Interpolation and "low power" loop filters can be activated at the same activation level and activation pattern. It is also possible to independently activate interpolation filters and loop filters. In this case, a different pattern and / or profile is used for each filter.
  • the functional module is adapted to decide when and which frames need to be subjected to simplified filters.
  • the following table indicates frame numbers on which the simplified filter method applies:
  • the system according to the invention allows an adjustment of the energy power consumed with prior knowledge of the video quality, without increasing the complexity of the decoder side.
  • the data part of the stream or bitstream remains unchanged from the state of the art.
  • all the decoders reading this stream can adapt their decoding to their battery level.
  • the filters of the standard part of the encoder are not modified, unlike an implementation which consists in using the same filters for the encoder side and the decoder side.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Décodeur, système et procédé pour décoder des données multimédia au niveau d'un terminal en gérant l'énergie disponible pour le décodage comportant un décodeur (300, 500) des données multimédia, caractérisé en ce que ledit décodeur (300, 500) comporte au moins une chaîne de décodage basse consommation comprenant un module d'activation (305, 520) adapté à activer une première chaîne de décodage ou filtre de boucle basse consommation (509, 510, 511) et une chaîne d'interpolation basse consommation (535, 536, 537) en fonction d'au moins un paramètre représentatif de contraintes d'énergie utilisateur et/ou du terminal mobile et d'une ou de plusieurs métadonnées Md associées à une complexité de décodage et/ou à une énergie de décodage. Application à un terminal utilisant des standards H.264/AVC ou H.265/HEVC.

Description

DECODEUR, PROCEDE ET SYSTEME DE DECODAGE DE FLUX MULTIMEDIA
L'invention concerne un dispositif de décodage, un procédé et un système permettant le décodage de données multimédia au niveau d'un terminal tout en gérant la consommation d'énergie nécessaire au décodage et à la restitution d'un flux de données multimédia. L'invention s'applique pour des décodeurs vidéo, pour des terminaux utilisant les standards H.264/AVC pour Advanced Video Coding ou H.265/HEVC, pour High Efficiency Video Coding.
Aujourd'hui les appareils électroniques tels que les téléphones portables, les Smartphones, les tablettes, etc., offrent de plus en plus de fonctionnalités, telles que la vidéo, l'audio, le système de positionnement GPS (Global Positioning System), l'internet et des connectivités variées, par exemple les multi-systèmes de radio avec Wifi, Bluetooth, UMTS (Universal Mobile Télécommunication System), le HSPA (High Speed Packet Access), la technologie réseau LTE-Advanced, ce qui fait que la capacité d'énergie de ces systèmes embarqués est aujourd'hui très sollicitée. Dans les années à venir on estime que 70% au moins des communications mobiles seront des transferts de contenu vidéo. Conscient de ces enjeux, le comité MPEG au sein de l'ISO a lancé une initiative visant à standardiser des moyens permettant à des décodeurs vidéo de minimiser leur consommation en énergie et ainsi d'améliorer leur durée d'utilisation. Ce standard est connu sous la dénomination anglo-saxonne « Green Metadata ». Différentes solutions sont connues de l'art antérieur et décrites dans la norme ISO/IEC DIS 23001 -1 1 du standard « Green Metadata ».
Pour gérer au mieux la consommation d'énergie, la société Samsung propose de modifier l'affichage à l'écran de la vidéo et de réduire la tension d'alimentation de l'écran. Une autre méthode proposée par cette société est un contrôle dynamique de la fréquence qui consiste à anticiper et à adapter la puissance de calcul à la complexité de la vidéo à décoder. La société Thomson Video Network propose une méthode de diffusion adaptative ou en anglo-saxon « adaptative streaming » qui consiste à proposer au décodeur plusieurs versions d'une même vidéo sur un serveur DASH, abréviation anglo-saxonne de Dynamic Adaptive streaming over http.
La société Morphbius propose un encodeur sous-échantillonné dans lequel on réalise l'encodage des données à qualité réduite.
La figure 1 est un rappel du principe mis en œuvre pour la gestion de l'énergie d'un terminal mobile. Pour augmenter les possibilités d'économie, le standard propose d'échanger des métadonnées d'un encodeur 1 vers un ou plusieurs décodeurs finaux 2 (un seul décodeur est représenté sur la figure pour des raisons de simplification). En plus du flux de données classique généré par le codeur vidéo, les métadonnées Md sont multiplexées au flux de données classique F, pour obtenir un flux de données Fm. Ce flux de données Fm est ensuite transmis vers un récepteur 2 à travers un réseau de communication, par exemple. Le type de réseau utilisé dépend de l'application ou du système considéré. Le protocole mis en place est alors différent. On peut citer comme exemple la télédiffusion plus connue sous le terme de « broadcast » ou la diffusion en flux ou « streaming ». L'insertion des métadonnées dépend alors du protocole ou du mode de transport. Elles peuvent s'insérer dans des informations supplémentaires d'amélioration (ou message SEI abrégé anglo-saxon de Supplemental Enhancement Information) ou bien être encapsulées dans des descriptions de plus haut niveau comme le type connu sous la dénomination anglo-saxonne MPD (Media Présentation Description) pour des applications streaming par exemple de type DASH précité. La fréquence d'émission des métadonnées peut se faire à plusieurs niveaux, par exemple, au niveau trame, au niveau groupe d'images ou GOP (en anglo-saxon Group of Pictures - 17 trames par exemple). Le décodeur testera dans le champ associé dans une trame la présence ou non de la métadonnée pour la séquence à décoder. L'encodeur peut prendre une décision de changement de fréquence de diffusion de métadonnée lorsque des paramètres évoluent comme une évolution de contenu (changement de scène) ou de type de compression (paramètre de quantification).
Un préprocesseur 101 analyse le contenu source Fs et un codeur vidéo 102 encode le contenu d'une vidéo d'entrée. Le flux de données contenant les données codées et les métadonnées est transmis au récepteur et décodé par un décodeur vidéo 106 qui transmet les informations décodées à un module d'affichage 109. La métadonnée Md est extraite au moyen d'un analyseur 104 au niveau de l'encodeur vidéo 102 et dans ce cas la métadonnée est encapsulée dans un flux conforme au format de l'encodeur vidéo, ou au niveau 103 du préprocesseur 101 et la métadonnée est alors multiplexée avec le flux. La métadonnée Md est utilisée par le décodeur final 2 pour réduire la puissance nécessaire au décodage et à la présentation des données. Au niveau du décodeur final 2, le décodeur vidéo 106 analyse, 107, le flux Fm contenant le flux multimédia F et les métadonnées Md, et transmet les métadonnées Md à un module de contrôle de puissance ou d'énergie 108. Ce module de contrôle d'énergie va, par exemple, décoder la ou les métadonnées Md puis appliquer des opérations de réduction de consommation d'énergie pour le décodage et l'affichage des flux vidéo, Pc par exemple. Le même module de contrôle d'énergie est présent au niveau du codeur.
La figure 2 représente une architecture connue de l'encodeur vidéo comprenant un décodeur vidéo 20. L'entrée vidéo (données compressées) est transmise à un module de transformation 1 1 1 dont une sortie est en liaison avec un module d'encodage 1 12 et un module de quantification et transformation inverse 1 13. Les données multimédia codées Fc sont transmises à un module de génération de flux 1 14 qui va aussi recevoir des informations d'estimation de mouvement issues d'un module d'estimation de mouvement 1 15 qui reçoit, d'une part l'entrée vidéo Ev, et d'autre part une image résultant de l'application d'un filtre de boucle 1 16 (connu de l'homme du métier) recevant les paramètres ou vecteurs de compensation de mouvement 1 17 à appliquer aux paramètres de l'image et les paramètres images obtenus par l'application de la transformée inverse de quantification inverse. Une sortie du filtre de boucle génère une sortie vidéo Sv. Le module de génération de flux produit un flux de données compressées qui va être transmis au décodeur. Une mémoire tampon 1 19 permet le stockage des images vidéo avant transmission au module de compensation de mouvement et au module d'estimation de mouvement 1 15.
La demande de brevet US 2002080874 décrit un système de décodage d'un flux de données représentatives d'un contenu vidéo et traite de la capacité pour des décodeurs de complexité d'architectures variées à décoder un flux incident.
Dans la suite de la description, le mot terminal désigne, par exemple, un téléphone mobile, une tablette ou tout dispositif connecté permettant de recevoir des flux multimédia. Le terme flux multimédia peut désigner des programmes variés, tels que des films, de la musique (vidéo clip), qui sont distribués à travers des réseaux de communication.
L'objet de la présente invention concerne un procédé et un système permettant de gérer l'énergie nécessaire au décodage d'informations, de données multimédia, de données vidéo. Elle permet aussi de simplifier la complexité des filtres utilisés, la consommation des filtres représentant une partie significative de la consommation d'un décodeur.
L'invention concerne un dispositif pour décoder un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage comportant un décodeur desdites données multimédia et étant caractérisé en ce que ledit décodeur comporte au moins une chaîne de décodage « à basse consommation » comprenant un module d'activation adapté à activer une première chaîne de décodage ou filtre de boucle basse consommation et une chaîne d'interpolation basse consommation en fonction d'au moins un paramètre représentatif de contraintes de fonctionnement utilisateur et/ou d'énergie utilisateur et/ou du terminal mobile et d'une ou de plusieurs métadonnées Md associées à une dégradation maximum de qualité, à une complexité de décodage et/ou à une énergie nécessaire au décodage.
L'invention concerne aussi un système pour décoder un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage caractérisé en ce qu'il comporte au moins les éléments suivants :
• un encodeur des données multimédia comprenant au moins un module adapté à générer une ou plusieurs métadonnées Md associées à une complexité de décodage et/ou à une énergie de décodage du flux de données multimédia décodé par le décodeur,
• un décodeur comprenant au moins une chaîne de décodage standard, au moins un module d'extraction des métadonnées Md contenues dans le flux de données multimédia, un module d'activation relié à un commutateur adapté à activer une première chaîne de décodage ou filtre de boucle basse consommation et à un commutateur afin d'activer une chaîne d'interpolation basse consommation en fonction d'au moins un paramètre représentatif de contraintes d'énergie et d'une ou de plusieurs métadonnées Md contenues dans le flux de données multimédia.
Selon une variante de réalisation, l'encodeur comprend un décodeur modifié comprenant un filtre de boucle basse consommation, un module d'estimation d'énergie, un décodeur standard comprenant un module d'estimation d'énergie, une métadonnée Md est un couple de valeurs (dégradation maximum, gain potentiel en énergie) déterminées à partir des données multimédia Ev, des données SV2 décodées par le décodeur standard, d'une valeur d'énergie estimée E2 par le décodeur standard, des données décodées Svi par le décodeur modifié, de l'énergie estimée Ei par le décodeur modifié.
Selon une variante de réalisation, le module de génération de métadonnées et les décodeurs sont adaptés à : • Déterminer les gains en énergie MGE= 1 -(E /E2)*100, avec E-i l'énergie estimée par le décodeur modifié, E2 l'énergie estimée par le décodeur standard,
• Déterminer la dégradation de qualité en calculant la valeur de rapport puissance sur bruit PSNR sur l'ensemble des images du flux de données à partir d'une image décodée par la chaîne de décodage standard et à partir d'une image décodée par la chaîne de décodage basse consommation,
• PSN RDecodeurReference = 10*logi0(d2/MSE), d correspondant à l'amplitude maximum des pixels, par exemple 255 pour des pixels codés sur 8 bits ou 1023 pour des pixels codés sur 10 bits, MSE correspondant à l'erreur quadratique moyenne (Ev - Sv2)2 entre le flux de données de référence Ev et le flux de données décodées par le décodeur standard 10*logi0(d2/MSE) avec MSE correspondant à l'erreur quadratique moyenne (Ev - Svi)2entre le flux de données de référence Ev et le flux de données décodées par le décodeur modifié
• Calculer la valeur de la dégradation de qualité,
Dégradation = PSISI Roecodeurreference " PSN RDecodeurmodifié
La métadonnée peut être un couple de valeurs (dégradation maximum, gain potentiel en complexité).
Le système considère comme contrainte d'énergie un niveau d'énergie restante mesuré pour la batterie d'un terminal mobile.
Selon un mode de réalisation, les filtres basse consommation sont des filtres à réponse impulsionnelle finie.
Une métadonnée Md peut être déterminée à partir des valeurs dégradation maximum, gain potentiel, et des valeurs de coefficients de filtres « basse-consommation ».
Le système peut aussi comporter un module de prédiction du ou des types de trames présentes dans le flux multimédia, le module d'activation des chaînes de filtrage simplifiées étant activé en fonction d'un type de trame ou de leur position dans le flux de données multimédia.
Le décodeur est, par exemple, un décodeur H.264/AVC ou un décodeur H.265/HEVC et le flux de données des images vidéo.
L'invention concerne aussi un procédé pour décoder des données d'un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage caractérisé en ce qu'il comporte au moins les étapes suivantes:
• Déterminer au moins un paramètre représentatif de contraintes de fonctionnement utilisateur et/ou d'énergie utilisateur et/ou associées au fonctionnement du terminal,
• En fonction de la valeur de ces paramètres et de valeurs de métadonnées Md associées à une dégradation maximum de qualité, à une complexité de décodage et/ou à une énergie de décodage nécessaire au décodage, activer une chaîne de décodage basse consommation au niveau d'un décodeur de données multimédia ou une chaîne de décodage standard.
Le procédé génère une métadonnée correspondant à un couple de valeurs (dégradation maximum, gain potentiel en énergie), ces valeurs étant calculées lors d'une étape de codage des données multimédia en tenant compte des données multimédia Ev, des données SV2 décodées par un décodeur standard, d'une valeur d'énergie estimée E2 par le décodeur standard, des données décodées Svi par un décodeur modifié, de l'énergie estimée E-ι par le décodeur modifié.
Selon une variante de réalisation, on calcule une métadonnée de la manière suivante :
• Déterminer les gains en énergie MGE= 1 -(E /E2)*100, avec E-i l'énergie estimée par le décodeur modifié, E2 l'énergie estimée par le décodeur standard,
· Déterminer la dégradation de qualité en calculant la valeur de rapport puissance sur bruit PSNR sur l'ensemble des images du flux de données à partir d'une image décodée par la chaîne de décodage standard et à partir d'une image décodée par la chaîne de décodage basse consommation,
• PSN RDecodeurReference = 10*logi0(d2/MSE), d correspondant à l'amplitude maximum des pixels, MSE correspondant à l'erreur quadratique moyenne (Ev - SV2)2 entre le flux de données de référence Ev et le flux de données décodées par le décodeur standard Sv2,
10*logi0(d2/MSE) avec MSE correspondant à l'erreur quadratique moyenne (Ev - SVi )2 entre le flux de données de référence Ev et le flux de données décodées par le décodeur modifié
• Calculer la valeur de la dégradation de qualité, Dégradation =
PSN Roecodeurreference " PSN RDecodeurmodifié.
Le procédé prend comme contrainte d'énergie une mesure de niveau d'énergie pour la batterie du terminal.
Le procédé est, par exemple, mis en œuvre dans un décodeur H.264/AVC ou H.265/HEVC et en ce que le flux de données est constitué d'images vidéo.
D'autres caractéristiques et avantages de la présente invention apparaîtront mieux à la lecture de la description qui suit donnée à titre illustratif et nullement limitatif annexée des figures qui représentent :
• La figure 1 , un rappel de schéma d'émetteur récepteur avec échange de métadonnées,
• La figure 2, un schéma de codeur vidéo selon l'art antérieur,
· La figure 3, un schéma de principe du système selon l'invention,
• La figure 4, un schéma montrant la génération de métadonnées selon l'invention,
• La figure 5, un détail de l'intégration du décodeur modifié au sein de la structure de l'encodeur,
· Les figures 6A et 6B, deux courbes représentant l'économie d'énergie réalisée, • Les figures 7A et 7B, deux courbes comparant la distorsion entre le standard HEVC et le standard HEVC modifié selon l'invention.
La description va être donnée à titre d'exemple afin d'illustrer le principe mis en œuvre par l'invention pour un flux vidéo qu'un utilisateur souhaite télécharger sur son terminal dans le cas du standard HEVC. Le décodeur final va adapter la meilleure stratégie de décodage à ses moyens, en déduisant de métadonnées Md associées à la gestion de l'énergie au niveau de décodage, les gains possibles de consommation d'énergie pouvant être réalisés grâce à l'utilisation de fonctions de filtrage modifiées, notamment par simplification des filtres présents dans la chaîne de décodage vidéo. Une métadonnée peut représenter un gain en complexité de décodage qui permet de déduire une réduction d'énergie ou de puissance instantanée par le décodeur. Les métadonnées Md dans la présente invention sont un couple distorsion/économie entre les chaînes basse consommation et une chaîne standard.
La figure 3 est un schéma de principe du fonctionnement du système selon l'invention selon des contraintes utilisateurs 301 et/ou selon un niveau de batterie d'un dispositif mobile 302. Le système reçoit un flux Fm composé de données compressées F et de métadonnées Md générées par un encodeur modifié détaillé à la figure 4, le flux total Fm est transmis à un démultiplexeur 303 pour générer le flux de données compressées et les métadonnées. Les métadonnées Md sont transmises à un module de décision d'activation 305 de la chaîne de filtrage d'un décodeur vidéo modifié 300. Le module de décision 305 évalue l'opportunité d'activer la chaîne de filtrage modifiée du décodeur vidéo en fonction, par exemple, du niveau de batterie du terminal mesuré par un module approprié, indiquant s'il est nécessaire ou non de faire des gains en énergie et de combien, et/ou des contraintes utilisateurs et/ou des contraintes de fonctionnement, indiquant par exemple une dégradation maximale autorisée, des exigences de qualité de décodage d'un utilisateur, une dégradation de qualité, une complexité de décodage ou une énergie nécessaire au décodage voulu. En fonction d'un ou plusieurs de ces paramètres, la décision d'activation des filtres modifiés, commande Cd, est envoyée au décodeur vidéo modifié 300. Le flux de données compressées F transmis au décodeur vidéo modifié 300 est ensuite décodé par le décodeur vidéo final en passant soit à travers une chaîne de traitement classique ou une chaîne de traitement simplifiée selon l'invention dont un exemple est donné à la figure 5. La décision d'activation peut être modifiée quand une nouvelle métadonnée est envoyée pour la séquence suivante.
Une des hypothèses de fonctionnement du système selon l'invention est la suivante: sous compromis de réduction de qualité de la vidéo décodée, des gains significatifs de consommation d'énergie peuvent être réalisés. Ces gains sont atteints notamment grâce à l'utilisation de fonctions de filtrage modifiées (figure 5, par exemple).
La figure 4 illustre un exemple de réalisation d'un encodeur vidéo modifié 400 selon l'invention permettant notamment de générer des métadonnées Md utilisées au niveau du décodeur final modifié. Les modules connus de l'homme du métier et présentant des fonctions identiques à celles introduites à la figure 4 portent les mêmes références et ne seront pas détaillés. L'encodeur vidéo 400 comporte par exemple en parallèle un module encodeur vidéo standard comprenant un décodeur de référence 402 et un module d'encodeur modifié comprenant un décodeur modifié 401 . Cette structure permet de générer la ou les métadonnées qui seront utilisées au niveau du décodeur pour l'activation de la chaîne de filtre basse consommation. Le décodeur vidéo standard 402 et le décodeur vidéo modifié 401 comporte chacun un module permettant d'estimer l'énergie nécessaire pour le décodage du flux vidéo et sa restitution, par exemple, une sonde d'énergie ou de complexité du flux, 403, 404.
En sortie du module encodeur modifié comportant le décodeur 401 on dispose d'une première sortie vidéo modifiée Svi , et d'une première valeur d'énergie estimée E-i . En sortie du module décodeur standard 402 on dispose d'une deuxième sortie vidéo de référence SV2, et d'une deuxième valeur d'énergie de décodage estimée E2.
Ces quatre valeurs sont transmises avec l'entrée vidéo Ev à un module de génération de métadonnées 405. La ou les métadonnées sont transmises à un multiplexeur et multiplexées au moyen d'un multiplexeur 406 avec le flux de données compressées. Le flux comprenant le flux de données compressées et la ou les métadonnées est transmis à un décodeur modifié selon l'invention.
La figure 4 schématise un détail de décodeur vidéo de l'encodeur modifié. Par rapport à un décodeur standard, le filtre de boucle est modifié, 1 1 6b, ainsi que le module de compensation de mouvement qui intègre un module estimant l'énergie 404. Le filtre de boucle modifié 1 1 6b est, par exemple, composé de filtres basse consommation un filtre anti-bloc ou en anglo-saxon « deblocking filter» basse consommation 41 0, suivi d'un filtre introduisant un décalage connu sous l'abréviation anglo-saxonne «SAO » (abréviation anglo-saxonne de « Sample-adaptive Offset ») basse consommation 41 1 détaillés à la figure 5. Il comporte aussi un module d'estimation d'énergie 403.
La ou les métadonnées estimées peuvent être une métadonnée de type Gain en énergie par dégradation en qualité GEDQ, cette métadonnée représente la pente en pourcentage de gain d'énergie par dB de rapport signal à bruit des courbes représentées figure 6A et figure 6B, par exemple, correspondant à l'image ou à la séquence d'images en cours. La métadonnée peut aussi être un gain en complexité par dégradation en qualité GCDQ. La complexité est aisément calculée grâce au nombre de calculs nécessaires pour le décodage. La métadonnée peut également représenter le gain maximum en énergie (MGE) (en pourcentage) lorsque le filtre basse consommation est appliqué à la totalité des images de la vidéo décodée. MGE peut être calculé ainsi : MGE = 1 -(Ei / E2)*1 00. Les métadonnées dépendent de l'architecture matérielle de décodage, notamment du processeur. Il est possible soit de spécifier un couple (GEDQ, MGE) par type de processeur par exemple, soit de spécifier une valeur moyenne pour chaque métadonnée. Il est aussi possible de spécifier des triplets (coefficients de chaque filtre, gain en énergie, dégradation en qualité), ce qui permet à l'encodeur de proposer des formes de filtres qui lui paraissent plus appropriées au décodage.
Le générateur de métadonnées estime aussi la dégradation de décodage introduite par le décodeur modifié. Pour cela, il peut utiliser comme métrique le rapport puissance sur bruit ou PSNRYUv sur les trois composantes Y (Luminance) et (U,V) (Chrominance). De manière générale, le PSNR par image exprimé en décibels (dB) est mesuré ainsi :
PSN Rsvi = 10*log10(d2/MSE) avec MSE = (EV-SV2)2 correspondant à l'erreur quadratique moyenne mesurée entre la sortie vidéo Sv2 et l'entrée vidéo Ev , d correspondant à l'amplitude maximum des pixels, par exemple d=255 pour de pixels codés sur 8 bits ou d=1023 pour des pixels codés sur 10 bits.
PSNRSv2= 10*log10(d2/MSE) avec MSE = (Ev-SVi )2 correspondant à l'erreur quadratique moyenne mesurée entre la sortie vidéo Svi et l'entrée vidéo Ev. Les différences considèrent par exemple les vidéos, pixel par pixel, allant de 0 à 255.
Le PSNR de la séquence est la moyenne de PSNR sur l'ensemble des images de la séquence video considérée. Enfin, la métrique PSNRYUv est une métrique pondérée du PSNR par composante. La pondération suivante peut être adoptée: PSNRYUV = (6*PSNRY + PSNRu + PSNRV) / 8.
Deux valeurs de PSN R sont ainsi calculées: PSN RSv2 à partir de l'image décodée par le décodeur de référence 401 , et PSN Rsvi à partir de l'image décodée par le décodeur modifié 402.
La métadonnée GEDQ (Gain en Energie par Dégradation en Qualité) peut être calculée de la manière suivante : MGE / (PSNRSv2 - PSN Rsvi ). D'autres métriques mesurant la qualité subjective de l'image peuvent être utilisées comme le score d'opinion moyen ou MOS (Mean Opinion Score) en complément ou alternativement à la métrique de PSNR.
Les exemples précédents ont été donnés en exprimant le PSNR normalisé en pourcentage. Ce pourcentage représente le gain entre le schéma standard et le niveau proposé. De manière plus générale, le codage peut utiliser un schéma dédié pour représenter ce gain sur N bits dans le message/protocole. Les gains en énergie peuvent suivre une échelle linéaire, logarithmique ou bien être codé sur une échelle réduite pour limiter l'impact sur le débit du système.
Sous compromis de réduction de qualité de l'image décodée, des gains significatifs de consommation d'énergie peuvent être réalisés. Ces gains sont atteints notamment grâce à l'utilisation des fonctions de filtrage modifiées, par exemple en les simplifiant. Le fait de déporter le calcul d'estimation des dégradations en qualité et les gains en énergie du décodeur modifié au niveau de la partie encodeur du système permet de diminuer la consommation en énergie de calcul du côté décodeur du flux. C'est l'encodeur du système qui va transmettre les métadonnées qui sont sources d'information sur le gain potentiel d'énergie sur la séquence de données à décoder et sur la perte éventuelle de qualité. Ceci permet aussi à un même flux d'adresser plusieurs décodeurs, chacun ayant sa propre stratégie de décodage et de gestion de l'énergie.
La figure 5 représente un exemple de décodeur modifié selon l'invention. Par rapport à un décodeur vidéo standard le décodeur comporte, en plus, une chaîne de filtre basse consommation qui est activée ou non selon des contraintes d'un utilisateur et/ou selon le niveau de batterie du terminal mobile et d'un indicateur d'activation émis par le module d'activation recevant au moins les métadonnées.
L'un des principes mis en œuvre dans le procédé selon l'invention est d'utiliser au niveau du décodeur final, des filtres dits « basse consommation » en plus du schéma du décodeur vidéo standard. Appliquer le filtrage de boucle « basse consommation » consiste soit à ne pas filtrer le flux de données en cours, une image, soit à utiliser des filtres à réponse impulsionnelle finie dont la longueur est plus faible que les filtres spécifiés dans le standard. Par longueur de filtre on désigne le degré de complexité d'un filtre, sa fenêtre d'observation. Un exemple chiffré de filtres sera donné après un exposé général visant à expliciter comment on définit les filtres basse consommation utilisés.
L'activation ou non des filtres « basse consommation » peut être décidée selon un motif correspondant à un profil d'activation ou selon un schéma plus complexe. Le module de décision d'activation peut prendre des choix d'activation des filtres « basse consommation » selon de nombreux critères. Il peut, par exemple, considérer l'énergie restante dans le système (niveau de batterie encore disponible), les contraintes temps réel du décodage, les paramètres DVFS (Dynamic Voltage and Frequency Scaling) du processeur concerné pour adapter la fréquence de fonctionnement au plus près de la situation et des critères de qualité de rendu de la vidéo décodée.
La génération des filtres rappelée ci-après est donnée dans le document normatif « CE3 : DCT derived interpolation filter test by Samsung », JCTVC-F247:
Génération de filtres pairs
FiltrePairm (a)
Génération de filtres impairs :
2
Filtrelmpairm {a) = -cos
2M +1 avec les définitions suivantes
• m ; indice du coefficient du filtre généré
• 2.M : Taille du filtre pair • 2.M+ 1 : Taille du filtre impair
• Ck= 1 2 si k= 0, Ck= 1 sinon.
• a : la position interpolée (par ex, 1 /4, 2/4, 3/4)
• N : facteur de lissage fixé à 9.5 (comme dans l'état de l'art).
Pour une implémentation matérielle de ces filtres sur des processeurs à faible consommation, on convertit les coefficients générés en valeur entière avec la formule suivante :
Filtrem (a) = PartieEntiere(Filtrem (a) .2^)
Par exemple, en fixant M=4 pour un filtre pair et a=1 /2 on peut générer un des filtres de référence de la norme. En fixant M=1 pour un filtre impair et a=1 /2 on obtient les coefficients du filtre basse consommation.
Le tableau ci-dessous donne un exemple de valeurs pour les filtres selon le standard et pour un filtre basse consommation selon l'invention :
Selon une autre variante de réalisation, on va travailler avec une valeur donnée pour le paramètre M qui définit la taille du filtre et on va choisir un paramètre de quantification, nombre de bits sur lequel on quantifie la représentation décimale des coefficients, avec pour objectif de réduire la complexité des filtres utilisés.
Dans cette variante de mise en œuvre, pour une implémentation matérielle de ces filtres sur des processeurs à faible consommation, on convertit les coefficients générés en valeur entière avec la formule suivante :
Filtrem (a) = PartieEntiere{Filtrem (a).2a ) où a est un coefficient qui définit le nombre de bits sur lequel la quantification est réalisée, la valeur de a est choisie inférieure au coefficient de quantification de la norme, actuellement égal à 6.
Pour exemple, actuellement l'implantation d'un filtre de la norme pour l'interpolation utilise une quantification sur six bits, et on obtient un filtre comportant les coefficients suivants :
Filtre1/2 6b = (-1 , 4, -1 1 , 40, 40, -1 1 , 4, -1 )
En quantifiant sur cinq bits, a=5, il est possible d'obtenir le filtre suivant :
Filtre-i/2_5b = (0, 2, -6, 20, 20, -6, 2, 0) ; la génération des coefficients nuls permet de diminuer le nombre d'opérations réalisées au niveau du filtre et donc la complexité du filtre.
En quantifiant sur quatre bits, a=4, on peut obtenir le filtre suivant : Filtrei/2_4b = (0, 0, -2, 10,10, -2, 0, 0).
Dans les exemples donnés, le changement des quantifications fait apparaître des coefficients nuls qui seront ignorés lors du calcul de filtre. De fait, cela revient à réduire le nombre de coefficients à traiter et donc réduire la complexité du filtre.
Selon une autre manière de réalisation, réduire la complexité d'implantation consiste à arrondir les coefficients vers leur arrondi en base de 2 le plus proche. Cette variante de réalisation peut être mise en œuvre quelque soit le coefficient de quantification utilisé, six pour la norme actuelle, ou inférieur à six. Tous les coefficients du filtre ou au moins la majorité des coefficients sont arrondis à la puissance de 2 la plus proche de leur valeur.
Ainsi, le Filtre-i/2 de référence (interpolation des luminances) donné dans le tableau précédent (-1 , 4,-1 1 , 40, 40, -1 1 , 4, -1 ) devient alors Filtre1/2 base2 = (-2°, 22, -23, 25, 25, -23, 22, -2°).
Afin de garantir un gain de filtrage équivalent à celui obtenu actuellement par la norme, une compensation est nécessaire. Dans cet exemple, la compensation sera obtenue par la valeur (26/∑Filtre-i/2_base2 ), ou de manière plus générale par (2a/ ∑Filtre_base2 ) avec ∑Filtre_base2 représentant la somme des coefficients du filtre.
Pour le filtre obtenu avec une quantification a=4, on obtiendra Filtrei/2 4b base2 — \ <- 1, 23, 23, -21), avec une compensation (24/∑Filtre-i/2_4b _base2 =1 6/(-2+8+8-2)=1 6/14=8/7).
Dans cette réalisation de filtre, la réduction de complexité vient avec la simplification des opérations de filtrage. En effet, les multiplications nécessaires entre les coefficients et les échantillons sont remplacées par des simples « décalages de bits ». En fonction de la cible choisie pour le décodeur vidéo, le nombre nécessaire de cycles « machine » peut être drastiquement réduit, par exemple, divisé par 2 lorsqu'on suppose que la multiplication et l'addition représentent une complexité équivalente sur la cible.
Au niveau du décodeur final 500, le flux de données compressées F issu du démultiplexeur 551 est transmis à un premier module 501 de décodage entropique, le flux décodé est transmis à un module de quantification inverse et transformation inverse 502, et à un module de décodage du type de trame Inter/intra, 503. Les données reconstruites Fr sont transmises à un filtre de boucle 504 qui comprend une première chaîne de filtrage 505 composée d'un filtre de « deblocking » de référence 506 suivi d'un filtre SAO de référence 507 dont la sortie est liée à une sortie vidéo 508, et une deuxième chaîne de filtrage basse consommation 509 qui comprend un premier filtre de « deblocking » basse consommation 510 suivi d'un deuxième filtre SAO basse consommation 51 1 . Un premier commutateur 512 permet d'aiguiller les données reconstruites à travers la première chaîne de filtre standard ou la deuxième chaîne de filtre basse consommation en fonction d'un drapeau d'activation Cd généré par le module d'activation 520, un deuxième commutateur 514 aiguillant les données filtrées vers la sortie vidéo. Sans sortir du cadre de l'invention, il est possible d'envisager de remplacer les filtres basse consommation par une ligne ne comportant aucun filtre et assurant uniquement la transmission des données.
La sortie vidéo Sv est reliée à un dispositif d'affichage non représenté et une partie des images est aussi stockée dans une mémoire tampon 521 dont une sortie est reliée à un module de compensation de mouvement 530. Le module de compensation de mouvement comporte un commutateur 538 recevant l'indicateur d'activation Cd afin de choisir la chaîne de filtre à utiliser. Le module de compensation 530 comprend une première chaîne 531 standard comportant un premier module d'interpolation de la luminance 532 suivi d'un premier module d'interprétation de la chrominance 533 dont la sortie est reliée à un module de compensation de vecteur de mouvement 534. Une deuxième chaîne de filtre basse consommation 535 comprend par exemple un module d'interpolation basse consommation 536 suivi d'un module d'interpolation chroma 537. Un premier commutateur 538 reçoit une commande d'activation Cd et permet le passage des images vidéo mémorisées soit dans la chaîne de filtrage basse consommation, soit dans la chaîne standard, et un deuxième commutateur 539 reliant soit le module d'interpolation chroma standard 531 , soit le module d'interpolation chroma basse consommation 535 au module de compensation de mouvement.
La sortie du module de compensation est transmise au module de sélection de mode intra/inter à appliquer pour la reconstruction des données.
Sans sortir du cadre de l'invention, les commutateurs de la chaîne de décodage basse consommation peuvent être pilotés de manière indépendante, on peut activer la chaîne de filtre de boucle basse consommation indépendamment de la chaîne basse consommation du filtre d'interpolation. Il est aussi possible d'envisager un schéma dans lequel les filtres basses consommation du filtre de boucle sont remplacés par une ligne de transmission des données sans action sur les données, ceci en fonction de la ou des métadonnées et/ou des contraintes de fonctionnement fixées par l'utilisateur.
Niveau d'activation
Le niveau d'activation, exprimé en pourcentage, spécifie la part des images pour lesquelles le filtrage « basse consommation » est appliqué. Par exemple, un taux d'activation de 25% signifie qu'une image décodée sur quatre est décodée avec le mode de filtrage « basse consommation ». Ces images sont réparties de façon homogène sur une période donnée. Par exemple, en choisissant une période de 12 images, des indices d'image de 1 à 12 et un taux d'activation de 25%, les images 2, 6 et 10 seront décodées avec le mode de filtrage « basse consommation » et les images 1 , 3, 4, 5, 7, 8, 9, 1 1 et 12 seront décodées avec le mode de filtrage de référence de la norme HEVC, par exemple. Le motif d'activation ainsi défini peut s'écrire [2, 6, 10]. Dans cet exemple, les motifs [1 , 5, 9], [3, 7, 1 1 ] et [4, 8, 12] sont également valides.
On constate figure 6A, figure 6B que l'effet du niveau d'activation sur le rapport signal à bruit de la vidéo décodée dépend du taux de compression de la vidéo.
Les figures 7A, 7B illustrent la conséquence du niveau d'activation des filtres basse consommation sur le rapport signal à bruit de la vidéo décodée.
Le niveau d'activation permet de sélectionner les filtres basse consommation à appliquer. Un réglage plus fin des paramètres de filtrage est possible, par exemple en choisissant les images sur lesquels on va appliquer ou non le filtrage basse consommation. Pour cela, le module de décision reçoit une information sur le type de trames contenues dans le flux de données en cours. Une décision va donc être prise au niveau de la trame pour décider si le procédé applique les filtres non modifiés ou les filtres modifiés.
Par exemple, les types d'images (I (intra), P (prédites) et B (bidirectionnel)) peuvent être utilisés pour sélectionner des types d'image dont le filtrage est fixé au filtrage de référence ou fixé au filtrage « basse consommation ». Il est possible de définir les profils d'activation suivants selon les types des images encodées :
Dans le cas de l'utilisation d'un profil d'activation, l'information 550 du type d'image décodée est transmise au bloc de décision d'activation par le décodage entropique.
Les filtres d'interpolation et de boucle « basse consommation » peuvent être activés selon le même niveau d'activation et le même motif d'activation. Il est également possible d'activer indépendamment les filtres d'interpolation et les filtres de boucle. Dans ce cas, un motif et/ou profil différent est utilisé pour chaque filtre.
Dans l'exemple qui suit pour illustrer le procédé selon l'invention, douze niveaux d'activation sont proposés pour obtenir un maximum de 0.1 dB de distorsion. En mettant ActivationLevel {0...12}, le décodeur peut utiliser dynamiquement les filtres.
Le module fonctionnel est adapté pour décider du moment et des trames qui doivent être soumises aux filtres simplifiés. Par exemple, le tableau qui suit indique des numéros de trame sur lesquelles le procédé de filtre simplifié s'applique :
ouveaux ocs tou ours act v s
Le système selon l'invention permet un ajustement de la puissance d'énergie consommée avec une connaissance a priori de la qualité vidéo, sans augmenter la complexité du côté décodeur. La partie « données » du flux ou « bitstream » reste inchangée par rapport à l'état de l'art. Ainsi, tous les décodeurs lisant ce flux peuvent adapter leur décodage à leur niveau de batterie. Dans le système selon l'invention, en fonctionnement normal, on ne modifie pas les filtres de la partie standard de l'encodeur contrairement à une implémentation qui consiste à utiliser les mêmes filtres pour le côté encodeur et le côté décodeur.

Claims

REVENDICATIONS
1 - Dispositif pour décoder un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage comportant un décodeur (300, 500) desdites données multimédia, et étant caractérisé en ce que ledit décodeur (300, 500) comporte au moins une chaîne de décodage à basse consommation comprenant un module d'activation (305, 520) adapté à activer une première chaîne de décodage ou filtre de boucle basse consommation (509, 510, 51 1 ) et une chaîne d'interpolation basse consommation (535, 536, 537) en fonction d'au moins un paramètre représentatif de contraintes de fonctionnement utilisateur et/ou d'énergie utilisateur (301 ) et/ou du terminal mobile (302) et d'une ou de plusieurs métadonnées Md associées à une dégradation maximum de qualité, à une complexité de décodage et/ou à une énergie nécessaire au décodage.
2 - Système pour décoder un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage caractérisé en ce qu'il comporte au moins les éléments suivants :
• un encodeur (400) des données multimédia comprenant au moins un module (405) adapté à générer une ou plusieurs métadonnées Md associées à une complexité de décodage et/ou à une énergie de décodage du flux de données multimédia décodé par un décodeur (500),
• un décodeur (500) comprenant au moins une chaîne de décodage standard (505, 506, 533, 532), au moins un module d'extraction (551 ) des métadonnées Md contenues dans le flux de données multimédia, un module d'activation (520) relié à un commutateur (531 ) adapté à activer une première chaîne de décodage ou filtre de boucle basse consommation (509, 510, 51 1 ) et à un commutateur (538) afin d'activer une chaîne d'interpolation basse consommation (535, 536,
537) en fonction d'au moins un paramètre représentatif de contraintes d'énergie et d'une ou de plusieurs métadonnées Md contenues dans le flux de données multimédia.
3 - Système selon la revendication 2 caractérisé en ce que l'encodeur (400) comprend un décodeur modifié (401 ) comprenant un filtre de boucle basse consommation (1 1 6b), un module d'estimation d'énergie (404), un décodeur standard (402) comprenant un module d'estimation d'énergie (403), et en ce qu'une métadonnée Md est un couple de valeurs (dégradation maximum, gain potentiel en énergie) déterminées à partir des données multimédia Ev, des données Sv2 décodées par le décodeur standard (402), d'une valeur d'énergie estimée E2 par le décodeur standard, des données décodées SVi par le décodeur modifié (401 ), de l'énergie estimée E-i par le décodeur modifié (401 ).
4 - Système selon la revendication 3 caractérisé en ce que le module de génération de métadonnées (405) et les décodeurs (401 , 402) sont adaptés à :
• Déterminer les gains en énergie MGE= 1 -(E /E2)*100, avec E-i l'énergie estimée par le décodeur modifié (401 ), E2 l'énergie estimée par le décodeur standard (402),
• Déterminer la dégradation de qualité en calculant la valeur PSNR sur l'ensemble des images du flux de données à partir d'une image décodée par la chaîne de décodage standard et à partir d'une image décodée par la chaîne de décodage basse consommation,
• PSN RDecodeurReference = 10*logi0(d2/MSE), d correspondant à l'amplitude maximum des pixels, MSE correspondant à l'erreur quadratique moyenne (Ev - SV2)2 entre le flux de données de référence Ev et le flux de données décodées par le décodeur standard SV2,
• 10*logi0(d2/MSE) avec MSE correspondant à l'erreur quadratique moyenne (Ev - SVi)2entre le flux de données de référence Ev et le flux de données décodées par le décodeur modifié • Calculer la valeur de la dégradation de qualité,
Dégradation = PSIM PiDecodeurreference " PSN RDecodeurmodifié. 5 - Système selon la revendication 2 caractérisé en ce qu'une métadonnée Md est un couple de valeurs (dégradation maximum, gain potentiel en complexité).
6 - Système selon l'une des revendications 2 à 5 caractérisé en que la contrainte d'énergie est un niveau d'énergie restante mesuré pour la batterie d'un terminal mobile.
7 - Système selon l'une des 2 à 6 caractérisé en ce que les filtres basse consommation sont des filtres à réponse impulsionnelle finie.
8 - Système selon la revendication 2 caractérisé en ce qu'une métadonnée Md est déterminée à partir des valeurs dégradation maximum, gain potentiel, et valeurs de coefficients de filtres basse-consommation. 9 - Système selon l'une des revendications 2 à 8 caractérisé en ce qu'il comporte un module de prédiction (550) du ou des types de trames présentes dans le flux multimédia, le module d'activation des chaînes de filtrage simplifiées étant activé en fonction d'un type de trame ou de leur position dans le flux de données multimédia.
10 - Système selon l'une des 2 à 9 caractérisé en ce que le décodeur est un décodeur H.264/AVC ou H.265/HEVC et le flux de données des images vidéo. 1 1 - Procédé pour décoder des données d'un flux de données multimédia au niveau d'un terminal en gérant l'énergie nécessaire pour le décodage caractérisé en ce qu'il comporte au moins les étapes suivantes:
• Déterminer au moins un paramètre représentatif de contraintes de fonctionnement utilisateur et/ou d'énergie utilisateur et/ou associées au fonctionnement du terminal,
• En fonction de la valeur de ces paramètres et de valeurs de métadonnées Md associées à une dégradation maximum de qualité, à une complexité de décodage et/ou à une énergie nécessaire au décodage, activer une chaîne de décodage basse consommation au niveau d'un décodeur de données multimédia ou une chaîne de décodage standard.
12 - Procédé selon la revendication 1 1 caractérisé en ce qu'une métadonnée Md est un couple de valeurs (dégradation maximum, gain potentiel en énergie) et en ce que ladite valeur est calculée lors d'une étape de codage des données multimédia en tenant compte des données multimédia Ev, des données Sv2 décodées par un décodeur standard (402), d'une valeur d'énergie estimée E2 par le décodeur standard, des données décodées SVi par un décodeur modifié (401 ), de l'énergie estimée E-i par le décodeur modifié (401 ).
13 - Procédé selon la revendication 12 caractérisé en ce que l'on calcule la valeur d'une métadonnée de la manière suivante :
• Déterminer les gains en énergie MGE= 1 -(Ei/E2)*100, avec Ei l'énergie estimée par le décodeur modifié (401 ), E2 l'énergie estimée par le décodeur standard (402),
• Déterminer la dégradation de qualité en calculant la valeur PSNR sur l'ensemble des images du flux de données à partir d'une image décodée par la chaîne de décodage standard et à partir d'une image décodée par la chaîne de décodage basse consommation, • PSN RDecodeurReference = 10*logio(d2/MSE), d correspondant à l'amplitude maximum des pixels, MSE correspondant à l'erreur quadratique moyenne (Ev - Sv2)2 entre le flux de données de référence Ev et le flux de données décodées par le décodeur standard Sv2,
· PSNRDecodeurModififée = 10*logi0(d2/MSE) avec d correspondant à l'amplitude maximum des pixels, MSE correspondant à l'erreur quadratique moyenne (EV - Svi)2entre le flux de données de référence Ev et le flux de données décodées par le décodeur modifié SVi ,
• Calculer la valeur de la dégradation de qualité, Dégradation = PSISI Roecodeuirefererice PSN RDecodeurmodifié
14 - Procédé selon la revendication 13 caractérisé en ce que l'on choisit d égal à 255. 15 - Procédé selon la revendication 1 1 caractérisé en ce que l'on utilise comme contrainte d'énergie une mesure de niveau d'énergie pour la batterie du terminal.
16 - Procédé selon l'une des revendications 1 1 à 15 caractérisé en ce qu'il est mis en œuvre dans un décodeur H.264/AVC ou H.265/HEVC et en ce que le flux de données est constitué d'images vidéo.
EP15785076.9A 2014-10-17 2015-10-16 Decodeur, procede et systeme de decodage de flux multimedia Withdrawn EP3207702A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1460043A FR3027480B1 (fr) 2014-10-17 2014-10-17 Decodeur, procede et systeme de decodage de flux multimedia
FR1551085A FR3027481A1 (fr) 2014-10-17 2015-02-10 Decodeur, procede et systeme de decodage de flux multimedia
PCT/EP2015/073964 WO2016059196A1 (fr) 2014-10-17 2015-10-16 Decodeur, procede et systeme de decodage de flux multimedia

Publications (1)

Publication Number Publication Date
EP3207702A1 true EP3207702A1 (fr) 2017-08-23

Family

ID=52779728

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15785076.9A Withdrawn EP3207702A1 (fr) 2014-10-17 2015-10-16 Decodeur, procede et systeme de decodage de flux multimedia

Country Status (5)

Country Link
US (1) US10531096B2 (fr)
EP (1) EP3207702A1 (fr)
CN (1) CN107211127A (fr)
FR (2) FR3027480B1 (fr)
WO (1) WO2016059196A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3084489B1 (fr) * 2018-07-26 2020-09-11 Etat Francais Represente Par Le Delegue General Pour Larmement Procede de detection d’au moins un equipement informatique compromis au sein d’un systeme d’information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
EP1515567B1 (fr) * 2001-09-12 2006-08-23 Matsushita Electric Industrial Co., Ltd. Procédé de codage d'image et procédé de décodage d'image
CN1286061C (zh) * 2004-11-03 2006-11-22 上海大学 图像质量精细渐进调整方法
JP2011064961A (ja) * 2009-09-17 2011-03-31 Toshiba Corp 音声再生装置および方法
JP5663093B2 (ja) * 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
US10154258B2 (en) * 2012-07-09 2018-12-11 Vid Scale, Inc. Power aware video decoding and streaming

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2016059196A1 *

Also Published As

Publication number Publication date
FR3027481A1 (fr) 2016-04-22
FR3027480A1 (fr) 2016-04-22
CN107211127A (zh) 2017-09-26
FR3027480B1 (fr) 2020-10-23
US20170237988A1 (en) 2017-08-17
WO2016059196A1 (fr) 2016-04-21
US10531096B2 (en) 2020-01-07

Similar Documents

Publication Publication Date Title
EP2991351B1 (fr) Procédé de décodage d&#39;images
US9414086B2 (en) Partial frame utilization in video codecs
RU2668056C1 (ru) Устройство обработки изображения и способ обработки изображения
AU2016250476A1 (en) Adaptive bit rate control based on scenes
FR2880745A1 (fr) Procede et dispositif de codage video
FR2999373A1 (fr) Procede d&#39;adaptation dynamique du codage d&#39;un flux audio et/ou video transmis a un dispositif
EP0601180B1 (fr) Procede de codage d&#39;images bi-standard tres bas debit et codeur-decodeur pour la mise en oeuvre de ce procede
FR2951345A1 (fr) Procede et dispositif de traitement d&#39;une sequence video
US20150350514A1 (en) High dynamic range video capture control for video transmission
CN113132728B (zh) 编码方法及编码器
FR3084552A1 (fr) Procede de formation d&#39;une sequence d&#39;images de sortie a partir d&#39;une sequence d&#39;images d&#39;entree, procede de reconstruction d&#39;une sequence d&#39;images d&#39;entree a partir d&#39;une sequence d&#39;images de sortie, dispositifs, equipement serveur, equipement client et programmes d&#39;ordinateurs associes
EP2443835A1 (fr) Codage de vecteurs mouvement par competition de predicteurs
EP2368367B1 (fr) Système et procédé interactif pour la transmission sur un réseau bas débit d&#39;images clefs sélectionnées dans un flux video
US8989270B2 (en) Optimized search for reference frames in predictive video coding system
EP3207702A1 (fr) Decodeur, procede et systeme de decodage de flux multimedia
EP3637765A1 (fr) Optimisation d&#39;un sous-échantillonnage intervenant avant le codage d&#39;images en compression
EP1161101A1 (fr) Codage vidéo de source avec prédiction du movement et filtrage des effets de blocs
EP3158749B1 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
FR3000350A1 (fr) Procede et dispositif de transmission d&#39;une sequence d&#39;images, procede et dispositif de reception, programme d&#39;ordinateur et support d&#39;enregistrement correspondants.
WO2009004255A1 (fr) Selection de fonctions de decodage distribuee au decodeur
US20220245449A1 (en) Method for training a single non-symmetric decoder for learning-based codecs
EP3843409A1 (fr) Procede d&#39;allocation pour liaison bas-debit
WO2017051121A1 (fr) Procede d&#39;allocation de debit, dispositif, codeur et programme d&#39;ordinateur associes
FR2891966A1 (fr) Dispositifs et procedes de codage et de decodage echelonnables de flux de donnees d&#39;images, signal, programme d&#39;ordinateur et module d&#39;adaptation de qualite d&#39;images correspondants
FR2903845A1 (fr) Procede et dispositif de codage d&#39;images, systeme de telecommunication comportant un tel dispositif et programme d&#39;ordinateur mettant en oeuvre un tel procede

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170512

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20190125

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20210907