EP4183133A1 - Decodage video parallelise utilisant un reseau de neurones - Google Patents

Decodage video parallelise utilisant un reseau de neurones

Info

Publication number
EP4183133A1
EP4183133A1 EP21745307.5A EP21745307A EP4183133A1 EP 4183133 A1 EP4183133 A1 EP 4183133A1 EP 21745307 A EP21745307 A EP 21745307A EP 4183133 A1 EP4183133 A1 EP 4183133A1
Authority
EP
European Patent Office
Prior art keywords
data
artificial neural
neural network
fet
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21745307.5A
Other languages
German (de)
English (en)
Inventor
Félix Henry
Gordon Clare
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Fondation B Com
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fondation B Com filed Critical Fondation B Com
Publication of EP4183133A1 publication Critical patent/EP4183133A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to the technical field of decoding content, in particular audio or video content.
  • It relates in particular to a method and an electronic device for decoding a data stream, as well as an associated data stream.
  • a processor generally a central processing unit of the electronic device, or CPU for "Central Processing Unit”
  • a parallelized processing unit designed to perform in parallel at a given time a plurality of operations of the same type.
  • a parallelized processing unit is for example a graphics processing unit or GPU (for "Graphical Processing Unit"), or a tensor processing unit or TPU (for "Tensor Processing Unit'), as described for example in the article "Google's Tensor Processing Unit explained: this is what the future of computing looks ///ce", by Joe Osborne, Techradar, August 22, 2016.
  • the present invention proposes a method for decoding a data stream by means of an electronic device comprising a processor, and a parallelized processing unit designed to perform in parallel at a given instant a plurality of operations of the same type, characterized in that the data stream comprises a first set of data and a second set of data representing audio or video content, and in that the method comprises the following steps: - data processing of the first set of data by the processor;
  • the processing of the data of the second set by means of the artificial neural network implemented by the parallelized processing unit can thus be adapted according to the data of the first set contained in the data stream.
  • a flexible and efficient processing of the second data is thus obtained with a view to their decoding by an artificial neural network.
  • the method can thus for example comprise a step of configuring the parallelized processing unit as a function of at least part of the data of the first set of data.
  • the configuration of the parallel processing unit may comprise a parallel processing unit memory allocation and/or a parallel processing unit memory instantiation and/or an assignment of values (depending on said part at least data from the first set of data) to the processing implemented on the parallelized processing unit (here in practice an assignment of weights and/or activation functions defining the artificial neural network, these weights and/or functions d activation being determined as a function of said at least part of the data of the first set of data).
  • the first set of data can comprise descriptive data of the artificial neural network (for example coding data of the artificial neural network).
  • the processor can configure the parallelized processing unit based on this descriptive data.
  • the electronic device can comprise a unit for storing a plurality of sets of parameters respectively defining a plurality of artificial neural networks.
  • the first set of data can in this case comprise an identifier.
  • the processor can then configure the parallelized processing unit on the basis of a set of parameters associated with this identifier from among the plurality of sets of parameters.
  • the processor is for example a microprocessor; the processor can thus successively execute a plurality of instructions of a computer program.
  • the processing of the data of the first set of data can in this case be at least partly carried out due to the execution of at least part of these instructions.
  • the step of configuring the parallelized processing unit can then be performed due to the execution of at least part of these instructions.
  • the decoding method may further comprise a step of identifying the first set of data and the second set of data within the data stream (for example by using a predetermined bit length for the first set of data and/or the second set of data, or through the use of a boundary indicator between the first set of data and the second set of data).
  • the first set of data can also comprise data representative of characteristics of the format of the content encoded by the data stream.
  • the processing of the data of the second set can produce for example at least one raster representation of at least part of an image (for example a block of the image or of a component of the image, or else the entire image).
  • the artificial neural network can receive as input (that is to say at the level of an input layer of the artificial neural network) data from the second set of data.
  • the artificial neural network can also produce as output (that is to say at the level of an output layer of the artificial neural network) the aforementioned matrix representation.
  • the artificial neural network can also receive as input (i.e. at the level of the aforementioned input layer) data produced beforehand as output (i.e. at the output layer) of the artificial neural network.
  • the invention also proposes an electronic device for decoding a data stream comprising a first set of data and a second set of data representing audio or video content, the electronic device comprising:
  • processor adapted to process the data of the first set of data
  • a parallelized processing unit designed to perform in parallel at a given instant a plurality of operations of the same type and adapted to obtain the audio or video content by processing the data of the second set of data according to a process depending on a party at the less of the data of the first set and using an artificial neural network implemented by the parallelized processing unit.
  • the processor can also be adapted to configure the parallelized processing unit according to at least part of the data of the first set of data.
  • the parallelized processing unit can itself be adapted to produce at least one raster representation of at least part of an image.
  • the invention finally proposes a data stream comprising a first set of data and a second set of data representative of an audio or video content, in which the first set of data comprises data defining at least in part a process for processing the data from the second data set using an artificial neural network.
  • this data defining at least in part the processing process can be an identifier of the artificial neural network (among a predetermined set of artificial neural networks) or descriptive data (for example coding) of the artificial neural network.
  • FIG. 2 is a flowchart representing the steps of an encoding method implemented within the electronic encoding device of Figure 1;
  • FIG. 3 is a first example of data flow obtained by the method of Figure 2;
  • FIG. 4 is a second example of data flow obtained by the method of Figure 2;
  • FIG. 5 is a third example of data flow obtained by the method of Figure 2;
  • FIG. 6 is a fourth example of data stream obtained by the method of Figure 2;
  • FIG. 7 shows an electronic coding device according to one embodiment of the invention.
  • FIG. 8 is a flowchart representing the steps of a decoding method implemented within the electronic decoding device of Figure 7.
  • FIG. 1 represents an electronic coding device 2 using at least one artificial neural network 8.
  • This electronic coding device 2 comprises a processor 4 (for example a microprocessor) and a parallelized processing unit 6, for example a graphics processing unit (or GPU for "Graphical Processing Unit') or a tensor processing unit (or TPU for "Tensor Processing Unit”).
  • a processor 4 for example a microprocessor
  • a parallelized processing unit 6 for example a graphics processing unit (or GPU for "Graphical Processing Unit') or a tensor processing unit (or TPU for "Tensor Processing Unit”).
  • processor 4 receives data P, B representing audio or video content to be compressed, here format data P and content data B.
  • the format data P indicates characteristics of the format of representation of the audio or video content, for example for a video content the dimensions (in pixels) of the images, the frame rate, the bit depth of the luminance information and the depth in bits of the chrominance information.
  • the content data B forms a representation (here uncompressed) of the audio or video content.
  • the content data includes, for each pixel of each frame of a sequence images, data representing a luminance value of the pixel and data representing chrominance values of the pixel.
  • the parallelized processing unit 6 is designed to implement an artificial neural network 8 after having been configured by the processor 4. To do this, the parallelized processing unit is designed to perform in parallel at a given instant a plurality operations of the same type.
  • the artificial neural network 8 is used within the framework of a processing of content data B aimed at obtaining compressed data C.
  • the artificial neural network 8 when the content data B is input to the artificial neural network 8, the artificial neural network 8 outputs the compressed data C.
  • the content data B applied at the input of the artificial neural network 8 can represent a block of an image, or a block of a component of an image (for example a block of a luminance or chrominance component of this image, or a block of a color component of this image), or an image of a video sequence, or a component of an image of a video sequence (for example a luminance or chrominance component, or a color component), or even a series of images of the video sequence.
  • the neurons of the input layer may each receive a pixel value of a component of an image, a value represented by one of the content data B.
  • the processing of content data B may comprise the use of several artificial neural networks, as described for example in the aforementioned article 'DVC: An End-to-end Deep Video Compression Framework', by Guo Lu and al., 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.
  • a memory linked to the processor 4 stores for example computer program instructions designed for the implementation of at least part of the steps of the method of FIG. 2 when these instructions are executed by the processor 4.
  • processor 4 is programmed to implement at least some of the steps of FIG. 2.
  • the method of FIG. 2 begins here with an optional step E2 of receiving a list of artificial neural networks accessible by an electronic decoding device.
  • the list is for example received by the processor 4 of the electronic encoding device 2 directly from an electronic decoding device (conforming for example to the electronic decoding device 10 of FIG. 7 described below).
  • the artificial neural networks accessible by the electronic decoding device are artificial neural networks for which the electronic decoding device stores parameters defining the artificial neural network concerned or can have access to these parameters by connection to remote electronic equipment such as a server.
  • the list could be received by processor 4 of electronic device 2 from a remote server, such as the aforementioned server.
  • the method of FIG. 2 continues with a step E4 of selecting an encoding process-decoding process pair.
  • the coding process and the decoding process each use at least one artificial neural network.
  • the coding process is implemented by a coding artificial neural network and the decoding process is implemented by a decoding artificial neural network.
  • the assembly formed by the artificial coding neural network and by the artificial decoding neural network constitutes for example a self -encoder.
  • the coding process - decoding process pair is for example selected from a plurality of predefined coding process - decoding process pairs, that is to say here from a plurality of pairs of artificial neural network coding - network of artificial decoding neurons.
  • the coding process-decoding process pair is for example selected from coding process-decoding process pairs for which the decoding process uses an artificial neural network present in the list received.
  • the coding process/decoding process couple can also be selected according to the intended application (indicated for example by a user by means of a user interface (not shown) of the electronic coding device 2). For example, if the target application is a videoconference, the pair of coding process - decoding process selected includes a low-latency decoding process. In other applications, the pair of coding process - decoding process selected will include a random access decoding process.
  • an image of the video sequence is for example represented by coded data which can be sent and decoded immediately; the data can then be sent in the order in which the video images are displayed, which in this case guarantees a latency of one image between encoding and decoding.
  • the coded data relating respectively to a plurality of images are sent in an order different from the display order of these images, which makes it possible to increase the compression .
  • Images coded without reference to the other images can then be coded regularly, which makes it possible to start the decoding of the video sequence from several places in the coded stream.
  • the couple coding process - decoding process can also be selected in order to obtain the best possible compression-distortion compromise.
  • the coding process/decoding process couple can also be selected as a function of the calculation power available at the level of the electronic decoding device. Information representative of this computing power may previously have been transmitted from the electronic decoding device to the electronic coding device (and received for example by the electronic coding device in step E2 described above).
  • the different criteria for selecting the coding process/decoding process pair can optionally be combined.
  • step E6 the processor 4 proceeds in step E6 to configure the parallelized processing unit 6 so that the parallelized processing unit 6 can implement the coding process. selected.
  • This step E6 comprises in particular the instantiation, within the parallelized processing unit 6, of the coding artificial neural network 8 used by the selected coding process.
  • This instantiation may include the following steps:
  • the method of FIG. 2 then comprises a step E8 of implementing the coding process, that is to say here of applying the content data B as input to the coding artificial neural network 8 (or in other words activation of the coding artificial neural network 8 by taking the content data B as input).
  • Step E8 thus makes it possible to produce (here at the output of the coding artificial neural network 8) the compressed data C.
  • the following steps aim at the coding (that is to say the preparation) of the data stream containing in particular the compressed data C and intended for the electronic decoding device (for example the electronic decoding device 10 described below with reference in Figure 7).
  • the method thus notably comprises a step E10 of encoding a first header part Fc which comprises data characteristic of the format of representation of the audio or video content (here for example data linked to the format of the current video sequence coding).
  • These data forming the first header part Fc indicate for example the dimensions (in pixels) of the images, the frame rate, the bit depth of the luminance information and the bit depth of the chrominance information. These data are for example constructed on the basis of the data of format P mentioned above (after a possible reformatting).
  • step E12 of determining the availability of the decoding artificial neural network (used by the decoding process selected in step E4) for the electronic decoding device capable of decoding the stream data (for example the electronic decoding device 10 described below with reference to FIG. 7).
  • step E2 the processor 4 determines in this case whether the artificial decoding neural network used by the decoding process selected at step E4 is part of the list received in step E2. (Naturally, in the embodiments where the couple coding process - decoding process is systematically chosen to correspond to a network of artificial decoding neurons available for the electronic decoding device, step E12 can be omitted and the method then proceeds to step E14.)
  • the method in the absence of information on the availability of the decoding artificial neural network for the electronic decoding device, the method continues at step E16 (so that descriptive data of the artificial neural network decoding are transmitted to the electronic decoding device as explained below). If the processor 4 determines at step E12 that the decoding artificial neural network is available for the electronic decoding device (arrow P), the method continues at step E14 described below.
  • step E12 determines at step E12 that the decoding artificial neural network is not available for the electronic decoding device (arrow N)
  • the method continues at step E16 described below.
  • step E14 or of step E16 as a step subsequent to step E12 could be carried out on another criterion, for example according to a dedicated indicator stored within the electronic device coding 2 (and possibly adjustable by the user via a user interface of the electronic coding device 2) or according to a choice of the user (obtained for example via a user interface of the electronic coding device 2).
  • the processor 4 proceeds in step E14 to encode a second header part comprising an indicator IND and a third header part here comprising an identifier Inn of the decoding artificial neural network.
  • the IND indicator encoded in the data stream at step E14 indicates that the decoding artificial neural network is part of a predetermined set of artificial neural networks, here the set of artificial neural networks available (or accessible ) for the electronic decoding device (that is to say, for example, all the artificial neural networks of the list received in step E2).
  • the identifier Inn of the decoding artificial neural network is an identifier defining by convention (shared in particular by the electronic coding device and the electronic decoding device) this artificial decoding neural network, for example within the predetermined set aforementioned.
  • the processor 4 proceeds in step E16 to the coding of a second header part comprising an indicator IND′ and of a third header part comprising here descriptive data Rc of the artificial neural network for decoding .
  • the indicator IND' encoded in the data stream in step E16 indicates that the decoding artificial neural network is encoded in the data stream, that is to say represented by means of the aforementioned descriptive data Rc.
  • the decoding artificial neural network is for example coded (that is to say represented) by the descriptive data (or coding data of the decoding artificial neurons) Rc in accordance with a standard such as the MPEG-7 standard part 17 or a format such as the JSON format.
  • step E14 the method of FIG. 2 continues with a step E18 of determining the possibility for the electronic decoding device to implement the decoding process using the artificial neural network of decoding.
  • the processor 4 determines for example this possibility by determining (possibly by means of prior exchanges between the electronic coding device and the electronic decoding device) whether the electronic decoding device comprises a module adapted to implement this decoding process or software adapted to the implementation of this decoding process by the electronic decoding device when this software is executed by a processor of the electronic decoding device.
  • step E22 If the processor 4 determines that it is possible for the electronic decoding device to implement the decoding process, the method continues at step E22 described below.
  • step E20 If the processor 4 determines that it is not possible for the electronic decoding device to implement the decoding process, the method performs step E20 described below (before going to step E22).
  • step E20 could be made on another criterion, for example according to a dedicated indicator stored within the electronic coding device 2 (and possibly adjustable by the user via a user interface of the electronic coding device 2) or according to a choice of the user (obtained for example via a user interface of the electronic coding device 2).
  • the processor 4 encodes in the data stream at step E20 a fourth header part containing a computer program Exe (or code) executable by a electronic decoding device processor.
  • a computer program Exe or code
  • the use of the Exe computer program within the electronic decoding device is described below with reference to Figure 8.
  • the computer program is for example chosen within a library according to information relating to the hardware configuration of the electronic decoding device (information received by example during prior exchanges between the electronic encoding device 2 and the electronic decoding device).
  • the processor 4 then proceeds to a step E22 of coding a compressed stream Fnn on the basis of the compressed data C obtained in step E8.
  • step E8 has been described before the steps of encoding the header Fet (steps E10 to E20). Step E8 could however in practice be carried out just before step E22.
  • step E8 allows the processing of only part of the audio or video content to be compressed (for example when step E8 processes a block, or a component, or an image of a video sequence to be compressed), it is possible to repeat the implementation of steps E8 (to obtain compressed data relating to the successive parts of the content) and E22 (to encode the compressed data obtained in the data stream).
  • the processor 4 can thus construct in step E24 the complete data stream comprising the header Fet and the compressed stream Fnn.
  • the complete data stream is constructed so that the Fet header and the Fnn compressed stream are individually identifiable.
  • the header Fet contains a start indicator of the compressed stream Fnn in the complete data stream.
  • This indicator is for example the location, in bits, of the start of the compressed stream Fnn from the start of the complete data stream. (That is, the header in this case has a predetermined fixed length.)
  • identifying the header Fet and the compressed stream Fnn can be envisaged as a variant, such as for example a marker (i.e. a combination of bits used to indicate the start of the compressed stream Fnn and whose use is prohibited in the rest of the data stream, or at least in the Fet header).
  • a marker i.e. a combination of bits used to indicate the start of the compressed stream Fnn and whose use is prohibited in the rest of the data stream, or at least in the Fet header.
  • these data streams include a header Fet and a compressed stream Fnn.
  • the header comprises:
  • the header comprises:
  • a third part comprising the descriptive data Rc (here the coding data) of the decoding artificial neural network.
  • the header comprises:
  • the header comprises: - a first part Fc comprising the characteristic data of the representation format of the audio or video content;
  • a third part comprising the descriptive data Rc (here the coding data) of the decoding artificial neural network;
  • the data stream constructed in step E24 can be encapsulated in transmission formats known per se, such as the "Packet-Transport System” format or the "Byte-Stream” format.
  • the data is coded by identifiable packets and transmitted over a communication network.
  • the network can easily identify data boundaries (pictures, groups of pictures and here Fet header and Fnn compressed stream), using the packet identification information provided by the network layer.
  • step E24 In the "Byte-Stream" format, there are no specific packets and the construction of step E24 must make it possible to identify the boundaries of the relevant data (such as boundaries between parts of the stream corresponding to each image, and here between Fet header and Fnn compressed stream) using additional means, such as the use of Network Abstraction Layer Units (or NAL Units for "Network Abstraction LayeP), where unique combinations of bits (such as 0x00000001 ) are used to identify boundaries between data).
  • NAL Units for "Network Abstraction LayeP
  • step E24 The complete data stream constructed in step E24 can then be sent in step E26 to the electronic decoding device 26 (by communication means not shown and/or through at least one communication network), or stored within the electronic coding device 2 (for subsequent transmission or, as a variant, subsequent decoding, for example within the electronic coding device itself, which in this case is designed to further implement the decoding method described above below with reference to Figure 8).
  • the method of steps E4 to E24 can optionally be implemented for each of the parts of the content (for example for each group of images) so to obtain a data stream as represented in one of FIGS. 3 to 6 for each part of content (for example for each group of images).
  • the compressed stream Fnn relating to each group of images can be decoded using an artificial neural network specific to the group of images concerned and possibly different from the artificial neural networks used for the other groups of images, as described in the following.
  • the artificial neural networks may possibly have identical structures (and differ only in the weights and/or the activation functions which define a particular artificial neural network).
  • FIG. 7 represents an electronic decoding device 10 using at least one artificial neural network 18.
  • This electronic decoding device 10 comprises a reception unit 11, a processor 14 (for example a microprocessor) and a parallelized processing unit 16, for example a graphics processing unit (or GPU for "Graphical Processing Unit") or a unit tensor processing unit (or TPU for "Tensor Processing Unit”).
  • a graphics processing unit or GPU for "Graphical Processing Unit”
  • a unit tensor processing unit or TPU for "Tensor Processing Unit”
  • the reception unit 11 is for example a communication circuit (such as a radiofrequency communication circuit) and makes it possible to receive data (and in particular here the coded data stream) from an external electronic device, such as the device coding electronics 2, and to communicate these data to the processor 14 (to which the reception unit 11 is for example connected by a bus).
  • a communication circuit such as a radiofrequency communication circuit
  • the electronic decoding device 10 also comprises a storage unit 12, for example a memory (possibly a rewritable non-volatile memory) or a hard disk.
  • a storage unit 12 for example a memory (possibly a rewritable non-volatile memory) or a hard disk.
  • the storage unit 12 is represented in FIG. 7 as a separate element from the processor 14, the storage unit 12 could alternatively be integrated into (that is to say included in) the processor 14.
  • the processor 14 is in this case designed to successively execute a plurality of instructions of a computer program stored for example in the storage unit 12.
  • the parallelized processing unit 16 is designed to implement the artificial neural network 18 after having been configured by the processor 14. To do this, the parallelized processing unit 16 is designed to perform in parallel at a given instant a plurality of operations of the same type. As schematically represented in FIG. 7, the processor 14 receives a data stream (for example via communication means not represented of the electronic decoding device 10) comprising a first set of data, here the header Fet, and a second set of data representative of the audio or video content, here the compressed stream Fnn.
  • a data stream for example via communication means not represented of the electronic decoding device 10.
  • the artificial neural network 18 is used in the context of a processing of the second set of data (that is to say here compressed data Fnn) to obtain an audio or video content corresponding to the content initial audio or video B.
  • the storage unit 12 can store a plurality of sets of parameters, each set of parameters defining a network of artificial decoding neurons.
  • the processor 14 can in this case configure the parallelized processing unit 16 by means of a particular set of parameters among these sets of parameters so that the parallelized processing unit 16 can then implement the artificial neural network defined by this particular set of parameters.
  • the storage unit 12 can in particular store a first set of parameters defining a first network of artificial neurons forming a random access decoder and/or a second set of parameters defining a second network of artificial neurons forming a low latency decoder.
  • the electronic decoding device 10 in this case holds decoding possibilities in advance both for situations where it is desired to obtain random access to the content and for situations where it is desired to display the content without delay.
  • This method can begin with an optional step of transmission, by the electronic decoding device 10 and intended for a device for controlling the transmission of the data stream to be decoded, of a list L of artificial neural networks accessible by the electronic decoding device 10.
  • the data stream transmission control device may for example be the electronic coding device 2.
  • the electronic coding device 2 in this case receives this list L at step E2 described above with reference to Figure 2.
  • the device for controlling the transmission of the data stream could be a dedicated server, operating in cooperation with the electronic coding device 2.
  • the artificial neural networks accessible by the electronic decoding device 10 are the artificial neural networks for which the electronic decoding device 10 stores a set of parameters defining the artificial neural network concerned (as indicated above) or can have access to this set of parameters by connection to remote electronic equipment such as a server (as explained below).
  • the method of FIG. 8 comprises a step E52 of reception (by the electronic decoding device 10, and precisely here by the reception unit 11) of the data stream comprising the first set of data, namely the header Feet; and the second set of data, namely the compressed stream Fnn.
  • the receiving unit 11 transmits the received data stream to the processor 14.
  • the processor 14 then proceeds to a step E54 of identifying the first set of data (header Fet) and the second set of data (compressed stream Fnn) within the data stream received, for example by means of the indicator start of compressed stream (already mentioned during the description of step E24).
  • the processor 14 can also identify in step E54 the different parts of the first set of data (header), namely here within the header Fet: the first part Fc (comprising data representative of characteristics of the format of the content encoded by the data stream), the second part (IND or IND' indicator), the third part (Inn identifier or Rc encoding data) and possibly the fourth part (Exe computer program), as illustrated in Figures 3 to 6 described above.
  • the first part Fc comprising data representative of characteristics of the format of the content encoded by the data stream
  • the second part IND or IND' indicator
  • the third part Inn identifier or Rc encoding data
  • Example computer program the fourth part
  • the processor 14 can launch at step E56 the execution of these executable instructions in order to implement at least some of the steps (described below) for processing the data of the first set of data.
  • These instructions can be executed by the processor 14 or, as a variant, by a virtual machine instantiated within the electronic decoding device 10.
  • the method of FIG. 7 continues with a step E58 of decoding data Fc characteristic of the format for representing the audio or video content so as to obtain characteristics of this format.
  • the decoding of the Fc data makes it possible to obtain the dimensions (in pixels) of the images and/or the frame rate and/or the bit depth of the luminance information and/or the bit depth of the chrominance information.
  • the processor 14 then proceeds (in certain embodiments, due to the execution of instructions identified within the first set of data at step E54, as already indicated) to a step E60 of decoding the indicator IND , IND' contained here in the second part of the Fet header.
  • the method continues at step E62 described below.
  • the method continues at step E66 described below.
  • the processor 14 proceeds (in certain embodiments, due to the execution of instructions identified within the first set of data at step E54, as already indicated) to the decoding of the identifier Inn (contained here in the third part of the Fet header).
  • this identifier Inn is an identifier designating the decoding artificial neural network 18, for example within the predetermined set of artificial neural networks mentioned above.
  • the processor 14 can then proceed (in certain embodiments, due to the execution of instructions identified within the first set of data at step E54, as already indicated) to step E64 with reading, by example in unit storage 12, of a set of parameters associated with the decoded identifier Inn (this set of parameters defining the artificial neural network identified by the decoded identifier Inn).
  • provision may be made for the processor 14 to generate an error message in the event of absence (here within the storage unit 12) of data (in particular of parameters) relating to this artificial neural network identified by the decoded identifier Inn.
  • the electronic decoding device 10 can transmit (in certain modes implementation, due to the execution of instructions identified within the first set of data in step E54, as already indicated) a request for a set of parameters intended for a remote server (this request including by example the decoded identifier Inn) and receive in response to step E64 the set of parameters defining the artificial neural network identified by the decoded identifier Inn.
  • the processor 14 proceeds (in certain embodiments, due to the execution of instructions identified within the first set of data at step E54, as already indicated) to the decoding of the descriptive data Rc of the artificial neural network 18 (contained here in the third part of the Fet header).
  • these descriptive data (or coding data) Rc are for example coded in accordance with a standard such as the MPEG-7 part 17 standard or in a format such as the JSON format.
  • the decoding of the descriptive data Rc makes it possible to obtain the parameters defining the artificial neural network to be used for the decoding of the data of the second set of data (that is to say here data of the compressed stream Fnn).
  • the processor 14 then proceeds (in certain embodiments, due to the execution of instructions identified within the first set of data at step E54, as already indicated) at step E68 to configure the parallelized processing unit 16 by means of the parameters defining the artificial neural network decoding 18 (parameters obtained in step E64 or in step E66) so that the parallelized processing unit 16 can implement the decoding artificial neural network 18.
  • This configuration step E68 includes in particular the instantiation of the decoding artificial neural network 18 within the parallelized processing unit 16, here by using the parameters obtained in step E64 or in step E66.
  • This instantiation may include the following steps:
  • the processor 14 can then apply (ie present) at step E70 the data of the second set of data (here data from the compressed stream Fnn) to the artificial neural network 18 implemented by the parallelized processing unit 16 so that these data are processed by a decoding process using at least in part the artificial neural network 18.
  • the artificial neural network 18 receives data from the second set of data Fnn as input and produces as output a representation I of the coded content suitable for reproduction on an audio or video reproduction device.
  • the data of the second data set Fnn is applied to the input layer of the artificial neural network 18 and the output layer of the artificial neural network 18 produces the aforementioned representation I of the encoded content.
  • the artificial neural network 18 thus produces at the output (that is to say at the level of its output layer) at least one matrix representation I of an image.
  • the artificial neural network 18 can receive as input at least some of the data produced at the output of the neural network artificial 18 during the processing of previous data (corresponding for example to the previous block or to the previous image) in the compressed stream Fc. In this case, a step E72 of reinjecting data produced at the output of the artificial neural network 18 into the input of the artificial neural network 18 is carried out.
  • the decoding process could use a plurality of artificial neural networks, as already mentioned above with regard to the processing of content data B.
  • the data of the second set (here some data at least from the compressed stream Fnn) have thus been processed by a process depending on part of the data of the first set (process depending here on the identifier Inn or the coding data Rc) and using the artificial neural network 18 implemented by the parallelized processing unit 16.
  • the processor 14 determines in step E74 if the processing of the compressed stream Fnn by means of the artificial neural network 18 is finished.
  • step E70 the method loops to step E70 for application of other data from the compressed stream Fnn to the artificial neural network 18.
  • step E76 the processor 14 determines whether there remains data to be processed in the data stream received.
  • step E76 In the event of a negative determination (N) at step E76, the method is terminated at step E78.
  • step E76 the method loops to step E52 for processing a new part of the data stream as represented in one of FIGS. 3 to 6.
  • this other part of the data stream then also comprises a first set of data and a second set of data representative of another audio or video content (for example, in the case of video content, another group of images for the format of representation of the content used).
  • Another artificial neural network can in this case be determined on the basis of some of these first data (Inn identifier or Rc coding data), as described above in steps E54 to E66, then the parallelized processing unit 16 can be configured to implement this other artificial neural network (in accordance with step E68 described above).
  • the data of the second data set of this other part of the data stream (relating for example to the other group of images mentioned above) can thus be decoded by means of this other artificial neural network (as described above at l step E70).
  • the other artificial neural network which has just been mentioned can have a structure identical to the artificial neural network 18 mentioned above, which simplifies the step of configuring the parallelized processing unit 16 (only the weights and/or or the activation functions defining the current artificial neural network being for example updated).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Dans un procédé de décodage d'un flux de données au moyen d'un dispositif électronique (10) comprenant un processeur (14), et une unité de traitement parallélisé (16) conçue pour effectuer en parallèle à un instant donné une pluralité d'opérations du même type, le flux de données comprend un premier ensemble de données (Fet) et un second ensemble de données (Fnn) représentatives d'un contenu audio ou vidéo. Le procédé de décodage comprend les étapes suivantes : - traitement des données du premier ensemble de données (Fet) par le processeur (14); - obtention du contenu audio ou vidéo par traitement (E70) des données du second ensemble de données (Fnn) selon un processus dépendant d'une partie au moins des données du premier ensemble (Fet) et utilisant un réseau de neurones artificiels (18) mis en œuvre par l'unité de traitement parallélisé (16).

Description

DECODAGE VIDEO PARALLELISE UTILISANT UN RESEAU DE NEURONES
Domaine technique de l'invention
La présente invention concerne le domaine technique du décodage de contenus, notamment de contenus audio ou vidéo.
Elle concerne en particulier un procédé et un dispositif électronique de décodage d’un flux de données, ainsi qu’un flux de données associé.
Etat de la technique
Il est connu, notamment dans le domaine du décodage vidéo, d’utiliser un dispositif électronique comprenant à la fois un processeur (généralement une unité centrale du dispositif électronique, ou CPU pour " Central Processing Unit') et une unité de traitement parallélisé conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type. Une telle unité de traitement parallélisé est par exemple une unité de traitement graphique ou GPU (pour " Graphical Processing Unit'), ou une unité de traitement de tenseur ou TPU (pour "Tensor Processing Unit'), telle que décrite par exemple dans l’article " Google’s Tensor Processing Unit explained: this is what the future of computing looks ///ce", de Joe Osborne, Techradar, 22 août 2016.
Il a par ailleurs été proposé de compresser des données représentatives d’un contenu vidéo au moyen d’un réseau de neurones artificiels. Le décodage des données compressées peut alors s’effectuer au moyen d’un autre réseau de neurones artificiels, comme décrit par exemple dans l’article " DVC : An End-to-end Deep Video Compression Framework', de Guo Lu et al., 2019 IEEE/CVF Conférence on Computer Vision and Pattern Récognition (CVPR), Long Beach, CA, USA, 2019, pp. 10998- 11007.
Présentation de l'invention
Dans ce contexte, la présente invention propose un procédé de décodage d’un flux de données au moyen d’un dispositif électronique comprenant un processeur, et une unité de traitement parallélisé conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type, caractérisé en ce que le flux de données comprend un premier ensemble de données et un second ensemble de données représentatives d’un contenu audio ou vidéo, et en ce que le procédé comprend les étapes suivantes : - traitement des données du premier ensemble de données par le processeur ;
- obtention du contenu audio ou vidéo par traitement des données du second ensemble de données selon un processus dépendant d’une partie au moins des données du premier ensemble et utilisant un réseau de neurones artificiels mis en oeuvre par l’unité de traitement parallélisé.
Le traitement des données du second ensemble au moyen du réseau de neurones artificiels mis en oeuvre par l’unité de traitement parallélisé peut ainsi être adapté en fonction des données du premier ensemble contenues dans le flux de données. On obtient ainsi un traitement souple et efficace des secondes données en vue de leur décodage par un réseau de neurones artificiels.
Le procédé peut ainsi par exemple comprendre une étape de configuration de l’unité de traitement parallélisé en fonction d’une partie au moins des données du premier ensemble de données.
La configuration de l’unité de traitement parallélisé peut comprendre une allocation de mémoire de l’unité de traitement parallélisé et/ou une instanciation de la mémoire de l’unité de traitement parallélisé et/ou une affectation de valeurs (en fonction de ladite partie au moins des données du premier ensemble de données) aux traitements implémentés sur l’unité de traitement parallélisé (ici en pratique une affectation de poids et/ou de fonctions d’activation définissant le réseau de neurones artificiels, ces poids et/ou fonctions d’activation étant déterminés en fonction de ladite partie au moins des données du premier ensemble de données).
Selon une première possibilité, le premier ensemble de données peut comprendre des donnés descriptives du réseau de neurones artificiels (par exemple des données de codage du réseau de neurones artificiels). Dans ce cas, à l’étape de configuration, le processeur peut configurer l’unité de traitement parallélisé sur la base de ces données descriptives.
Selon une seconde possibilité, le dispositif électronique peut comprendre une unité de stockage d’une pluralité de jeux de paramètres définissant respectivement une pluralité de réseaux de neurones artificiels. Le premier ensemble de données peut dans ce cas comprendre un identifiant. À l’étape de configuration, le processeur peut alors configurer l’unité de traitement parallélisé sur la base d’un jeu de paramètres associé à cet identifiant parmi la pluralité de jeux de paramètres. Le processeur est par exemple un microprocesseur ; le processeur peut ainsi exécuter successivement une pluralité d’instructions d’un programme d’ordinateur.
On peut prévoir par ailleurs que le flux de données comprenne en outre des instructions exécutables (par exemple par le processeur, ou en variante par une machine virtuelle) au sein du dispositif électronique. Le traitement des données du premier ensemble de données peut dans ce cas être au moins en partie effectué du fait de l’exécution d’une partie au moins de ces instructions.
En particulier, l’étape de configuration de l’unité de traitement parallélisé peut alors être effectuée du fait de l’exécution d’une partie au moins de ces instructions.
Le procédé de décodage peut comprendre par ailleurs une étape d’identification du premier ensemble de données et du second ensemble de données au sein du flux de données (par exemple grâce à l’utilisation d’une longueur en bits prédéterminée pour le premier ensemble de données et/ou le second ensemble de données, ou grâce à l’utilisation d’un indicateur de frontière entre le premier ensemble de données et le second ensemble de données).
Le premier ensemble de données peut par ailleurs comprendre des données représentatives de caractéristiques du format du contenu codé par le flux de données.
Lorsque le contenu est un contenu vidéo (c’est-à-dire que ce contenu comprend au moins une image, éventuellement une séquence d’images), le traitement des données du second ensemble peut produire par exemple au moins une représentation matricielle d’une partie au moins d’une image (par exemple un bloc de l’image ou d’une composante de l’image, ou encore l’image entière).
Le réseau de neurones artificiels peut recevoir en entrée (c’est-à-dire au niveau d’une couche d’entrée du réseau de neurones artificiels) des données du second ensemble de données. Le réseau de neurones artificiels peut par ailleurs produire en sortie (c’est-à-dire au niveau d’une couche de sortie du réseau de neurones artificiels) la représentation matricielle précitée.
Selon une possibilité de réalisation, le réseau de neurones artificiels peut recevoir en outre en entrée (c’est-à-dire au niveau de la couche d’entrée susmentionnée) des données produites au préalable en sortie (c’est-à-dire au niveau de la couche de sortie) du réseau de neurones artificiels.
L'invention propose également un dispositif électronique de décodage d’un flux de données comprenant un premier ensemble de données et un second ensemble de données représentatives d’un contenu audio ou vidéo, le dispositif électronique comprenant :
- un processeur adapté à traiter les données du premier ensemble de données ;
- une unité de traitement parallélisé conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type et adaptée à obtenir le contenu audio ou vidéo par traitement des données du second ensemble de données selon un processus dépendant d’une partie au moins des données du premier ensemble et utilisant un réseau de neurones artificiels mis en oeuvre par l’unité de traitement parallélisé.
Comme déjà indiqué, le processeur peut en outre être adapté à configurer l’unité de traitement parallélisé en fonction d’une partie au moins des données du premier ensemble de données.
L’unité de traitement parallélisé peut quant à elle être adaptée pour produire au moins une représentation matricielle d’une partie au moins d’une image.
L’invention propose enfin un flux de données comprenant un premier ensemble de données et un second ensemble de données représentatives d’un contenu audio ou vidéo, dans lequel le premier ensemble de données comprend des données définissant au moins en partie un processus de traitement des données du second ensemble de données utilisant un réseau de neurones artificiels.
Comme déjà indiqué et expliqué dans la suite, ces données définissant au moins en partie le processus de traitement peuvent être un identifiant du réseau de neurones artificiels (parmi un ensemble prédéterminé de réseaux de neurones artificiels) ou des données descriptives (par exemple des données de codage) du réseau de neurones artificiels.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres.
Description détaillée de l'invention
De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où : - la figure 1 représente un dispositif électronique de codage utilisé dans le cadre de l’invention ;
- la figure 2 est un logigramme représentant des étapes d’un procédé de codage mis en oeuvre au sein du dispositif électronique de codage de la figure 1 ;
- la figure 3 est un premier exemple de flux de données obtenu par le procédé de la figure 2 ;
- la figure 4 est un second exemple de flux de données obtenu par le procédé de la figure 2 ;
- la figure 5 est un troisième exemple de flux de données obtenu par le procédé de la figure 2 ;
- la figure 6 est un quatrième exemple de flux de données obtenu par le procédé de la figure 2 ;
- la figure 7 représente un dispositif électronique de codage selon un mode de réalisation de l’invention ; et
- la figure 8 est un logigramme représentant des étapes d’un procédé de décodage mis en oeuvre au sein du dispositif électronique de décodage de la figure 7.
La figure 1 représente un dispositif électronique de codage 2 utilisant au moins un réseau de neurones artificiels 8.
Ce dispositif électronique de codage 2 comprend un processeur 4 (par exemple un microprocesseur) et une unité de traitement parallélisé 6, par exemple une unité de traitement graphique (ou GPU pour "Graphical Processing Unit') ou une unité de traitement de tenseur (ou TPU pour "Tensor Processing Unit').
Comme schématiquement représenté en figure 1 , le processeur 4 reçoit des données P, B représentant un contenu audio ou vidéo à compresser, ici des données de format P et des données de contenu B.
Les données de format P indiquent des caractéristiques du format de représentation du contenu audio ou vidéo, par exemple pour un contenu vidéo les dimensions (en pixels) des images, la fréquence d’image, la profondeur en bits des informations de luminance et la profondeur en bits des informations de chrominance.
Les données de contenu B forment une représentation (ici non compressée) du contenu audio ou vidéo. Par exemple, dans le cas d’un contenu vidéo, les données de contenu comprennent, pour chaque pixel de chaque image d’une séquence d’images, des données représentant une valeur de luminance du pixel et des données représentant des valeurs de chrominance du pixel.
L’unité de traitement parallélisé 6 est conçue pour mettre en oeuvre un réseau de neurones artificiels 8 après avoir été configurée par le processeur 4. Pour ce faire, l’unité de traitement parallélisé est conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type.
Comme expliqué dans la suite, le réseau de neurones artificiels 8 est utilisé dans le cadre d’un traitement des données de contenu B visant à obtenir des données compressées C.
Dans le mode de réalisation décrit ici, lorsque les données de contenu B sont appliquées en entrée du réseau de neurones artificiels 8, le réseau de neurones artificiels 8 produit en sortie les données compressées C.
Les données de contenu B appliquées en entrée du réseau de neurones artificiels 8 (c’est-à-dire appliquées à une couche d’entrée du réseau de neurones artificiels 8) peuvent représenter un bloc d’une image, ou un bloc d’une composante d’une image (par exemple un bloc d’une composante de luminance ou de chrominance de cette image, ou un bloc d’une composante de couleur de cette image), ou une image d’une séquence vidéo, ou une composante d’une image d’une séquence vidéo (par exemple une composante de luminance ou de chrominance, ou une composant de couleur), ou encore une série d’images de la séquence vidéo.
On peut prévoir par exemple dans ce cas que certains au moins des neurones de la couche d’entrée reçoivent chacun une valeur de pixel d’une composante d’une image, valeur représentée par l’une des données de contenu B.
En variante, le traitement des données de contenu B peut comprendre l’utilisation de plusieurs réseaux de neurones artificiels, comme décrit par exemple dans l’article précité " DVC : An End-to-end Deep Video Compression Framework', de Guo Lu et al., 2019 IEEE/CVF Conférence on Computer Vision and Pattern Récognition (CVPR), juin 2019.
On décrit à présent en référence à la figure 2 un exemple de procédé de codage mis en oeuvre par le dispositif électronique de codage 2.
Une mémoire liée au processeur 4 mémorise par exemple des instructions de programme d’ordinateur conçues pour la mise en oeuvre d’une partie au moins des étapes du procédé de la figure 2 lorsque ces instructions sont exécutées par le processeur 4. Autrement dit, le processeur 4 est programmé pour mettre en oeuvre une partie au moins des étapes de la figure 2.
Le procédé de la figure 2 débute ici par une étape optionnelle E2 de réception d’une liste de réseaux de neurones artificiels accessibles par un dispositif électronique de décodage.
La liste est par exemple reçue par le processeur 4 du dispositif électronique de codage 2 directement en provenance d’un dispositif électronique de décodage (conforme par exemple au dispositif électronique de décodage 10 de la figure 7 décrit plus loin).
Comme expliqué ci-dessous, les réseaux de neurones artificiels accessibles par le dispositif électronique de décodage sont des réseaux de neurones artificiels pour lesquels le dispositif électronique de décodage mémorise des paramètres définissant le réseau de neurones artificiels concerné ou peut avoir accès à ces paramètres par connexion à un équipement électronique distant tel qu’un serveur.
En variante, la liste pourrait être reçue par le processeur 4 du dispositif électronique 2 en provenance d’un serveur distant, tel que le serveur précité.
Le procédé de la figure 2 se poursuit par une étape E4 de sélection d’un couple processus de codage - processus de décodage. Comme déjà indiqué pour le processus de codage, le processus de codage et le processus de décodage utilisent chacun au moins un réseau de neurones artificiels.
Dans l’exemple décrit ici, le processus de codage est mis en oeuvre par un réseau de neurones artificiels de codage et le processus de décodage est mis en oeuvre par un réseau de neurones artificiels de décodage.
L’ensemble formé par le réseau de neurones artificiels de codage et par le réseau de neurones artificiels de décodage (la sortie du réseau de neurones artificiels de codage étant appliquée à l’entrée du réseau de neurones artificiels de décodage) constitue par exemple un auto-encodeur.
Le couple processus de codage - processus de décodage est par exemple sélectionné parmi une pluralité de couples processus de codage - processus de décodage prédéfinis, c’est-à-dire ici parmi une pluralité de couples réseau de neurones artificiels de codage - réseau de de neurones artificiels de décodage.
Lorsqu’une liste de réseaux de neurones artificiels accessibles par un dispositif électronique de décodage est préalablement reçue (comme expliqué ci-dessus à l’étape E2), le couple processus de codage - processus de décodage est par exemple sélectionné parmi des couples processus de codage - processus de décodage pour lesquels le processus de décodage utilise un réseau de neurones artificiels présent dans la liste reçue.
Le couple processus de codage - processus de décodage peut également être sélectionné en fonction de l’application visée (indiquée par exemple par un utilisateur au moyen d’une interface utilisateur non représentée du dispositif électronique de codage 2). Par exemple, si l’application visée est une visioconférence, le couple processus de codage - processus de décodage sélectionné comprend un processus de décodage à faible latence. Dans d’autres applications, le couple processus de codage - processus de décodage sélectionné comprendra un processus de décodage à accès aléatoire.
Dans un processus de décodage à faible latence d’une séquence vidéo, une image de la séquence vidéo est par exemple représentée par des données codées qui peuvent être envoyées et décodées immédiatement ; les données peuvent alors être envoyées dans l’ordre d’affichage des images de la vidéo, ce qui garantit dans ce cas une latence d’une image entre le codage et le décodage.
Dans un processus de décodage à accès aléatoire d’une séquence vidéo, les données codées relatives respectivement à une pluralité d’images sont envoyées dans un ordre différent de l’ordre d’affichage de ces images, ce qui permet d’augmenter la compression. Des images codées sans référence aux autres images (images dites intra) peuvent alors être codées régulièrement, ce qui permet de démarrer le décodage de la séquence vidéo depuis plusieurs endroits dans le flux codé.
On pourra se référer à ce sujet à l’article " OverView ofthe High Efficiency Video Coding (HEVC) Standard', de G. J. Sullivan, J. -R. Ohm, W.-J. Han and T. Wiegand, in IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1649-1668, déc. 2012.
Le couple processus de codage - processus de décodage peut également être sélectionné afin d’obtenir le meilleur compromis compression-distorsion possible.
Pour ce faire, on peut appliquer aux données de contenu B une pluralité d’ensembles processus de codage - processus de décodage et sélectionner l’ensemble pour lequel le meilleur compromis compression-distorsion est atteint. En variante, on peut déterminer le type de contenu (par exemple par analyse des données de contenu B) et sélectionner le couple processus de codage - processus de décodage en fonction du type déterminé.
Le couple processus de codage - processus de décodage peut également être sélectionné en fonction de la puissance de calcul disponible au niveau du dispositif électronique de décodage. Une information représentative de cette puissance de calcul peut au préalable avoir été transmise du dispositif électronique de décodage au dispositif électronique de codage (et reçue par exemple par le dispositif électronique de codage à l’étape E2 décrite ci-dessus).
Les différents critères de sélection du couple processus de codage - processus de décodage peuvent éventuellement être combinés.
Une fois le couple processus de codage - processus de décodage sélectionné, le processeur 4 procède à l’étape E6 à la configuration de l’unité de traitement parallélisé 6 afin que l’unité de traitement parallélisé 6 puisse mettre en oeuvre le processus de codage sélectionné.
Cette étape E6 comprend en particulier l’instanciation, au sein de l’unité de traitement parallélisé 6, du réseau de neurones artificiels de codage 8 utilisé par le processus de codage sélectionné.
Cette instanciation peut notamment comprendre les étapes suivantes :
- réservation, au sein de l’unité de traitement parallélisé 6, de l’espace mémoire nécessaire à la mise en oeuvre du réseau de neurones artificiels de codage ; et/ou
- programmation de l’unité de traitement parallélisé 6 avec les poids W et les fonctions d’activation définissant le réseau de neurones artificiels de codage 8 ; et/ou
- chargement d’une partie au moins des données de contenu B sur une mémoire locale de l’unité de traitement parallélisé 6.
Le procédé de la figure 2 comprend alors une étape E8 de mise en oeuvre du processus de codage, c’est-à-dire ici d’application des données de contenu B en entrée du réseau de neurones artificiels de codage 8 (ou autrement dit d’activation du réseau de neurones artificiels de codage 8 en prenant en entrée les données de contenu B).
L’étape E8 permet ainsi de produire (ici en sortie du réseau de neurones artificiels de codage 8) les données compressées C. Les étapes qui suivent visent le codage (c’est-à-dire la préparation) du flux de données contenant notamment les données compressées C et destiné au dispositif électronique de décodage (par exemple le dispositif électronique de décodage 10 décrit ci-dessous en référence à la figure 7). Le procédé comprend ainsi notamment une étape E10 de codage d’une première partie Fc d’en-tête qui comprend des données caractéristiques du format de représentation du contenu audio ou vidéo (ici par exemple des données liées au format de la séquence vidéo en cours de codage).
Ces données formant la première partie Fc d’en-tête indiquent par exemple les dimensions (en pixels) des images, la fréquence d’image, la profondeur en bits des informations de luminance et la profondeur en bits des informations de chrominance. Ces données sont par exemple construites sur la base des données de format P susmentionnées (après un reformatage éventuel).
Le procédé de la figure 2 se poursuit alors par une étape E12 de détermination de la disponibilité du réseau de neurones artificiels de décodage (utilisé par le processus de décodage sélectionné à l’étape E4) pour le dispositif électronique de décodage susceptible de décoder le flux de données (par exemple le dispositif électronique de décodage 10 décrit ci-dessous en référence à la figure 7).
Cette détermination peut être réalisée sur la base de la liste reçue à l’étape E2 : le processeur 4 détermine dans ce cas si le réseau de neurones artificiels de décodage utilisé par le processus de décodage sélectionné à l’étape E4 fait partie de la liste reçue à l’étape E2. (Naturellement, dans les modes de réalisation où le couple processus de codage - processus de décodage est systématiquement choisi pour correspondre à un réseau de neurones artificiels de décodage disponible pour le dispositif électronique de décodage, l’étape E12 peut être omise et le procédé se poursuit alors à l’étape E14.)
Selon une possibilité de réalisation, en l’absence d’information sur la disponibilité du réseau de neurones artificiels de décodage pour le dispositif électronique de décodage, le procédé se poursuit à l’étape E16 (afin que des données descriptives du réseau de neurones artificiels de décodage soient transmises au dispositif électronique de décodage comme expliqué ci-dessous). Si le processeur 4 détermine à l’étape E12 que le réseau de neurones artificiels de décodage est disponible pour le dispositif électronique de décodage (flèche P), le procédé se poursuit à l’étape E14 décrite plus bas.
Si le processeur 4 détermine à l’étape E12 que le réseau de neurones artificiels de décodage n’est pas disponible pour le dispositif électronique de décodage (flèche N), le procédé se poursuit à l’étape E16 décrite plus bas.
En variante, le choix de l’étape E14 ou de l’étape E16 en tant qu’étape postérieure à l’étape E12 pourrait être réalisé sur un autre critère, par exemple en fonction d’un indicateur dédié mémorisé au sein du dispositif électronique de codage 2 (et éventuellement réglable par l’utilisateur via une interface utilisateur du dispositif électronique de codage 2) ou en fonction d’un choix de l’utilisateur (obtenu par exemple via une interface utilisateur du dispositif électronique de codage 2).
Le processeur 4 procède à l’étape E14 au codage d’une seconde partie d’en- tête comprenant un indicateur IND et d’une troisième partie d’en-tête comprenant ici un identifiant Inn du réseau de neurones artificiels de décodage.
L’indicateur IND codé dans le flux de données à l’étape E14 indique que le réseau de neurones artificiels de décodage fait partie d’un ensemble prédéterminé de réseaux de neurones artificiels, ici l’ensemble des réseaux de neurones artificiels disponibles (ou accessibles) pour le dispositif électronique de décodage (c’est-à-dire par exemple l’ensemble des réseaux de neurones artificiels de la liste reçue à l’étape E2).
L’identifiant Inn du réseau de neurones artificiels de décodage est un identifiant définissant par convention (partagée notamment par le dispositif électronique de codage et le dispositif électronique de décodage) ce réseau de neurones artificiels de décodage, par exemple au sein de l’ensemble prédéterminé susmentionné.
Le processeur 4 procède à l’étape E16 au codage d’une seconde partie d’en- tête comprenant un indicateur IND’ et d’une troisième partie d’en-tête comprenant ici des données descriptives Rc du réseau de neurones artificiels de décodage.
L’indicateur IND’ codé dans le flux de données à l’étape E16 indique que le réseau de neurones artificiels de décodage est codé dans le flux de données, c’est-à- dire représenté au moyen des données descriptives Rc précitées.
Le réseau de neurones artificiels de décodage est par exemple codé (c’est-à- dire représenté) par les données descriptives (ou données de codage du réseau de neurones artificiels de décodage) Rc conformément à une norme telle que la norme MPEG-7 partie 17 ou à un format tel que le format JSON.
On pourra se référer à ce sujet à l’article "DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression", de S. Wiedemann et al., in Proceedings of the 36th International Conférence on Machine Learning, Long Beach, California, PMLR 97, 2019, ou à l’article "Compact and Computationally Efficient Représentation of Deep Neural Networks", de S. Wiedemann et al., in IEEE Transactions on Neural Networks and Learning Systems (Vol. 31 , Iss. 3), mars 2020.
Après l’étape E14 comme après l’étape E16, le procédé de la figure 2 se poursuit par une étape E18 de détermination de la possibilité pour le dispositif électronique de décodage de mettre en oeuvre le processus de décodage utilisant le réseau de neurones artificiels de décodage.
Le processeur 4 détermine par exemple cette possibilité en déterminant (éventuellement au moyen d’échanges préalables entre le dispositif électronique de codage et le dispositif électronique de décodage) si le dispositif électronique de décodage comprend un module adapté à mettre en oeuvre ce processus de décodage ou un logiciel adapté à la mise en oeuvre de ce processus de décodage par le dispositif électronique de décodage lorsque ce logiciel est exécuté par un processeur du dispositif électronique de décodage.
Si le processeur 4 détermine qu’il est possible pour le dispositif électronique de décodage de mettre en oeuvre le processus de décodage, le procédé se poursuit à l’étape E22 décrite plus bas.
Si le processeur 4 détermine qu’il n’est pas possible pour le dispositif électronique de décodage de mettre en oeuvre le processus de décodage, le procédé effectue l’étape E20 décrite ci-dessous (avant de passer à l’étape E22).
En variante, le choix d’effectuer ou non l’étape E20 (avant d’effectuer l’étape E22) pourrait être réalisé sur un autre critère, par exemple en fonction d’un indicateur dédié mémorisé au sein du dispositif électronique de codage 2 (et éventuellement réglable par l’utilisateur via une interface utilisateur du dispositif électronique de codage 2) ou en fonction d’un choix de l’utilisateur (obtenu par exemple via une interface utilisateur du dispositif électronique de codage 2).
Le processeur 4 code dans le flux de données à l’étape E20 une quatrième partie d’en-tête contenant un programme d’ordinateur Exe (ou code) exécutable par un processeur du dispositif électronique de décodage. (L’utilisation du programme d’ordinateur Exe au sein du dispositif électronique de décodage est décrite ci-dessous en référence à la figure 8.)
Afin d’être adapté à une exécution au sein du dispositif électronique de décodage, le programme d’ordinateur est par exemple choisi au sein d’une bibliothèque en fonction d’informations relatives à la configuration matérielle du dispositif électronique de décodage (informations reçues par exemple au cours d’échanges préalables entre le dispositif électronique de codage 2 et le dispositif électronique de décodage).
Le processeur 4 procède ensuite à une étape E22 de codage d’un flux compressé Fnn sur la base des données compressées C obtenues à l’étape E8.
On remarque à ce sujet que, dans la description qui précède, l’étape E8 a été décrite avant les étapes de codage de l’en-tête Fet (étapes E10 à E20). L’étape E8 pourrait toutefois en pratique être réalisée juste avant l’étape E22.
En particulier, lorsque l’étape E8 permet le traitement d’une partie seulement du contenu audio ou vidéo à compresser (par exemple lorsque l’étape E8 effectue le traitement d’un bloc, ou d’une composante, ou d’une image d’une séquence vidéo à compresser), il est possible de répéter la mise en oeuvre des étapes E8 (pour obtenir des données compressées relatives aux parties successives du contenu) et E22 (pour coder dans le flux de données les données compressés obtenues).
Le processeur 4 peut ainsi construire à l’étape E24 le flux de données complet comprenant l’en-tête Fet et le flux compressé Fnn.
Le flux de données complet est construit de sorte que l’en-tête Fet et le flux compressé Fnn soient identifiables individuellement.
Selon une possibilité de réalisation, l’en-tête Fet contient un indicateur de début du flux compressé Fnn dans le flux de données complet. Cet indicateur est par exemple la localisation, en bits, du début du flux compressé Fnn à partir du début du flux de donnée complet. (Autrement dit, l’en-tête a dans ce cas une longueur fixe prédéterminée.)
D’autres moyens d’identification de l’en-tête Fet et du flux compressé Fnn sont envisageables en variante, comme par exemple un marqueur (c’est-à-dire une combinaison de bits utilisée pour indiquer le début du flux compressé Fnn et dont l’usage est interdit dans le reste du flux de données, ou au moins dans l’en-tête Fet). On a représenté sur les figures 3 à 6 des exemples de flux de données complet qu’il est possible d’obtenir par le procédé de la figure 2.
Comme expliqué ci-dessus, ces flux de données comprennent un en-tête Fet et un flux compressé Fnn.
Dans le cas de la figure 3 (qui correspond à la situation où l’étape E14 a été mise en oeuvre et où l’étape E20 n’a pas été mise en oeuvre), l’en-tête comprend :
- une première partie Fc comprenant les données caractéristiques du format de représentation du contenu audio ou vidéo ;
- une seconde partie comprenant l’indicateur IND indiquant que le réseau de neurones artificiels de décodage fait partie d’un ensemble prédéterminé de réseaux de neurones artificiels ; et
- une troisième partie comprenant l’identifiant Inn du réseau de neurones artificiels de décodage.
Dans le cas de la figure 4 (qui correspond à la situation où l’étape E16 a été mise en oeuvre et où l’étape E20 n’a pas été mise en oeuvre), l’en-tête comprend :
- une première partie Fc comprenant les données caractéristiques du format de représentation du contenu audio ou vidéo ;
- une seconde partie comprenant l’indicateur IND’ indiquant que le réseau de neurones artificiels de décodage est codé dans le flux de données ; et
- une troisième partie comprenant les données Rc descriptives (ici les données de codage) du réseau de neurones artificiels de décodage.
Dans le cas de la figure 5 (qui correspond à la situation où les étapes E14 et E20 ont été mises en oeuvre), l’en-tête comprend :
- une première partie Fc comprenant les données caractéristiques du format de représentation du contenu audio ou vidéo ;
- une seconde partie comprenant l’indicateur IND indiquant que le réseau de neurones artificiels de décodage fait partie d’un ensemble prédéterminé de réseaux de neurones artificiels ;
- une troisième partie comprenant l’identifiant Inn du réseau de neurones artificiels de décodage ; et
- une quatrième partie comprenant le programme d’ordinateur Exe.
Dans le cas de la figure 6 (qui correspond à la situation où les étapes E16 et E20 ont été mises en oeuvre), l’en-tête comprend : - une première partie Fc comprenant les données caractéristiques du format de représentation du contenu audio ou vidéo ;
- une seconde partie comprenant l’indicateur IND’ indiquant que le réseau de neurones artificiels de décodage est codé dans le flux de données ; et
- une troisième partie comprenant les données Rc descriptives (ici les données de codage) du réseau de neurones artificiels de décodage ; et
- une quatrième partie comprenant le programme d’ordinateur Exe.
Le flux de données construit à l’étape E24 peut être encapsulé dans des formats de transmission connus en soi, comme le format "Packet-Transport System " ou le format " Byte-Stream
Dans le cas du format " Packet-Transport System " (comme proposé par exemple par le protocole RTP), les données sont codées par paquets identifiables et transmis sur un réseau de communication. Le réseau peut aisément identifier les frontières des données (images, groupes d’images et ici en-tête Fet et flux compressé Fnn), à l’aide des informations d’identification de paquets fournies par la couche réseau.
Dans le format " Byte-Stream ", il n’y a pas spécifiquement de paquets et la construction de l’étape E24 doit permettre d’identifier les frontières des données pertinentes (telles que frontières entre parties du flux correspondant à chaque image, et ici entre en-tête Fet et flux compressé Fnn) à l’aide de moyens supplémentaires, tels que l’utilisation d’unités de couche d’abstraction de réseau (ou unités NAL pour " Network Abstraction LayeP), où des combinaisons uniques de bits (telles que 0x00000001 ) permettent d’identifier les frontières entre données).
Le flux de données complet construit à l’étape E24 peut alors être émis à l’étape E26 à destination du dispositif électronique de décodage 26 (par des moyens de communication non représenté et/ou à travers au moins un réseau de communication), ou mémorisé au sein du dispositif électronique de codage 2 (pour émission ultérieure ou, en variante, décodage ultérieur, par exemple au sein même du dispositif électronique de codage, qui est dans ce cas conçu pour mettre en œuvre en outre le procédé de décodage décrit ci-dessous en référence à la figure 8).
Lorsque le contenu audio ou vidéo comprend une pluralité de parties (par exemple une pluralité de groupes d’images lorsque le contenu est une séquence vidéo), le procédé des étapes E4 à E24 peut éventuellement être mis en œuvre pour chacune des parties du contenu (par exemple pour chaque groupe d’images) de façon à obtenir un flux de données tel que représenté sur l’une des figures 3 à 6 pour chaque partie de contenu (par exemple pour chaque groupe d’image). Ainsi, le flux compressé Fnn relatif à chaque groupe d’images pourra être décodé en utilisant un réseau de neurones artificiels propre au groupe d’images concerné et éventuellement différent des réseaux de neurones artificiels utilisés pour les autres groupes d’image, comme décrit dans la suite. Les réseaux de neurones artificiels pourront éventuellement avoir des structures identiques (et ne différer que par les poids et/ou les fonctions d’activation qui définissent un réseau de neurones artificiels particulier).
La figure 7 représente un dispositif électronique de décodage 10 utilisant au moins un réseau de neurones artificiels 18.
Ce dispositif électronique de décodage 10 comprend une unité de réception 11 , un processeur 14 (par exemple un microprocesseur) et une unité de traitement parallélisé 16, par exemple une unité de traitement graphique (ou GPU pour "Graphical Processing Unit') ou une unité de traitement de tenseur (ou TPU pour "Tensor Processing Unit').
L’unité de réception 11 est par exemple un circuit de communication (tel qu’un circuit de communication radiofréquence) et permet de recevoir des données (et notamment ici le flux de données codées) d’un dispositif électronique extérieur, tel que le dispositif électronique de codage 2, et de communiquer ces données au processeur 14 (auquel l’unité de réception 11 est par exemple relié par un bus).
Le dispositif électronique de décodage 10 comprend également une unité de mémorisation 12, par exemple une mémoire (éventuellement une mémoire non- volatile réinscriptible) ou un disque dur. Bien que l’unité de mémorisation 12 soit représentée en figure 7 comme un élément distinct du processeur 14, l’unité de mémorisation 12 pourrait en variante être intégrée au (c’est-à-dire comprise dans le) processeur 14.
Le processeur 14 est dans ce cas conçu pour exécuter successivement une pluralité d’instructions d’un programme d’ordinateur mémorisé par exemple dans l’unité de mémorisation 12.
L’unité de traitement parallélisé 16 est conçue pour mettre en oeuvre le réseau de neurones artificiels 18 après avoir été configurée par le processeur 14. Pour ce faire, l’unité de traitement parallélisé 16 est conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type. Comme schématiquement représenté en figure 7, le processeur 14 reçoit un flux de données (par exemple via des moyens de communication non représentés du dispositif électronique de décodage 10) comprenant un premier ensemble de données, ici l’en-tête Fet, et un second ensemble de données représentatives du contenu audio ou vidéo, ici le flux compressé Fnn.
Comme expliqué dans la suite, le réseau de neurones artificiels 18 est utilisé dans le cadre d’un traitement du second ensemble de données (c’est-à-dire ici des données compressées Fnn) pour obtenir un contenu audio ou vidéo correspondant au contenu audio ou vidéo initial B.
L’unité de mémorisation 12 peut mémoriser une pluralité de jeux de paramètres, chaque jeu de paramètres définissant un réseau de neurones artificiels de décodage. Comme expliqué dans la suite, le processeur 14 peut dans ce cas configurer l’unité de traitement parallélisé 16 au moyen d’un jeu de paramètres particulier parmi ces jeux de paramètres de sorte que l’unité de traitement parallélisé 16 puisse alors mettre en oeuvre le réseau de neurones artificiels défini par ce jeu de paramètres particulier.
L’unité de mémorisation 12 peut notamment mémoriser un premier jeu de paramètres définissant un premier réseau de neurones artificiels formant décodeur à accès aléatoire et/ou un second jeu de paramètres définissant un second réseau de neurones artificiels formant un décodeur à faible latence.
Le dispositif électronique de décodage 10 détient dans ce cas à l’avance des possibilités de décodage tant pour des situations où l’on souhaite obtenir un accès aléatoire au contenu que pour des situations où l’on souhaite afficher sans retard le contenu.
On décrit à présent en référence à la figure 8 un procédé de décodage mis en oeuvre au sein du dispositif électronique de décodage 10 et utilisant le réseau de neurones artificiels 18 mis en oeuvre par l’unité de traitement parallélisé 16.
Ce procédé peut débuter par une étape optionnelle d’émission, par le dispositif électronique de décodage 10 et à destination d’un dispositif de commande de l’émission du flux de données à décoder, d’une liste L de réseaux de neurones artificiels accessibles par le dispositif électronique de décodage 10. Le dispositif de commande de l’émission du flux de données peut être par exemple le dispositif électronique de codage 2. (Le dispositif électronique de codage 2 reçoit dans ce cas cette liste L à l’étape E2 décrite plus haut en référence à la figure 2.) En variante, le dispositif de commande de l’émission du flux de données pourrait être un serveur dédié, fonctionnant en coopération avec le dispositif électronique de codage 2.
Les réseaux de neurones artificiels accessibles par le dispositif électronique de décodage 10 sont les réseaux de neurones artificiels pour lesquels le dispositif électronique de décodage 10 mémorise un jeu de paramètres définissant le réseau de neurones artificiels concerné (comme indiqué ci-dessus) ou peut avoir accès à ce jeu de paramètres par connexion à un équipement électronique distant tel qu’un serveur (comme expliqué ci-dessous).
Le procédé de la figure 8 comprend une étape E52 de réception (par le dispositif électronique de décodage 10, et précisément ici par l’unité de réception 11 ) du flux de données comprenant le premier ensemble de données, à savoir l’en-tête Fet ; et le second ensemble de données, à savoir le flux compressé Fnn. L’unité de réception 11 transmet le flux de données reçu au processeur 14.
Le processeur 14 procède alors à une étape E54 d’identification du premier ensemble de données (en-tête Fet) et du second ensemble de données (flux compressé Fnn) au sein du flux de données reçu, par exemple au moyen de l’indicateur de début de flux compressé (déjà mentionné lors de la description de l’étape E24).
Le processeur 14 peut également identifier à l’étape E54 les différentes parties du premier ensemble de données (en-tête), à savoir ici au sein de l’en-tête Fet : la première partie Fc (comprenant des données représentatives de caractéristiques du format du contenu codé par le flux de données), la seconde partie (indicateur IND ou IND’), la troisième partie (identifiant Inn ou données de codage Rc) et éventuellement la quatrième partie (programme d’ordinateur Exe), comme illustré sur les figures 3 à 6 décrites plus haut.
Dans les cas où des instructions exécutables (telles que les instructions du programme d’ordinateur Exe) sont identifiées (i.e. détectées) au sein des premières données à l’étape E54, le processeur 14 peut lancer à l’étape E56 l’exécution de ces instructions exécutables afin de mettre en oeuvre certaines au moins des étapes (décrites ci-dessous) de traitement des données du premier ensemble de données. Ces instructions peuvent être exécutées par le processeur 14 ou, en variante, par une machine virtuelle instanciée au sein du dispositif électronique de décodage 10. Le procédé de la figure 7 se poursuit par une étape E58 de décodage des données Fc caractéristiques du format de représentation du contenu audio ou vidéo de manière à obtenir des caractéristiques de ce format. Dans le cas d’un contenu vidéo par exemple, le décodage des données Fc permet d’obtenir les dimensions (en pixels) des images et/ou la fréquence d’image et/ou la profondeur en bits des informations de luminance et/ou la profondeur en bits des informations de chrominance.
Le processeur 14 procède alors (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) à une étape E60 de décodage de l’indicateur IND, IND’ contenu ici dans la seconde partie de l’en-tête Fet.
Si le décodage de l’indicateur IND, IND’ présent dans le flux de données reçues indique que le réseau de neurones artificiels 18 à utiliser pour le décodage fait partie d’un ensemble prédéterminé de réseaux de neurones artificiels (c’est-à-dire si l’indicateur présent dans le premier ensemble de données est l’indicateur IND indiquant que le réseau de neurones artificiels de décodage 18 fait partie d’un ensemble prédéterminé de réseaux de neurones artificiels), le procédé se poursuit à l’étape E62 décrite plus bas.
Si le décodage de l’indicateur IND, IND’ présent dans le flux de données reçues indique que le réseau de neurones artificiels 18 à utiliser pour le décodage est codé dans le flux de données (c’est-à-dire si l’indicateur présent dans le premier ensemble de données est l’indicateur IND’ indiquant que le réseau de neurones artificiels de décodage 18 est codé dans le flux de données), le procédé se poursuit à l’étape E66 décrite plus bas.
À l’étape E62, le processeur 14 procède (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) au décodage de l’identifiant Inn (contenu ici dans la troisième partie de l’en-tête Fet). Comme déjà indiqué, cet identifiant Inn est un identifiant désignant le réseau de neurones artificiels de décodage 18, par exemple au sein de l’ensemble prédéterminé de réseaux de neurones artificiels susmentionné.
Le processeur 14 peut alors procéder (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) à l’étape E64 à la lecture, par exemple dans l’unité de mémorisation 12, d’un jeu de paramètres associé à l’identifiant décodé Inn (ce jeu de paramètres définissant le réseau de neurones artificiels identifié par l’identifiant décodé Inn).
Selon une possibilité de réalisation, on peut prévoir que le processeur 14 génère un message d’erreur en cas d’absence (ici au sein de l’unité de mémorisation 12) de données (notamment de paramètres) relatives à ce réseau de neurones artificiels identifié par l’identifiant décodé Inn.
En variante (ou dans le cas où aucun jeu de paramètres n’est mémorisé dans l’unité de mémorisation 12 pour le réseau de neurones artificiels identifié par l’identifiant décodé Inn), le dispositif électronique de décodage 10 peut émettre (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) une requête d’un jeu de paramètres à destination d’un serveur distant (cette requête incluant par exemple l’identifiant décodé Inn) et recevoir en réponse à l’étape E64 le jeu de paramètres définissant le réseau de neurones artificiels identifié par l’identifiant décodé Inn.
Le procédé se poursuit ensuite à l’étape E68 décrite plus bas.
À l’étape E66, le processeur 14 procède (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) au décodage des données descriptives Rc du réseau de neurones artificiels 18 (contenues ici dans la troisième partie de l’en-tête Fet).
Comme déjà indiqué, ces données descriptives (ou données de codage) Rc sont par exemple codées conformément à une norme telle que la norme MPEG-7 partie 17 ou à un format tel que le format JSON.
Le décodage des données descriptives Rc permet d’obtenir les paramètres définissant le réseau de neurones artificiels à utiliser pour le décodage des données du second ensemble de données (c’est-à-dire ici des données du flux compressé Fnn).
Le procédé se poursuit dans ce cas aussi à l’étape E68 décrite à présent.
Le processeur 14 procède alors (dans certains modes de réalisation, du fait de l’exécution d’instructions identifiées au sein du premier ensemble de données à l’étape E54, comme déjà indiqué) à l’étape E68 à la configuration de l’unité de traitement parallélisé 16 au moyen des paramètres définissant le réseau de neurones artificiels de décodage 18 (paramètres obtenus à l’étape E64 ou à l’étape E66) afin que l’unité de traitement parallélisé 16 puisse mettre en oeuvre le réseau de neurones artificiels de décodage 18.
Cette étape de configuration E68 comprend notamment l’instanciation du réseau de neurones artificiels de décodage 18 au sein de l’unité de traitement parallélisé 16, ici en utilisant les paramètres obtenus à l’étape E64 ou à l’étape E66.
Cette instanciation peut notamment comprendre les étapes suivantes :
- réservation, au sein de l’unité de traitement parallélisé 16, de l’espace mémoire nécessaire à la mise en œuvre du réseau de neurones artificiels de décodage 18 ; et/ou
- programmation de l’unité de traitement parallélisé 16 avec les paramètres (incluant par exemple des poids W et des fonctions d’activation) définissant le réseau de neurones artificiels de décodage 18 (paramètres obtenus à l’étape E64 ou à l’étape E66) ; et/ou
- chargement d’une partie au moins des données du second ensemble de données (c’est-à-dire d’une partie au moins des données du flux compressé Fnn) sur une mémoire locale de l’unité de traitement parallélisé 16.
Comme cela ressort de la description des étapes E58 à E68 qui précède, les données du premier ensemble de données Fet sont ainsi traitées par le processeur 14.
Le processeur 14 peut alors appliquer (i.e. présenter) à l’étape E70 les données du second ensemble de données (ici des données du flux compressé Fnn) au réseau de neurones artificiels 18 mis en œuvre par l’unité de traitement parallélisé 16 afin que ces données soient traitées par un processus de décodage utilisant en partie au moins le réseau de neurones artificiels 18.
Dans l’exemple décrit ici, le réseau de neurones artificiels 18 reçoit en entrée les données du second ensemble de données Fnn et produit en sortie une représentation I du contenu codé adaptée à une reproduction sur un dispositif de reproduction audio ou vidéo. Autrement dit, certaines au moins des données du second ensemble de données Fnn sont appliquées sur la couche d’entrée du réseau de neurones artificiels 18 et la couche de sortie du réseau de neurones artificiels 18 produit la représentation I du contenu codé susmentionnée. Dans le cas d’un contenu vidéo (comprenant une image ou une séquence d’images), le réseau de neurones artificiels 18 produit ainsi en sortie (c’est-à-dire au niveau de sa couche de sortie) au moins une représentation matricielle I d’une image.
Dans certains modes de réalisation, pour le traitement de certaines données du flux compressé Fc (correspondant par exemple à un bloc ou une image), le réseau de neurones artificiels 18 peut recevoir en entrée certaines au moins des données produites en sortie du réseau de neurones artificiels 18 lors du traitement de données antérieures (correspondant par exemple au bloc précédent ou à l’image précédente) dans le flux compressé Fc. On procède dans ce cas à une étape E72 de réinjection de données produites en sortie du réseau de neurones artificiels 18 vers l’entrée du réseau de neurones artificiels 18.
Par ailleurs, selon d’autres possibilité de réalisation, le processus de décodage pourrait utiliser une pluralité de réseaux de neurones artificiels, comme déjà mentionné plus haut à propos du traitement des données de contenu B.
Les données du second ensemble (ici certaines données au moins du flux compressé Fnn) ont ainsi été traitées par un processus dépendant d’une partie des données du premier ensemble (processus dépendant ici de l’identifiant Inn ou des données de codage Rc) et utilisant le réseau de neurones artificiels 18 mis en oeuvre par l’unité de traitement parallélisé 16.
Le processeur 14 détermine alors à l’étape E74 si le traitement du flux compressé Fnn au moyen du réseau de neurones artificiels 18 est terminé.
En cas de détermination négative (N), le procédé boucle à l’étape E70 pour application d’autres données du flux compressé Fnn au réseau de neurones artificiels 18.
En cas de détermination positive (P), le procédé se poursuit à l’étape E76 où le processeur 14 détermine s’il reste des données à traiter dans le flux de données reçu.
En cas de détermination négative (N) à l’étape E76, il est mis fin au procédé à l’étape E78.
En cas de détermination positive (P) à l’étape E76, le procédé boucle à l’étape E52 pour traitement d’une nouvelle partie du flux de données telle que représentée sur l’une des figures 3 à 6.
Comme indiqué plus haut en ce qui concerne la réitération des étapes de codage E4 à E24, cette autre partie du flux de données comprend alors elle aussi un premier ensemble de données et un second ensemble de données représentatives d’un autre contenu audio ou vidéo (par exemple, dans le cas d’un contenu vidéo, un autre groupe d’images pour le format de représentation du contenu utilisé). Un autre réseau de neurones artificiels peut dans ce cas être déterminé sur la base de certaines de ces premières données (identifiant Inn ou données de codage Rc), comme décrit ci- dessus aux étapes E54 à E66, puis l’unité de traitement parallélisé 16 peut être configurée pour mettre en œuvre cet autre réseau de neurones artificiels (conformément à l’étape E68 décrite ci-dessus). Les données du second ensemble de données de cette autre partie du flux de données (relative par exemple à l’autre groupe d’images susmentionné) peuvent ainsi être décodées au moyen de cet autre réseau de neurones artificiels (comme décrit ci-dessus à l’étape E70).
L’autre réseau de neurones artificiels qui vient d’être mentionné peut avoir une structure identique au réseau de neurones artificiels 18 mentionné plus haut, ce qui simplifie l’étape de configuration de l’unité de traitement parallélisé 16 (seuls les poids et/ou les fonctions d’activation définissant le réseau de neurones artificiels courant étant par exemple mis à jour).

Claims

Revendications
1 . Procédé de décodage d’un flux de données au moyen d’un dispositif électronique (10) comprenant un processeur (14), et une unité de traitement parallélisé (16) conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type, caractérisé en ce que le flux de données comprend un premier ensemble de données (Fet) et un second ensemble de données (Fnn) représentatives d’un contenu audio ou vidéo, et en ce que le procédé comprend les étapes suivantes :
- traitement (E56 ; E58 ; E60 ; E62 ; E66) des données du premier ensemble de données (Fet) par le processeur (14) ;
- obtention du contenu audio ou vidéo par traitement (E70) des données du second ensemble de données (Fnn) selon un processus dépendant d’une partie au moins des données du premier ensemble (Fet) et utilisant un réseau de neurones artificiels (18) mis en oeuvre par l’unité de traitement parallélisé (16).
2. Procédé de décodage selon la revendication 1 , comprenant une étape de configuration (E68) de l’unité de traitement parallélisé (16) en fonction d’une partie au moins des données du premier ensemble de données (Fet).
3. Procédé de décodage selon la revendication 2, dans lequel le premier ensemble de données (Fet) comprend des donnés descriptives (Rc) du réseau de neurones artificiels (18) et dans lequel, à l’étape de configuration (E68), le processeur (14) configure l’unité de traitement parallélisé (16) sur la base desdites données descriptives (Rc).
4. Procédé de décodage selon la revendication 2, dans lequel le dispositif électronique (10) comprend une unité de stockage (12) d’une pluralité de jeux de paramètres définissant respectivement une pluralité de réseaux de neurones artificiels, dans lequel le premier ensemble de données (Fet) comprend un identifiant (Inn) et dans lequel, à l’étape de configuration (E68), le processeur (14) configure l’unité de traitement parallélisé (16) sur la base d’un jeu de paramètres associé à cet identifiant (Inn) parmi la pluralité de jeux de paramètres.
5. Procédé de décodage selon l’une des revendications 1 à 4, dans lequel le flux de données comprend en outre des instructions (Exe) exécutables au sein du dispositif électronique (10) et dans lequel le traitement des données du premier ensemble de données (Fet) est au moins en partie effectué du fait de l’exécution d’une partie au moins desdites instructions (Exe).
6. Procédé de décodage selon la revendication 5 prise dans la dépendance directe ou indirecte de la revendication 2, dans lequel l’étape de configuration (E68) de l’unité de traitement parallélisé (16) est effectuée du fait de l’exécution d’une partie au moins desdites instructions (Exe).
7. Procédé de décodage selon l’une des revendications 1 à 6, comprenant une étape (E54) d’identification du premier ensemble de données (Fet) et du second ensemble de données (Fnn) au sein du flux de données.
8. Procédé de décodage selon l’une des revendications 1 à 7, dans lequel le premier ensemble de données (Fet) comprend des données (Fc) représentatives de caractéristiques du format du contenu codé par le flux de données.
9. Procédé de décodage selon l’une des revendications 1 à 8, dans lequel le traitement des données du second ensemble (Fnn) produit au moins une représentation matricielle (I) d’une partie au moins d’une image.
10. Procédé de décodage selon l’une des revendications 1 à 9, dans lequel le réseau de neurones artificiels (18) reçoit en entrée des données du second ensemble de données (Fnn).
11. Procédé de décodage selon l’une des revendications 1 à 10, dans lequel le réseau de neurones artificiels (18) reçoit en entrée des données produites au préalable en sortie du réseau de neurones artificiels (18).
12. Dispositif électronique (10) de décodage d’un flux de données comprenant un premier ensemble de données (Fet) et un second ensemble de données (Fnn) représentatives d’un contenu audio ou vidéo, le dispositif électronique (10) comprenant :
- un processeur (14) adapté à traiter les données du premier ensemble de données (Fet) ;
- une unité de traitement parallélisé (16) conçue pour effectuer en parallèle à un instant donné une pluralité d’opérations du même type et adaptée à obtenir le contenu audio ou vidéo par traitement des données du second ensemble de données (Fnn) selon un processus dépendant d’une partie au moins des données du premier ensemble (Fet) et utilisant un réseau de neurones artificiels (18) mis en oeuvre par l’unité de traitement parallélisé (16).
13. Dispositif électronique selon la revendication 12, dans lequel le processeur (14) est adapté à configurer l’unité de traitement parallélisé (16) en fonction d’une partie au moins des données du premier ensemble de données (Fet).
14. Dispositif électronique selon la revendication 13, comprenant une unité de stockage (12) d’une pluralité de jeux de paramètres définissant respectivement une pluralité de réseaux de neurones artificiels, dans lequel le premier ensemble de données (Fet) comprend un identifiant (Inn) et dans lequel le processeur (14) est adapté à configurer l’unité de traitement parallélisé (16) sur la base d’un jeu de paramètres associé à cet identifiant (Inn) parmi la pluralité de jeux de paramètres.
15. Dispositif électronique selon l’une des revendications 12 à 14, dans lequel l’unité de traitement parallélisé (16) est adaptée pour produire au moins une représentation matricielle (I) d’une partie au moins d’une image.
16. Flux de données comprenant un premier ensemble de données (Fet) et un second ensemble de données (Fnn) représentatives d’un contenu audio ou vidéo, dans lequel le premier ensemble de données (Fet) comprend des données (Inn ; Rc) définissant au moins en partie un processus de traitement des données du second ensemble de données (Fnn) utilisant un réseau de neurones artificiels.
EP21745307.5A 2020-07-17 2021-07-13 Decodage video parallelise utilisant un reseau de neurones Pending EP4183133A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2007530A FR3112662B1 (fr) 2020-07-17 2020-07-17 Procédé et dispositif électronique de décodage d’un flux de données, et flux de données associé
PCT/EP2021/069515 WO2022013247A1 (fr) 2020-07-17 2021-07-13 Decodage video parallelise utilisant un reseau de neurones

Publications (1)

Publication Number Publication Date
EP4183133A1 true EP4183133A1 (fr) 2023-05-24

Family

ID=72885742

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21745307.5A Pending EP4183133A1 (fr) 2020-07-17 2021-07-13 Decodage video parallelise utilisant un reseau de neurones

Country Status (7)

Country Link
US (1) US12563213B2 (fr)
EP (1) EP4183133A1 (fr)
JP (1) JP7850128B2 (fr)
KR (1) KR20230039714A (fr)
CN (1) CN115956365A (fr)
FR (1) FR3112662B1 (fr)
WO (1) WO2022013247A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3114717B1 (fr) 2020-09-30 2023-10-13 Fond B Com Procédé et dispositif électronique de décodage d’un flux de données, programme d’ordinateur et flux de données associés
FR3114933B1 (fr) 2020-10-06 2023-10-13 Fond B Com Procédé et dispositif électronique de décodage d’un flux de données, et programme d’ordinateur associé
FR3124342B1 (fr) * 2021-06-17 2024-01-12 Fond B Com Procédés et dispositifs de décodage d’une partie au moins d’un flux de données, programme d’ordinateur et flux de données associés

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734589A (en) * 1995-01-31 1998-03-31 Bell Atlantic Network Services, Inc. Digital entertainment terminal with channel mapping
US9031138B1 (en) * 2014-05-01 2015-05-12 Google Inc. Method and system to combine multiple encoded videos for decoding via a video docoder
PH12018500454B1 (en) * 2015-09-03 2024-02-28 Mediatek Inc Method and apparatus of nueral network based processing in video coding
EP3293981A1 (fr) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Procédé, dispositif et système de décodage vidéo partielle
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
WO2019131880A1 (fr) 2017-12-28 2019-07-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Procédé de codage, procédé de décodage, procédé de traitement d'informations, dispositif de codage, dispositif de décodage et système de traitement d'informations
CN108320754B (zh) * 2018-02-05 2019-03-19 山东师范大学 一种音频解码器、解码方法和多媒体系统
EP3547704A1 (fr) * 2018-03-30 2019-10-02 Thomson Licensing Procédé, appareil et flux pour format vidéo volumétrique
CN110427222A (zh) * 2019-06-24 2019-11-08 北京达佳互联信息技术有限公司 数据加载方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US12563213B2 (en) 2026-02-24
US20230283790A1 (en) 2023-09-07
JP2023534495A (ja) 2023-08-09
CN115956365A (zh) 2023-04-11
FR3112662B1 (fr) 2024-12-13
JP7850128B2 (ja) 2026-04-22
KR20230039714A (ko) 2023-03-21
WO2022013247A1 (fr) 2022-01-20
FR3112662A1 (fr) 2022-01-21

Similar Documents

Publication Publication Date Title
EP4183130B1 (fr) Decodage video utilisant un reseau de neurones
WO2022013247A1 (fr) Decodage video parallelise utilisant un reseau de neurones
EP4222957A1 (fr) Procédé et dispositif électronique de décodage d'un flux de données, programme d'ordinateur et flux de données associés
EP2700226B1 (fr) Procedes et appareils de production et de traitement de representations de scenes multimedias
WO2024121109A1 (fr) Procédé et dispositif de codage et décodage d'images
US20260019650A1 (en) Electronic method and device for decoding a data stream, and associated computer program
EP2368367A1 (fr) Système et procédé interactif pour la transmission sur un réseau bas débit d'images clefs sélectionnées dans un flux video
FR3050090A1 (fr) Extraction de flux video
JP2024520961A (ja) データストリームの少なくとも一部を復号化するための方法と装置、コンピュータプログラム、及び関連するデータストリーム
US20260143149A1 (en) Parallelized video decoding using a neural network
FR2923970A1 (fr) Procede et dispositif de formation, de transfert et de reception de paquets de transport encapsulant des donnees representatives d'une sequence d'images
WO2018073523A1 (fr) Procédé de codage et de décodage de paramètres d'image, dispositif de codage et de décodage de paramètres d'image et programmes d'ordinateur correspondants
RU2854759C2 (ru) Способ кодирования и декодирования характеристических данных и устройство
WO2026003294A1 (fr) Procédé et dispositif de codage et décodage d'un signal
WO2024260629A1 (fr) Procédé et dispositif de codage et décodage de séquences d'images
FR3137518A1 (fr) Procédé et dispositif de décodage, programme d’ordinateur et flux de données associés
EP4630971A1 (fr) Procédé et dispositif de codage et décodage d'images
EP4732241A1 (fr) Procédé et dispositif de codage et décodage de séquences d'images

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230110

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250703