EP2936811A1 - Method and device for transmitting a sequence of images based on an adaptive region coding - Google Patents

Method and device for transmitting a sequence of images based on an adaptive region coding

Info

Publication number
EP2936811A1
EP2936811A1 EP13815088.3A EP13815088A EP2936811A1 EP 2936811 A1 EP2936811 A1 EP 2936811A1 EP 13815088 A EP13815088 A EP 13815088A EP 2936811 A1 EP2936811 A1 EP 2936811A1
Authority
EP
European Patent Office
Prior art keywords
image
region
coding
sequence
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13815088.3A
Other languages
German (de)
French (fr)
Inventor
Zaher El Chami
Thomas BULTEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP2936811A1 publication Critical patent/EP2936811A1/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Definitions

  • the field of the invention is that of the transmission of image sequences, particularly in the context of videoconferencing-type multimedia session, video streaming, remote monitoring, etc.
  • the invention relates to maintaining or improving the quality of the images of a sequence transmitted in such contexts, especially when the transmission conditions change.
  • the invention finds applications in all fields requiring the transfer of a sequence of images, or video, including in the context of video coding.
  • IP IP type channel
  • coding mode or coding strategy (or encoding) is meant in particular the choice of implementation of the coding performed at the coder / decoder.
  • it may be an intra-coding mode, a hierarchical P-type inter coding mode (as defined in the document "H. 264 hierarchical P coding in the context of ultra-low delay, low complexity applications "Thomas Wiegand for example), an IPPP type inter-coding mode (for" image I, image P, image P, image P "), of an IPPPI type inter-coding mode (for" image I, image P, image P, image P, image I "), of a coding mode of" skip "type, etc.
  • the quality of the video received by a client may be degraded, due to a network-level strangulation, a loss of data, or even a limitation of processing capacity at the end of the network. customer level.
  • a disadvantage of the first two techniques proposed (a) and b)) is that they reduce the quality of the video, which leads to a degradation of the video received by the customer, in terms of the quality of the images or the fluidity images.
  • this solution consists in sending an image in intra mode, which contains all the information of an image and is therefore large, in a channel that can only send data of small sizes.
  • the technique d) consists of changing the video encoder and choosing a new video encoder, whose compression ratio is higher, so that the transmission rate is adapted to that of the transmission channel.
  • a disadvantage of this technique lies in the additional processing cost generated on the side of the decoder. Indeed, the implementation of technique d) requires that the power of the processors, on the client side, be adapted to the cost requested by the new coder / decoder. If it is not adapted, the implementation of this solution leads to an accentuated degradation of the quality of the video, if the processor can not manage the computation requests ordered by the new coder / decoder, and the quality of the received image (at the output of the video decoder) is degraded.
  • a degradation on one of the elements of the transmission chain usually leads to a more or less marked deterioration in the quality of the video received by the client.
  • the invention proposes a solution to this problem, in the form of a method for transmitting a sequence of images, comprising the following steps:
  • the invention is based on a new and inventive approach to the transmission of a sequence of images, making it possible to code different regions or zones of the images differently. In this way, it is possible to use a more robust encoding mode for a region of high interest (especially from the customer's point of view), and a less robust coding mode for a region of low interest.
  • the customer does not detect the degradation of the image, because it is not, or little, degraded for the region or regions to which it gives interest (for example the center of the image), even if it is degraded for the region or regions that are not of significant interest (for example the background or edges of the image).
  • the invention requires the use of a single coder (for example of the H.263, H.264, MPEG4 or other existing or future coder type), which can implement different modes or strategies. encoding the different regions of an image.
  • a single coder for example of the H.263, H.264, MPEG4 or other existing or future coder type
  • the step of determining a coding mode adapted to a region takes into account the content of the region.
  • the determination step considers activity in the region.
  • the images of the image sequence can be segmented in a similar way in two regions, a first region corresponding to the character and a second region corresponding to the background, and two different coding modes can be assigned to these two regions.
  • the region corresponding to the character in this example shows a strong activity (movement of the character on the three images) and thus corresponds to an important region for the client, who receives and visualizes the video. Therefore, according to the invention, a robust coding mode is assigned to this region, which makes it possible to code this region with a good quality (for example as a hierarchical P-type coding mode).
  • the region corresponding to the background in this example has little or no activity, and therefore corresponds to a region of lesser interest to the customer. Therefore, according to the invention, a less robust coding mode is assigned to this region, which makes it possible to code this region with a lower quality (for example as an IPPP type coding mode).
  • some regions can therefore be encoded as a type I image and others as a P type image.
  • the encoded image (s) using, for each of the regions, the coding mode adapted to the region, are then transmitted in a single video stream.
  • the coding mode adapted to a region is defined for several images of the sequence.
  • the coding modes belong to the group comprising:
  • IPPP IPPP type of coding
  • an IPPPI type of coding or "image I, image P, image P, image P, image I",
  • any mode of coding can be applied independently on each of the regions of an image, for example according to the interest of the region.
  • the examples of coding modes proposed relate more specifically to real-time transmissions, but other coding modes can be envisaged in the general case, in particular with type B images.
  • the determined coding mode is a robust P-type hierarchical or IPPPI coding.
  • the transmission method comprises a preliminary step of determining the transmission parameters of the image sequence.
  • a first set of transmission parameters for example defining the transmission frequency of the images, the resolution of the images, the transmission rate, etc., can be negotiated / defined before transmission, when opening a multimedia session.
  • a second "set of parameters" specific to the encoder is considered, for example defining the various coding / decoding modes authorized by the coder and the decoder. These coding / decoding modes depend in particular on the transmission parameters defined in the first set (such as the transmission frequency of the images, the resolution, etc., predefined).
  • the transmission method comprises a step of updating the regions and coding modes adapted to each of the regions, periodic and / or taking into account a modification of the transmission channel.
  • the adaptive scheme proposed according to this embodiment makes it possible to optimize the coding of the image sequence.
  • this update step may be performed upon receipt by the encoder of information on the transmission channel ("feedback").
  • At least one indicator can be inserted in the video stream, in order to identify the different regions of the image and / or to specify the coding mode used for each region.
  • the invention relates to a device for transmitting an image sequence, comprising:
  • coding means of the one or more images using, for each of the regions, the coding mode adapted to the region, and transmission means in a single video stream.
  • Such a transmission device is particularly suitable for implementing the transmission method described above. It comprises for example a video coder of H.263, H.264, MPEG4, etc. type.
  • This device may of course include the various characteristics relating to the transmission method according to the invention, which can be combined or taken separately. Thus, the features and advantages of this device are the same as those of the transmission method, and are not detailed further.
  • the invention furthermore relates to a method for receiving an image sequence, comprising the following steps:
  • Such a method is particularly adapted to receive a video stream as described above.
  • This method may therefore include the various characteristics relating to the transmission method according to the invention.
  • the characteristics and advantages of this reception method are the same as those of the transmission method, and are not detailed further.
  • the invention relates to a device for receiving an image sequence, comprising:
  • Such a reception device is particularly adapted to implement the reception method described above. It includes for example a video decoder type H.263, H.264, MPEG4, etc.
  • This device may of course include the various characteristics relating to the reception method according to the invention, which can be combined or taken in isolation. Thus, the features and advantages of this device are the same as those of the reception method, and are not detailed further.
  • the invention relates to one or more computer programs comprising instructions for implementing a transmission method and / or a reception method as described above, when this or these programs are run by a processor.
  • transmission and / or reception methods according to the invention can be implemented in various ways, in particular in hard-wired form or in software form.
  • the invention relates to at least one computer-readable recording medium on which a computer program is recorded. comprising computer executable instructions for carrying out a transmission method and / or a reception method as described above.
  • Figure 1 shows the main steps of a transmission method according to a particular embodiment of the invention
  • Figure 2 shows the main steps of a reception method according to a particular embodiment of the invention
  • FIG. 3 illustrates an exemplary processing of an image of a sequence of images according to a particular embodiment of the invention
  • Figures 4 and 5 respectively show the structure of a transmission device and a receiving device according to a particular embodiment of the invention.
  • the general principle of the invention is based on the identification of different regions in at least one image of a sequence of images, and on the specific coding of these different regions, using a coding mode adapted for each region.
  • Such an encoding mode is selected from a set of coding modes defined for the encoder used.
  • a first encoding mode may be used to encode a first region of the image
  • a second encoding mode to encode a second region of the image
  • the image or images encoded by the encoder are transmitted in a single video stream.
  • a transmission technique of a Seq image sequence according to a particular embodiment of the invention.
  • a first step 11 at least one image of the Seq sequence identifies (Id) at least two distinct regions.
  • the identification of different regions in an image can be implemented statically or dynamically, and manually or automatically.
  • static it may be predetermined, depending on the video stream to be transmitted, that certain regions of the image (for example edges, corners) are of lesser interest to the user and therefore treated as regions whose quality can be degraded using a basic encoding mode.
  • regions of the image for example edges, corners
  • the other regions of the image for example the center, are considered of great interest by the client, and thus treated as regions whose quality must be preserved by using a robust coding mode.
  • the regions can be predefined.
  • the different regions are not predefined before transmission.
  • known motion search techniques may be used to give more importance to active, moving regions at the expense of motionless, and thus static, regions.
  • a coding mode adapted to the region is determined.
  • any coding mode compatible with the encoder used can be applied independently to each of the regions, depending on the interest of the region, according to this particular embodiment.
  • Such a mode or coding algorithm notably makes it possible to improve the quality and / or the resistance to losses.
  • the proposed solution allows a non-uniform degradation of the image sequence in case of reduction of the capacity of the channel, whereas the existing solutions are based on an equivalent degradation (over the image) of the image sequence.
  • the proposed solution therefore makes it possible, according to this particular embodiment, to further degrade the images of the sequence in the regions in which the quality perceived by the customer is of low interest, and to preserve a maximum of quality in the regions in which which quality perceived by the customer is paramount.
  • the region is of low interest, one chooses a coding mode not retransmitting this region of the image in case of error.
  • it is a region of the "background" image, that is to say not evolving in the image sequence, it is possible to choose a "skip" type of coding mode. , corresponding to a lack of transmission of information representative of this region.
  • a "skip" type of coding mode corresponding to a lack of transmission of information representative of this region.
  • the region is of significant interest, one can choose an encoding mode that returns the image I.
  • a third step 13 the image or images of the sequence are coded, using, for each of the regions, the coding mode adapted to the region determined in the previous step.
  • a single video stream is generated during this third step.
  • first three steps 11, 12 and 13 can be implemented by an encoder, such as an H.263, H.264, MPEG4 coder, etc. for example.
  • an encoder such as an H.263, H.264, MPEG4 coder, etc. for example.
  • the video stream is transmitted to a client.
  • a video stream is received comprising at least one coded picture by using a coding mode adapted to each region of the image or images, obtained as described above.
  • the coded picture (s) are decoded, and the corresponding image sequence Seq is restored on a terminal of the client.
  • Different decoding options may be envisaged, implementing either a conventional decoder or a separation of the data of the video stream according to the region of the image in order to subject each region of the image to a decoder adapted to the coding mode. used for the corresponding region.
  • an image could be restored or refreshed at the client terminal once the information representative of the entire image received and decoded.
  • it is possible to restore / refresh a region of the image (for example a region of interest, in which there is more movement) as soon as the information representative of this region of the image is received. and decoded.
  • an image sequence representative of a television news program in which the scene consists of the faded background with a change in brightness, the presenter and a special correspondent, and an area at the foot of the stage indicating stock market or information banner.
  • an image at a time t is decomposed into four regions:
  • the region 32 containing the presenter which corresponds to a normal priority area from the point of view of the customer: application of a conventional encoding mode, for example of type I, P, P, P, P, I (in d In other words, we send the intra image of this region once in five: with the first image, with the sixth image, etc.);
  • a less robust coding mode for example of type I, P, P, P, P, P, P, P, P, P, P, P, P, P, P, I (in other words, we send the intra image of this region once in ten: with the first image, with the eleventh image, etc.) . It is also possible to choose a coding mode that does not retransmit the region of the image (or a residue corresponds to this region of the image) in the event of data loss; on the region 34 containing the background / rest of the image: application of an even less robust coding mode.
  • the "skip" encoding mode when the rest of the image is fixed, it is possible to use the "skip" encoding mode as soon as the quality of the background returned to the customer is sufficient. For example, we send the intra image of this region only once, then we do not code this region as long as there is no change in the background. In particular, it is possible to choose a coding mode that does not allow any retransmission in the event of error or loss of data. Thus, in case of error, no update of the bottom is requested, insofar as this region is of little interest to the customer.
  • the invention makes it possible, according to at least one of its embodiments, to limit the degradation perceived by the client / user in the event of deterioration of the transmission conditions, since the special correspondent and the presenter remain fluid and well defined, and that the information banner / stock market price remains legible (though of lower quality than the special correspondent and the presenter). It is recalled that according to the techniques of the prior art, the image is degraded as a whole.
  • the outgoing rate at the level of each participant, depends on the number of participants in this videoconference. For example, if the number of participants is 5, then each participant has an average of 400 kbs, and the quality of each participant's video transmission is then limited by this bit rate. Furthermore, if the number of participants increases, and especially if it doubles (10 participants), the bit rate allocated to each participant is halved, or 200 kbs, and the quality of the video sent by each participant is degraded, in a uniform manner for the entire image according to the known techniques of the prior art.
  • the image of each participant is segmented into two different regions: a first region for the face and a second region for the background.
  • Each of these regions takes a portion of the 200kbbit allocated, and a separate coding scheme is assigned to each of these regions, based on the interest associated with each region.
  • the rate consumed by the face region while retaining the other original transmission parameters (size and frame rate), is less than 200 kbs (150 kbs for example), then no change in quality will be applied to this region (one retains a conventional encoding mode, or one uses a more robust coding mode to improve the quality of the face region, such as AIR or IPPPI coding).
  • the rest of the flow (50 kbs) is allocated then for the background region, for which a less robust coding mode, such as IPPP coding, is used.
  • the encoding mode is changed to use a less bandwidth-intensive encoding mode, such as hierarchical P-type coding, so as to use only a portion of the bit rate, for example 150 kbs.
  • the remainder of the flow 50 kbs can then be allocated for the bottom region, for which a less robust coding mode, such as IPPP coding, is used.
  • a region of lesser interest to the customer is refreshed less often.
  • IPPP type coding P type coding hierarchical, "backchannel" type coding, AIR type coding, IPPPI type coding.
  • both regions are transmitted in a single video stream.
  • This treatment causes a loss of quality on the region corresponding to the bottom, which does not disturb the user, the bottom does not move or little, but the quality of the face area is preserved (or even improved). Thus, the degradation of the quality of the image caused by a decrease in the transmission rate is not perceived by the user.
  • FIG. 4 shows the simplified structure of a transmission device implementing the transmission method according to a particular embodiment of the invention.
  • This device comprises a RAM 41, a processing unit 42, equipped for example with a processor, and controlled by a computer program stored in a ROM 43.
  • the code instructions of the program of For example, the computers are loaded into the RAM 41 before being executed by the processor of the processing unit 42.
  • the processing unit 42 receives at least one image of a sequence of images as input.
  • the processor of the processing unit 42 implements the steps of the transmission method described above, according to the instructions of the computer program 43, by applying a separate processing to the different regions of the image or images, and outputs a single video stream, comprising at least one coded picture using a coding mode adapted to each region of the image or images.
  • the transmission device comprises, in addition to the memory 41, means for identifying, in at least one image of the sequence, at least two distinct regions, means for determining a coding mode adapted to each of the regions, encoding means of the one or more images, and transmission means in a single video stream. These means are controlled by the microprocessor of the processing unit 42.
  • FIG. 5 shows the simplified structure of a reception device implementing the reception method according to a particular embodiment of the invention.
  • This device comprises a RAM 51, a processing unit 52, equipped for example with a processor, and controlled by a computer program stored in a ROM 53.
  • the code instructions of the program of For example, the computers are loaded into the RAM 51 before being executed by the processor of the processing unit 52.
  • the processing unit 52 receives as input a single video stream.
  • the processor of the processing unit 52 implements the steps of the reception method described above, according to the instructions of the computer program 53, for decoding and reproducing the coded picture (s) using a coding mode adapted to each region. of the images.
  • the reception device comprises, in addition to the memory 51, means for receiving a single video stream, comprising at least one coded picture by using a coding mode adapted to each region of the picture or images, means for decoding and restitution of the image (s). These means are controlled by the microprocessor of the processing unit 52.
  • the invention is implemented by means of software and / or hardware components.
  • a software component corresponds to one or more computer programs, one or more subroutines of a program, or more generally to any element of a program or software capable of implementing a function or a program. set of functions.
  • Such a software component is executed by a data processor of a physical entity (encoder, transmitter, terminal, decoder, receiver, transmission device, receiving device, etc.) and is capable of accessing the hardware resources of this device.
  • physical entity memory, recording media, communication buses, input / output electronic boards, user interfaces, .
  • a hardware component corresponds to any element of a hardware set (or “hardware”) able to implement a function or a set of functions. It may be a hardware component that is programmable or has an integrated processor for executing software, for example an integrated circuit, a smart card, a memory card, an electronic card for executing a firmware ( “Firmware”), etc.

Abstract

A method and device for transmitting a sequence of images, and corresponding method and device for receiving same, computer program and recording medium. The invention pertains to a method for transmitting a sequence of images. According to the invention, said method comprises the following steps: - identifying (11), in at least one image of said sequence, at least two distinct regions; - for each of said regions, determining (12) a coding mode adapted to said region; - coding (13) said at least one image using, for each of said regions, the coding mode adapted to said region, and transmission (14) in a single video stream.

Description

Procédé et dispositif de transmission d'une séquence d'images, procédé et dispositif de réception, programme d'ordinateur et support d'enregistrement correspondants  Method and apparatus for transmitting an image sequence, method and receiving device, computer program and corresponding recording medium
1. Domaine de l'invention 1. Field of the invention
Le domaine de l'invention est celui de la transmission de séquences d'images, notamment dans le cadre de session multimédia de type vidéoconférence, lecture vidéo en continu, télésurveillance, etc.  The field of the invention is that of the transmission of image sequences, particularly in the context of videoconferencing-type multimedia session, video streaming, remote monitoring, etc.
Plus précisément, l'invention concerne le maintien ou l'amélioration de la qualité des images d'une séquence transmise dans de tels contextes, notamment lorsque les conditions de transmission évoluent.  More specifically, the invention relates to maintaining or improving the quality of the images of a sequence transmitted in such contexts, especially when the transmission conditions change.
L'invention trouve des applications dans tous les domaines nécessitant le transfert d'une séquence d'images, ou vidéo, y compris dans le contexte du codage vidéo.  The invention finds applications in all fields requiring the transfer of a sequence of images, or video, including in the context of video coding.
2. Art antérieur  2. Prior Art
Lors de l'établissement d'une session multimédia comportant un transfert d'une séquence d'images, ou vidéo, le choix du codeur (et du décodeur associé) est effectué en tenant compte de plusieurs paramètres :  When establishing a multimedia session including a transfer of a sequence of images, or video, the choice of the encoder (and the associated decoder) is made taking into account several parameters:
les capacités du canal de transmission par lequel la vidéo transite (par exemple canal de type « IP ») ;  the capabilities of the transmission channel through which the video transits (eg "IP" type channel);
les capacités et type de codage que l'émetteur admet ;  the capabilities and type of encoding that the sender admits;
les capacités et type de décodage que le récepteur admet.  the capabilities and type of decoding that the receiver admits.
- les modes de codage/décodage que l'émetteur/récepteur emploie.  - the coding / decoding modes that the transmitter / receiver uses.
Par mode de codage, ou stratégie de codage (ou d'encodage), on entend notamment le choix d'implémentation du codage effectué au niveau du codeur/décodeur. Par exemple, il peut s'agir d'un mode de codage intra, d'un mode de codage inter de type P hiérarchique (tel que défini dans le document « H. 264 hierarchical P coding in the context of ultra-low delay, low complexity applications » Thomas Wiegand par exemple), d'un mode de codage inter de type IPPP (pour « image I, image P, image P, image P »), d'un mode de codage inter de type IPPPI (pour « image I, image P, image P, image P, image I »), d'un mode de codage de type « skip », etc.  By coding mode, or coding strategy (or encoding), is meant in particular the choice of implementation of the coding performed at the coder / decoder. For example, it may be an intra-coding mode, a hierarchical P-type inter coding mode (as defined in the document "H. 264 hierarchical P coding in the context of ultra-low delay, low complexity applications "Thomas Wiegand for example), an IPPP type inter-coding mode (for" image I, image P, image P, image P "), of an IPPPI type inter-coding mode (for" image I, image P, image P, image P, image I "), of a coding mode of" skip "type, etc.
Après l'établissement de la session multimédia, la qualité de la vidéo reçue par un client (encore appelé utilisateur) peut éventuellement être dégradée, suite à un étranglement au niveau du réseau, une perte de données, voire une limitation de capacité de traitement au niveau du client.  After establishing the multimedia session, the quality of the video received by a client (also called user) may be degraded, due to a network-level strangulation, a loss of data, or even a limitation of processing capacity at the end of the network. customer level.
Pour continuer la transmission de la séquence d'images malgré ces modifications des conditions de transmission, les codeurs vidéo existants, notamment selon les normes H.264, H.263, MPEG4, etc, acceptent la mise en œuvre de solutions spécifiques consistant à :  In order to continue the transmission of the image sequence despite these changes in the transmission conditions, the existing video coders, in particular according to the H.264, H.263, MPEG4, etc. standards, accept the implementation of specific solutions consisting of:
a) diminuer la qualité de la vidéo en augmentant la compression de chaque image ; b) diminuer la qualité de la vidéo en diminuant la fréquence des images (en anglais « frame- rate ») ; a) decrease the quality of the video by increasing the compression of each image; b) decrease the quality of the video by decreasing the frequency of the images (in English "frame-rate");
c) garder la même qualité et demander l'envoi d'une image en mode intra (image brute sans être encodée) ;  c) keep the same quality and ask to send an image in intra mode (raw image without being encoded);
d) garder la même qualité et changer de type de codeur/décodeur.  d) keep the same quality and change the type of encoder / decoder.
Un inconvénient des deux premières techniques proposées (a) et b)) est qu'elles diminuent la qualité de la vidéo, ce qui conduit à une dégradation de la vidéo reçue par le client, au niveau de la qualité des images ou de la fluidité des images.  A disadvantage of the first two techniques proposed (a) and b)) is that they reduce the quality of the video, which leads to a degradation of the video received by the customer, in terms of the quality of the images or the fluidity images.
Les deux dernières techniques proposées (c) et d)) permettent de garantir une qualité de vidéo constante lors de l'apparition de problèmes survenant au niveau du réseau.  The last two proposed techniques (c) and d)) ensure a constant video quality when problems occur at the network level.
Cependant, si la technique c) est appliquée suite à une baisse de débit sur les canaux de transport (entraînant ainsi une perte de données et donc une dégradation des images), la mise en œuvre de cette solution conduit à une dégradation accentuée de la qualité de l'image. En effet, cette solution consiste à envoyer une image en mode intra, qui contient la totalité de l'information d'une image et est donc de grande taille, dans un canal ne pouvant envoyer que des données de petites tailles.  However, if technique c) is applied as a result of a debit reduction on the transport channels (thus leading to a loss of data and thus a degradation of the images), the implementation of this solution leads to an accentuated degradation of the quality of the image. Indeed, this solution consists in sending an image in intra mode, which contains all the information of an image and is therefore large, in a channel that can only send data of small sizes.
La technique d) consiste à changer de codeur vidéo et choisir un nouveau codeur vidéo, dont le taux de compression est supérieur, afin que le débit d'envoi soit adapté à celui du canal de transmission. Un inconvénient de cette technique réside dans le coût de traitement supplémentaire engendré du coté du décodeur. En effet, la mise en œuvre de la technique d) nécessite que la puissance des processeurs, côté client, soit adaptée au coût demandé par le nouveau codeur/décodeur. Si elle n'est pas adaptée, la mise en œuvre de cette solution entraîne une dégradation accentuée de la qualité de la vidéo, si le processeur n'arrive pas à traiter les demandes de calculs ordonnées par le nouveau codeur/décodeur, et la qualité de l'image reçue (en sortie du décodeur vidéo) est dégradée.  The technique d) consists of changing the video encoder and choosing a new video encoder, whose compression ratio is higher, so that the transmission rate is adapted to that of the transmission channel. A disadvantage of this technique lies in the additional processing cost generated on the side of the decoder. Indeed, the implementation of technique d) requires that the power of the processors, on the client side, be adapted to the cost requested by the new coder / decoder. If it is not adapted, the implementation of this solution leads to an accentuated degradation of the quality of the video, if the processor can not manage the computation requests ordered by the new coder / decoder, and the quality of the received image (at the output of the video decoder) is degraded.
Enfin, quelque soit le mode de codage/décodage choisit, une dégradation sur l'un des éléments de la chaîne de transmission (réduction de débit par exemple) entraine généralement une dégradation plus ou moins accentuée de la qualité de la vidéo reçue par le client.  Finally, whatever the coding / decoding mode chooses, a degradation on one of the elements of the transmission chain (rate reduction for example) usually leads to a more or less marked deterioration in the quality of the video received by the client. .
Il existe donc un besoin pour une nouvelle technique de transmission d'une séquence d'images, ne présentant l'ensemble de ces inconvénients de l'art antérieur.  There is therefore a need for a new transmission technique of a sequence of images, not having all of these disadvantages of the prior art.
3. Exposé de l'invention  3. Presentation of the invention
L'invention propose une solution à ce problème, sous la forme d'un procédé de transmission d'une séquence d'images, comprenant les étapes suivantes :  The invention proposes a solution to this problem, in the form of a method for transmitting a sequence of images, comprising the following steps:
identification, dans au moins une image de la séquence, d'au moins deux régions distinctes ; pour chacune des régions, détermination d'un mode de codage adapté à la région ; identifying, in at least one image of the sequence, at least two distinct regions; for each of the regions, determination of a coding mode adapted to the region;
codage de la ou des images en utilisant, pour chacune des régions, le mode de codage adapté à la région, et transmission dans un unique flux vidéo.  coding the image or images using, for each of the regions, the encoding mode adapted to the region, and transmission in a single video stream.
Ainsi, l'invention repose sur une approche nouvelle et inventive de la transmission d'une séquence d'images, permettant de coder différemment différentes régions ou zones des images. De cette façon, il est possible d'utiliser un mode de codage plus robuste pour une région présentant un fort intérêt (notamment du point de vue du client), et un mode de codage moins robuste pour une région présentant un faible intérêt.  Thus, the invention is based on a new and inventive approach to the transmission of a sequence of images, making it possible to code different regions or zones of the images differently. In this way, it is possible to use a more robust encoding mode for a region of high interest (especially from the customer's point of view), and a less robust coding mode for a region of low interest.
En particulier, à conditions de transmission équivalentes, il est possible selon l'invention de transmettre un flux vidéo qui, du point de vue du client, présente une meilleure qualité qu'un flux vidéo transmis selon une technique classique. En effet, selon l'art antérieur, toute l'image est codée en utilisant un mode de codage spécifique, alors que selon l'invention, les régions présentant un fort intérêt sont codées en utilisant un mode de codage plus robuste, et apparaissent donc comme présentant une meilleure qualité pour le client.  In particular, under equivalent transmission conditions, it is possible according to the invention to transmit a video stream which, from the point of view of the customer, has a better quality than a video stream transmitted according to a conventional technique. Indeed, according to the prior art, the entire image is coded using a specific coding mode, whereas according to the invention, the regions of high interest are coded using a more robust coding mode, and therefore appear as presenting a better quality for the customer.
De plus, en cas de dégradation des conditions de transmission, le client ne détecte pas la dégradation de l'image, car celle-ci n'est pas, ou peu, dégradée pour la ou les régions auxquelles il accorde de l'intérêt (par exemple le centre de l'image), même si elle est dégradée pour la ou les régions qui ne sont pas d'un intérêt important (par exemple le fond ou les bords de l'image).  Moreover, in case of deterioration of the transmission conditions, the customer does not detect the degradation of the image, because it is not, or little, degraded for the region or regions to which it gives interest ( for example the center of the image), even if it is degraded for the region or regions that are not of significant interest (for example the background or edges of the image).
Par ailleurs, en cas d'erreur au cours de la transmission, il est possible de ne renvoyer que les informations associées à la région dans laquelle l'erreur est survenue (par exemple sous forme de résidu de prédiction ou de la région entière sous forme d'image intra), ce qui permet de limiter la consommation de bande passante. En effet, une perte ou erreur survenant dans une région n'impacte pas les autres régions, puisque les différentes régions sont codées indépendamment, en utilisant des modes de codage distincts.  Moreover, in case of error during the transmission, it is possible to return only the information associated with the region in which the error occurred (for example as a prediction residue or the entire region in form intra image), which limits the bandwidth consumption. In fact, a loss or error occurring in one region does not affect the other regions, since the different regions are coded independently, using different coding modes.
En particulier, on note que l'invention nécessite l'utilisation d'un seul codeur (par exemple de type H.263, H.264, MPEG4, ou d'autres codeurs existants ou à venir), pouvant implémenter différents modes ou stratégies de codage sur les différentes régions d'une image.  In particular, it should be noted that the invention requires the use of a single coder (for example of the H.263, H.264, MPEG4 or other existing or future coder type), which can implement different modes or strategies. encoding the different regions of an image.
Selon un aspect spécifique de l'invention, l'étape de détermination d'un mode de codage adapté à une région tient compte du contenu de la région.  According to a specific aspect of the invention, the step of determining a coding mode adapted to a region takes into account the content of the region.
Par exemple, l'étape de détermination tient compte d'une activité dans la région.  For example, the determination step considers activity in the region.
Ainsi, si l'on considère une séquence d'images dans laquelle la première image est composée d'un personnage et d'un fond à un instant tO, la deuxième image est composée du même personnage animé d'un mouvement et du même fond à un instant tl, et la troisième image est composée du même personnage animé d'un autre mouvement et du même fond à un instant t2, alors les images de la séquence d'images pourront être segmentée de façon similaire en deux régions, une première région correspondant au personnage et une deuxième région correspondant au fond, et deux modes de codage distincts pourront être affectés à ces deux régions. Thus, if we consider a sequence of images in which the first image is composed of a character and a background at a time t0, the second image is composed of the same animated character of a movement and the same background. at a time tl, and the third image is composed of the same animated character of another movement and the same background at a time t2, then the images of the image sequence can be segmented in a similar way in two regions, a first region corresponding to the character and a second region corresponding to the background, and two different coding modes can be assigned to these two regions.
La région correspondant au personnage dans cet exemple présente une forte activité (mouvement du personnage sur les trois images) et correspond donc à une région importante pour le client, qui reçoit et visualise la vidéo. On affecte donc, selon l'invention, un mode de codage robuste à cette région, qui permet de coder cette région avec une bonne qualité (par exemple comme un mode de codage de type P hiérarchique).  The region corresponding to the character in this example shows a strong activity (movement of the character on the three images) and thus corresponds to an important region for the client, who receives and visualizes the video. Therefore, according to the invention, a robust coding mode is assigned to this region, which makes it possible to code this region with a good quality (for example as a hierarchical P-type coding mode).
A l'inverse, la région correspondant au fond dans cet exemple ne présente pas, ou peu, d'activité, et correspond donc à une région de moindre intérêt pour le client. On affecte donc, selon l'invention, un mode de codage moins robuste à cette région, qui permet de coder cette région avec une qualité plus faible (par exemple comme un mode de codage de type IPPP).  Conversely, the region corresponding to the background in this example has little or no activity, and therefore corresponds to a region of lesser interest to the customer. Therefore, according to the invention, a less robust coding mode is assigned to this region, which makes it possible to code this region with a lower quality (for example as an IPPP type coding mode).
Ainsi, à titre d'exemple, au sein d'une même image, certaines régions peuvent donc être codées comme une image de type I et d'autres comme une image de type P.  Thus, for example, within the same image, some regions can therefore be encoded as a type I image and others as a P type image.
La ou les images codées en utilisant, pour chacune des régions, le mode de codage adapté à la région, sont ensuite transmises dans un unique flux vidéo.  The encoded image (s) using, for each of the regions, the coding mode adapted to the region, are then transmitted in a single video stream.
En particulier, et comme présenté ci-dessus, le mode de codage adapté à une région est défini pour plusieurs images de la séquence.  In particular, and as presented above, the coding mode adapted to a region is defined for several images of the sequence.
A titre d'exemple, les modes de codage appartiennent au groupe comprenant :  By way of example, the coding modes belong to the group comprising:
un codage de type IPPP, ou « image I, image P, image P, image P »,  an IPPP type of coding, or "image I, image P, image P, image P",
un codage de type image P hiérarchique,  a hierarchical image P type coding,
un codage de type IPPPI, ou « image I, image P, image P, image P, image I »,  an IPPPI type of coding, or "image I, image P, image P, image P, image I",
un codage de type intra-rafraîchissement adaptatif (en anglais « AIR » pour « adaptive intra refresh ») ;  adaptive intra-refresh type coding (in English "AIR" for "adaptive intra refresh");
un codage de type « backchannel » (en français « canal de retour »), tel que décrit dans la norme H.263 par exemple.  a "backchannel" coding (in French "return channel"), as described in the H.263 standard, for example.
Bien entendu, cette liste n'est pas exhaustive, et tout mode de codage peut être appliqué indépendamment sur chacune des régions d'une image, par exemple suivant l'intérêt de la région. En particulier, les exemples de modes de codage proposés concernent plus spécifiquement les transmissions temps réels, mais d'autres modes de codage sont envisageables dans le cas général, notamment avec des images de type B.  Of course, this list is not exhaustive, and any mode of coding can be applied independently on each of the regions of an image, for example according to the interest of the region. In particular, the examples of coding modes proposed relate more specifically to real-time transmissions, but other coding modes can be envisaged in the general case, in particular with type B images.
En particulier, pour une région de l'image satisfaisant un critère d'intérêt particulier, le mode de codage déterminé est un codage robuste de type image P hiérarchique ou IPPPI.  In particular, for a region of the image satisfying a particular criterion of interest, the determined coding mode is a robust P-type hierarchical or IPPPI coding.
Pour une région de l'image ne satisfaisant pas le critère d'intérêt particulier, le mode de codage déterminé est de type IPPP. Selon un autre aspect de l'invention, le procédé de transmission comprend une étape préalable de détermination des paramètres de transmission de la séquence d'images. For a region of the image that does not satisfy the criterion of particular interest, the determined coding mode is of the IPPP type. According to another aspect of the invention, the transmission method comprises a preliminary step of determining the transmission parameters of the image sequence.
Ainsi, un premier jeu de paramètres de transmission, définissant par exemple la fréquence de transmission des images, la résolution des images, le débit de transmission, etc, peut être négocié/défini préalablement à la transmission, lors de l'ouverture d'une session multimédia.  Thus, a first set of transmission parameters, for example defining the transmission frequency of the images, the resolution of the images, the transmission rate, etc., can be negotiated / defined before transmission, when opening a multimedia session.
Une fois ce premier jeu de paramètres défini, on considère un deuxième « jeu de paramètres » spécifiques au codeur, définissant par exemple les différents modes de codage/décodage autorisés par le codeur et le décodeur. Ces modes de codage/décodage dépendent notamment des paramètres de transmission définis dans le premier jeu (comme la fréquence de transmission des images, la résolution, etc, prédéfinies).  Once this first set of parameters has been defined, a second "set of parameters" specific to the encoder is considered, for example defining the various coding / decoding modes authorized by the coder and the decoder. These coding / decoding modes depend in particular on the transmission parameters defined in the first set (such as the transmission frequency of the images, the resolution, etc., predefined).
Selon un aspect particulier de l'invention, le procédé de transmission comprend une étape de mise à jour des régions et des modes de codage adaptés à chacune des régions, périodique et/ou tenant compte d'une modification du canal de transmission.  According to a particular aspect of the invention, the transmission method comprises a step of updating the regions and coding modes adapted to each of the regions, periodic and / or taking into account a modification of the transmission channel.
Ainsi, il est possible de redéfinir les régions et/ou le mode de codage utilisé pour chaque région au cours de la transmission, périodiquement et/ou en fonction d'une variation du canal de transmission. Le schéma adaptatif proposé selon ce mode de réalisation permet d'optimiser le codage de la séquence d'images.  Thus, it is possible to redefine the regions and / or the coding mode used for each region during transmission, periodically and / or according to a variation of the transmission channel. The adaptive scheme proposed according to this embodiment makes it possible to optimize the coding of the image sequence.
Par exemple, cette étape de mise à jour peut être effectuée à réception, par le codeur, d'une information sur le canal de transmission (« feedback »).  For example, this update step may be performed upon receipt by the encoder of information on the transmission channel ("feedback").
Selon une autre caractéristique particulière de l'invention, au moins un indicateur peut être inséré dans le flux vidéo, afin d'identifier les différentes régions de l'image et/ou de préciser le mode de codage utilisé pour chaque région.  According to another particular characteristic of the invention, at least one indicator can be inserted in the video stream, in order to identify the different regions of the image and / or to specify the coding mode used for each region.
Dans un autre mode de réalisation, l'invention concerne un dispositif de transmission d'une séquence d'images, comprenant :  In another embodiment, the invention relates to a device for transmitting an image sequence, comprising:
des moyens d'identification, dans au moins une image de la séquence, d'au moins deux régions distinctes ;  means for identifying, in at least one image of the sequence, at least two distinct regions;
des moyens de détermination d'un mode de codage adapté à chacune des régions ;  means for determining a coding mode adapted to each of the regions;
des moyens de codage de la ou des images en utilisant, pour chacune des régions, le mode de codage adapté à la région, et des moyens de transmission dans un unique flux vidéo.  coding means of the one or more images using, for each of the regions, the coding mode adapted to the region, and transmission means in a single video stream.
Un tel dispositif de transmission est notamment adapté à mettre en œuvre le procédé de transmission décrit précédemment. Il comprend par exemple un codeur vidéo de type H.263, H.264, MPEG4, etc. Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de transmission selon l'invention, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de transmission, et ne sont pas détaillés plus amplement. Such a transmission device is particularly suitable for implementing the transmission method described above. It comprises for example a video coder of H.263, H.264, MPEG4, etc. type. This device may of course include the various characteristics relating to the transmission method according to the invention, which can be combined or taken separately. Thus, the features and advantages of this device are the same as those of the transmission method, and are not detailed further.
L'invention concerne par ailleurs un procédé de réception d'une séquence d'images, comprenant les étapes suivantes :  The invention furthermore relates to a method for receiving an image sequence, comprising the following steps:
réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images ;  receiving a single video stream, comprising at least one coded picture using an encoding mode adapted to each region of the one or more images;
décodage et restitution de la ou des images.  decoding and restitution of the image (s).
Un tel procédé est notamment adapté à recevoir un flux vidéo tel que décrit précédemment. Ce procédé pourra donc comporter les différentes caractéristiques relatives au procédé de transmission selon l'invention. Ainsi, les caractéristiques et avantages de ce procédé de réception sont les mêmes que ceux du procédé de transmission, et ne sont pas détaillés plus amplement.  Such a method is particularly adapted to receive a video stream as described above. This method may therefore include the various characteristics relating to the transmission method according to the invention. Thus, the characteristics and advantages of this reception method are the same as those of the transmission method, and are not detailed further.
Dans un autre mode de réalisation, l'invention concerne un dispositif de réception d'une séquence d'images, comprenant :  In another embodiment, the invention relates to a device for receiving an image sequence, comprising:
des moyens de réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ; des moyens de décodage et restitution de la ou des images codées.  means for receiving a single video stream, comprising at least one coded picture by using a coding mode adapted to each region of said at least one picture; means for decoding and restoring the coded picture or images.
Un tel dispositif de réception est notamment adapté à mettre en œuvre le procédé de réception décrit précédemment. Il comprend par exemple un décodeur vidéo de type H.263, H.264, MPEG4, etc.  Such a reception device is particularly adapted to implement the reception method described above. It includes for example a video decoder type H.263, H.264, MPEG4, etc.
Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de réception selon l'invention, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de réception, et ne sont pas détaillés plus amplement.  This device may of course include the various characteristics relating to the reception method according to the invention, which can be combined or taken in isolation. Thus, the features and advantages of this device are the same as those of the reception method, and are not detailed further.
Dans un autre mode de réalisation, l'invention concerne un ou plusieurs programmes d'ordinateur comportant des instructions pour la mise en œuvre d'un procédé de transmission et/ou d'un procédé de réception tels que décrits précédemment, lorsque ce ou ces programmes sont exécutés par un processeur.  In another embodiment, the invention relates to one or more computer programs comprising instructions for implementing a transmission method and / or a reception method as described above, when this or these programs are run by a processor.
Ainsi, les procédés de transmission et/ou de réception selon l'invention peuvent être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle.  Thus, the transmission and / or reception methods according to the invention can be implemented in various ways, in particular in hard-wired form or in software form.
Dans encore un autre mode de réalisation, l'invention concerne au moins un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions exécutables par un ordinateur pour la mise en œuvre d'un procédé de transmission et/ou d'un procédé de réception tels que décrits précédemment. In yet another embodiment, the invention relates to at least one computer-readable recording medium on which a computer program is recorded. comprising computer executable instructions for carrying out a transmission method and / or a reception method as described above.
4. Liste des figures  4. List of figures
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :  Other features and advantages of the invention will appear more clearly on reading the following description of a particular embodiment, given as a simple illustrative and nonlimiting example, and the appended drawings, among which:
la figure 1 présente les principales étapes d'un procédé de transmission selon un mode de réalisation particulier de l'invention ;  Figure 1 shows the main steps of a transmission method according to a particular embodiment of the invention;
la figure 2 présente les principales étapes d'un procédé de réception selon un mode de réalisation particulier de l'invention ;  Figure 2 shows the main steps of a reception method according to a particular embodiment of the invention;
la figure 3 illustre un exemple de traitement d'une image d'une séquence d'images selon un mode de réalisation particulier de l'invention ;  FIG. 3 illustrates an exemplary processing of an image of a sequence of images according to a particular embodiment of the invention;
les figures 4 et 5 présentent respectivement la structure d'un dispositif de transmission et d'un dispositif de réception selon un mode de réalisation particulier de l'invention.  Figures 4 and 5 respectively show the structure of a transmission device and a receiving device according to a particular embodiment of the invention.
5. Description d'un mode de réalisation de l'invention  5. Description of an embodiment of the invention
5.1 Principe général  5.1 General principle
Le principe général de l'invention repose sur l'identification de différentes régions dans au moins une image d'une séquence d'images, et sur le codage spécifique de ces différentes régions, en utilisant un mode de codage adapté pour chaque région. Un tel mode de codage est sélectionné parmi un ensemble de modes de codage défini pour le codeur utilisé. Ainsi, on peut utiliser un premier mode de codage pour coder une première région de l'image, un deuxième mode de codage pour coder une deuxième région de l'image, etc. La ou les images ainsi codées par le codeur sont transmises dans un unique flux vidéo.  The general principle of the invention is based on the identification of different regions in at least one image of a sequence of images, and on the specific coding of these different regions, using a coding mode adapted for each region. Such an encoding mode is selected from a set of coding modes defined for the encoder used. Thus, a first encoding mode may be used to encode a first region of the image, a second encoding mode to encode a second region of the image, and so on. The image or images encoded by the encoder are transmitted in a single video stream.
Il est ainsi possible de maintenir la qualité de la vidéo perçue par un client même en cas de modification des conditions de transmission, voire d'améliorer la qualité de la vidéo perçue par un client par rapport aux techniques de transmission existantes à mêmes conditions de transmission.  It is thus possible to maintain the quality of the video perceived by a customer even in the event of a change in the transmission conditions, or even to improve the quality of the video perceived by a customer compared to the existing transmission techniques with the same transmission conditions. .
En particulier, il est possible de limiter la dégradation de la qualité de la vidéo perçue par un client ou utilisateur, notamment en cas de réduction de la capacité du canal, en adaptant le mode de codage aux différentes régions de l'image, et par exemple en tenant compte des régions d'intérêt des images.  In particular, it is possible to limit the degradation of the quality of the video perceived by a client or user, especially in the event of a reduction in the capacity of the channel, by adapting the coding mode to the different regions of the image, and by example taking into account the regions of interest of the images.
5.2 Description de modes de réalisation particuliers  5.2 Description of particular embodiments
On présente, en relation avec la figure 1, les principales étapes d'une technique de transmission d'une séquence d'images Seq selon un mode de réalisation particulier de l'invention. Au cours d'une première étape 11, on identifie (Id), dans au moins une image de la séquence Séq, au moins deux régions distinctes. In relation to FIG. 1, the main steps of a transmission technique of a Seq image sequence according to a particular embodiment of the invention are presented. During a first step 11, at least one image of the Seq sequence identifies (Id) at least two distinct regions.
Selon le mode de réalisation de l'invention, l'identification de différentes régions dans une image peut être mise en œuvre de manière statique ou dynamique, et manuel ou automatique.  According to the embodiment of the invention, the identification of different regions in an image can be implemented statically or dynamically, and manually or automatically.
Par exemple, selon une première variante, dite statique, il peut être prédéterminé, en fonction du flux vidéo à transmettre, que certaines régions de l'image (par exemple les bords, les coins) soient de moindre intérêt pour l'utilisateur et donc traitées comme des régions dont la qualité peut être dégradée en utilisant un mode de codage basique. Par déduction, les autres régions de l'image, par exemple le centre, sont considérées comme étant de grand intérêt par le client, et donc traitées comme des régions dont il faut préserver la qualité en utilisant un mode de codage robuste.  For example, according to a first variant, called static, it may be predetermined, depending on the video stream to be transmitted, that certain regions of the image (for example edges, corners) are of lesser interest to the user and therefore treated as regions whose quality can be degraded using a basic encoding mode. By inference, the other regions of the image, for example the center, are considered of great interest by the client, and thus treated as regions whose quality must be preserved by using a robust coding mode.
Ainsi, si le flux vidéo contient plutôt des scènes figées, par exemple dans le cas d'une session de vidéoconférence avec des interlocuteurs statiques, les régions peuvent être prédéfinies.  Thus, if the video stream contains rather frozen scenes, for example in the case of a videoconference session with static interlocutors, the regions can be predefined.
Selon une deuxième variante, dite dynamique, les différentes régions ne sont pas prédéfinies avant la transmission.  According to a second variant, called dynamic, the different regions are not predefined before transmission.
Par exemple, on peut employer des techniques connues de recherche de mouvement, afin d'accorder plus d'importance à des régions actives, présentant du mouvement, au détriment de régions ne présentant pas de mouvement, donc statiques.  For example, known motion search techniques may be used to give more importance to active, moving regions at the expense of motionless, and thus static, regions.
Il est par ailleurs possible de segmenter les images de la séquence d'images manuellement, ou automatiquement en utilisant une technique connue, de type ordonnancement flexible des macroblocs (en anglais FMO ou « Flexible Macroblock Ordering ») par exemple.  It is also possible to segment the images of the image sequence manually, or automatically using a known technique, flexible macroblock scheduling type (in English FMO or "Flexible Macroblock Ordering") for example.
Au cours d'une deuxième étape 22, on détermine, pour chacune des régions, un mode de codage adapté à la région.  During a second step 22, for each of the regions, a coding mode adapted to the region is determined.
On rappelle que tout mode de codage compatible avec le codeur utilisé peut être appliqué indépendamment sur chacune des régions, suivant l'intérêt de la région, selon ce mode de réalisation particulier. Un tel mode ou algorithme de codage permet notamment d'améliorer la qualité et/ou la résistance aux pertes.  It is recalled that any coding mode compatible with the encoder used can be applied independently to each of the regions, depending on the interest of the region, according to this particular embodiment. Such a mode or coding algorithm notably makes it possible to improve the quality and / or the resistance to losses.
Il est ainsi possible d'assigner, selon ce mode de réalisation particulier, des modes de codage différents au sein d'une même image, en choisissant un mode de codage qui soit adapté à l'activité de la région correspondante. Ainsi, la solution proposée, selon ce mode de réalisation, permet une dégradation non uniforme de la séquence d'images en cas de réduction de la capacité du canal, alors que les solutions existantes reposent sur une dégradation équivalente (sur toute l'image) de la séquence d'images. La solution proposée permet donc, selon ce mode de réalisation particulier, de dégrader d'avantage les images de la séquence dans les régions dans lesquelles la qualité perçue par le client est de faible intérêt, et de préserver un maximum de qualité dans les régions dans lesquelles la qualité perçue par le client est primordiale. It is thus possible to assign, according to this particular embodiment, different coding modes within the same image, by choosing a coding mode that is adapted to the activity of the corresponding region. Thus, the proposed solution, according to this embodiment, allows a non-uniform degradation of the image sequence in case of reduction of the capacity of the channel, whereas the existing solutions are based on an equivalent degradation (over the image) of the image sequence. The proposed solution therefore makes it possible, according to this particular embodiment, to further degrade the images of the sequence in the regions in which the quality perceived by the customer is of low interest, and to preserve a maximum of quality in the regions in which which quality perceived by the customer is paramount.
De cette façon, il est possible de conserver la qualité d'une région d'intérêt au sein d'un flux vidéo, ou de limiter la dégradation afin qu'elle ne soit pas perçue par le client, dans un environnement contraint en terme de capacité de transmission des données.  In this way, it is possible to maintain the quality of a region of interest within a video stream, or to limit the degradation so that it is not perceived by the customer, in a constrained environment in terms of data transmission capacity.
Par exemple, si la région est de faible intérêt, on choisit un mode de codage ne retransmettant pas cette région de l'image en cas d'erreur. Notamment, s'il s'agit d'une région de l'image « fond », c'est-à-dire n'évoluant pas dans la séquence d'images, on peut choisir un mode de codage de type « skip », correspondant donc à une absence de transmission d'informations représentatives de cette région. A l'inverse, si la région présente un intérêt important, on peut choisir un mode de codage qui renvoie l'image I.  For example, if the region is of low interest, one chooses a coding mode not retransmitting this region of the image in case of error. In particular, if it is a region of the "background" image, that is to say not evolving in the image sequence, it is possible to choose a "skip" type of coding mode. , corresponding to a lack of transmission of information representative of this region. Conversely, if the region is of significant interest, one can choose an encoding mode that returns the image I.
Au cours d'une troisième étape 13, la ou les images de la séquence sont codées, en utilisant, pour chacune des régions, le mode de codage adapté à la région déterminé à l'étape précédente. Un unique flux vidéo est généré au cours de cette troisième étape.  During a third step 13, the image or images of the sequence are coded, using, for each of the regions, the coding mode adapted to the region determined in the previous step. A single video stream is generated during this third step.
On note que ces trois premières étapes 11, 12 et 13 peuvent être mises en œuvre par un codeur, tel qu'un codeur H.263, H.264, MPEG4, etc par exemple.  It should be noted that these first three steps 11, 12 and 13 can be implemented by an encoder, such as an H.263, H.264, MPEG4 coder, etc. for example.
Au cours d'une quatrième étape 14, le flux vidéo est transmis à destination d'un client. During a fourth step 14, the video stream is transmitted to a client.
On décrit désormais, en relation avec la figure 2, les principales étapes d'une technique de réception d'un flux vidéo selon un mode de réalisation particulier de l'invention. With reference to FIG. 2, the main steps of a technique for receiving a video stream according to a particular embodiment of the invention will now be described.
Au cours d'une première étape 21, on reçoit un flux vidéo comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images, obtenu comme décrit ci-dessus.  During a first step 21, a video stream is received comprising at least one coded picture by using a coding mode adapted to each region of the image or images, obtained as described above.
Au cours d'une deuxième étape 22, la ou les images codées sont décodées, et la séquence d'image correspondante Seq est restituée sur un terminal du client.  During a second step 22, the coded picture (s) are decoded, and the corresponding image sequence Seq is restored on a terminal of the client.
Différentes options de décodage peuvent être envisagées, mettant en œuvre soit un décodeur classique, soit une séparation des données du flux vidéo en fonction de la région de l'image afin de soumettre chaque région de l'image à un décodeur adapté au mode de codage utilisé pour la région correspondante.  Different decoding options may be envisaged, implementing either a conventional decoder or a separation of the data of the video stream according to the region of the image in order to subject each region of the image to a decoder adapted to the coding mode. used for the corresponding region.
En particulier, selon l'art antérieur, une image ne pouvait être restituée ou rafraîchie au niveau du terminal client qu'une fois les informations représentatives de la totalité de l'image reçues et décodées. Selon l'invention, il est possible de restituer/rafraîchir une région de l'image (par exemple une région d'intérêt, dans laquelle il y a plus de mouvement) dés que les informations représentatives de cette région de l'image sont reçues et décodées. 5.3 Exemples de mise en œuvre de l'invention In particular, according to the prior art, an image could be restored or refreshed at the client terminal once the information representative of the entire image received and decoded. According to the invention, it is possible to restore / refresh a region of the image (for example a region of interest, in which there is more movement) as soon as the information representative of this region of the image is received. and decoded. 5.3 Examples of implementation of the invention
On présente désormais, en relation avec la figure 3, un premier exemple de mise en œuvre de l'invention.  A first exemplary implementation of the invention is now presented with reference to FIG.
On considère par exemple une séquence d'images représentative d'un journal télévisé, dans lequel la scène se compose du fond fondu avec changement de luminosité, du présentateur et d'un envoyé spécial, et d'une zone en pied de scène indiquant les cours de la bourse ou un bandeau d'informations.  For example, an image sequence representative of a television news program in which the scene consists of the faded background with a change in brightness, the presenter and a special correspondent, and an area at the foot of the stage indicating stock market or information banner.
Selon un mode de réalisation particulier de l'invention, une image à un instant t est décomposée en quatre régions :  According to a particular embodiment of the invention, an image at a time t is decomposed into four regions:
une région 31, en hachuré, indiquant les cours de la bourse ou un bandeau d'informations ;  a region 31, hatched, indicating the price of the stock exchange or a banner of information;
une région 32 qui correspond à la zone d'évolution du présentateur ;  a region 32 which corresponds to the evolution area of the presenter;
une région 33 qui correspond à la zone d'évolution de l'envoyé spécial ; et une région 34 représentant le fond.  a region 33 corresponding to the area of evolution of the special envoy; and a region 34 representing the bottom.
En cas de dégradation des conditions de transmission, et notamment du canal de transmission, au lieu de réduire la qualité de la vidéo en réduisant par exemple la fréquence des images à 25 images par seconde sur toute l'image, on propose selon l'invention de conserver cette fréquence à 50 images par seconde, et d'appliquer un mode de codage différent aux différentes régions de l'image :  In the event of degradation of the transmission conditions, and in particular of the transmission channel, instead of reducing the quality of the video by reducing, for example, the frequency of the images at 25 images per second throughout the image, it is proposed according to the invention to keep this frequency at 50 frames per second, and to apply a different coding mode to the different regions of the image:
sur la région 33 contenant l'envoyé spécial, qui correspond à la zone de priorité la plus importante du point de vue du client : application d'un mode de codage de type P hiérarchique, ou bien d'un mode de codage de type I, P, I, P, etc (en d'autres termes, on envoie l'image intra de cette région une fois sur deux : avec la première image, avec la troisième image, avec la cinquième image, etc) ;  on the region 33 containing the special message, which corresponds to the most important priority area from the point of view of the client: application of a hierarchical type P coding mode, or of a type I coding mode , P, I, P, etc. (in other words, we send the intra image of this region every other time: with the first image, with the third image, with the fifth image, etc.);
sur la région 32 contenant le présentateur, qui correspond à une zone de priorité normale du point de vue du client : application d'un mode de codage classique, par exemple de type I, P, P, P, P, I (en d'autres termes, on envoie l'image intra de cette région une fois sur cinq : avec la première image, avec la sixième image, etc) ;  on the region 32 containing the presenter, which corresponds to a normal priority area from the point of view of the customer: application of a conventional encoding mode, for example of type I, P, P, P, P, I (in d In other words, we send the intra image of this region once in five: with the first image, with the sixth image, etc.);
sur la région 31 contenant le bandeau d'informations ou les cours de la bourse, qui correspond à une zone de faible priorité du point de vue du client : application d'un mode de codage moins robuste, par exemple de type I, P, P, P, P, P, P, P, P, P, I (en d'autres termes, on envoie l'image intra de cette région une fois sur dix : avec la première image, avec la onzième image, etc). On peut également choisir un mode de codage ne retransmettant pas la région de l'image (ou un résidu correspond à cette région de l'image) en cas de perte de données ; sur la région 34 contenant le fond / reste de l'image : application d'un mode de codage encore moins robuste. Notamment, lorsque le reste de l'image est fixe, on peut utiliser le mode de codage « skip » dès que la qualité du fond restitué au client est suffisante. Par exemple, on envoie l'image intra de cette région une seule fois, puis on ne code plus cette région tant qu'il n'y a pas de changement au niveau du fond. En particulier, on peut choisir un mode de codage ne permettant aucune retransmission en cas d'erreur ou de perte de données. Ainsi, en cas d'erreur, aucune mise à jour du fond n'est demandée, dans la mesure où cette région est de faible intérêt pour le client. on the region 31 containing the information banner or the stock exchange rate, which corresponds to a zone of low priority from the point of view of the customer: application of a less robust coding mode, for example of type I, P, P, P, P, P, P, P, P, P, I (in other words, we send the intra image of this region once in ten: with the first image, with the eleventh image, etc.) . It is also possible to choose a coding mode that does not retransmit the region of the image (or a residue corresponds to this region of the image) in the event of data loss; on the region 34 containing the background / rest of the image: application of an even less robust coding mode. In particular, when the rest of the image is fixed, it is possible to use the "skip" encoding mode as soon as the quality of the background returned to the customer is sufficient. For example, we send the intra image of this region only once, then we do not code this region as long as there is no change in the background. In particular, it is possible to choose a coding mode that does not allow any retransmission in the event of error or loss of data. Thus, in case of error, no update of the bottom is requested, insofar as this region is of little interest to the customer.
Ainsi, l'invention permet, selon au moins un de ses modes de réalisation, de limiter la dégradation perçue par le client/utilisateur en cas de dégradation des conditions de transmission, puisque l'envoyé spécial et le présentateur restent fluides et bien définis, et que le bandeau d'information/cours de la bourse reste lisible (même si de moins bonne qualité que l'envoyé spécial et le présentateur). On rappelle que selon les techniques de l'art antérieur, l'image est dégradée dans son ensemble.  Thus, the invention makes it possible, according to at least one of its embodiments, to limit the degradation perceived by the client / user in the event of deterioration of the transmission conditions, since the special correspondent and the presenter remain fluid and well defined, and that the information banner / stock market price remains legible (though of lower quality than the special correspondent and the presenter). It is recalled that according to the techniques of the prior art, the image is degraded as a whole.
Selon encore un deuxième exemple de mise en œuvre de l'invention, on considère une session de vidéoconférence dont le débit entrant dans le serveur de vidéoconférence est limité à 2 Mbs. Le débit sortant, au niveau de chacun des participants, dépend du nombre de participants à cette vidéoconférence. Par exemple, si le nombre de participants est égal à 5, alors chacun des participants dispose en moyenne de 400 kbs, et la qualité d'émission de la vidéo de chaque participant est alors limitée par ce débit. Par ailleurs, si le nombre de participants augmente, et notamment s'il double (10 participants), le débit alloué à chaque participant est divisé par deux, soit 200 kbs, et la qualité de la vidéo émise par chacun des participants est dégradée, de manière uniforme pour toute l'image selon les techniques connues de l'art antérieur.  According to a second example of implementation of the invention, consider a videoconference session whose rate entering the videoconferencing server is limited to 2 Mbs. The outgoing rate, at the level of each participant, depends on the number of participants in this videoconference. For example, if the number of participants is 5, then each participant has an average of 400 kbs, and the quality of each participant's video transmission is then limited by this bit rate. Furthermore, if the number of participants increases, and especially if it doubles (10 participants), the bit rate allocated to each participant is halved, or 200 kbs, and the quality of the video sent by each participant is degraded, in a uniform manner for the entire image according to the known techniques of the prior art.
Au contraire, selon un mode de réalisation particulier de l'invention, l'image de chaque participant est segmentée en deux régions différentes : une première région pour le visage et une seconde région pour le fond. Chacune de ces régions prend une partie du débit de 200kbs alloué, et un mode de codage distinct est affecté à chacune de ces régions, en fonction de l'intérêt associé à chaque région.  In contrast, according to a particular embodiment of the invention, the image of each participant is segmented into two different regions: a first region for the face and a second region for the background. Each of these regions takes a portion of the 200kbbit allocated, and a separate coding scheme is assigned to each of these regions, based on the interest associated with each region.
Ainsi, si le débit consommé par la région visage, tout en conservant les autres paramètres de transmission d'origine (taille et fréquence d'images), est inférieur à 200 kbs (150 kbs par exemple), alors aucun changement de qualité ne va être appliqué sur cette région (on conserve un mode de codage classique, ou on utilise un mode de codage plus robuste pour améliorer la qualité de la région visage, comme le codage de type AIR ou IPPPI). Le reste du débit (50 kbs) est alloué alors pour la région du fond, pour laquelle on utilise un mode de codage moins robuste, comme le codage IPPP. Thus, if the rate consumed by the face region, while retaining the other original transmission parameters (size and frame rate), is less than 200 kbs (150 kbs for example), then no change in quality will be applied to this region (one retains a conventional encoding mode, or one uses a more robust coding mode to improve the quality of the face region, such as AIR or IPPPI coding). The rest of the flow (50 kbs) is allocated then for the background region, for which a less robust coding mode, such as IPPP coding, is used.
Si le débit consommé par la région visage, tout en conservant les autres paramètres de transmission d'origine (taille et fréquence d'images), est supérieur à 200 kbs (250 kbs par exemple), alors le mode de codage est modifié afin d'utiliser un mode de codage moins consommateur de bande passante, comme le codage de type P hiérarchique, de façon à n'utiliser qu'une partie du débit, par exemple 150 kbs. Le reste du débit (50 kbs) peut alors être alloué pour la région du fond, pour laquelle on utilise un mode de codage moins robuste, comme le codage IPPP. Côté décodeur, on rafraîchit donc moins souvent une région présentant un plus faible intérêt pour le client.  If the rate consumed by the face region, while retaining the other original transmission parameters (size and frame rate), is greater than 200 kbs (250 kbs for example), then the encoding mode is changed to use a less bandwidth-intensive encoding mode, such as hierarchical P-type coding, so as to use only a portion of the bit rate, for example 150 kbs. The remainder of the flow (50 kbs) can then be allocated for the bottom region, for which a less robust coding mode, such as IPPP coding, is used. On the decoder side, therefore, a region of lesser interest to the customer is refreshed less often.
A titre d'exemple, si on considère des applications temps réel, on peut classer différents modes de codage en fonction de leur coût en terme de débit, avec du moins coûteux au plus coûteux : le codage de type IPPP, le codage de type P hiérarchique, le codage de type « backchannel », le codage de type AIR, le codage de type IPPPI.  By way of example, if we consider real-time applications, we can classify different coding modes according to their cost in terms of bit rate, from the least expensive to the most expensive: IPPP type coding, P type coding hierarchical, "backchannel" type coding, AIR type coding, IPPPI type coding.
Finalement, les deux régions sont transmises dans un unique flux vidéo.  Finally, both regions are transmitted in a single video stream.
Ce traitement, selon ce mode de réalisation de l'invention, engendre une perte de qualité sur la région correspondant au fond, ce qui ne perturbe pas l'utilisateur, le fond ne bougeant pas ou peu, mais la qualité de la région visage est conservée (voire améliorée). Ainsi, la dégradation de la qualité de l'image engendrée par une diminution du débit de transmission n'est pas perçue par l'utilisateur.  This treatment, according to this embodiment of the invention, causes a loss of quality on the region corresponding to the bottom, which does not disturb the user, the bottom does not move or little, but the quality of the face area is preserved (or even improved). Thus, the degradation of the quality of the image caused by a decrease in the transmission rate is not perceived by the user.
5.4 Structures simplifiées d'un dispositif de transmission et d'un dispositif de réception La figure 4 présente la structure simplifiée d'un dispositif de transmission mettant en œuvre le procédé de transmission selon un mode de réalisation particulier de l'invention.  5.4 Simplified Structures of a Transmission Device and a Receiving Device FIG. 4 shows the simplified structure of a transmission device implementing the transmission method according to a particular embodiment of the invention.
Ce dispositif comprend une mémoire RAM 41, une unité de traitement 42, équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire ROM 43. A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire RAM 41 avant d'être exécutées par le processeur de l'unité de traitement 42. L'unité de traitement 42 reçoit en entrée au moins une image d'une séquence d'images. Le processeur de l'unité de traitement 42 met en œuvre les étapes du procédé de transmission décrit précédemment, selon les instructions du programme d'ordinateur 43, en appliquant un traitement distincts aux différentes régions de la ou des images, et génère en sortie un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images. Pour cela, le dispositif de transmission comprend, outre la mémoire 41, des moyens d'identification, dans au moins une image de la séquence, d'au moins deux régions distinctes, des moyens de détermination d'un mode de codage adapté à chacune des régions, des moyens de codage de la ou des images, et des moyens de transmission dans un unique flux vidéo. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 42. This device comprises a RAM 41, a processing unit 42, equipped for example with a processor, and controlled by a computer program stored in a ROM 43. At initialization, the code instructions of the program of For example, the computers are loaded into the RAM 41 before being executed by the processor of the processing unit 42. The processing unit 42 receives at least one image of a sequence of images as input. The processor of the processing unit 42 implements the steps of the transmission method described above, according to the instructions of the computer program 43, by applying a separate processing to the different regions of the image or images, and outputs a single video stream, comprising at least one coded picture using a coding mode adapted to each region of the image or images. For this, the transmission device comprises, in addition to the memory 41, means for identifying, in at least one image of the sequence, at least two distinct regions, means for determining a coding mode adapted to each of the regions, encoding means of the one or more images, and transmission means in a single video stream. These means are controlled by the microprocessor of the processing unit 42.
La figure 5 présente la structure simplifiée d'un dispositif de réception mettant en œuvre le procédé de réception selon un mode de réalisation particulier de l'invention.  FIG. 5 shows the simplified structure of a reception device implementing the reception method according to a particular embodiment of the invention.
Ce dispositif comprend une mémoire RAM 51, une unité de traitement 52, équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire ROM 53. A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire RAM 51 avant d'être exécutées par le processeur de l'unité de traitement 52. L'unité de traitement 52 reçoit en entrée un unique flux vidéo. Le processeur de l'unité de traitement 52 met en œuvre les étapes du procédé de réception décrit précédemment, selon les instructions du programme d'ordinateur 53, pour décoder et restituer la ou les images codées en utilisant un mode de codage adapté à chaque région de la ou des images. Pour cela, le dispositif de réception comprend, outre la mémoire 51, des moyens de réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images, des moyens de décodage et restitution de la ou des images. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 52.  This device comprises a RAM 51, a processing unit 52, equipped for example with a processor, and controlled by a computer program stored in a ROM 53. At initialization, the code instructions of the program of For example, the computers are loaded into the RAM 51 before being executed by the processor of the processing unit 52. The processing unit 52 receives as input a single video stream. The processor of the processing unit 52 implements the steps of the reception method described above, according to the instructions of the computer program 53, for decoding and reproducing the coded picture (s) using a coding mode adapted to each region. of the images. For this purpose, the reception device comprises, in addition to the memory 51, means for receiving a single video stream, comprising at least one coded picture by using a coding mode adapted to each region of the picture or images, means for decoding and restitution of the image (s). These means are controlled by the microprocessor of the processing unit 52.
Selon différents modes de réalisation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels.  According to various embodiments, the invention is implemented by means of software and / or hardware components.
Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions. Un tel composant logiciel est exécuté par un processeur de données d'une entité physique (codeur, émetteur, terminal, décodeur, récepteur, dispositif de transmission, dispositif de réception, ...) et est susceptible d'accéder aux ressources matérielles de cette entité physique (mémoires, supports d'enregistrement, bus de communication, cartes électroniques d'entrées/sorties, interfaces utilisateur, ...).  A software component corresponds to one or more computer programs, one or more subroutines of a program, or more generally to any element of a program or software capable of implementing a function or a program. set of functions. Such a software component is executed by a data processor of a physical entity (encoder, transmitter, terminal, decoder, receiver, transmission device, receiving device, etc.) and is capable of accessing the hardware resources of this device. physical entity (memories, recording media, communication buses, input / output electronic boards, user interfaces, ...).
De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel (ou « hardware ») apte à mettre en œuvre une fonction ou un ensemble de fonctions. Il peut s'agir d'un composant matériel programmable ou avec processeur intégré pour l'exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l'exécution d'un micrologiciel (« firmware »), etc.  In the same way, a hardware component corresponds to any element of a hardware set (or "hardware") able to implement a function or a set of functions. It may be a hardware component that is programmable or has an integrated processor for executing software, for example an integrated circuit, a smart card, a memory card, an electronic card for executing a firmware ( "Firmware"), etc.

Claims

REVENDICATIONS
1. Procédé de transmission d'une séquence d'images, caractérisé en ce qu'il comprend les étapes suivantes :  A method of transmitting a sequence of images, characterized in that it comprises the following steps:
identification (11), dans au moins une image de ladite séquence, d'au moins deux régions distinctes ;  identifying (11), in at least one image of said sequence, at least two distinct regions;
pour chacune desdites régions, détermination (12) d'un mode de codage adapté à ladite région ;  for each of said regions, determining (12) a coding mode adapted to said region;
codage (13) de ladite au moins une image en utilisant, pour chacune desdites régions, le mode de codage adapté à ladite région, et transmission (14) dans un unique flux vidéo.  encoding (13) said at least one image using, for each of said regions, the encoding mode adapted to said region, and transmitting (14) in a single video stream.
2. Procédé de transmission selon la revendication 1, caractérisé en ce que ladite étape de détermination (12) tient compte du contenu de ladite région. 2. Transmission method according to claim 1, characterized in that said determining step (12) takes into account the content of said region.
3. Procédé de transmission selon la revendication 2, caractérisé en ce que ladite étape de détermination (12) tient compte d'une activité dans ladite région.  3. Transmission method according to claim 2, characterized in that said determining step (12) takes into account an activity in said region.
4. Procédé de transmission selon la revendication 1, caractérisé en ce que ledit mode de codage adapté à une région est défini pour plusieurs images de ladite séquence.  4. Transmission method according to claim 1, characterized in that said coding mode adapted to a region is defined for several images of said sequence.
5. Procédé de transmission selon la revendication 1, caractérisé en ce que lesdits modes de codage appartiennent au groupe comprenant :  Transmission method according to claim 1, characterized in that said coding modes belong to the group comprising:
un codage de type IPPP, ou « image I, image P, image P, image P »,  an IPPP type of coding, or "image I, image P, image P, image P",
un codage de type image P hiérarchique,  a hierarchical image P type coding,
- un codage de type IPPPI, ou « image I, image P, image P, image P, image I »,  an IPPPI type coding, or "image I, image P, image P, image P, image I",
un codage de type intra-rafraîchissement adaptatif.  adaptive intra-refresh coding.
6. Procédé de transmission selon la revendication 5, caractérisé en ce que, pour une région de l'image satisfaisant un critère d'intérêt particulier, le mode de codage déterminé est de type image P hiérarchique ou IPPPI.  6. A transmission method according to claim 5, characterized in that, for a region of the image satisfying a particular criterion of interest, the determined coding mode is of hierarchical image type P or IPPPI.
7. Procédé de transmission selon la revendication 1, caractérisé en ce qu'il comprend une étape préalable de détermination des paramètres de transmission de ladite séquence d'images. 7. Transmission method according to claim 1, characterized in that it comprises a preliminary step of determining the transmission parameters of said sequence of images.
8. Procédé de transmission selon la revendication 1, caractérisé en ce qu'il comprend une étape de mise à jour desdites régions et desdits modes de codage adaptés à chacune desdites régions, périodique et/ou tenant compte d'une modification du canal de transmission. 8. Transmission method according to claim 1, characterized in that it comprises a step of updating said regions and said coding modes adapted to each of said regions, periodic and / or taking into account a modification of the transmission channel. .
9. Dispositif de transmission d'une séquence d'images, caractérisé en ce qu'il comprend : des moyens d'identification (11), dans au moins une image de ladite séquence, d'au moins deux régions distinctes ; 9. Device for transmitting a sequence of images, characterized in that it comprises: identification means (11), in at least one image of said sequence, of at least two distinct regions;
des moyens de détermination (12) d'un mode de codage adapté à chacune desdites régions ;  means (12) for determining a coding mode adapted to each of said regions;
- des moyens de codage (13) de ladite au moins une image en utilisant, pour chacune desdites régions, le mode de codage adapté à ladite région, et des moyens de transmission (14) dans un unique flux vidéo. coding means (13) of said at least one image using, for each said regions, the coding mode adapted to said region, and transmission means (14) in a single video stream.
10. Procédé de réception d'une séquence d'images, caractérisé en ce qu'il comprend les étapes suivantes :  10. A method of receiving a sequence of images, characterized in that it comprises the following steps:
réception (21) d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ;  receiving (21) a single video stream, comprising at least one coded picture using a coding mode adapted to each region of said at least one picture;
décodage (22) et restitution de ladite au moins une image.  decoding (22) and restitution of said at least one image.
11. Dispositif de réception d'une séquence d'images, caractérisé en ce qu'il comprend :  11. Device for receiving a sequence of images, characterized in that it comprises:
des moyens de réception (21) d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ;  means for receiving (21) a single video stream, comprising at least one coded picture by using a coding mode adapted to each region of said at least one picture;
des moyens de décodage (22) et restitution de ladite au moins une image.  means for decoding (22) and restoring said at least one image.
12. Programme d'ordinateur comportant des instructions pour la mise en œuvre d'un procédé selon la revendication 1 ou selon la revendication 10 lorsque ce programme est exécuté par un processeur.  A computer program comprising instructions for implementing a method according to claim 1 or claim 10 when the program is executed by a processor.
13. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions exécutables par un ordinateur pour la mise en œuvre d'un procédé selon la revendication 1 ou selon la revendication 10.  13. A computer-readable recording medium on which is recorded a computer program comprising instructions executable by a computer for carrying out a method according to claim 1 or claim 10.
EP13815088.3A 2012-12-21 2013-12-13 Method and device for transmitting a sequence of images based on an adaptive region coding Ceased EP2936811A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1262548A FR3000350A1 (en) 2012-12-21 2012-12-21 METHOD AND DEVICE FOR TRANSMITTING AN IMAGE SEQUENCE, METHOD AND DEVICE FOR RECEIVING, CORRESPONDING COMPUTER PROGRAM AND RECORDING MEDIUM.
PCT/FR2013/053063 WO2014096638A1 (en) 2012-12-21 2013-12-13 Method and device for transmitting a sequence of images based on an adaptive region coding

Publications (1)

Publication Number Publication Date
EP2936811A1 true EP2936811A1 (en) 2015-10-28

Family

ID=48170615

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13815088.3A Ceased EP2936811A1 (en) 2012-12-21 2013-12-13 Method and device for transmitting a sequence of images based on an adaptive region coding

Country Status (4)

Country Link
US (1) US20160057431A1 (en)
EP (1) EP2936811A1 (en)
FR (1) FR3000350A1 (en)
WO (1) WO2014096638A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020200235A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Half-pel interpolation filter in intra block copy coding mode
KR102635319B1 (en) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Selective use of alternative interpolation filters in video processing
US11240284B1 (en) * 2020-05-28 2022-02-01 Facebook, Inc. Systems and methods for application- and content-aware real-time video encoding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1734768A1 (en) * 2005-06-15 2006-12-20 Matsushita Electric Industrial Co., Ltd. Adaptive video with intra/inter mode decision based on network congestion
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
WO2010057170A1 (en) * 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
KR102013240B1 (en) * 2012-02-02 2019-08-22 삼성전자주식회사 Method and apparatus for image encoding based on region characteristics, method and apparatus for image decoding based on region characteristics

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of WO2014096638A1 *
SULLIVAN G J ET AL: "RATE-DISTORTION OPTIMIZATION FOR VIDEO COMPRESSION", IEEE SIGNAL PROCESSING MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 15, no. 6, 1 November 1998 (1998-11-01), pages 74 - 90, XP011089821, ISSN: 1053-5888, [retrieved on 20020806], DOI: 10.1109/79.733497 *

Also Published As

Publication number Publication date
US20160057431A1 (en) 2016-02-25
WO2014096638A1 (en) 2014-06-26
FR3000350A1 (en) 2014-06-27

Similar Documents

Publication Publication Date Title
JP5384488B2 (en) Mechanism to conceal real-time video artifacts due to frame loss
FR2896115A1 (en) DEVICE AND METHOD FOR RAPID CHANNEL CHANGE FOR IPTV
WO2006075061A1 (en) Video encoding method and device
FR2916600A1 (en) METHOD AND DEVICE FOR DATA TRANSMISSION
EP1354482A1 (en) Image coding and decoding method, corresponding devices and applications
EP3225027A1 (en) Method for composing an intermediate video representation
EP2936811A1 (en) Method and device for transmitting a sequence of images based on an adaptive region coding
EP2947888A1 (en) Adaptive method for downloading digital content for a plurality of screens
FR2946820A1 (en) DATA TRANSMISSION METHOD AND ASSOCIATED DEVICE.
WO2006075070A1 (en) Video encoding method and device
FR2940491A1 (en) INTERACTIVE METHOD SYSTEM FOR THE TRANSMISSION ON A LOW-RATE NETWORK OF KEY IMAGES SENSITIZED IN A VIDEO STREAM
EP3840335B1 (en) Reception of digital content in trick mode
FR2913163A1 (en) Digital video data transmitting method for multicast telecommunication network, involves sending crossover signals to sub-group of clients based on information representing behavior of congestion control algorithms
FR2992814A1 (en) Method for transmission of video made-up of images in e.g. multimedia conference session, involves performing transmission of video stream to image zone in accordance with set of transmission parameters allocated to concerned image zone
FR2987213A1 (en) VIDEO SYSTEM FOR REPRESENTING IMAGE DATA AND ITS APPLICATION METHOD
EP2025174A1 (en) Use of a feedback channel for image broadcasting
EP1900223A2 (en) Video coding method and device
WO2016059196A1 (en) Decoder, method and system for decoding multimedia streams
WO2009004255A1 (en) Selection of decoding functions distributed to the decoder
EP3843409A1 (en) Allocation method for low-speed link
WO2020234030A1 (en) Rendering of background or insertion content as part of an adaptive progressive download (has)
FR3109489A1 (en) Preparation of digital content accessible by adaptive progressive download and encoded using a variable rate encoding method, depending on a network load
FR3079705A1 (en) COMMUNICATION BY VIDEO CONFERENCE
FR2930106A1 (en) Pre-encoded image sequence i.e. video, transmitting method for e.g. mobile telephone, involves selecting coding units such that sum of rates associated to selected units is equal to average rate, and transmitting images from units
FR2832582A1 (en) Multimedia data coding process for domestic networks selects parameters using quality assessment

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150707

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160623

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BULTEL, THOMAS

Inventor name: EL CHAMI, ZAHER

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180410