EP4074041A1 - Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin - Google Patents

Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin

Info

Publication number
EP4074041A1
EP4074041A1 EP20845171.6A EP20845171A EP4074041A1 EP 4074041 A1 EP4074041 A1 EP 4074041A1 EP 20845171 A EP20845171 A EP 20845171A EP 4074041 A1 EP4074041 A1 EP 4074041A1
Authority
EP
European Patent Office
Prior art keywords
image
graphic element
descriptor
computer
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20845171.6A
Other languages
German (de)
French (fr)
Inventor
Marco CAGNAZZO
Attilio FIANDROTTI
Christophe RUELLAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut Mines Telecom IMT
Safran Data Systems SAS
Original Assignee
Institut Mines Telecom IMT
Safran Data Systems SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut Mines Telecom IMT, Safran Data Systems SAS filed Critical Institut Mines Telecom IMT
Publication of EP4074041A1 publication Critical patent/EP4074041A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Definitions

  • TITLE Process of compressing a sequence of images showing synthetic graphic elements of non-photographic origin
  • the present invention relates to the field of image processing.
  • the invention relates more specifically to a method of compressing a sequence of images. STATE OF THE ART
  • Synthetic graphics are of non-photographic origin in the sense that their layout has been determined entirely by a computer, and not by a still camera or camera.
  • the background is photographic in origin.
  • the background is solid, of non-photographic origin.
  • a descriptor is generated comprising display parameters of the synthetic graphic element in the image.
  • Display settings do not include pixel values.
  • the synthetic nature of the graphic element makes it possible to be able to visually describe this graphic element using display parameters that are smaller than the set of values of the pixels occupied by this graphic element in the first image, and without loss.
  • Each frame of a video is thus compressed in the same way, with specific descriptors for its synthetic graphic elements, and independent data to compress the background of the image.
  • An object of the invention is to compress in an even more efficient manner a sequence of images showing graphic elements generated by a computer.
  • a method of compressing a sequence of images comprising a first image and a second image, the method comprising the steps of:
  • the first descriptor contains display parameters which are sufficient in themselves to allow a computer-generated graphic element to be drawn.
  • the second descriptor indicates what has potentially changed compared to the first descriptor.
  • the second descriptor thus follows an incremental logic, and can therefore be of much smaller size than the first descriptor.
  • the transmission rate of the data once compressed can be increased.
  • data representative of more images can be transmitted.
  • the method according to the first aspect can comprise the following characteristics, taken alone or combined with one another when this is technically possible.
  • the method further comprises the following steps:
  • the modification comprising low pass filtering applied to pixel values of the image showing the graphic element computer generated
  • the event code has a value indicative of a synthetic graphical element disappearance.
  • the event code has a value indicative of a computer generated graphical element displacement.
  • the second descriptor comprises positioning data making it possible, alone or in combination with the first descriptor, to determine a position of the graphic element in the second image.
  • the positioning data includes a displacement vector between a position of the graphic element in the first image and a position of the graphic element in the second image.
  • the method comprises a comparison between, on the one hand, the displacement of the graphic element between the first image and the second image, and, on the other hand, a predefined threshold, and in which the event code has the value indicative of a displacement only if said displacement of the graphic element is less than the predefined threshold.
  • the event code has an value indicative of a change in synthetic graphical element, and the second descriptor includes data characterizing this change.
  • the event code has a value indicative of an absence of a graphical element change.
  • the display parameters are self-sufficient to allow rendering of the graphic element as shown in the first image on the basis of said display parameters.
  • the image sequence furthermore comprises an image prior to the first image, and the first descriptor comprises an event code indicative of an event having induced a potential variation of display parameters of the graphic element between previous image and the first image.
  • the processing step is restricted to a portion of the second image.
  • the processing step is implemented by a convolutional neural network.
  • the synthetic element is a character, a polygon, a menu, a grid, or part of a menu or of a grid.
  • the background is of photographic origin.
  • the first descriptor comprises a code specific to the character, and optionally a code providing information on a font in which the character is shown in the second image and / or a code providing information on a color. of the character in the second picture.
  • Figures 1 and 2 are two example images shown on an aircraft cockpit screen.
  • Figure 3 schematically shows an image processing device according to one embodiment.
  • Figure 4 is a flowchart of steps of a method according to one embodiment of the invention.
  • Figures 5 and 6 are two examples of images that can be compressed using the method of Figure 4.
  • Figure 7 shows schematically a chain of descriptors generated for different images of an image sequence.
  • a processing device 1 of a sequence of images comprises at least a processor 2 and a memory 4.
  • the processing device 1 comprises an input 6 adapted to receive a sequence of images to be compressed, or data to be decompressed.
  • the processor 2 is adapted to execute a compression or decompression program, this compression program itself comprising program code instructions for the execution of a compression or decompression process which will be described below.
  • the memory 4 is suitable for storing data received by the input 6, as well as data generated by the processor 2.
  • the memory 4 typically comprises at least one volatile memory unit 4 (RAM for example) and at least one memory unit 4 non-volatile (Flash, hard drive, SSD, etc.) to store data persistently.
  • the processing device 1 furthermore comprises an output 8 through which data is supplied resulting from a compression or a decompression implemented by the processor 2 executing the aforementioned program.
  • Each image is a matrix of pixels, each pixel having a position of its own, and color data. It is assumed in what follows that all the images in the sequence have the same dimensions (height, width).
  • the images in the sequence typically show a background, which may be of photographic origin, or of non-photographic origin.
  • Images may show synthetic graphic elements overlaid on the background.
  • synthetic graphic elements are graphic elements generated by a computer.
  • a computer-generated graphic element is by definition of non-photographic origin. Indeed, their course is entirely determined by a computer, and not by a photographic apparatus or a camera.
  • a synthetic graphic element can for example be: a character, a polygon, a menu, a grid, or part of a menu or a grid. These synthetic elements are regular in the sense that they have been drawn exactly using a finite number of display parameters that are not pixel values.
  • this character can be defined by the following display parameters: a character code, a code providing information on a character font, and a code providing information on a character color. All these codes allow to trace the character in an image. It is understood that the character is any: it can be an alphanumeric character or any other symbol (punctuation, arrow, mathematical symbol, etc.).
  • the graphic element When the graphic element is a menu, grid, or part of a menu or grid, the graphic element consists of a finite number of straight or curved segments.
  • Each synthetic graphic element occupies a certain number of pixels in an image of the sequence.
  • a method of compressing the image sequence implemented by the device 1 comprises the following steps.
  • the processor 2 processes a first image of the sequence, so as to analyze its content (step 100).
  • this first image is called “reference image”.
  • the processing implemented during step 100 is suitable for detecting the following elements in the reference image: its background, and any synthetic graphic elements superimposed on this background.
  • processor 2 can detect the absence of graphics in the reference image, or that it can detect the presence of at least one such element.
  • processor 2 can rely on a library of predefined synthetic graphics elements. Specifically, processor 2 compares the content of an area of the reference image with an item from the library, and estimates a probability of a match between the items being compared. If this probability is greater than a predefined threshold, processor 2 considers that the element of the library is indeed shown in the area of the reference image. Otherwise, processor 2 repeats the same steps based on another item in the library. Processor 2 concludes that no graphical element is represented in the reference image in the event that it reaches the end of the dictionary, without the predefined threshold having been crossed.
  • this step 100 is implemented by a convolutional neural network.
  • This neural network has been previously trained so as to be able to recognize the different elements of the dictionary.
  • the convolutional neural network does not operate in sequential logic, which has the advantage of rapid execution after learning is complete.
  • processor 2 has determined in step 100 the presence of at least one synthetic graphics element in the reference image.
  • step 100 is restricted to a portion of the reference image.
  • a portion of an image is not necessarily all in one piece.
  • This portion can include one or more predefined zones, each predefined zone each having a predefined position, size and shape (for example rectangular). These predefined areas can be connected or disjoint in the reference image, but do not cover the entire reference image.
  • This restriction is an advantage, because it allows to limit the computational load devoted to the determination of synthetic graphic elements. This restriction does not pose a problem when you know in advance where possible graphic elements may be.
  • processor 2 For each synthetic graphic element found in the reference image, processor 2 generates a descriptor associated with the synthetic graphic element (step 102). This descriptor includes display parameters of the synthetic graphic element in the reference image.
  • Display settings do not include pixel values.
  • the synthetic nature of the graphic element makes it possible to be able to visually describe this graphic element using display parameters that are smaller than the set of values of the pixels occupied by this graphic element in the reference image.
  • the descriptor is the result of lossless encoding of the synthetic graphic element associated with it, in the sense that the display parameters provide information allowing a reproduction of the graphic element in conformity with the original.
  • the display parameters of a synthetic graphic element include data indicative of the position of the graphic element in the reference image.
  • This positional data typically includes a pair of coordinates in the image (vertical coordinate v, and horizontal coordinate h).
  • the display parameters include at least one additional parameter, in addition to this positional data.
  • the number of additional parameters depends on the nature of the first synthetic element, which can be more or less complex. Take for example the case where the synthetic graphic element is a character.
  • the display parameters of this graphic element include a code specific to the character (ASCII code for example, or other). This character code may be the only additional display parameter in addition to the position data, in the first descriptor.
  • this code is global information which does not relate only to a pixel of the first graphic element, but relates to this graphic element as a whole.
  • This code can be representative of a solid color, or representative of a color gradient, etc.
  • the font code and the color code are predefined, in the sense that the processing device knows in advance that the character that is in the predefined area necessarily has a predefined font and color. It is therefore not necessary in this case to encode this information in the descriptor.
  • descriptors thus generated are called descriptors of the “intra” type.
  • These descriptors of the "intra” type contain information which is sufficient in itself to make it possible to draw a synthetic graphic element represented in an image (here the reference image).
  • the plurality of "intra” type descriptors is stored in the memory 4 in the form of a table, each row of the table being one of the "intra" type descriptors.
  • FIG. 5 An example of a first image has been shown in FIG. 5, containing various synthetic graphic elements all being characters. Table 1 of "intra" type descriptors shown below is obtained from this example image.
  • the intra type descriptor generated for the character A located at the top left of the reference image is the second row of table 1.
  • Table 1 contains the same display parameters, allowing to display other characters found in the reference image shown in Figure 5.
  • the processor 2 also implements a painting process (inpainting in English), which modifies the reference image so as to obtain a background image (step 104). To obtain this background image, the processor 2 replaces the pixel values of the reference image occupied by the synthetic graphics elements detected with other pixel values adapted to reduce or even eliminate high spatial frequencies in the spectrum of the reference image. This replacement of pixel values is therefore a low pass filtering applied to the pixels of the reference image.
  • the spectrum of the modified image therefore includes fewer components at high frequencies than the spectrum of the reference image, before the paint treatment.
  • Such low pass filtering can typically be achieved by averaging background pixel values related to pixels of synthetic graphics elements.
  • the reference image contains synthetic graphic elements in black, and that the background is white, as is the case in the image of figure 5.
  • the paint processing can replace black pixels in synthetic graphics with white pixels, resulting in an all-white background image.
  • step 106 The modified image resulting from the paint treatment is then compressed by the processor 2 according to a method known from the state of the art, for example the HEVC method (step 106).
  • This compression 106 is independent of the steps for generating the descriptors associated with the synthetic graphic elements.
  • the compression 106 can be carried out in parallel with step 102, before or after it.
  • the synthetic graphic elements of the reference image and the background of the reference image are compressed separately in steps 102 and 106.
  • the received sequence of images also contains a second image, which is subsequent to the reference image in the sequence.
  • the second frame may or may not immediately follow the reference frame in the sequence.
  • FIG. 6 shows an example of a second image.
  • the content of this second image has varied from the reference image.
  • the graphical element "A" discussed previously no longer occupies quite the same place.
  • Some synthetic graphic elements have replaced others.
  • Some graphic elements have disappeared, and others have appeared (for example the character K).
  • Processor 2 implements steps 200, 202, 204, 206 which are respectively identical to steps 100, 102, 104, and 106 described previously, but applied to the second image.
  • a plurality of new “intra” type descriptors is obtained, of the same format as the “intra” type descriptors generated for the reference image, but containing potentially different values.
  • the table formed by the plurality of new descriptors of type "intra” generated for the example of the second image of FIG. 6 is as follows.
  • the character A has changed position in the second image shown in FIG. 6, compared to the reference image shown in FIG. 5.
  • This change of position is materialized by a new descriptor of the intra type. generated for the second image, and containing data of positions different from those recorded in the related intra-type descriptor to A and generated for the reference image (here, the horizontal position h has changed from 20 to 28).
  • the character A has not changed font; the font code p is therefore the same as the two descriptors relating to the character A of the reference image and of the second image, respectively.
  • the processor 2 determines an event that has induced a potential variation in the display parameters of a synthetic graphic element between the reference image and the second image (step 208).
  • the processor 2 generates a second descriptor associated with the second image, comprising an event code indicative of the determined event, and which will be called the inter type descriptor below (step 210).
  • the processor 2 repeats these two steps 208, 210 for each graphic element found in the reference image or in the second image (therefore referenced in an intra-type descriptor generated for the reference image or for the second image, at l 'resulting from steps 102 and / or 202).
  • a plurality of descriptors of inter type are thus obtained, each relating to a synthetic graphic element of the reference image or of the second image.
  • the plurality of descriptors of type inter form an array, each descriptor being a row of the array.
  • the intra descriptors for the second image can be deleted from memory 4.
  • An inter type descriptor does not have the same format as an intra type descriptor. As indicated previously, an intra-type descriptor contains display parameters which are sufficient in themselves to allow a synthetic graphic element to be drawn. An inter type descriptor indicates what has potentially changed compared to an intra type descriptor, which allows the inter type descriptor to be much smaller than an intra descriptor for different types of events that will be detailed below.
  • An inter type descriptor can include a reference to the reference image, making it possible to locate the first image in the image sequence.
  • This reference is for example in the form of a position difference between the first image and the second image in the image sequence. For example, in the case where the second image immediately follows the first image in the sequence, this difference is equal to 1. In the case where there is one or more intermediate images between the first image and the second image, this difference would be a strictly integer. greater than 1. This then means that the table of intra descriptors of the first image has been kept as a reference for the second image rather than choosing the table of intra descriptors of one of the intermediate images.
  • An "inter" type descriptor may further include a reference to an "intra” type descriptor of the reference image. This reference may designate the number of the line of the descriptor in the table of descriptors generated for the reference image, when the "inter" descriptor modifies the "intra” descriptor referenced therein.
  • an "intra” type descriptor is not mandatory in an “inter” type descriptor. It can in fact be arranged for the "inter" type descriptor to occupy the same table row as the "intra” type descriptor that it modifies. In this case, it is the positions of the descriptors in their respective tables that make it possible to implicitly deduce the logical correspondence from one to the other.
  • an "intra" type descriptor can include additional data, which depends on the determined event.
  • the processor 2 can quite simply identify that the two tables of descriptors of “intra” type generated respectively for the first image and for the second image contain the same identical descriptor.
  • a synthetic graphics element was found by processor 2 in the first frame at a certain position, and was also found by processor 2 in the second frame, but at a different position (the display settings of this synthetic graphic element other than its position being otherwise identical in the first image and in the second image).
  • the processor 2 can identify that the two tables of descriptors of “intra” type generated respectively for the first image and for the second image contain two descriptors which differ from each other only by their. position data.
  • the generated “inter” type descriptor comprises positioning data allowing, alone or in combination with the “intra” descriptor to which it refers, to determine a position of the synthetic graphic element in the second image.
  • This positioning data typically includes a displacement vector between the position of the synthetic graphic element in the first frame and the position of the graphic element in the second frame.
  • the displacement vector typically comprises a horizontal component dc, and a vertical component ôy. This displacement vector is calculated as a difference between the position between the graphic element in the first frame and the position of the graphic element in the second frame.
  • the “inter” type descriptor is filled with the displacement code “Displaced” (and the associated data mentioned above) only on condition that the displacement of the graphic element is below a predefined threshold. Otherwise, another event code is used (see the other cases explained below).
  • processor 2 determines that the second frame no longer shows a synthetic graphic element that was shown in the first frame.
  • the processor 2 identifies that the plurality of descriptors of type “intra” generated for the second image contains a descriptor for a synthetic graphic element, but that the plurality of descriptors of type “intra” generated for the first image do not. does not contain such a descriptor.
  • the event code has a SKIP value indicative of a disappearance of the first synthetic graphic element.
  • processor 2 determines that the first image and the second image respectively show two different synthetic graphics elements at the same position.
  • This difference can be of various kinds. It may in particular be a difference in shape and / or color. In the case of characters, one character may have substituted for another character, between the first image and the second image.
  • the processor 2 detects this case when it notes that the same position is referenced in a descriptor of “intra” type generated for the first image and also in a new descriptor of “intra” type generated for the second image, but that these two descriptors have at least one parameter whose values differ (other than the position).
  • the processor 2 includes in the second descriptor a “Changed” event code having a value indicative of a change of the first synthetic graphic element between the first image and the second image.
  • the second descriptor also includes data which characterizes this change. If the first descriptor and the new descriptor comprising the same position include other unchanged display parameters, these are not included in the second descriptor. In other words, only the display parameters modified between the first image and the second image are included in the second descriptor.
  • Both characters E and 5 are shown in the same font.
  • the font code p of value zero being already present in the “intra” type descriptor associated with the character E, it is not necessary to repeat it in the “inter” type descriptor associated with the character 5.
  • the same case of change applies to character 3 in the first image, replaced by character 6 in the second image.
  • processor 2 can detect that a graphic element is present in the second image but not the first image.
  • an "inter” descriptor is generated comprising an event code having a NEW value indicative of the appearance of a new synthetic graphic element. Associated with this code are the same display parameters as found in the "intra” descriptors described above, which are self-sufficient to plot the graphic elements concerned by these descriptors.
  • the characters K, L which appear in the second image example of FIG. 6 are each coded as new characters, using the code "NEW".
  • step 208 the events identified during step 208 are as follows: appearance, disappearance, change in the same place, displacement, absence of change.
  • the event code of an "inter" type descriptor can therefore only be coded on 3 bits.
  • the “inter” descriptors with the SKIP and / or NEW event codes are used such that the other “inter” descriptors are aligned with the intra descriptors. to which they refer, which makes it possible, as indicated above, not to necessarily include an explicit descriptor referencing in the “inter” descriptors.
  • ⁇ ref and cur Tables comprising NL lines. Each line storing [Horizontal position, Vertical position, character code, color]
  • a descriptor of “inter” type generated for the second image during step 210 refers to a descriptor of “intra” type of the first image, that is to say say a descriptor comprising self-sufficient display parameters to allow restitution of the corresponding graphic element as shown in the reference image.
  • a descriptor of type "inter” can refer to another descriptor of type "inter”.
  • Steps 200, 202, 208, 210 can in fact be repeated on a third image, this time taking the second image as a reference image.
  • a descriptor of the “inter” type is generated which refers to an “inter” descriptor generated for the second image, which itself refers to an “intra” descriptor. generated for the first image.
  • the processor 2 finally processes the video by iteratively repeating the processing described above frame by frame. It therefore generates, following the initial “intra” descriptor, a chronological sequence of “inter” descriptors which successively modify the synthetic elements, if necessary, in turn. This iteration then creates a chain of "inter” arrays referenced from the last to the original intra array. This chain can have several branches when the reference is made to a table earlier than that of the previous image. At any time, processor 2 can also choose to "refresh" the image, that is, to transmit a new "intra” descriptor which serves as a new reference for subsequent "inter” descriptors.
  • Descriptor D1 is an “intra” type descriptor.
  • the descriptor D2 is a descriptor of the “inter” type which refers to the descriptor D1 and which includes the event code “Displaced” to indicate that the synthetic graphic element has moved, relative to the position entered in the descriptor D1.
  • Descriptor D3 is an “inter” type descriptor which refers to descriptor 2, and which signals that the graphic element has not changed (via the “Unchanged” event code).
  • Descriptor D4 is an “inter” type descriptor which also refers to descriptor D2 and which still includes the event code “Displaced” to indicate that the graphic element has moved further, compared to what is entered in descriptor D2.
  • Descriptor D6 is an "inter" type descriptor which signals the disappearance of the synthetic graphic element via the SKIP event code.
  • Descriptor D1 is an “intra” type descriptor for a synthetic graphic element at the same position as that targeted by descriptors D1 to D6.
  • the advantage of the compression mechanism increases when sending a majority of inter arrays and a minority of intra arrays, because the overall compression gain of the video is then increased.
  • the generated descriptors and the data resulting from the background compressions together form an output data stream encoding the image sequence in a compressed manner since the output data stream is smaller than the image sequence .
  • the output data stream obtained by the processing device 1 can be decompressed by this same device 1 or a device of the same type in order to obtain an image sequence conforming to the original sequence.
  • This decompression method comprises steps symmetrical to those implemented during the compression method described above.
  • the receiver uniquely identifies the chronological sequence of images and the descriptor tables associated with each.
  • the processor identifies the initial “intra” type descriptor to which the previous string of “intra” type descriptors refers. inter ”which results in the current image, and uses the display parameters recorded in this“ intra ”type descriptor, modified by the sequence of any additional information recorded in the“ inter ”type descriptors constituting this string.
  • the method described above is applicable to any type of synthetic graphic element, of non-photographic origin, and not only to characters.
  • the display parameters that can be generated for a circle include a position, a radius, and if necessary other optional parameters (line thickness, line color). This principle can of course be generalized to other geometric shapes.
  • bitstream write3bit (011)
  • bitstream write6bit (c_letter.label) elseif _ _
  • > A_y_allowed and r_letter.label! c_letter.label while

Abstract

Method for compressing a sequence of images comprising a first image and a second image, the method comprising the steps of: generating (102) a first descriptor comprising parameters for displaying a computer-generated graphical element in the first image, the graphical element being of non-photographic origin, and the display parameters not comprising pixel values; processing the second image so as to determine (208) an event which gave rise to a potential variation in the parameters for displaying the graphical element between the first image and the second image; generating (210) a second descriptor comprising an event code indicating the determined event.

Description

DESCRIPTION DESCRIPTION
TITRE : Procédé de compression d’une séquence d’images montrant des éléments graphiques synthétiques d’origine non photographiqueTITLE: Process of compressing a sequence of images showing synthetic graphic elements of non-photographic origin
DOMAINE DE L'INVENTION FIELD OF THE INVENTION
La présente invention se rapporte au domaine du traitement d’images. The present invention relates to the field of image processing.
L’invention concerne plus spécifique un procédé de compression d’une séquence d’images. ETAT DE LA TECHNIQUE The invention relates more specifically to a method of compressing a sequence of images. STATE OF THE ART
Des vidéos affichées sur des écrans se trouvant dans un cockpit d’aéronef ont des caractéristiques spécifiques. Les images de telles vidéos montrent des éléments graphiques synthétiques (lignes, polygones, cercles, caractères), superposés à un arrière-plan. Les éléments graphiques synthétiques sont d’origine non photographique dans le sens où leur tracé a été déterminé entièrement par un ordinateur, et non pas par un appareil photographique ou une caméra. Dans l’exemple d’image de la figure 1, l’arrière-plan est d’origine photographique. Dans l’exemple d’image de la figure 2, l’arrière-plan est uni, d’origine non photographique. Videos displayed on screens in an aircraft cockpit have specific characteristics. The images of such videos show synthetic graphic elements (lines, polygons, circles, characters), superimposed on a background. Synthetic graphics are of non-photographic origin in the sense that their layout has been determined entirely by a computer, and not by a still camera or camera. In the example image in Figure 1, the background is photographic in origin. In the example image in Figure 2, the background is solid, of non-photographic origin.
Ces vidéos doivent être compressées pour transmission et stockage. These videos must be compressed for transmission and storage.
Il a été proposé dans l’article « Very Low Bitrate Semantic Compression of Airplane Cockpit Screen Content », par lulia Mitrica et al., un procédé de compression dans lequel les éléments graphiques synthétiques et l’arrière-plan d’une image sont compressés séparément, pour augmenter le taux de compression de l’image. It has been proposed in the article "Very Low Bitrate Semantic Compression of Airplane Cockpit Screen Content", by lulia Mitrica et al., A compression process in which the synthetic graphic elements and the background of an image are compressed. separately, to increase the compression ratio of the image.
En particulier, pour coder un élément graphique synthétique montré dans une image, est généré un descripteur comprenant des paramètres d’affichage de l’élément graphique synthétique dans l’image. Les paramètres d’affichage ne comprennent pas de valeurs de pixels. Le caractère synthétique de l’élément graphique permet de pouvoir décrire visuellement cet élément graphique à l’aide de paramètres d’affichage moins volumineux que l’ensemble des valeurs des pixels occupés par cet élément graphique dans la première image, et ce sans perte. In particular, to encode a synthetic graphic element shown in an image, a descriptor is generated comprising display parameters of the synthetic graphic element in the image. Display settings do not include pixel values. The synthetic nature of the graphic element makes it possible to be able to visually describe this graphic element using display parameters that are smaller than the set of values of the pixels occupied by this graphic element in the first image, and without loss.
Chaque image d’une vidéo est ainsi compressée de la même manière, avec des descripteurs spécifiques pour ses éléments graphiques synthétiques, et des données indépendantes pour compresser l’arrière-plan de l’image. Each frame of a video is thus compressed in the same way, with specific descriptors for its synthetic graphic elements, and independent data to compress the background of the image.
EXPOSE DE L'INVENTION Un but de l’invention est de compresser de manière encore plus efficace une séquence d’images montrant des éléments graphiques générés par ordinateur. DISCLOSURE OF THE INVENTION An object of the invention is to compress in an even more efficient manner a sequence of images showing graphic elements generated by a computer.
Il est à cet effet proposé, selon un premier aspect, un procédé de compression d’une séquence d’images comprenant une première image et une deuxième image, le procédé comprenant des étapes de : To this end, there is proposed, according to a first aspect, a method of compressing a sequence of images comprising a first image and a second image, the method comprising the steps of:
- détection dans la première image ou dans la deuxième image d’un élément graphique généré par ordinateur et d’un arrière-plan sur lequel est superposé l’élément graphique,- detection in the first image or in the second image of a computer-generated graphic element and of a background on which the graphic element is superimposed,
- génération d’un premier descripteur comprenant des paramètres d’affichage de l’élément graphique dans la première image, les paramètres d’affichage ne comprenant pas de valeurs de pixels, - generation of a first descriptor comprising display parameters of the graphic element in the first image, the display parameters not comprising pixel values,
- traitement de la deuxième image, de sorte à déterminer un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique entre la première image et la deuxième image, - processing of the second image, so as to determine an event that has induced a potential variation in display parameters of the graphic element between the first image and the second image,
- génération d’un deuxième descripteur comprenant un code d’évènement indicatif de l’évènement déterminé, dans lequel les étapes de génération du premier descripteur et du deuxième descripteur sont mises en oeuvre indépendamment d’une compression de l’arrière-plan. - generation of a second descriptor comprising an event code indicative of the determined event, in which the steps of generating the first descriptor and the second descriptor are carried out independently of a compression of the background.
Le premier descripteur contient des paramètres d’affichage qui se suffisent à eux-mêmes pour permettre de tracer un élément graphique généré par ordinateur. Le deuxième descripteur, lui, indique ce qui a potentiellement changé par rapport au premier descripteur. Le deuxième descripteur suit ainsi une logique incrémentale, et peut de ce fait être de taille beaucoup plus réduite que le premier descripteur. The first descriptor contains display parameters which are sufficient in themselves to allow a computer-generated graphic element to be drawn. The second descriptor indicates what has potentially changed compared to the first descriptor. The second descriptor thus follows an incremental logic, and can therefore be of much smaller size than the first descriptor.
En conséquence, le débit de transmission des données une fois compressées peut être augmenté. Dit d’une autre manière, à débit de transmission constant, il peut être transmis des données représentatives de davantage d’images. As a result, the transmission rate of the data once compressed can be increased. In other words, at a constant transmission rate, data representative of more images can be transmitted.
Le procédé selon le premier aspect peut comprendre les caractéristiques suivantes, prises seules ou combinées entre elles lorsque cela est techniquement possible. The method according to the first aspect can comprise the following characteristics, taken alone or combined with one another when this is technically possible.
De préférence, le procédé comprend par ailleurs les étapes suivantes : Preferably, the method further comprises the following steps:
- modification de l’image où l’arrière-plan a été détecté de sorte à obtenir une image d’arrière-plan, la modification comprenant un filtrage passe-bas appliqué à des valeurs de pixels de l’image montrant l’élément graphique généré par ordinateur, - modification of the image where the background was detected so as to obtain a background image, the modification comprising low pass filtering applied to pixel values of the image showing the graphic element computer generated,
- compression de l’image d’arrière-plan indépendamment des étapes de génération du premier descripteur et du deuxième descripteur. De préférence, lorsqu’il est déterminé que la deuxième image ne montre pas l’élément graphique, le code d’évènement a une valeur indicative d’une disparition d’élément graphique synthétique. compression of the background image independently of the steps of generating the first descriptor and the second descriptor. Preferably, when it is determined that the second image does not show the graphical element, the event code has a value indicative of a synthetic graphical element disappearance.
De préférence, lorsqu’il est déterminé que la deuxième image montre l’élément graphique déplacé par rapport à la première image, le code d’évènement a une valeur indicative d’un déplacement d’élément graphique généré par ordinateur. Preferably, when it is determined that the second image shows the graphical element moved relative to the first image, the event code has a value indicative of a computer generated graphical element displacement.
De préférence, le deuxième descripteur comprend des données de positionnement permettant, seules ou en combinaison avec le premier descripteur, de déterminer une position de l’élément graphique dans la deuxième image. Preferably, the second descriptor comprises positioning data making it possible, alone or in combination with the first descriptor, to determine a position of the graphic element in the second image.
De préférence, les données de positionnement comprennent un vecteur de déplacement entre une position de l’élément graphique dans la première image et une position de l’élément graphique dans la deuxième image. Preferably, the positioning data includes a displacement vector between a position of the graphic element in the first image and a position of the graphic element in the second image.
De préférence, le procédé comprend une comparaison entre, d’une part, le déplacement de l’élément graphique entre la première image et la deuxième image, et, d’autre part, un seuil prédéfini, et dans lequel le code d’évènement a la valeur indicative d’un déplacement seulement si ledit déplacement de l’élément graphique est inférieur au seuil prédéfini.Preferably, the method comprises a comparison between, on the one hand, the displacement of the graphic element between the first image and the second image, and, on the other hand, a predefined threshold, and in which the event code has the value indicative of a displacement only if said displacement of the graphic element is less than the predefined threshold.
De préférence, lorsqu’il est déterminé que la deuxième image montre un élément graphique généré par ordinateur qui est différent d’un élément graphique généré par ordinateur montré dans la première image, mais qui occupe la même position, le code d’évènement a une valeur indicative d’un changement d’élément graphique synthétique, et le deuxième descripteur comprend des données caractérisant ce changement. Preferably, when it is determined that the second image shows a computer generated graphic element which is different from a computer generated graphic element shown in the first image, but which occupies the same position, the event code has an value indicative of a change in synthetic graphical element, and the second descriptor includes data characterizing this change.
De préférence, lorsqu’il est déterminé que la deuxième image montre l’élément graphique de manière inchangée par rapport à la première image, le code d’évènement a une valeur indicative d’une absence de changement d’élément graphique. Preferably, when it is determined that the second image shows the graphical element unchanged from the first image, the event code has a value indicative of an absence of a graphical element change.
De préférence, les paramètres d’affichage sont autosuffisants pour permettre une restitution de l’élément graphique tel que montré dans la première image sur la base desdits paramètres d’affichage. Alternativement, la séquence d’image comprend par ailleurs une image antérieure à la première image, et le premier descripteur comprend un code d’évènement indicatif d’un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique entre l’image antérieure et la première image. Preferably, the display parameters are self-sufficient to allow rendering of the graphic element as shown in the first image on the basis of said display parameters. Alternatively, the image sequence furthermore comprises an image prior to the first image, and the first descriptor comprises an event code indicative of an event having induced a potential variation of display parameters of the graphic element between previous image and the first image.
De préférence, l’étape de traitement est restreinte à une portion de la deuxième image.Preferably, the processing step is restricted to a portion of the second image.
De préférence, l’étape de traitement est mise en œuvre par un réseau de neurones convolutif. De préférence, l’élément synthétique est un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille. Preferably, the processing step is implemented by a convolutional neural network. Preferably, the synthetic element is a character, a polygon, a menu, a grid, or part of a menu or of a grid.
De préférence, l’arrière-plan est d’origine photographique. Preferably, the background is of photographic origin.
De préférence, lorsque l’élément graphique synthétique est un caractère, le premier descripteur comprend un code propre au caractère, et optionnellement un code renseignant sur une police dans laquelle le caractère est montré dans la deuxième image et/ou un code renseignant sur une couleur du caractère dans la deuxième image. Preferably, when the synthetic graphic element is a character, the first descriptor comprises a code specific to the character, and optionally a code providing information on a font in which the character is shown in the second image and / or a code providing information on a color. of the character in the second picture.
Il est également proposé un procédé de décompression de données obtenues par le procédé de compression selon le premier aspect. There is also provided a method of decompressing data obtained by the compression method according to the first aspect.
Il est également proposé un produit programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon le premier aspect, lorsque ce programme est exécuté par un ordinateur. There is also proposed a computer program product comprising program code instructions for the execution of the steps of the method according to the first aspect, when this program is executed by a computer.
Il est également proposé une mémoire lisible par ordinateur stockant des instructions exécutables par l’ordinateur pour l’exécution des étapes du procédé selon le premier aspect. There is also provided a computer readable memory storing computer executable instructions for performing the steps of the method according to the first aspect.
DESCRIPTION DES FIGURES DESCRIPTION OF FIGURES
D’autres caractéristiques, buts et avantages de l’invention ressortiront de la description qui suit, qui est purement illustrative et non limitative, et qui doit être lue en regard des dessins annexés sur lesquels : Other characteristics, aims and advantages of the invention will emerge from the following description, which is purely illustrative and not limiting, and which should be read with reference to the accompanying drawings in which:
Les figures 1 et 2 sont deux exemples d’images montrées sur un écran d’un cockpit d’aéronef. Figures 1 and 2 are two example images shown on an aircraft cockpit screen.
La figure 3 représente de manière schématique un dispositif de traitement d’image selon un mode de réalisation. Figure 3 schematically shows an image processing device according to one embodiment.
La figure 4 est un organigramme d’étapes d’un procédé selon un mode de réalisation de l’invention. Figure 4 is a flowchart of steps of a method according to one embodiment of the invention.
Les figures 5 et 6 sont deux exemples d’images susceptibles d’être compressées au moyen du procédé de la figure 4. Figures 5 and 6 are two examples of images that can be compressed using the method of Figure 4.
La figure 7 représente schématiquement une chaîne de descripteurs générés pour différentes images d’une séquence d’image. Figure 7 shows schematically a chain of descriptors generated for different images of an image sequence.
Sur l’ensemble des figures, les éléments similaires portent des références identiques. DESCRIPTION DETAILLEE DE L'INVENTION In all of the figures, similar elements bear identical references. DETAILED DESCRIPTION OF THE INVENTION
En référence à la figure 1 , un dispositif de traitement 1 d’une séquence d’images comprend au moins un processeur 2 et une mémoire 4. Referring to Figure 1, a processing device 1 of a sequence of images comprises at least a processor 2 and a memory 4.
Le dispositif de traitement 1 comprend une entrée 6 adaptée pour recevoir une séquence d’images à compresser, ou des données à décompresser. The processing device 1 comprises an input 6 adapted to receive a sequence of images to be compressed, or data to be decompressed.
Le processeur 2 est adapté pour exécuter un programme de compression ou décompression, ce programme de compression comprenant lui-même des instructions de code de programme pour l’exécution d’un procédé de compression ou de décompression qui va être décrit ci- après. The processor 2 is adapted to execute a compression or decompression program, this compression program itself comprising program code instructions for the execution of a compression or decompression process which will be described below.
La mémoire 4 est adaptée pour stocker des données reçues par l’entrée 6, ainsi que des données générées par le processeur 2. La mémoire 4 comprend typiquement au moins une unité mémoire 4 volatile (RAM par exemple) et au moins une unité mémoire 4 non volatile (Flash, disque dur, SSD, etc.) pour stocker des données de manière persistante. The memory 4 is suitable for storing data received by the input 6, as well as data generated by the processor 2. The memory 4 typically comprises at least one volatile memory unit 4 (RAM for example) and at least one memory unit 4 non-volatile (Flash, hard drive, SSD, etc.) to store data persistently.
Le dispositif de traitement 1 comprend par ailleurs une sortie 8 par laquelle sont fournies des données résultant d’une compression ou d’une décompression mise en oeuvre par le processeur 2 exécutant le programme susmentionné. The processing device 1 furthermore comprises an output 8 through which data is supplied resulting from a compression or a decompression implemented by the processor 2 executing the aforementioned program.
On suppose qu’une séquence d’images est reçue via l’entrée 6 du dispositif de traitement 1 et mémorisée dans la mémoire 4. It is assumed that a sequence of images is received via input 6 of processing device 1 and stored in memory 4.
Chaque image est une matrice de pixels, chaque pixel ayant une position qui lui est propre, et des données de couleur. On suppose dans ce qui suit que toutes les images de la séquence sont de mêmes dimensions (hauteur, largeur). Each image is a matrix of pixels, each pixel having a position of its own, and color data. It is assumed in what follows that all the images in the sequence have the same dimensions (height, width).
Les images de la séquence montrent typiquement un arrière-plan, pouvant être d’origine photographique, ou d’origine non photographique. The images in the sequence typically show a background, which may be of photographic origin, or of non-photographic origin.
Les images sont susceptibles de montrer des éléments graphiques synthétiques superposés à l’arrière-plan. Images may show synthetic graphic elements overlaid on the background.
Comme indiqué en introduction, les éléments graphiques synthétiques sont des éléments graphiques générés par un ordinateur. Conformément au sens usuel qu’on lui prête dans la littérature, un élément graphique généré par ordinateur est par définition d’origine non photographique. En effet, leur tracé est entièrement déterminé par un ordinateur, et non pas par un appareil photographique ou une caméra. As indicated in the introduction, synthetic graphic elements are graphic elements generated by a computer. In accordance with the usual meaning given to it in the literature, a computer-generated graphic element is by definition of non-photographic origin. Indeed, their course is entirely determined by a computer, and not by a photographic apparatus or a camera.
Un éléments graphique synthétique peut par exemple être : un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille. Ces éléments synthétiques sont réguliers dans le sens où ils ont été tracés de manière exacte à l’aide d’un nombre fini de paramètres d’affichage qui ne sont pas des valeurs de pixels. A synthetic graphic element can for example be: a character, a polygon, a menu, a grid, or part of a menu or a grid. These synthetic elements are regular in the sense that they have been drawn exactly using a finite number of display parameters that are not pixel values.
Par exemple, dans le cas d’un caractère, ce caractère peut être défini par les paramètres d’affichage suivants : un code de caractère, un code renseignant sur une police du caractère, et un code renseignant sur une couleur du caractère. Tous ces codes permettent de tracer le caractère dans une image. Il est entendu que le caractère est quelconque : il peut s’agir d’un caractère alphanumérique ou de tout autre symbole (ponctuation, flèche, symbole mathématique, etc.). For example, in the case of a character, this character can be defined by the following display parameters: a character code, a code providing information on a character font, and a code providing information on a character color. All these codes allow to trace the character in an image. It is understood that the character is any: it can be an alphanumeric character or any other symbol (punctuation, arrow, mathematical symbol, etc.).
Lorsque l’élément graphique est un menu, une grille ou une partie de menu ou de grille, l’élément graphique est constitué d’un nombre fini de segments rectilignes ou courbes.When the graphic element is a menu, grid, or part of a menu or grid, the graphic element consists of a finite number of straight or curved segments.
Chaque élément graphique synthétique occupe un certain nombre de pixels dans une image de la séquence. Each synthetic graphic element occupies a certain number of pixels in an image of the sequence.
En référence à l’organigramme de la figure 4, un procédé de compression de la séquence d’image mis en oeuvre par le dispositif 1 comprend les étapes suivantes. Referring to the flowchart of Figure 4, a method of compressing the image sequence implemented by the device 1 comprises the following steps.
Le processeur 2 traite une première image de la séquence, de sorte à en analyser le contenu (étape 100). Dans la suite, cette première image est appelée « image de référence ». The processor 2 processes a first image of the sequence, so as to analyze its content (step 100). In the following, this first image is called “reference image”.
Le traitement mis en oeuvre lors de l’étape 100 est adapté pour détecter les éléments suivants dans l’image de référence : son arrière-plan, et d’éventuels élément graphiques synthétique superposés à cet arrière-plan. Par « éventuel », on veut signifier que le processeur 2 peut détecter l’absence d’élément graphiques dans l’image de référence, ou qu’il peut détecter la présence d’au moins un tel élément. The processing implemented during step 100 is suitable for detecting the following elements in the reference image: its background, and any synthetic graphic elements superimposed on this background. By "possible" we mean that processor 2 can detect the absence of graphics in the reference image, or that it can detect the presence of at least one such element.
Pour déterminer quels éléments graphiques synthétiques sont présents dans l’image de référence, le processeur 2 peut se fonder sur une bibliothèque d’éléments graphiques synthétiques prédéfinis. Plus précisément, le processeur 2 compare le contenu d’une zone de l’image de référence avec un élément de la bibliothèque, et estime une probabilité de correspondance entre les éléments comparés. Si cette probabilité est supérieure à un seuil prédéfini, le processeur 2 considère que l’élément de la bibliothèque est bel est bien montré dans la zone de l’image de référence. Sinon, le processeur 2 répète les mêmes étapes sur la base d’un autre élément de la bibliothèque. Le processeur 2 conclut qu’aucun élément graphique n’est représenté dans l’image de référence dans le cas où il atteint la fin du dictionnaire, sans que le seuil prédéfini n’ait été franchi. To determine which synthetic graphics elements are present in the reference image, processor 2 can rely on a library of predefined synthetic graphics elements. Specifically, processor 2 compares the content of an area of the reference image with an item from the library, and estimates a probability of a match between the items being compared. If this probability is greater than a predefined threshold, processor 2 considers that the element of the library is indeed shown in the area of the reference image. Otherwise, processor 2 repeats the same steps based on another item in the library. Processor 2 concludes that no graphical element is represented in the reference image in the event that it reaches the end of the dictionary, without the predefined threshold having been crossed.
Alternativement, cette étape 100 est mise en oeuvre par un réseau de neurones convolutif. Ce réseau de neurone a été préalablement entraîné de sorte à pouvoir reconnaître les différents éléments du dictionnaire. Le réseau de neurones convolutif ne fonctionne pas selon une logique séquentielle, ce qui présente l’avantage d’une exécution rapide, une fois l’apprentissage effectué. Alternatively, this step 100 is implemented by a convolutional neural network. This neural network has been previously trained so as to be able to recognize the different elements of the dictionary. The convolutional neural network does not operate in sequential logic, which has the advantage of rapid execution after learning is complete.
Dans ce qui suit, on suppose que le processeur 2 a déterminé lors de l’étape 100 la présence d’au moins un élément graphique synthétique dans l’image de référence. In the following, it is assumed that processor 2 has determined in step 100 the presence of at least one synthetic graphics element in the reference image.
Avantageusement, l’étape 100 est restreinte à une portion de l’image de référence. Dans le présent texte, une portion d’image n’est pas nécessairement d’un seul tenant. Cette portion peut comprendre une ou plusieurs zones prédéfinies, chaque zone prédéfinie ayant chacune une position, une taille et une forme prédéfinies (par exemple rectangulaire). Ces zones prédéfinies peuvent être connexes ou disjointes dans l’image de référence, mais ne recouvrent pas l’entièreté de l’image de référence. Cette restriction constitue un avantage, car permet de limiter la charge de calcul consacrée à la détermination d’élément graphiques synthétiques. Cette restriction ne pose pas d’inconvénients lorsque l’on sait à l’avance où peuvent se trouver des éventuels éléments graphiques. Advantageously, step 100 is restricted to a portion of the reference image. In this text, a portion of an image is not necessarily all in one piece. This portion can include one or more predefined zones, each predefined zone each having a predefined position, size and shape (for example rectangular). These predefined areas can be connected or disjoint in the reference image, but do not cover the entire reference image. This restriction is an advantage, because it allows to limit the computational load devoted to the determination of synthetic graphic elements. This restriction does not pose a problem when you know in advance where possible graphic elements may be.
Pour chaque élément graphique synthétique trouvé dans l’image de référence, le processeur 2 génère un descripteur associé à l’élément graphique synthétique (étape 102). Ce descripteur comprend des paramètres d’affichage de l’élément graphique synthétique dans l’image de référence. For each synthetic graphic element found in the reference image, processor 2 generates a descriptor associated with the synthetic graphic element (step 102). This descriptor includes display parameters of the synthetic graphic element in the reference image.
Les paramètres d’affichage ne comprennent pas de valeurs de pixels. Le caractère synthétique de l’élément graphique permet de pouvoir décrire visuellement cet élément graphique à l’aide de paramètres d’affichage moins volumineux que l’ensemble des valeurs des pixels occupés par cet élément graphique dans l’image de référence. Display settings do not include pixel values. The synthetic nature of the graphic element makes it possible to be able to visually describe this graphic element using display parameters that are smaller than the set of values of the pixels occupied by this graphic element in the reference image.
Le descripteur est le résultat d’un codage sans perte de l’élément graphique synthétique qui lui est associé, dans le sens où les paramètres d’affichage donnent des informations permettant une restitution de l’élément graphique conforme à l’original. The descriptor is the result of lossless encoding of the synthetic graphic element associated with it, in the sense that the display parameters provide information allowing a reproduction of the graphic element in conformity with the original.
Les paramètres d’affichage d’un élément graphique synthétique comprennent des données indicatives de la position de l’élément graphique dans l’image de référence. Ces données de position comprennent typiquement un couple de coordonnées dans l’image (coordonnée verticale v, et coordonnée horizontale h). The display parameters of a synthetic graphic element include data indicative of the position of the graphic element in the reference image. This positional data typically includes a pair of coordinates in the image (vertical coordinate v, and horizontal coordinate h).
Les paramètres d’affichages comprennent au moins un paramètre additionnel, venant en plus de ces données de position. Le nombre de paramètres additionnels dépend de la nature du premier élément synthétique, qui peut être plus ou moins complexe. Prenons par exemple le cas où l’élément graphique synthétique est un caractère. Dans ce cas, les paramètres d’affichage de cet élément graphique comprennent un code propre au caractère (code ASCII par exemple, ou autre). Ce code de caractère peut être le seul paramètre d’affichage additionnel venant en sus des données de position, dans le premier descripteur. The display parameters include at least one additional parameter, in addition to this positional data. The number of additional parameters depends on the nature of the first synthetic element, which can be more or less complex. Take for example the case where the synthetic graphic element is a character. In this case, the display parameters of this graphic element include a code specific to the character (ASCII code for example, or other). This character code may be the only additional display parameter in addition to the position data, in the first descriptor.
Le code de caractère peut être complété par : The character code can be completed by:
• un code de la police à utiliser pour afficher le caractère (ex : Arial, Times, etc.).• a code of the font to be used to display the character (eg Arial, Times, etc.).
• un code renseignant sur la couleur du caractère. Il est à noter que ce code est une information globale qui ne se rapporte pas uniquement à un pixel du premier élément graphique, mais se rapport cet élément graphique dans son ensemble. Ce code peut être représentatif d’une couleur unie, ou représentatif d’un dégradé de couleurs, etc. • a code providing information on the color of the character. It should be noted that this code is global information which does not relate only to a pixel of the first graphic element, but relates to this graphic element as a whole. This code can be representative of a solid color, or representative of a color gradient, etc.
En variante, le code de la police et le code couleur sont prédéfinis, dans le sens où le dispositif de traitement sait à l’avance que le caractère qui se trouve dans la zone prédéfinie a forcément une police et une couleur prédéfinies. Il n’est donc dans ce cas pas nécessaire de coder ces informations dans le descripteur. Alternatively, the font code and the color code are predefined, in the sense that the processing device knows in advance that the character that is in the predefined area necessarily has a predefined font and color. It is therefore not necessary in this case to encode this information in the descriptor.
Les étapes qui précèdent sont répétées le cas échéant pour chaque élément graphique synthétique trouvé dans l’image de référence, de sorte à produire une pluralité de descripteurs, chaque descripteur se rapportant à un élément graphique synthétique de l’image de référence. The above steps are repeated as necessary for each synthetic graphic element found in the reference image, so as to produce a plurality of descriptors, each descriptor relating to a synthetic graphic element of the reference image.
Dans la suite, les descripteurs ainsi générés sont appelés descripteurs de type « intra ». Ces descripteurs de type « intra » contiennent des informations qui se suffisent à elles-mêmes pour permettre de tracer un élément graphique synthétique représenté dans une image (ici l’image de référence). In the following, the descriptors thus generated are called descriptors of the “intra” type. These descriptors of the "intra" type contain information which is sufficient in itself to make it possible to draw a synthetic graphic element represented in an image (here the reference image).
La pluralité de descripteurs de type « intra » est mémorisée dans la mémoire 4 sous la forme d’un tableau, chaque ligne du tableau étant un des descripteurs de type « intra ». The plurality of "intra" type descriptors is stored in the memory 4 in the form of a table, each row of the table being one of the "intra" type descriptors.
On a représenté en figure 5 un exemple de première image, contenant différents éléments graphiques synthétiques étant tous des caractères. Est obtenu à partir de cette image d’exemple le tableau 1 de descripteurs de type « intra » représenté ci-dessous. An example of a first image has been shown in FIG. 5, containing various synthetic graphic elements all being characters. Table 1 of "intra" type descriptors shown below is obtained from this example image.
[Tableau 1] Dans cet exemple, le descripteur de type intra généré pour le caractère A situé en haut à gauche de l’image de référence est la seconde ligne du tableau 1. Ce descripteur comprend : le code du caractère A , la position verticale v=30 du caractère (correspondant à un numéro de ligne de l’image de référence), la position horizontale h=20 du caractère (correspondant à un numéro de colonne de l’image de référence), et un code de police p, ici de valeur égale à zéro. On constate que ces paramètres suffisent à permettre une restitution exacte ultérieure de l’élément graphique A , sans pour autant que ceux- ci ne comprennent de valeurs de pixels. C’est pourquoi les descripteurs intra ci-dessus sont sans perte. [Table 1] In this example, the intra type descriptor generated for the character A located at the top left of the reference image is the second row of table 1. This descriptor includes: the code of the character A, the vertical position v = 30 of the character (corresponding to a row number of the reference image), the horizontal position h = 20 of the character (corresponding to a column number of the reference image), and a font code p, here of equal value to zero. It can be seen that these parameters are sufficient to allow subsequent exact restitution of the graphic element A, without, however, the latter not including pixel values. This is why the above intra descriptors are lossless.
Les autres lignes du tableau 1 contiennent les mêmes paramètres d’affichages, permettant d’afficher d’autres caractères se trouvant dans l’image de référence représentée en figure 5. The other rows of Table 1 contain the same display parameters, allowing to display other characters found in the reference image shown in Figure 5.
Le processeur 2 met par ailleurs en œuvre un traitement de peinture ( inpainting en anglais), qui modifie l’image de référence de sorte à obtenir une image d’arrière-plan (étape 104). Pour obtenir cette image d’arrière-plan, le processeur 2 remplace les valeurs de pixels de l’image de référence occupés par les éléments graphiques synthétiques détectés par d’autres valeurs de pixel adaptées pour réduire, voire même éliminer des fréquences spatiales élevées dans le spectre de l’image de référence. Ce remplacement de valeurs de pixels est donc un filtrage passe-bas appliqués aux pixels de l’image de référence. Le spectre de l’image modifiée comprend donc moins de composantes en des fréquences élevées que le spectre de l’image de référence, avant le traitement de peinture. The processor 2 also implements a painting process (inpainting in English), which modifies the reference image so as to obtain a background image (step 104). To obtain this background image, the processor 2 replaces the pixel values of the reference image occupied by the synthetic graphics elements detected with other pixel values adapted to reduce or even eliminate high spatial frequencies in the spectrum of the reference image. This replacement of pixel values is therefore a low pass filtering applied to the pixels of the reference image. The spectrum of the modified image therefore includes fewer components at high frequencies than the spectrum of the reference image, before the paint treatment.
Un tel filtrage passe-bas peut typiquement être obtenu en calculant la moyenne de valeurs de pixels de l’arrière-plan connexes à des pixels des éléments graphiques synthétiques.Such low pass filtering can typically be achieved by averaging background pixel values related to pixels of synthetic graphics elements.
Supposons par exemple que l’image de référence contienne des éléments graphiques synthétiques en noir, et que l’arrière-plan soit blanc, comme c’est le cas de l’image de la figure 5. Dans ce cas, le traitement de peinture peut remplacer les pixels noirs des éléments graphiques synthétiques par des pixels blancs, ce qui permet d’obtenir une image d’arrière- plan entièrement blanche. Suppose, for example, that the reference image contains synthetic graphic elements in black, and that the background is white, as is the case in the image of figure 5. In this case, the paint processing can replace black pixels in synthetic graphics with white pixels, resulting in an all-white background image.
Prenons comme autre exemple une autre image contenant des éléments graphiques synthétiques de type caractère ayant une couleur blanche avec des contours noirs, superposés à un arrière-plan d’origine photographique dans des nuances de gris, comme par exemple l’image de la figure 1. Dans ce cas, le traitement de peinture peut remplacer les pixels blancs et noirs des éléments graphiques synthétiques de type caractère par la moyenne de valeurs de pixels de l’arrière-plan. L’image modifiée résultant du traitement de peinture est ensuite compressée par le processeur 2 selon une méthode connue de l’état de la technique, par exemple la méthode HEVC (étape 106). Cette compression 106 est indépendante des étapes de génération des descripteurs associés aux éléments graphiques synthétiques. La compression 106 peut être effectué en parallèle de l’étape 102, avant celle-ci ou après celle-ci. Let us take as another example another image containing synthetic graphic elements of character type having a white color with black outlines, superimposed on a background of photographic origin in shades of gray, as for example the image of figure 1 In this case, the paint processing can replace the white and black pixels of the synthetic character type graphics with the average of the pixel values of the background. The modified image resulting from the paint treatment is then compressed by the processor 2 according to a method known from the state of the art, for example the HEVC method (step 106). This compression 106 is independent of the steps for generating the descriptors associated with the synthetic graphic elements. The compression 106 can be carried out in parallel with step 102, before or after it.
En définitive, les éléments graphiques synthétiques de l’image de référence et l’arrière-plan de l’image de référence sont compressés séparément dans les étapes 102 et 106. Ultimately, the synthetic graphic elements of the reference image and the background of the reference image are compressed separately in steps 102 and 106.
La séquence d’images reçue contient par ailleurs une deuxième image, qui est postérieure à l’image de référence dans la séquence. La deuxième image peut suivre immédiatement l’image de référence dans la séquence, ou pas. The received sequence of images also contains a second image, which is subsequent to the reference image in the sequence. The second frame may or may not immediately follow the reference frame in the sequence.
On a représenté en figure 6 un exemple de deuxième image. Le contenu de cette deuxième image a varié par rapport à l’image de référence. Par exemple, l’élément graphique « A » discuté précédemment n’occupe plus tout à fait la même place. Certains éléments graphiques synthétiques se sont substitués à d’autres. Certains éléments graphiques ont disparu, et d’autres sont apparus (par exemple le caractère K). FIG. 6 shows an example of a second image. The content of this second image has varied from the reference image. For example, the graphical element "A" discussed previously no longer occupies quite the same place. Some synthetic graphic elements have replaced others. Some graphic elements have disappeared, and others have appeared (for example the character K).
Le processeur 2 met en œuvre des étapes 200, 202, 204, 206 qui sont respectivement identiques aux étapes 100, 102, 104, et 106 décrites précédemment, mais appliquées à la deuxième image. Processor 2 implements steps 200, 202, 204, 206 which are respectively identical to steps 100, 102, 104, and 106 described previously, but applied to the second image.
En particulier, est obtenue à l’issue de l’étape 202 une pluralité de nouveaux descripteurs de type « intra », de même format que les descripteurs de type « intra » générés pour l’image de référence, mais contenant des valeurs potentiellement différentes. Le tableau formé par la pluralité de nouveaux descripteurs de type « intra » générés pour l’exemple de deuxième image de la figure 6 est le suivant. In particular, at the end of step 202, a plurality of new “intra” type descriptors is obtained, of the same format as the “intra” type descriptors generated for the reference image, but containing potentially different values. . The table formed by the plurality of new descriptors of type "intra" generated for the example of the second image of FIG. 6 is as follows.
[Tableau 2] [Table 2]
Par exemple, il a été indiqué précédemment que le caractère A a changé de position dans la deuxième image représentée en figure 6, comparativement à l’image de référence représentée en figure 5. Ce changement de position se matérialise par un nouveau descripteur de type intra généré pour la deuxième image, et contenant des données de positions différentes de celles consignées dans le descripteur de type intra se rapportant à A et généré pour l’image de référence (ici, la position horizontale h est passée de 20 à 28). En revanche, le caractère A n’a pas changé de police ; le code de police p est donc le même que les deux descripteurs se rapportant au caractère A de l’image de référence et de la deuxième image, respectivement. For example, it was previously indicated that the character A has changed position in the second image shown in FIG. 6, compared to the reference image shown in FIG. 5. This change of position is materialized by a new descriptor of the intra type. generated for the second image, and containing data of positions different from those recorded in the related intra-type descriptor to A and generated for the reference image (here, the horizontal position h has changed from 20 to 28). In contrast, the character A has not changed font; the font code p is therefore the same as the two descriptors relating to the character A of the reference image and of the second image, respectively.
Toutefois, la compression des éléments graphiques synthétiques de la deuxième image n’est pas encore terminée à ce stade, à la différence de ce qui a été effectué pour l’image de référence. However, the compression of the synthetic graphics in the second image is not yet complete at this point, unlike what was done for the reference image.
Le processeur 2 détermine un évènement ayant induit une potentielle variation de paramètres d’affichage d’un élément graphique synthétique entre l’image de référence et la deuxième image (étape 208). The processor 2 determines an event that has induced a potential variation in the display parameters of a synthetic graphic element between the reference image and the second image (step 208).
Le processeur 2 génère un deuxième descripteur associé à la deuxième image, comprenant un code d’évènement indicatif de l’évènement déterminé, et que l’on appellera dans la suite descripteur de type inter (étape 210). The processor 2 generates a second descriptor associated with the second image, comprising an event code indicative of the determined event, and which will be called the inter type descriptor below (step 210).
Le processeur 2 répète ces deux étapes 208, 210 pour chaque élément graphique trouvé dans l’image de référence ou dans la deuxième image (donc référencé dans un descripteur de type intra généré pour l’image de référence ou pour la deuxième image, à l’issue des étapes 102 et/ou 202). The processor 2 repeats these two steps 208, 210 for each graphic element found in the reference image or in the second image (therefore referenced in an intra-type descriptor generated for the reference image or for the second image, at l 'resulting from steps 102 and / or 202).
Est ainsi obtenu une pluralité de descripteurs de type inter , se rapportant chacun à un élément graphique synthétique de l’image de référence ou de la deuxième image. La pluralité de descripteurs de type inter forme un tableau, chaque descripteur étant une ligne du tableau. A plurality of descriptors of inter type are thus obtained, each relating to a synthetic graphic element of the reference image or of the second image. The plurality of descriptors of type inter form an array, each descriptor being a row of the array.
Une fois que tous les descripteurs de type inter ont été générés, les descripteurs intra pour la deuxième image peuvent être supprimés de la mémoire 4. Once all the inter descriptors have been generated, the intra descriptors for the second image can be deleted from memory 4.
Un descripteur de type inter n’a pas le même format que qu’un descripteur de type intra . Comme indiqué précédemment, un descripteur de type intra contient des paramètres d’affichage qui se suffisent à eux-mêmes pour permettre de tracer un éléments graphique synthétique. Un descripteur de type inter indique quant à lui ce qui a potentiellement changé par rapport à un descripteur de type intra , ce qui permet au descripteur de type inter d’être beaucoup moins volumineux qu’un descripteur intra pour différents types d’évènements qui seront détaillés plus loin. An inter type descriptor does not have the same format as an intra type descriptor. As indicated previously, an intra-type descriptor contains display parameters which are sufficient in themselves to allow a synthetic graphic element to be drawn. An inter type descriptor indicates what has potentially changed compared to an intra type descriptor, which allows the inter type descriptor to be much smaller than an intra descriptor for different types of events that will be detailed below.
Un descripteur de type inter peut comprendre un renvoi vers l’image de référence, permettant de localiser la première image dans la séquence d’image. Ce renvoi se présente par exemple sous la forme d’un écart de position entre la première image et la deuxième image dans la séquence d’images. Par exemple, dans le cas où la deuxième image suit immédiatement la première image dans la séquence, cet écart vaut 1. Dans le cas où il existe une ou plusieurs images intermédiaires entre la première image et la deuxième image, cet écart serait un entier strictement supérieur à 1. Ceci signifie alors qu’on a conservé le tableau des descripteurs intra de la première image comme référence pour la deuxième image plutôt que de choisir le tableau de descripteurs intra de l’une des images intermédiaires. An inter type descriptor can include a reference to the reference image, making it possible to locate the first image in the image sequence. This reference is for example in the form of a position difference between the first image and the second image in the image sequence. For example, in the case where the second image immediately follows the first image in the sequence, this difference is equal to 1. In the case where there is one or more intermediate images between the first image and the second image, this difference would be a strictly integer. greater than 1. This then means that the table of intra descriptors of the first image has been kept as a reference for the second image rather than choosing the table of intra descriptors of one of the intermediate images.
L’inclusion d’un tel renvoi dans un descripteur de type « inter » reste toutefois facultatif. En effet, il peut être envisagé qu’un descripteur de type « inter » renvoie implicitement à l’image qui précède immédiatement la deuxième image dans la séquence d’image. However, the inclusion of such a reference in an "inter" descriptor remains optional. Indeed, it can be envisioned that a descriptor of the "inter" type implicitly refers to the image immediately preceding the second image in the image sequence.
Alternativement ou en complément, il peut encore être prévu d’inclure dans un descripteur de type « inter » un renvoi à la première image seulement dans le cas où la première image ne précède pas immédiatement la deuxième image dans la séquence d’images. Alternatively or in addition, provision may also be made to include in an "inter" type descriptor a reference to the first image only in the case where the first image does not immediately precede the second image in the sequence of images.
Un descripteur de type « inter » peut en outre comprendre un renvoi vers un descripteur de type « intra »de l’image de référence. Ce renvoi peut désigner le numéro de la ligne du descripteur dans le tableau de descripteurs généré pour l’image de référence, lorsque le descripteur « inter » modifie le descripteur « intra » qui y est référencé. An "inter" type descriptor may further include a reference to an "intra" type descriptor of the reference image. This reference may designate the number of the line of the descriptor in the table of descriptors generated for the reference image, when the "inter" descriptor modifies the "intra" descriptor referenced therein.
Toutefois, là encore, un renvoi vers un descripteur de type « intra » n’est pas obligatoire dans un descripteur de type « inter ». Il peut en effet être fait en sorte que le descripteur de type « inter » occupe la même ligne de tableau que le descripteur de type « intra » qu’il modifie. Dans ce cas, ce sont les positions des descripteurs dans leurs tableaux respectifs qui permet de déduire implicitement la correspondance logique de l’un vers l’autre. However, again, a reference to an "intra" type descriptor is not mandatory in an "inter" type descriptor. It can in fact be arranged for the "inter" type descriptor to occupy the same table row as the "intra" type descriptor that it modifies. In this case, it is the positions of the descriptors in their respective tables that make it possible to implicitly deduce the logical correspondence from one to the other.
En définitive, il existe toujours un lien logique depuis un descripteur « inter » vers un descripteur « intra », mais ce lien logique peut être explicite ou implicite dans le descripteur « inter ». Ultimately, there is always a logical link from an “inter” descriptor to an “intra” descriptor, but this logical link can be explicit or implicit in the “inter” descriptor.
Outre le code d’évènement (et les éventuels renvois vers une image et/ou un descripteur susmentionnés), un descripteur de type « intra » peut comprendre des données supplémentaires, qui dépendent de l’évènement déterminé. In addition to the event code (and any references to an image and / or a descriptor mentioned above), an "intra" type descriptor can include additional data, which depends on the determined event.
Est représenté ci-dessous un tableau de descripteurs de type « inter » obtenu pour la deuxième image de la figure 6. Shown below is a table of “inter” type descriptors obtained for the second image of FIG. 6.
[Tableau 3] [Table 3]
On va à présenter détailler différents types d’évènements déterminables, et le contenu du descripteur de type « inter » généré dans chacun de ces cas. We will present in detail different types of determinable events, and the content of the "inter" type descriptor generated in each of these cases.
Absence de changement d’un élément graphique synthétique Prenons le cas d’un élément graphique qui a été trouvé dans la première image en une position donnée. Lorsqu’il est déterminé que la deuxième image montre le premier élément graphique, de manière inchangée par rapport à la première image (c’est-à-dire à la même position et avec strictement le même rendu), le code d’évènement inclus dans le descripteur de type « inter » a une valeur « Unchanged » indicative d’une absence de changement du premier élément graphique entre la première image et la deuxième image. No change of a synthetic graphic element Let us take the case of a graphic element which was found in the first image at a given position. When it is determined that the second frame shows the first graphic element, unchanged from the first frame (i.e. at the same position and with strictly the same rendering), the included event code in the “inter” type descriptor has an “Unchanged” value indicative of an absence of change of the first graphic element between the first image and the second image.
Pour détecter ce cas, le processeur 2 peut tout simplement identifier que les deux tableaux de descripteurs de type « intra » générés respectivement pour la première image et pour la deuxième image contiennent un même descripteur identique. To detect this case, the processor 2 can quite simply identify that the two tables of descriptors of “intra” type generated respectively for the first image and for the second image contain the same identical descriptor.
Déplacement d’élément graphique synthétique Moving a synthetic graphic element
Dans un autre cas, un élément graphique synthétique a été trouvé par le processeur 2 dans la première image à une certaine position, et a également été trouvé par le processeur 2 dans la deuxième image, mais à une position différente (les paramètres d’affichages de cet élément graphique synthétique autres que sa position étant par ailleurs identiques dans la première image et dans la deuxième image). In another case, a synthetic graphics element was found by processor 2 in the first frame at a certain position, and was also found by processor 2 in the second frame, but at a different position (the display settings of this synthetic graphic element other than its position being otherwise identical in the first image and in the second image).
Pour détecter ce cas de déplacement, le processeur 2 peut identifier que les deux tableaux de descripteurs de type « intra » générés respectivement pour la première image et pour la deuxième image contiennent deux descripteurs qui ne diffèrent l’un de l’autre que par leurs données de position. To detect this case of displacement, the processor 2 can identify that the two tables of descriptors of “intra” type generated respectively for the first image and for the second image contain two descriptors which differ from each other only by their. position data.
Ce cas s’applique notamment au caractère A représenté dans les deux images d’exemple des figures 5 et 6. This case applies in particular to the character A shown in the two example images of Figures 5 and 6.
Dans ce cas de déplacement, le descripteur de type « inter » généré comprend des données de positionnement permettant, seules ou en combinaison avec le descripteur « intra » auquel il se réfère, de déterminer une position de l’élément graphique synthétique dans la deuxième image. In this case of displacement, the generated “inter” type descriptor comprises positioning data allowing, alone or in combination with the “intra” descriptor to which it refers, to determine a position of the synthetic graphic element in the second image. .
Ces données de positionnement comprennent typiquement un vecteur de déplacement entre la position de l’élément graphique synthétique dans la première image et la position de l’élément graphique dans la deuxième image. Le vecteur de déplacement comprend typiquement une composante horizontale dc, et une composante verticale ôy. Ce vecteur de déplacement est calculé comme une différence entre la position entre l’élément graphique dans la première image et la position de l’élément graphique dans la deuxième image.This positioning data typically includes a displacement vector between the position of the synthetic graphic element in the first frame and the position of the graphic element in the second frame. The displacement vector typically comprises a horizontal component dc, and a vertical component ôy. This displacement vector is calculated as a difference between the position between the graphic element in the first frame and the position of the graphic element in the second frame.
De préférence, le descripteur de type « inter » n’est rempli avec le code de déplacement « Displaced » (et les données associées susmentionnées) qu’à condition que le déplacement de l’élément graphique soit inférieur à un seuil prédéfini. Dans le cas contraire, un autre code d’évènement est utilisé (voir les autres cas exposés ci-dessous). Preferably, the “inter” type descriptor is filled with the displacement code “Displaced” (and the associated data mentioned above) only on condition that the displacement of the graphic element is below a predefined threshold. Otherwise, another event code is used (see the other cases explained below).
Disparition d’élément graphique synthétique Disappearance of synthetic graphic element
Considérons à présent le cas où le processeur 2 détermine que la deuxième image ne montre plus un élément graphique synthétique qui était montré dans la première image. Consider now the case where processor 2 determines that the second frame no longer shows a synthetic graphic element that was shown in the first frame.
Pour détecter ce cas, le processeur 2 identifie que la pluralité de descripteurs de type « intra » générés pour la deuxième image contient un descripteur pour un élément graphique synthétique, mais que la pluralité de descripteurs de type « intra » générés pour la première image ne contient pas un tel descripteur. To detect this case, the processor 2 identifies that the plurality of descriptors of type “intra” generated for the second image contains a descriptor for a synthetic graphic element, but that the plurality of descriptors of type “intra” generated for the first image do not. does not contain such a descriptor.
Dans ce cas, le code d’évènement a une valeur SKIP indicative d’une disparition du premier élément graphique synthétique. In this case, the event code has a SKIP value indicative of a disappearance of the first synthetic graphic element.
On a vu précédemment que le code d’évènement « Displaced » indicatif d’un déplacement d’élément graphique synthétique est utilisée à condition que le déplacement subi par un élément graphique entre la première image et la deuxième image est inférieur à un seuil prédéterminé. We have seen previously that the event code "Displaced" indicative of a movement of a synthetic graphic element is used provided that the movement undergone by a graphic element between the first image and the second image is less than a predetermined threshold.
Lorsque cette condition n’est pas remplie, un descripteur de type « inter » se rapportant à l’élément graphique disparu est généré avec le code SKIP. When this condition is not met, an "inter" type descriptor relating to the missing graphic element is generated with the SKIP code.
Changement d’élément graphique synthétique à la même position Change of synthetic graphic element at the same position
Considérons à présent le cas où le processeur 2 détermine que la première image et la deuxième image montrent respectivement deux éléments graphiques synthétiques différents à la même position. Consider now the case where processor 2 determines that the first image and the second image respectively show two different synthetic graphics elements at the same position.
Cette différence peut être de nature diverse. Il peut s’agir notamment d’une différence de forme et/ou de couleur. Dans le cas de caractères, un caractère peut s’être substitué à un autre caractère, entre la première image et la deuxième image. This difference can be of various kinds. It may in particular be a difference in shape and / or color. In the case of characters, one character may have substituted for another character, between the first image and the second image.
En pratique, le processeur 2 détecte ce cas lorsqu’il constate qu’une même position est référencée dans un descripteur de type « intra » généré pour la première image et aussi dans un nouveau descripteur de type « intra » généré pour la deuxième image, mais que ces deux descripteurs ont au moins un paramètre dont les valeurs diffèrent (autre que la position). In practice, the processor 2 detects this case when it notes that the same position is referenced in a descriptor of “intra” type generated for the first image and also in a new descriptor of “intra” type generated for the second image, but that these two descriptors have at least one parameter whose values differ (other than the position).
Lors d’une telle détection, le processeur 2 inclut dans le deuxième descripteur un code d’évènement « Changed » ayant une valeur indicative d’un changement du premier élément graphique synthétique entre la première image et la deuxième image. Dans ce cas, le deuxième descripteur comprend également des données qui caractérisent ce changement. Si le premier descripteur et le nouveau descripteur comprenant la même position comprennent d’autres paramètres d’affichage inchangés, ceux-ci ne sont pas inclus dans le deuxième descripteur. Autrement dit, seul les paramètres d’affichages modifiés entre la première image et la deuxième image sont inclus dans le deuxième descripteur.During such detection, the processor 2 includes in the second descriptor a “Changed” event code having a value indicative of a change of the first synthetic graphic element between the first image and the second image. In this case, the second descriptor also includes data which characterizes this change. If the first descriptor and the new descriptor comprising the same position include other unchanged display parameters, these are not included in the second descriptor. In other words, only the display parameters modified between the first image and the second image are included in the second descriptor.
Par exemple, l’exemple de première image représenté en figure 5 montre le caractère E à la position (v=30, h=52), alors que l’exemple de deuxième image représenté en figure 6 montre le caractère 5 en cette même position. Les deux caractères E et 5 sont représentés dans la même police. Le code de police p de valeur zéro étant déjà présent dans le descripteur de type « intra » associé au caractère E, il n’est pas nécessaire de le répéter dans le descripteur de type « inter » associé au caractère 5. Le même cas de changement s’applique au caractère 3 de la première image, remplacé par le caractère 6 dans la deuxième image. For example, the example of the first image represented in FIG. 5 shows the character E at the position (v = 30, h = 52), while the example of the second image represented in FIG. 6 shows the character 5 in this same position . Both characters E and 5 are shown in the same font. The font code p of value zero being already present in the “intra” type descriptor associated with the character E, it is not necessary to repeat it in the “inter” type descriptor associated with the character 5. The same case of change applies to character 3 in the first image, replaced by character 6 in the second image.
Apparition d’un nouvel élément graphique Appearance of a new graphic element
Dans un autre cas, le processeur 2 peut détecter qu’un élément graphique est présent dans la deuxième image mais pas la première image. In another case, processor 2 can detect that a graphic element is present in the second image but not the first image.
Dans ce cas, il est généré un descripteur « inter » comprenant un code d’évènement ayant une valeur NEW indicative d’une apparition d’un nouvel élément graphique synthétique. Sont associés à ce code les mêmes paramètres d’affichage que l’on trouve dans les descripteurs « intra » décrits précédemment, qui sont auto-suffisants pour tracer les éléments graphiques concernés par ces descripteurs. In this case, an "inter" descriptor is generated comprising an event code having a NEW value indicative of the appearance of a new synthetic graphic element. Associated with this code are the same display parameters as found in the "intra" descriptors described above, which are self-sufficient to plot the graphic elements concerned by these descriptors.
A titre illustratif, les caractères K, L qui apparaissent dans l’exemple de deuxième image de la figure 6 sont chacun codés en tant que nouveaux caractères, à l’aide du code « NEW ».By way of illustration, the characters K, L which appear in the second image example of FIG. 6 are each coded as new characters, using the code "NEW".
On a vu précédemment que le code d’évènement « Displaced » indicatif d’un déplacement d’élément graphique synthétique est utilisée à condition que le déplacement subi par un élément graphique entre la première image et la deuxième image est inférieur à un seuil prédéterminé. Lorsque cette condition n’est pas remplie, un descripteur de type « inter » se rapportant à l’élément graphique apparu est généré avec le code NEW. We have seen previously that the event code "Displaced" indicative of a movement of a synthetic graphic element is used provided that the movement undergone by a graphic element between the first image and the second image is less than a predetermined threshold. When this condition is not met, an "inter" type descriptor relating to the graphical element that has appeared is generated with the code NEW.
Pour résumer les évènements identifiés au cours de l’étape 208 sont les suivants : apparition, disparition, changement à la même place, déplacement, absence de changement. To summarize, the events identified during step 208 are as follows: appearance, disappearance, change in the same place, displacement, absence of change.
Le code d’évènement d’un descripteur de type « inter » peut donc être codé seulement sur 3 bits. The event code of an "inter" type descriptor can therefore only be coded on 3 bits.
Alignement des descripteurs « intra » et « inter » Dans le tableau ci-dessous, on a représenté côte-à-côte : les descripteurs intra » générés pour la première image, les descripteurs « intra » générés pour la deuxième image en répétant les mêmes étapes, et les descripteurs « inter » générés pour la deuxième image. Alignment of the descriptors "intra" and "inter" In the table below, we have represented side by side: the intra descriptors generated for the first image, the “intra” descriptors generated for the second image by repeating the same steps, and the “inter” descriptors generated for. the second image.
[Tableau 4] [Table 4]
Comme on peut le constater à la lecture du tableau 4 ci-dessus, les descripteurs « inter » avec les codes d’évènement SKIP et/ou NEW sont utilisés de telle sorte que les autres descripteurs « inter » se trouvent alignés avec les descripteurs intra auxquels ils se réfèrent, ce qui permet, comme indiqué plus haut, de ne pas forcément inclure de référencement de descripteur explicite dans les descripteurs « inter ». As can be seen on reading Table 4 above, the “inter” descriptors with the SKIP and / or NEW event codes are used such that the other “inter” descriptors are aligned with the intra descriptors. to which they refer, which makes it possible, as indicated above, not to necessarily include an explicit descriptor referencing in the “inter” descriptors.
Se trouve en annexe, à la fin de la présente description, un exemple de de pseudo-code pour implémenter le procédé de compression. Voici la signification de différentes variables utilisées dans ce pseudo-code : · ref et cur : Tableaux comportant NL lignes. Chaque ligne stockant [Position horizontale, Position verticale, code caractère, couleur] Attached at the end of the present description is an example of a pseudo-code for implementing the compression method. Here is the meaning of different variables used in this pseudo-code: · ref and cur: Tables comprising NL lines. Each line storing [Horizontal position, Vertical position, character code, color]
• A_x_allowed : Seuil de déplacement maximum horizontal • A_x_allowed: Maximum horizontal displacement threshold
• A_y_allowed : Seuil de déplacement maximum vertical • A_y_allowed: Maximum vertical displacement threshold
• Evènement NEW : code 001 fit position fit code caractère · Evènement CHANGED : code 011 fit code caractère • NEW event: code 001 fit position fit character code · CHANGED event: code 011 fit character code
• Evènement UNCHANGED : code 1 • UNCHANGED event: code 1
• Evènement SKIP : code 000 • SKIP event: code 000
• Evènement DISPLACED : code 010 fit (displacement_x ou displacement_y) Itération du codage « inter » • DISPLACED event: code 010 fit (displacement_x or displacement_y) Iteration of the "inter" encoding
Dans la description qui précède, il a été supposé qu’un descripteur de type « inter » généré pour la deuxième image au cours de l’étape 210 renvoie à un descripteur de type « intra » de la première image, c’est-à-dire un descripteur comprenant des paramètres d’affichage autosuffisants pour permettre une restitution de l’élément graphique correspondant tel que montré dans l’image de référence. In the preceding description, it has been assumed that a descriptor of “inter” type generated for the second image during step 210 refers to a descriptor of “intra” type of the first image, that is to say say a descriptor comprising self-sufficient display parameters to allow restitution of the corresponding graphic element as shown in the reference image.
Toutefois, ceci n’est pas du tout obligatoire : un descripteur de type « inter » peut renvoyer à un autre descripteur de type « inter ». However, this is not at all mandatory: a descriptor of type "inter" can refer to another descriptor of type "inter".
Les étapes 200, 202, 208, 210 peuvent en effet être répétées sur une troisième image, et en prenant cette fois la deuxième image comme image de référence. Au cours de l’étape 210 mise en œuvre sur la troisième image, il est généré un descripteur de type « inter » qui renvoie à un descripteur « inter » généré pour la deuxième image, lequel renvoie lui-même à un descripteur « intra » généré pour la première image. Steps 200, 202, 208, 210 can in fact be repeated on a third image, this time taking the second image as a reference image. During step 210 implemented on the third image, a descriptor of the “inter” type is generated which refers to an “inter” descriptor generated for the second image, which itself refers to an “intra” descriptor. generated for the first image.
Le processeur 2 traite finalement la vidéo en répétant itérativement le traitement décrit ci- dessus image par image. Il génère donc à la suite du descripteur « intra » initial, une séquence chronologique de descripteurs « inter » qui modifient successivement les éléments synthétiques le cas échéant, à tour de rôle. Cette itération crée alors une chaîne de tableaux « inter » référencés du dernier vers le tableau intra d’origine. Cette chaîne peut présenter plusieurs branches lorsque le renvoi se fait vers un tableau antérieur à celui de l’image précédente. À tout moment, le processeur 2 peut aussi choisir de « rafraîchir » l’image, c’est-à-dire de transmettre un nouveau descripteur « intra » qui sert de nouvelle référence aux descripteurs « inter » ultérieurs. The processor 2 finally processes the video by iteratively repeating the processing described above frame by frame. It therefore generates, following the initial “intra” descriptor, a chronological sequence of “inter” descriptors which successively modify the synthetic elements, if necessary, in turn. This iteration then creates a chain of "inter" arrays referenced from the last to the original intra array. This chain can have several branches when the reference is made to a table earlier than that of the previous image. At any time, processor 2 can also choose to "refresh" the image, that is, to transmit a new "intra" descriptor which serves as a new reference for subsequent "inter" descriptors.
A titre d’exemple illustratif de ce chaînage, on a représenté en figure 7 des descripteurs D1 à D7 générés pour différentes images d’une même séquence d’images, et se rapportant tous au même élément graphique synthétique. As an illustrative example of this chaining, there is shown in Figure 7 descriptors D1 to D7 generated for different images of the same sequence of images, and all relating to the same synthetic graphic element.
• Le descripteur D1 est un descripteur de type « intra ». • Descriptor D1 is an “intra” type descriptor.
• Le descripteur D2 est un descripteur de type « inter » qui renvoie vers le descripteur D1 et qui comprend le code d’évènement « Displaced » pour indiquer que l’élément graphique synthétique s’est déplacé, par rapport à la position renseignée dans le descripteur D1. • The descriptor D2 is a descriptor of the “inter” type which refers to the descriptor D1 and which includes the event code “Displaced” to indicate that the synthetic graphic element has moved, relative to the position entered in the descriptor D1.
• Le descripteur D3 est un descripteur de type « inter » qui renvoie vers le descripteur 2, et qui signale une absence de changement de l’élément graphique (via le code d’évènement « Unchanged »). • Le descripteur D4 est un descripteur de type « inter » qui renvoie également vers le descripteur D2 et qui comprend encore le code d’évènement « Displaced » pour indiquer que l’élément graphique s’est encore déplacé, par rapport à ce qui est renseigné dans le descripteur D2. • Descriptor D3 is an “inter” type descriptor which refers to descriptor 2, and which signals that the graphic element has not changed (via the “Unchanged” event code). • Descriptor D4 is an “inter” type descriptor which also refers to descriptor D2 and which still includes the event code “Displaced” to indicate that the graphic element has moved further, compared to what is entered in descriptor D2.
• Le descripteur D6 est un descripteur de type « inter » qui signale la disparition de l’élément graphique synthétique via le code d’évènement SKIP. • Descriptor D6 is an "inter" type descriptor which signals the disappearance of the synthetic graphic element via the SKIP event code.
• Le descripteur D1 est un descripteur de type « intra » pour un élément graphique synthétique à la même position que celle visée par les descripteurs D1 à D6. • Descriptor D1 is an “intra” type descriptor for a synthetic graphic element at the same position as that targeted by descriptors D1 to D6.
L’intérêt du mécanisme de compression augmente lorsqu’on envoie une majorité de tableaux inter et une minorité de tableaux intra, car le gain de compression global de la vidéo est alors accru. The advantage of the compression mechanism increases when sending a majority of inter arrays and a minority of intra arrays, because the overall compression gain of the video is then increased.
Décompression Decompression
Les descripteurs générés et les données résultant des compressions d’arrière-plan forment ensemble un flux de données de sortie encodant la séquence d’images, et ce de manière compressée puisque le flux de données de sortie est moins volumineux de la séquence d’images. The generated descriptors and the data resulting from the background compressions together form an output data stream encoding the image sequence in a compressed manner since the output data stream is smaller than the image sequence .
Le flux de données de sortie obtenu par le dispositif de traitement 1 peut être décompressé par ce même dispositif 1 ou un dispositif du même type en vue d’obtenir une séquence d’image conforme à la séquence originale. The output data stream obtained by the processing device 1 can be decompressed by this same device 1 or a device of the same type in order to obtain an image sequence conforming to the original sequence.
Ce procédé de décompression comprend des étapes symétriques à celles mises en œuvre au cours du procédé de compression décrit ci-avant. Tout d’abord, le récepteur identifie de façon univoque la séquence chronologique des images et des tableaux de descripteurs associés à chacune. This decompression method comprises steps symmetrical to those implemented during the compression method described above. First, the receiver uniquely identifies the chronological sequence of images and the descriptor tables associated with each.
En particulier, pour restituer un élément graphique de l’image courante (à afficher) et décrit dans un descripteur de type « inter », le processeur identifie le descripteur de type « intra » initial auquel se réfèrent la chaîne antérieure de descripteurs de type « inter » qui aboutit à l’image courante, et utilise les paramètres d’affichage consignés dans ce descripteur de type « intra », modifiés par la séquence des éventuelles informations additionnelles consignées dans les descripteurs de type « inter » constituant cette chaîne. In particular, to restore a graphic element of the current image (to be displayed) and described in an “inter” type descriptor, the processor identifies the initial “intra” type descriptor to which the previous string of “intra” type descriptors refers. inter ”which results in the current image, and uses the display parameters recorded in this“ intra ”type descriptor, modified by the sequence of any additional information recorded in the“ inter ”type descriptors constituting this string.
Autres variantes de réalisation Other variants
Il est entendu que le procédé décrit ci-dessus est applicable à tout type d’élément graphique synthétique, d’origine non photographique, et pas seulement à des caractères. Par exemple, les paramètres d’affichage qui peuvent être générés pour un cercle comprennent une position, un rayon, et le cas échéant d’autres paramètres optionnels (épaisseur de trait, couleur de trait). Ce principe est bien entendu généralisable à d’autres formes géométriques. It is understood that the method described above is applicable to any type of synthetic graphic element, of non-photographic origin, and not only to characters. For example, the display parameters that can be generated for a circle include a position, a radius, and if necessary other optional parameters (line thickness, line color). This principle can of course be generalized to other geometric shapes.
Dans ce qui précède, il a été présenté un mode de réalisation dans lequel tous les descripteurs de type « inter » générés pour la deuxième image se réfèrent à des descripteurs de type « intra » générés pour la même image, à savoir la première image. Il est possible que des groupes de descripteurs de type « inter » générés pour une même image modifient des descripteurs décrivant des images différentes les unes des autres. Dans ce cas, chaque descripteur de type « inter » doit contenir une référence d’image explicite. In the foregoing, an embodiment has been presented in which all the “inter” type descriptors generated for the second image refer to “intra” type descriptors generated for the same image, namely the first image. It is possible that groups of “inter” type descriptors generated for the same image modify descriptors describing images that are different from one another. In this case, each "inter" type descriptor must contain an explicit image reference.
Annexe : Exemple de pseudo-code pour implémenter le procédé de compression Appendix: Example of pseudo-code to implement the compression process
LI_R = 0 LI_C = 0 counter_movement_block_H = 0 counter_movement_block_W = 0 while LI_R < NL_R c_letter = cur(LI_C) r_letter = ref(LI_R) if r_letter.position ^ c_letter.position if r_letter.label = c_letter.label // Unchanged bitstream = writelbit(l) else LI_R = 0 LI_C = 0 counter_movement_block_H = 0 counter_movement_block_W = 0 while LI_R <NL_R c_letter = cur (LI_C) r_letter = ref (LI_R) if r_letter.position ^ c_letter.position if r_letter.label = c_letter.label // Unchanged bitstream = c_letter.label // Unchanged bitstream (l) else
// Changed bitstream = write3bit(011) bitstream = write6bit(c_letter.label) elseif _ _ |r_letter.y - c_letter.y| G [0, A_y_allowed] and r_letter.label = c_letter.label // Displaced Y displacement_y = r_letter.y - c_letter.y) // Changed bitstream = write3bit (011) bitstream = write6bit (c_letter.label) elseif _ _ | r_letter.y - c_letter.y | G [0, A_y_allowed] and r_letter.label = c_letter.label // Displaced Y displacement_y = r_letter.y - c_letter.y)
LI_C = LI_C + 1 LI_C = LI_C + 1
LI_R = LI_R + 1 bitstream = write3bit(010) bitstream = write6bit(displacement_y - 1) elseif r_letter.y ^ c_letter.y and |r_letter.x - c_letter.x| G [0, A_x_allowed] and r_letter.label = c_letter.label // Displaced X displacement_x = r_letter.y - c_letter.y LI_C = LI_C + 1 LI_R = LI_R + 1 bitstream = write3bit (010) bitstream = write6bit (displacement_y - 1) elseif r_letter.y ^ c_letter.y and | r_letter.x - c_letter.x | G [0, A_x_allowed] and r_letter.label = c_letter.label // Displaced X displacement_x = r_letter.y - c_letter.y LI_C = LI_C + 1
LI_R = LI_R + 1 bitstream = write3bit(010) bitstream = write6bit(displacement_x - 1) elseif |r_letter.x - c_letter.x| > A_x_allowed or |r_letter.y - c_letter.y| > A_y_allowed and r_letter.label! = c_letter.label while |r_letter.x - c_letter.x| > A_x_allowed or |r_letter.y - c_letter.y| > A_y_allowed and r_letter.label! = c_letter.label // New bitstream = write3bit(001) bitstream = writellbit(c_letter.x) bitstream = writellbit(c_letter.y) bitstream = write6bit(c_letter.label) LI_C = LI_C + 1 else LI_R = LI_R + 1 bitstream = write3bit (010) bitstream = write6bit (displacement_x - 1) elseif | r_letter.x - c_letter.x | > A_x_allowed or | r_letter.y - c_letter.y | > A_y_allowed and r_letter.label! = c_letter.label while | r_letter.x - c_letter.x | > A_x_allowed or | r_letter.y - c_letter.y | > A_y_allowed and r_letter.label! = c_letter.label // New bitstream = write3bit (001) bitstream = writellbit (c_letter.x) bitstream = writellbit (c_letter.y) bitstream = write6bit (c_letter.label) LI_C = LI_C + 1 else
// Skip bitstream = write3bit(000) // Skip bitstream = write3bit (000)
LI R = LI R + 1 LI R = LI R + 1

Claims

REVENDICATIONS
1. Procédé de compression d’une séquence d’images comprenant une première image et une deuxième image, le procédé comprenant des étapes de : 1. A method of compressing a sequence of images comprising a first image and a second image, the method comprising the steps of:
- détection (100) dans la première image ou dans la deuxième image d’un élément graphique généré par ordinateur et d’un arrière-plan sur lequel est superposé l’élément graphique,- detection (100) in the first image or in the second image of a computer-generated graphic element and of a background on which the graphic element is superimposed,
- génération (102) d’un premier descripteur comprenant des paramètres d’affichage de l’élément graphique dans la première image, les paramètres d’affichage ne comprenant pas de valeurs de pixels, - generation (102) of a first descriptor comprising display parameters of the graphic element in the first image, the display parameters not comprising pixel values,
- traitement de la deuxième image, de sorte à déterminer (208) un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique entre la première image et la deuxième image, - processing of the second image, so as to determine (208) an event that has induced a potential variation in display parameters of the graphic element between the first image and the second image,
- génération (210) d’un deuxième descripteur comprenant un code d’évènement indicatif de l’évènement déterminé, dans lequel les étapes de génération du premier descripteur et du deuxième descripteur sont mises en œuvre indépendamment d’une compression de l’arrière-plan. - generation (210) of a second descriptor comprising an event code indicative of the determined event, in which the steps of generation of the first descriptor and of the second descriptor are implemented independently of a compression of the rear- plan.
2. Procédé selon la revendication 1 , comprenant par ailleurs les étapes suivantes : 2. Method according to claim 1, further comprising the following steps:
- modification de l’image où l’arrière-plan a été détecté de sorte à obtenir une image d’arrière-plan, la modification comprenant un filtrage passe-bas appliqué à des valeurs de pixels de l’image montrant l’élément graphique généré par ordinateur, - modification of the image where the background was detected so as to obtain a background image, the modification comprising low pass filtering applied to pixel values of the image showing the graphic element computer generated,
- compression de l’image d’arrière-plan indépendamment des étapes de génération du premier descripteur et du deuxième descripteur. - compression of the background image independently of the steps of generating the first descriptor and the second descriptor.
3. Procédé selon l’une des revendications précédentes, dans lequel : 3. Method according to one of the preceding claims, in which:
- lorsqu’il est déterminé que la deuxième image ne montre pas l’élément graphique généré par ordinateur, le code d’évènement a une valeur indicative d’une disparition d’élément graphique généré par ordinateur. - When it is determined that the second image does not show the computer generated graphic element, the event code has a value indicative of a disappearance of the computer generated graphic element.
4. Procédé selon l’une des revendications précédentes, dans lequel : 4. Method according to one of the preceding claims, in which:
- lorsqu’il est déterminé que la deuxième image montre l’élément graphique généré par ordinateur déplacé par rapport à la première image, le code d’évènement a une valeur indicative d’un déplacement d’élément graphique généré par ordinateur. - When it is determined that the second image shows the computer generated graphic element moved relative to the first image, the event code has a value indicative of a computer generated graphic element displacement.
5. Procédé selon la revendication précédente, dans lequel le deuxième descripteur comprend des données de positionnement permettant, seules ou en combinaison avec le premier descripteur, de déterminer une position de l’élément graphique généré par ordinateur dans la deuxième image. 5. Method according to the preceding claim, in which the second descriptor comprises positioning data making it possible, alone or in combination with the first descriptor, to determine a position of the graphic element generated by computer in the second image.
6. Procédé selon la revendication précédente, dans lequel les données de positionnement comprennent un vecteur de déplacement entre une position de l’élément graphique généré par ordinateur dans la première image et une position de l’élément graphique généré par ordinateur dans la deuxième image. A method according to the preceding claim, wherein the positioning data comprises a vector of displacement between a position of the computer generated graphic element in the first image and a position of the computer generated graphic element in the second image.
7. Procédé selon l’une des revendications 4 à 6, comprenant une comparaison entre, d’une part, le déplacement de l’élément graphique généré par ordinateur entre la première image et la deuxième image, et, d’autre part, un seuil prédéfini, et dans lequel le code d’évènement a la valeur indicative d’un déplacement seulement si ledit déplacement de l’élément graphique généré par ordinateur est inférieur au seuil prédéfini. 7. Method according to one of claims 4 to 6, comprising a comparison between, on the one hand, the displacement of the graphic element generated by computer between the first image and the second image, and, on the other hand, a predefined threshold, and wherein the event code has the value indicative of a displacement only if said displacement of the computer generated graphic element is less than the predefined threshold.
8. Procédé selon l’une des revendications précédentes, dans lequel : 8. Method according to one of the preceding claims, wherein:
- lorsqu’il est déterminé que la deuxième image montre un élément graphique qui est différent de l’élément graphique généré par ordinateur montré dans la première image, mais qui occupe la même position, le code d’évènement a une valeur indicative d’un changement d’élément graphique généré par ordinateur, et le deuxième descripteur comprend des données caractérisant ce changement. - when it is determined that the second image shows a graphic element which is different from the computer generated graphic element shown in the first image, but which occupies the same position, the event code has a value indicative of a computer generated graphic element change, and the second descriptor includes data characterizing that change.
9. Procédé selon l’une des revendications précédentes, dans lequel : 9. Method according to one of the preceding claims, wherein:
- lorsqu’il est déterminé que la deuxième image montre l’élément graphique de manière inchangée par rapport à la première image, le code d’évènement a une valeur indicative d’une absence de changement d’élément graphique. - When it is determined that the second image shows the graphical element unchanged from the first image, the event code has a value indicative of no graphical element change.
10. Procédé selon l’une des revendications précédentes, dans lequel les paramètres d’affichage sont autosuffisants pour permettre une restitution de l’élément graphique généré par ordinateur tel que montré dans la première image sur la base desdits paramètres d’affichage. 10. Method according to one of the preceding claims, in which the display parameters are self-sufficient to allow a reproduction of the computer-generated graphic element as shown in the first image on the basis of said display parameters.
11. Procédé selon l’une des revendications 1 à 10, dans lequel la séquence d’image comprend par ailleurs une image antérieure à la première image, et dans lequel le premier descripteur comprend un code d’évènement indicatif d’un évènement ayant induit une potentielle variation de paramètres d’affichage de l’élément graphique généré par ordinateur entre l’image antérieure et la première image. 11. Method according to one of claims 1 to 10, wherein the image sequence further comprises an image prior to the first image, and wherein the first descriptor comprises an event code indicative of an event having induced a potential variation in display parameters of the computer generated graphic element between the previous image and the first image.
12. Procédé selon l’une des revendications précédentes, dans lequel l’étape de traitement est restreinte à une portion de la deuxième image. 12. Method according to one of the preceding claims, in which the processing step is restricted to a portion of the second image.
13. Procédé selon l’une des revendications précédentes, dans lequel l’étape de traitement est mise en oeuvre par un réseau de neurones convolutif. 13. Method according to one of the preceding claims, in which the processing step is implemented by a convolutional neural network.
14. Procédé selon l’une des revendications précédentes, dans lequel l’élément généré par ordinateur est un caractère, un polygone, un menu, une grille, ou une partie d’un menu ou d’une grille, et/ou dans lequel l’arrière-plan est d’origine photographique. 14. Method according to one of the preceding claims, in which the computer-generated element is a character, a polygon, a menu, a grid, or part of a menu or of a grid, and / or in which the background is of photographic origin.
15. Procédé selon l’une des revendications précédentes, dans lequel, lorsque l’élément graphique généré par ordinateur est un caractère, le premier descripteur comprend un code propre au caractère, et optionnellement un code renseignant sur une police dans laquelle le caractère est montré dans la deuxième image et/ou un code renseignant sur une couleur du caractère dans la deuxième image. 15. Method according to one of the preceding claims, wherein, when the computer-generated graphic element is a character, the first descriptor comprises a code specific to the character, and optionally a code providing information on a font in which the character is shown. in the second image and / or a code providing information on a color of the character in the second image.
16. Produit programme d'ordinateur comprenant des instructions de code de programme pour l'exécution des étapes du procédé selon l’une des revendications précédentes, lorsque ce programme est exécuté par un ordinateur. 16. A computer program product comprising program code instructions for executing the steps of the method according to one of the preceding claims, when said program is executed by a computer.
17. Mémoire (4) lisible par ordinateur stockant des instructions exécutables par l’ordinateur pour l’exécution des étapes du procédé selon l’une des revendications 1 à 15. 17. A computer-readable memory (4) storing instructions executable by the computer for the execution of the steps of the method according to one of claims 1 to 15.
EP20845171.6A 2019-12-10 2020-12-10 Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin Pending EP4074041A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1914090A FR3104360B1 (en) 2019-12-10 2019-12-10 Process of compressing a sequence of images showing synthetic graphic elements of non-photographic origin
PCT/FR2020/052382 WO2021116615A1 (en) 2019-12-10 2020-12-10 Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin

Publications (1)

Publication Number Publication Date
EP4074041A1 true EP4074041A1 (en) 2022-10-19

Family

ID=71661897

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20845171.6A Pending EP4074041A1 (en) 2019-12-10 2020-12-10 Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin

Country Status (7)

Country Link
US (1) US20230047115A1 (en)
EP (1) EP4074041A1 (en)
CN (1) CN115516859A (en)
CA (1) CA3160498A1 (en)
FR (1) FR3104360B1 (en)
IL (1) IL293730A (en)
WO (1) WO2021116615A1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422674A (en) * 1993-12-22 1995-06-06 Digital Equipment Corporation Remote display of an image by transmitting compressed video frames representing background and overlay portions thereof
EP1578136A3 (en) * 1998-01-27 2005-10-19 AT&T Corp. Method and apparatus for encoding video shape and texture information
JP2000209580A (en) * 1999-01-13 2000-07-28 Canon Inc Picture processor and its method

Also Published As

Publication number Publication date
IL293730A (en) 2022-08-01
FR3104360A1 (en) 2021-06-11
CA3160498A1 (en) 2021-06-17
CN115516859A (en) 2022-12-23
US20230047115A1 (en) 2023-02-16
FR3104360B1 (en) 2021-12-03
WO2021116615A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US11615505B2 (en) Apparatus and method for image processing, and system for training neural network
CN111028177B (en) Edge-based deep learning image motion blur removing method
CN111428781A (en) Remote sensing image ground object classification method and system
US11301965B2 (en) Method and image processing device for image super resolution, image enhancement, and convolutional neural network model training
WO2020043296A1 (en) Device and method for separating a picture into foreground and background using deep learning
CN111553290A (en) Text recognition method, device, equipment and storage medium
CN112150400A (en) Image enhancement method and device and electronic equipment
CN113591831A (en) Font identification method and system based on deep learning and storage medium
CN114140786A (en) Scene text recognition method based on HRNet coding and double-branch decoding
EP3007108A1 (en) Generation of a robust personalised graphic matrix code
EP4074041A1 (en) Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin
US20230135978A1 (en) Generating alpha mattes for digital images utilizing a transformer-based encoder-decoder
CN115170812A (en) Image denoising model training and denoising method, device and storage medium thereof
EP1390905B1 (en) Method for detecting text zones in a video image
FR3076378A1 (en) METHOD OF FORMING NEURON NETWORK FOR RECOGNITION OF CHARACTER SEQUENCE AND ASSOCIATED RECOGNITION METHOD
FR2755564A1 (en) Image data coding using adjacent pixels in successive scan lines
CN110648291B (en) Unmanned aerial vehicle motion blurred image restoration method based on deep learning
EP1525553A2 (en) Method and system for automatically locating text areas in an image
Favorskaya et al. Semantic segmentation of multispectral satellite images for land use analysis based on embedded information
EP3956809A1 (en) Image processing method for an identity document
BE1021013B1 (en) METHOD AND SYSTEM FOR IMPROVING THE QUALITY OF COLOR IMAGES
US20240119706A1 (en) Generating images with small objects for training a pruned super-resolution network
Zhang et al. Learning via decision trees approach for video super-resolution
FR2929431A1 (en) METHOD AND DEVICE FOR CLASSIFYING SAMPLES REPRESENTATIVE OF AN IMAGE DIGITAL SIGNAL
BE1022166B1 (en) IMAGE COMPRESSION METHOD

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220613

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)