EP0936575A1 - Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images, procédé de filtrage du bruit et appareil d'imagerie médicale utilisant ces procédés - Google Patents

Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images, procédé de filtrage du bruit et appareil d'imagerie médicale utilisant ces procédés Download PDF

Info

Publication number
EP0936575A1
EP0936575A1 EP99200360A EP99200360A EP0936575A1 EP 0936575 A1 EP0936575 A1 EP 0936575A1 EP 99200360 A EP99200360 A EP 99200360A EP 99200360 A EP99200360 A EP 99200360A EP 0936575 A1 EP0936575 A1 EP 0936575A1
Authority
EP
European Patent Office
Prior art keywords
image
causal
block
images
criterion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP99200360A
Other languages
German (de)
English (en)
Other versions
EP0936575B1 (fr
Inventor
Raoul Florent
Philippe Gatepin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of EP0936575A1 publication Critical patent/EP0936575A1/fr
Application granted granted Critical
Publication of EP0936575B1 publication Critical patent/EP0936575B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the invention relates to an image processing method for estimating the movement of objects represented in a sequence of images noise, as well as a noise filtering method including this method of estimating movement.
  • the invention also relates to a medical imaging device. implementing the motion estimation method and / or the method of noise filtering, and in particular an X-ray machine.
  • this X-ray machine works in fluoroscopic mode for the visualization of the vascular system.
  • a block of same coordinates is determined and a search window whose dimensions are related to the assumed range of motion is formed around this block.
  • the purpose of this process based on an algorithm called B.M.A is to determine in the search window a block called block corresponding to the current block which is the one which, according to a criterion intensity similarity preset, has the closest brightness properties those of the current block.
  • the determination of the corresponding block provides a vector of motion which measures the spatial translation between the current block in the image at time t and the corresponding block in the previous image at time t-1.
  • This motion estimation method includes an estimation of a coarse motion vector to provide an approximate location of the block corresponding, followed by the application of the intensity similarity criterion to estimate a real motion vector around the coarse motion vector.
  • the criterion similarity is not described.
  • the rough motion vector estimate includes a determination of a plurality of p motion vectors relating to blocks correspondents located respectively in an identical number p of images successive temporal periods prior to the image processed at time t which contains the block current, and a linear temporal filtering which provides said motion vector rough as a weighted average of the p vectors of previous movements.
  • This linear temporal filtering of the p prior motion vectors is of the type predictive, that is to say that knowing p vectors of relative anterior movements with p corresponding blocks taken from previous images, a prediction of the coarse motion vector between instants t and t-1 is realized based on a specific hypothesis that the estimated motion on the anterior p blocks successive correspondents is strictly linear and continuous. The criterion of similarity is then applied locally around the coarse vector to estimate the vector of real movement.
  • this process involves this prediction step, it loses its efficiency whenever a new movement appears, because, in this case, the coarse motion vector cannot be determined since the p vectors of previous movements do not exist. And so the real vector based on the vector coarse also cannot be found locally.
  • An object of the invention is to provide a method for estimating movement serving in particular to assist a temporal filter, or spatio-temporal for effective denoising in the event of movement.
  • An image processing method for noise reduction in a image sequence includes an arrangement of recursive time filtering and such a method for motion estimation according to claim 8.
  • a medical imaging device includes an acquisition system of a sequence of images, and an image processing system that has access to image data and a sequence image display system which includes a processor implementing such an image processing method for noise reduction.
  • the invention relates to a method for processing a sequence of images.
  • noises representing objects having movements that take place on a substantially large area relative to the size of an image, or large amplitude from one image to another.
  • large amplitude we mean movements of the order of or greater than 10 pixels.
  • One area of application may be noise reduction in video images, especially images that need to be encoded because the encoding of noisy footage is expensive.
  • Another area of application is that of reduction noise in medical images, especially images provided by X-ray radiology equipment working in fluoroscopic mode.
  • These devices provide, at rates of the order of 3 to 25 frames per second, sequences very noisy images because they are formed using very low doses of X-rays.
  • These sequences of fluoroscopic images are frequently used to follow live operating gestures and therefore must be denoised in time real.
  • these image sequences include very fine objects in movement, such as a catheter for example, which should not be cleared by the image processing. By fine details or fine objects we mean objects of diameter on the order of or less than 10 pixels.
  • the motion estimation method comprises a step 10 of acquisition and digitization of a sequence of images comprising an image to be processed denoted J t , a previous image called causal denoted J t-1 and a following image called anti- causal noted J t + 1 .
  • each digitized noisy image J t , J t-1 , J t + 1 is a two-dimensional spatial matrix of pixels identified by coordinates x, y, which are denoted respectively A t , A t- 1 , A t + 1 in the three temporal images and which respectively have a digitized intensity level I t (x, y), I t-1 (x, y), I t + 1 (x, y).
  • the intensities are directly indicated by I t , I t-1 , I t + 1 .
  • a method of recursive temporal noise filtering capable of reducing the noise of each image successively in a sequence of images comprises a processing of a signal called noisy temporal signal formed from the different levels of intensity I t-1 , I t , I t + 1 of the pixels A t-1 , A t , A t + 1 located at x, y as a function of time t (tau).
  • the time signal shows a rising intensity front between the instants t-1 and t, with a plateau beyond t, at time t + 1, which is characteristic of a movement between instants t-1 and t + 1, in an otherwise simply noisy signal.
  • the time signal shows a noise peak at time t, between the instants t-1 and t + 1, therefore a signal which is simply entirely noisy.
  • a temporal filtering method was applied to the signal of FIG. 7A to obtain a filtered temporal signal denoted P (t) by a recursive temporal filtering without compensation for movement.
  • P (t) a filtered temporal signal denoted by a recursive temporal filtering without compensation for movement.
  • the intensities remain offset on either side of the rising edge due to the movement.
  • FIG. 7D shows the same filtered temporal signal of the noise in which the rising edge no longer exists, which means that the movement is also compensated.
  • the present method makes it possible to estimate the movement in order to compensate for it in order to obtain the result of FIG. 7D.
  • the temporal intensities I t-1 , I t , I t + 1 which are the points of the temporal signal are called samples.
  • the samples preceding and following the treated sample I t are called causal and anti-causal respectively and denoted I t-1 and I t + 1 .
  • Recursive temporal filtering constitutes according to the knowledge of one of the best methods for denoising images. However this type of filtering is not able to filter the image correctly in the event that a movement of large amplitude appears.
  • a solution to nevertheless use the recursive temporal filtering in the event of movement is to apply a method of image processing which includes a first phase of motion estimation and a second phase of recursive time filtering. The combination of these two phases can be done according to different schemes.
  • the noisy signal It of the image J t to be processed is subjected to a first phase 150 in which both an estimation and a compensation of the movements relating to the processed image J t .
  • This first phase provides a compensated signal C t (English: Registered).
  • This compensated signal C t is then subjected to a second phase 250 which performs the recursive time filtering and supplies the denoised signal P t .
  • the noisy signal I t of the image J t to be processed is subjected to a first phase 100 which performs only a motion estimation and which provides a relative motion vector V t at location x, y.
  • the noisy signal I t and the motion vector V t are then subjected to a second phase 200 which performs the temporal filtering of the signal I t aided by the motion vector V t to compensate for the motion and produce the denoised signal P t to be assigned at the current pixel to build a denoised image.
  • the time filter receives both the intensities I t of the images and a motion vector field V t , and uses the motion vector field to compensate for the motion. in the image at the same time as it filters it.
  • An object of the invention is therefore to provide a method for estimating movement to carry out the first phase of the diagrams presented above.
  • Motion estimation is a process in itself used to denoise images to be combined with a second phase of time filtering, for a effective denoising in the event of movement.
  • Many methods of estimating movement already exists in the state of the art, but these methods generally apply to low noise images, so that when they are applied to heavily noisy images the results are catastrophic.
  • the present motion estimation method comprises a preliminary step 20 where the image to be processed J t is cut into contiguous blocks of dimension 12 x 12 or 16 x 16 pixels for example.
  • the image J t is thus paved in elementary blocks called reference blocks denoted RBt (English: Referenced Block).
  • the reference blocks are processed one after the other according to a fully automatic scanning method known to those skilled in the art, for example from left to right and from top to bottom of the image.
  • a current block which is a reference block chosen at a given position in the image to be processed J t .
  • Each reference block of the image J t is defined by a reference point Mk which is located for example in the center of the block.
  • the reference point is always considered in the same place in each block and is characterized by its x, y coordinates, as in FIG. 4.
  • the reference block itself constitutes a neighborhood noted NG (x, y) of the reference point M k .
  • the present motion estimation method denoted FA-BMA comprises a matching of three blocks respectively in three temporal images constituted by the image to be processed J t , the causal image J t-1 and the anti image -causal J t + 1
  • the motion estimation algorithm already known from the prior art denoted BMA (from the English Block Matching Algorithm) performs the mapping of only two blocks in two images respectively which are only the image to be processed and the causal image.
  • the research policy stage therefore uses not only two successive images as already known but a triplet of images consisting of the causal image J t-1 , the image to be processed J t and an additional image which is the anti-causal image J t + 1 .
  • the step 30 of applying the specific search policy SP comprises on the one hand, for a given reference block RB t a substep 31 for determining a homologous block denoted HB t-1 in the causal image J t-1 which has the same location x, y as the reference block RB t and around the homologous block HB t-1 a definition of a search window denoted SW t- 1 ( English: Search Window) in which we define a certain number of blocks called candidates.
  • SW t- 1 English: Search Window
  • Step 30 of applying the specific search policy SP further comprises, for the same reference block RB t , a sub-step 32 of determining an homologous anti-causal block HB t + 1 in l anti-causal image J t + 1 , defining a search window SW t + 1 around the homologous anti-causal block in which candidate blocks are defined according to the same process.
  • search windows SW t-1 , SW t-1 by their size, which defines the maximum modulus of the motion vectors that can be found between the instants t and t-1 on the one hand, and t and t + 1 on the other hand.
  • the vector stops at the limits of the search window which is therefore determined according to the maximum movements that are expected in the image, or that one wants to compensate.
  • Step 40, 42 of applying the double intensity similarity criterion DSC comprises on the one hand, a comparison of the candidate blocks of the causal image J t-1 with the reference block RB t , and comprises on the other hand share a comparison of the candidate blocks of the anti-causal image J t + 1 to the same reference block RB t with the same double criterion of similarity of intensity applied to this anti-causal image instead of the causal image.
  • the candidate blocks which most resemble the reference block RB t according to this double criterion of intensity similarity are chosen as corresponding blocks and are denoted respectively CB t-1 and CB t + 1 to define a first motion vector denoted V ( t, t-1) between time t and time t-1 at location x, y. and to define a second motion vector denoted V (t, t + 1) between the instants t and t + 1 at the same location x, y.
  • the first motion vector V (t, t-1) spatially connects the center Mk t of the reference block RB t to the center Mk t-1 of the corresponding block CB t-1 and is oriented from the reference block RB t in the image J t towards the homologous block HB t-1
  • the second motion vector V (t, t + 1) spatially connects the center Mk t of the reference block RBt to the center Mk t + 1 of the corresponding block CB t + 1 and is oriented from the reference block RBt in the image J t towards the homologous anti-causal block HB t + 1 .
  • the new double similarity criterion D-SC is based on an assumption that the movement between the corresponding block in image t-1 and the reference block in image t on the one hand, and between the reference block in image t and the corresponding block in image t + 1 is locally linear, continuous and uniform. That is, the motion vector between t-1 and t is the same as between t and t + 1.
  • the vector V (t-1, t) is the same as the vector V (t, t + 1), has the same module and the same orientation.
  • an elementary similarity criterion which forms a first part called causal of the double similarity criterion and which applies between the first corresponding block CB t-1 in the search window SW t-1 and the reference block RB t in the image J t and which is noted: SC VS (Mk t , Mk t-1 + V)
  • SC AT Mk t , Mk t + 1 + V
  • SC VS ⁇ [I t (x k , y k ) - I t-1 (x k + V x , y k + V y )] 2
  • SC AT ⁇ [I t (x k , y k ) - I t + 1 (x k + V x , y k - V y )] 2 (x k , y k ) ⁇ NG k
  • the causal and anti-causal parts of the dual criterion as written above respectively represent the Euclidean distance between the block of reference and the candidate block in the causal image and in the anti-causal image, that is to say the sum of the squares of the differences in intensities of two pixels, one of which is in the reference block and the other of which is respectively in the candidate block of the causal image which corresponds to the vector V (t, t-1) and in the candidate block of the anti-causal image which corresponds to the vector V (t, t + 1).
  • a vector V is defined by its two components V x and V y .
  • V x and V y For each location x, y, there is a pixel in the reference block and a corresponding pixel in the candidate block. The intensity differences between the two pixels are calculated, are squared and the whole is summed. This represents a lot of calculation.
  • SC C of the similarity criterion is calculated for each candidate block, and the block which gives the most convincing measure of similarity is chosen to determine the motion vector. So the number of differences squared which must be calculated to evaluate the similarity criterion is equal to the number of pixels that there are in the block: if it is a block of 8 x 8 pixels, it is a sum of 64 items.
  • the pixels are taken two by two, at a rate of 1 in each block, separated by the same vector V.
  • a vector V is defined for each candidate block.
  • all the pixels are supposed to have the same motion vector. That is to say that, at the base of the FA-BMA process, it is a translational movement which connects two blocks, and that V x and V y do not vary for a given candidate block. If we define a block of 8 x 8 pixels in size, and if we define a SW search window which is more or less 10 or 15 pixels around the homologous block, there are 10 or 15 possible positions on each side of the block in x and in there. This means that the object can move more or less 10 or 15 pixels.
  • the search window is 28 x 28 pixels, or 33 x 33 pixels. This means that, per candidate block, we must make 64 differences squared and summed for a single measure of similarity. The same is true for the estimation of the motion vector by means of the second anti-causal part SC A of the intensity similarity criterion.
  • a specific exhaustive search policy noted F-SP, is used, according to which all the possible blocks of the search window are chosen, that is to say all the blocks which are referenced by their reference point, which is for example the central pixel, and by their dimensions. Each point in the search window is then a reference point for a candidate block.
  • SC C the first causal criterion SC C
  • the double criterion of similarity of intensity D-SC is therefore new in that it combines a causal part and an anti-causal part which are the same elementary similarity criterion applied at different times.
  • D-SC SC VS [Mk t , Mk t-1 + V] + SC AT [Mk t , Mk t + 1 -V]
  • the motion vector sought is that which minimizes the double criterion of similarity over the set of candidate blocks defined in the search windows SW t + 1 and SW t-1 in the images J t + 1 and J t-1 .
  • the criterion of causal anti-causal similarity is a function or a combination of two causal and anti-causal parts of a similarity criterion intensity.
  • L2 the Euclidean distance or norm
  • L1 the sum of the absolute values of the differences in intensity.
  • D-SC DL2 the Euclidean distance or norm
  • L1 the sum of the absolute values of the differences in intensity.
  • the present method comprises a sub-step 41 carried out in parallel with sub-step 42 in step 40, forming two chains 41, 42 ending in a TEST step 50 which applies in this case.
  • V 0 be the vector determined by an elementary similarity criterion applied between the only reference and causal blocks
  • V DLp be the vector determined by the exhaustive double causal anti-causal criterion.
  • the vector VDLp is less good than the vector V 0 in the case of a non-linear non-continuous non-uniform movement since the vector V 0 is the best in the search window between the images J t and J t-1 . Due to this non-continuity the vector V DLp can be completely different from the true motion vector, from which it follows that the distance: Lp (V 0 ) ⁇ mx Lp (V DLp ) In formula (7) the factor m must be specified.
  • the present method makes it possible to test the hypothesis of linearity, and, if it turns out that one is not in this hypothesis of linearity, it provides a solution which is locally acceptable.
  • the use of the dual and adaptive criterion AD-SC DLp leads to quite remarkable results, all the more since it is very rare to fault the assumption of linearity between three temporal images.
  • the double and adaptive criterion of intensity similarity denoted AD-SC DLp is based on the information of three time blocks and is constituted by a function of a part of causal criterion and part of an anti-causal criterion.
  • This method makes it possible in particular to carry out a TEST on the causal part of this function and, at the end of this TEST, to deduce whether the linearity hypothesis is verified or not. This check is made on each block.
  • the calculation on the causal part of the criterion is first performed providing the vector which minimizes the causal part of the criterion, which means that this TEST is carried out only once per reference block.
  • This double and adaptive similarity criterion introduces a notion of temporal coherence, that is to say that the vector field that we find temporally verifies a linearity hypothesis, which imposes a constraint on the vector that one seeks.
  • the application of this motion vector allows to filter according to the direction of movement. So the time filtering is applied between blocks that look alike instead of being done between blocks dissimilar because of the movement.
  • the original image is decomposed in a step 101 by filtering it and by sub-sampling it.
  • the neighborhood is 4 pixels around a pixel considered.
  • the average is calculated on the quadruple of pixels. This produces a decomposed image at a first level denoted J ′ t .
  • J ′ t a first level denoted
  • this pyramid of images is produced on the image J t in step 101, on the causal image J t-1 , which gives J ' t-1 , J " t -1 in step 102 and on the anti-causal image J t + 1 , which gives J ' t + 1 , J " t + 1 in step 103.
  • steps 110, 120, 130 the new method according to the invention which was noted above FA-BMA between the images to be processed and the causal and anti-causal images having the same resolution respectively.
  • the number of calculations involved in searching for motion vectors is no longer proportional to the magnitude of the motion vector that we want to detect, but to this magnitude divided by two at the power n where n is the number of decomposition levels. So with two levels of decomposition compared to the normal resolution the number of computations is divided by four.
  • step 110 a vector V " t of motion is determined by means of the three images at the coarsest resolution.
  • step 120 a vector V ' t with intermediate resolution is sought: this is that is to say that we multiply by two the magnitude of the vector V " t found at the coarsest resolution and we determine the search windows in the intermediate causal and anti-causal images not around the location of the point of reference but around the end of this most probable vector determined using the coarsest resolution images.
  • step 130 the operations in step 130 are repeated in the triplet of images at the finest resolution, which makes it possible to quickly determine a motion vector. V t at this finest resolution.
  • a digital radiography device includes a source 1 of X-rays, a table 2 to receive the patient, a image intensifier device 3 coupled to a video tube 4, which provides data to a digital image processing system 5 comprising a processor. for implement the motion estimation method and noise filtering using this process.
  • This processor includes several outputs including an output 6 coupled to a monitor 7 to view a sequence of radiographic images.
  • the radiography device can work in fluoroscopic mode thanks to this system image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Le procédé selon l'invention comprend, dans trois images temporelles successives incluant une image à traiter (Jt) entre une image antérieure (Jt-1) et une image ultérieure (Jt+1), une détermination d'un bloc de référence (RBt) dans l'image à traiter et d'un couple de blocs (CBt-1,CBt+1) respectivement dans les images antérieure et ultérieure correspondant au bloc de référence (RBt) selon un critère de similarité d'intensité, et une détermination d'un vecteur de mouvement relatif au bloc de référence basée sur les localisations des blocs de ce couple vis-à-vis du bloc de référence.
L'invention concerne aussi un système de filtrage temporel récursif du bruit dans une séquence d'images avec compensation de mouvement basé sur ces vecteurs et un appareil à rayons X comprenant un tel système.
Application : appareils d'imagerie médicale

Description

L'invention concerne un procédé de traitement d'images pour l'estimation du mouvement d'objets représentés dans une séquence d'images bruitées, ainsi qu'un procédé de filtrage du bruit incluant ce procédé d'estimation de mouvement.
L'invention concerne également un appareil d'imagerie médicale mettant en oeuvre le procédé d'estimation de mouvement et/ou le procédé de filtrage du bruit, et en particulier un appareil à rayons X. Dans une application particulière, cet appareil à rayons X travaille en mode fluoroscopique pour la visualisation du système vasculaire.
Un procédé de traitement d'images pour estimer le mouvement d'objets dans une séquence d'images bruitées est déjà connu de la publication intitulée " ROBUST BLOCK-MATCHING MOTION-ESTIMATION TECHNIQUE FOR NOISY SOURCES "PAR Robert M. ARMITANO et alii dans " 1997 IEEE, International Conference on Acoustics, Speech, and Signal-Processing, vol.IV, pp.2685-2688 "Pour la mise en oeuvre du procédé décrit dans cette publication, une séquence d'images est acquise jusqu'à un instant t. L'image traitée à l'instant t est la dernière image arrivée. Elle est divisée en blocs jointifs référencés par leurs coordonnées, parmi lesquels un bloc courant est examiné. Dans l'image précédente à l'instant t-1, un bloc de mêmes coordonnées est déterminé et une fenêtre de recherche dont les dimensions sont liées à l'amplitude présumée du mouvement est formée autour de ce bloc. Le but de ce procédé basé sur un algorithme appelé B.M.A ( de l'anglais Block Matching Algorithm ) est de déterminer dans la fenêtre de recherche un bloc appelé bloc correspondant au bloc courant qui est celui qui, selon un critère prédéterminé de similarité d'intensité, a les propriétés de luminosité les plus proches de celles du bloc courant. La détermination du bloc correspondant fournit un vecteur de mouvement qui mesure la translation spatiale entre le bloc courant dans l'image à l'instant t et le bloc correspondant dans l'image précédente à l'instant t-1.
Ce procédé d'estimation de mouvement comprend une estimation d'un vecteur de mouvement grossier pour fournir une localisation approximative du bloc correspondant, suivie de l'application du critère de similarité d'intensité pour estimer un vecteur de mouvement réel autour du vecteur de mouvement grossier. Le critère de similarité n'est pas décrit.
L'estimation du vecteur de mouvement grossier comprend une détermination d'une pluralité de p vecteurs de mouvements relatifs à des blocs correspondants situés respectivement dans un nombre identique p d'images temporelles successives antérieures à l'image traitée à l'instant t qui contient le bloc courant, et un filtrage temporel linéaire qui fournit ledit vecteur de mouvement grossier comme une moyenne pondérée des p vecteurs de mouvements antérieurs. Ce filtrage temporel linéaire des p vecteurs de mouvement antérieurs est du type prédictif, c'est-à-dire que, connaissant p vecteurs de mouvements antérieurs relatifs à p blocs correspondants prélevés dans des images antérieures, une prédiction du vecteur de mouvement grossier entre les instants t et t-1 est réalisée basée sur une hypothèse spécifique que le mouvement estimé sur les p blocs antérieurs correspondants successifs est strictement linéaire et continu. Le critère de similarité est ensuite appliqué localement autour du vecteur grossier pour estimer le vecteur de mouvement réel.
Du fait que ce procédé implique cette étape de prédiction, il perd son efficacité toutes les fois qu'un nouveau mouvement apparaít, car, dans ce cas, le vecteur de mouvement grossier ne peut pas être déterminé puisque les p vecteurs de mouvement précédents n'existent pas. Et donc le vecteur réel basé sur le vecteur grossier ne peut pas non plus être trouvé localement.
Un problème signalé dans la publication citée est que ce procédé d'estimation de mouvement suit difficilement des objets en mouvement dans la séquence d'images lorsque les images sont bruitées au-delà d'un certain niveau, spécialement parce ce procédé utilise l'algorithme de recherche des blocs correspondant (B.M.A) dans une pluralité d'images du passé. Dans une telle séquence, les objets paraissent changer d'une image à l'autre à cause du bruit et non pas nécessairement comme le résultat du mouvement. En outre ce procédé nécessite un temps de calcul d'un coût énorme.
Un autre problème est que, tel que connu de l'homme du métier, les meilleurs procédés de réduction du bruit dans une séquence d'images sont des procédés récursifs de filtrage temporel du bruit. Mais ces procédés récursifs de filtrage temporel du bruit se comportent assez mal en cas de mouvement. En général, la seule solution pour utiliser de tels filtres récursifs temporels en cas de mouvement est de diminuer de manière importante leur facteur de débruitage ce qui engendre des effets nocifs appelés de sortie de bruit (en anglais NOISE BREAK THROUGH) ou bien un effet de flou (en anglais BLURRING) de telle sorte que le filtrage temporel peut effacer les petits objets ou les fins détails d'objet en mouvement.
Un but de l'invention est de fournir un procédé d'estimation de mouvement servant en particulier à aider un filtre temporel, ou spatio-temporel pour un débruitage efficace en cas de mouvement.
Ce but est atteint et les problèmes cités sont résolus au moyen d'un procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images bruitées, incluant une étape de détermination d'un champ de vecteurs de mouvement d'une image temporelle à la suivante sur la base d'un algorithme de mise en correspondance de blocs selon la revendication 1.
Un procédé de traitement d'image pour la réduction du bruit dans une séquence d'images comprend un agencement d'un filtrage temporel récursif et d'un tel procédé pour l'estimation de mouvement selon la revendication 8.
Un appareil d'imagerie médicale comprend un système d'acquisition d'une séquence d'images, et un système de traitement d'image qui a accès aux données des images et à un système d'affichage des images de la séquence et qui comprend un processeur mettant en oeuvre un tel procédé de traitement d'image pour la réduction du bruit.
L'invention est décrite ci-après en détail, en référence aux figures schématiques annexées, dont la liste est la suivante:
  • La FIG.1 qui représente sous forme de blocs fonctionnels les étapes du procédé d'estimation de mouvement;
  • la FIG.2 qui représente sous forme de blocs fonctionnels les étapes d'une variante du procédé de la FIG.1;
  • les FIGs.3A et 3B qui représentent deux agencements d'un procédé d'estimation de mouvement et d'un procédé de filtrage temporel du bruit ;
  • la FIG.4 qui illustre l'acquisition d'une séquence de trois images temporelles ;
  • la FIG.5A qui illustre la détermination de deux fenêtres de recherche et la FIG.5B qui illustre la détermination de deux vecteurs de mouvement dans une séquence de 3 images ;
  • la FIG.6 qui illustre la décomposition des 3 images de la séquence d'images en chacune 3 niveaux pour former 3 pyramides d'images;
  • les FIGS.7A, 7B, 7C, 7D qui représentent respectivement un signal temporel bruité avec mouvement, un signal temporel bruité avec un pic de bruit, un signal temporel filtré du bruit avec mouvement et un signal temporel compensé en mouvement et filtré du bruit ;
  • la FIG.8 qui montre un appareil d'imagerie à rayons X.
    • L'invention concerne un procédé de traitement d'une séquence d'images bruitées représentant des objets ayant des mouvements qui s'effectuent sur une zone substantiellement grande par rapport à la dimension d'une image, ou de grande amplitude d'une image à l'autre. Par grande amplitude on entend des mouvements de l'ordre de ou supérieurs à 10 pixels. Ce procédé présente des étapes illustrées par les blocs fonctionnels de la FIG.1.
    Un domaine d'application peut être la réduction du bruit dans des images vidéo, en particulier des images qui doivent être codées, car le codage des images bruitées est coûteux. Un autre domaine d'application est celui de la réduction du bruit dans des images médicales, en particulier les images fournies par les appareils de radiologie à rayons X travaillant en mode fluoroscopique. Ces appareils fournissent, à des cadences de l'ordre de 3 à 25 images par seconde, des séquences d'images très bruitées du fait qu'elles sont formées à l'aide de très faibles doses de rayons X. Ces séquences d'images fluoroscopiques sont fréquemment utilisées pour suivre des gestes opératoires en direct et donc doivent être débruitées en temps réel. De plus, ces séquences d'images comprennent de très fins objets en mouvement, tels qu'un cathéter par exemple, qui ne doivent pas être effacés par le traitement d'images. Par fins détails ou fins objets on entend des objets de diamètre de l'ordre de ou inférieurs à 10 pixels.
    Le procédé d'estimation de mouvement comprend une étape 10 d'acquisition et de numérisation d'une séquence d'images comprenant une image à traiter notée Jt, une image précédente appelée causale notée Jt-1 et une image suivante appelée anti-causale notée Jt+1. En référence à la FIG.4, chaque image numérisée bruitée Jt, Jt-1, Jt+1, est une matrice spatiale bidimensionnelle de pixels repérés par des coordonnées x, y, qui sont notés respectivement At, At-1, At+1 dans les trois images temporelles et qui ont respectivement un niveau d'intensité numérisé It(x,y), It-1(x,y), It+1(x,y). Pour la simplicité des notations on indique directement les intensités par It, It-1, It+1.
    En référence aux FIG.7A et FIG.7B, un procédé de filtrage temporel récursif du bruit apte à réduire le bruit de chaque image successivement dans une séquence d'images comprend un traitement d' un signal appelé signal temporel bruité formé des différents niveaux d'intensité It-1, It, It+1 des pixels At-1, At, At+1 localisés en x,y en fonction du temps t (tau). En référence à la FIG.7A, le signal temporel montre un front de montée d'intensité entre les instants t-1 et t, avec un plateau au-delà de t, à l'instant t+1, qui est caractéristique d'un mouvement entre les instants t-1 et t+1, dans un signal par ailleurs simplement bruité. En référence à la FIG.7B, le signal temporel montre un pic de bruit à l'instant t, entre les instants t-1 et t+1, donc un signal qui est simplement entièrement bruité. En référence à la FIG.7C, un procédé de filtrage temporel a été appliqué au signal de la FIG.7A pour obtenir un signal temporel filtré noté P(t) par un filtrage temporel récursif sans compensation du mouvement. Il en résulte que les intensités restent décalées de part et d'autre du front de montée dû au mouvement. La FIG.7D montre le même signal temporel filtré du bruit dans lequel le front de montée n'existe plus ce qui signifie que le mouvement est en outre compensé. Le présent procédé permet d'estimer le mouvement pour le compenser afin d'obtenir le résultat de la FIG.7D.
    On appelle échantillons les intensités temporelles It-1, It, It+1 qui sont les points du signal temporel. Les échantillons précédant et suivant l'échantillon traité It sont appelés respectivement causal et anti-causal et notés It-1 et It+1. Un procédé de filtrage temporel récursif met en oeuvre un calcul d'une fonction générale telle que la suivante: Pt = Pt-1 + Kt (It - Pt-1) où Kt est un facteur de débruitage qui peut être adapté pour que le filtrage temporel récursif traite les petits mouvements locaux et les pics de bruit comme il est enseigné dans les demandes de brevets européens EP-0751482 ou EP-0751483. Les procédés décrits dans ces demandes permettent de filtrer le bruit, les pics de bruit et les trainées de bruit.
    Le filtrage temporel récursif constitue selon les connaissances de l'homme du métier une des meilleures méthodes de débruitage d'images. Cependant ce type de filtrage n'est pas capable de filtrer l'image correctement dans le cas où un mouvement de forte amplitude apparaít. Une solution pour utiliser néanmoins le filtrage temporel récursif en cas de mouvement est d'appliquer un procédé de traitement d'images qui comprend une première phase d'estimation de mouvement et une seconde phase de filtrage temporel récursif. La combinaison de ces deux phases peut se faire selon différents schémas.
    Dans un premier schéma, en référence à la FIG.3A, le signal bruité It de l'image Jt à traiter est soumis à une première phase 150 dans laquelle sont effectuées à la fois une estimation et une compensation des mouvements relatifs à l'image traitée Jt. Cette première phase fournit un signal compensé Ct (anglais : Registered). Ce signal compensé Ct est ensuite soumis à une deuxième phase 250 qui effectue le filtrage temporel récursif et fournit le signal débruité Pt.
    Dans un second schéma, en référence à la FIG.3B, le signal bruité It de l'image Jt à traiter est soumis à une première phase 100 qui réalise uniquement une estimation de mouvement et qui fournit un vecteur de mouvement Vt relatif à la localisation x,y. Le signal bruité It et le vecteur de mouvement Vt sont ensuite soumis à une deuxième phase 200 qui réalise le filtrage temporel du signal It aidé par le vecteur de mouvement Vt pour compenser le mouvement et produire le signal débruité Pt à affecter au pixel courant pour construire une image débruitée.
    Ces deux schémas visent au même but. En pratique le premier schéma de la FIG.3A est plus souvent utilisé : le filtre temporel reçoit à la fois les intensités It des images et un champ de vecteur de mouvement Vt, et utilise le champ de vecteur de mouvement pour compenser le mouvement dans l'image en même temps qu'il la filtre.
    Un but de l'invention est donc de fournir un procédé d'estimation de mouvement pour réaliser la première phase des schémas présentés ci-dessus. L'estimation de mouvement constitue un procédé en soi servant à débruiter des images pour être combiné à une deuxième phase de filtrage temporel, pour un débruitage efficace en cas de mouvement. De nombreuses méthodes d'estimation de mouvement existent déjà dans l'état de la technique, mais ces méthodes s'appliquent en général à des images peu bruitées, de sorte que lorsqu'elles sont appliquées à des images fortement bruitées les résultats sont catastrophiques.
    En référence aux FIGs.1 et 5A, le présent procédé d'estimation de mouvement comprend une étape préliminaire 20 où l'image à traiter Jt est découpée en blocs jointifs de dimension 12 x 12 ou 16 x 16 pixels par exemple. L'image Jt est ainsi pavée en blocs élémentaires appelés blocs de référence notés RBt (anglais : Referenced Block). Les blocs de référence sont traités les uns après les autres selon une méthode de balayage complètement automatique connue de l'homme du métier, par exemple de gauche à droite et de haut en bas de l'image. Pour l'exposé du présent procédé on considère un bloc courant qui est un bloc de référence choisi à une position donnée dans l'image à traiter Jt. Chaque bloc de référence de l'image Jt est défini par un point de référence Mk qui se trouve par exemple au centre du bloc. Le point de référence est considéré toujours au même endroit dans chaque bloc et est caractérisé par ses coordonnées x,y, comme dans la FIG.4. Dans l'image Jt, le bloc de référence lui-même constitue un voisinage noté NG(x,y) du point de référence Mk.
    Le présent procédé d'estimation de mouvement noté ici FA-BMA comporte ensuite deux étapes importantes qui sont:
  • une étape 30 d'application d'une politique de recherche spécifique (en anglais : Search Policy) notée SP, qui, à partir d'un bloc de référence donné dans l'image à traiter, définit des blocs candidats dans une fenêtre de recherche respectivement dans deux images qui sont les images causale et anti-causale, dans des sous-étapes 31 et 32,
  • une étape 40 d'application d'un critère double de similarité d'intensité noté DCS (anglais: Similarity Measurement) qui permet de sélectionner deux blocs correspondants parmi les blocs candidats respectivement dans les images causale et anti-causale et de calculer deux vecteurs de mouvement symétriques du bloc de référence vers chacun des blocs correspondants à partir desquels un vecteur de mouvement à affecter au bloc de référence est dérivé.
    • Ainsi, le présent procédé d'estimation de mouvement noté FA-BMA comprend une mise en correspondance de trois blocs respectivement dans trois images temporelles constituées par l'image à traiter Jt, l'image causale Jt-1 et l'image anti-causale Jt+1 On notera que l'algorithme d'estimation de mouvement déjà connu de l'état de la technique noté BMA (de l'anglais Block Matching Algorithm) effectue la mise en correspondance de seulement deux blocs dans respectivement deux images temporelles qui sont uniquement l'image à traiter et l'image causale. L'étape de politique de recherche utilise non donc pas seulement deux images successives comme déjà connu mais un triplé d'images constitué de l'image causale Jt-1, l'image à traiter Jt et une image supplémentaire qui est l'image anti-causale Jt+1.
    En référence à la FIG.5A, l'étape 30 d'application de la politique spécifique de recherche SP comprend d'une part, pour un bloc de référence donné RBt une sous-étape 31 de détermination d'un bloc homologue noté HBt-1 dans l'image causale Jt-1 qui a la même localisation x,y que le bloc de référence RBt et autour du bloc homologue HBt-1 une définition d'une fenêtre de recherche notée SWt- 1 (anglais : Search Window) dans laquelle on définit un certain nombre de blocs appelés candidats.
    L'étape 30 d'application de la politique spécifique de recherche SP comprend d'autre part, pour le même bloc de référence RBt, une sous-étape 32 de détermination d'un bloc homologue anti-causal HBt+1 dans l'image anti-causale Jt+1, de définition d'une fenêtre de recherche SWt+1 autour du bloc homologue anti-causal dans laquelle on définit des blocs candidats selon le même processus.
    On définit les fenêtres de recherche SWt-1, SWt-1, par leur taille, ce qui définit le module maximal des vecteurs de mouvement que l'on peut trouver entre les instants t et t-1 d'une part , et t et t+1 d'autre part. Le vecteur s'arrête aux limites de la fenêtre de recherche qui est donc déterminée d'après les mouvements maximaux que l'on attend dans l'image, ou que l'on veut compenser.
    L'étape 40, 42 d'application du critère double de similarité d'intensité DSC comprend d'une part, une comparaison des blocs candidats de l'image causale Jt-1 au bloc de référence RBt, et comprend d'autre part une comparaison des blocs candidats de l'image anti-causale Jt+1 au même bloc de référence RBt avec le même critère double de similarité d'intensité appliqué à cette image anti-causale au lieu de l'image causale. Les blocs candidats qui ressemblent le plus au bloc de référence RBt suivant ce critère double de similarité d'intensité sont choisis comme blocs correspondants et sont notés respectivement CBt-1 et CBt+1 pour définir un premier vecteur de mouvement noté V(t,t-1) entre l'instant t et l'instant t-1 à la localisation x,y. et pour définir un second vecteur de mouvement noté V(t,t+1) entre les instants t et t+1 à la même localisation x,y. Le premier vecteur de mouvement V(t,t-1) relie spatialement le centre Mkt du bloc de référence RBt au centre Mkt-1 du bloc correspondant CBt-1 et est orienté du bloc de référence RBt dans l'image Jt vers le bloc homologue HBt-1 Le second vecteur de mouvement V(t,t+1) relie spatialement le centre Mkt du bloc de référence RBt au centre Mkt+1 du bloc correspondant CBt+1 et est orienté du bloc de référence RBt dans l'image Jt vers le bloc anti-causal homologue HBt+1.
    Le critère double de similarité nouveau D-SC est fondé sur une hypothèse que le mouvement entre le bloc correspondant dans l'image t-1 et le bloc de référence dans l'image t d'une part, et entre le bloc de référence dans l'image t et le bloc correspondant dans l'image t+1 est localement linéaire, continu et uniforme. C'est-à-dire que le vecteur de mouvement entre t-1 et t est le même qu'entre t et t+1. Ainsi le vecteur V(t-1,t) est le même que le vecteur V(t,t+1), a le même module et la même orientation. En référence à la FIG.5B, ces vecteurs sont portés par les mêmes supports et sont représentés par des flèches qui divergent à partir du bloc de référence RBt, ce qui s'exprime par l'égalité : V (t,t-1) = -V(t,t+1) On détermine donc un premier bloc correspondant CBt-1 dans l'image Jt-1 et un second bloc correspondant CBt+1 dans l'image Jt+1 avec la contrainte que ces deux blocs correspondants doivent être symétriques par rapport au bloc de référence RBt dans l'image Jt.
    Pour déterminer ces vecteurs symétriques, on définit un critère de similarité élémentaire qui forme une première partie appelée causale du critère double de similarité et qui s'applique entre le premier bloc correspondant CBt-1 dans la fenêtre de recherche SWt-1 et le bloc de référence RBt dans l'image Jt et qui est notée : SCC(Mkt, Mkt-1 + V) On définit de la même manière un critère de similarité élémentaire qui forme une seconde partie appelée anti-causale du critère double de similarité et qui s'applique entre le second bloc correspondant dans la fenêtre de recherche SWt+1 et le bloc de référence RBt dans l'image Jt et qui est notée : SCA(Mkt, Mkt+1 + V) Le point Mk + un vecteur définissent en notation afine un autre point translaté du point Mk par ledit vecteur. En tenant compte des échantillons du signal temporel, les parties causale et anti-causale du critère double de similarité s'écrivent respectivement: SCC = Σ [It(xk, yk) - It-1(xk + Vx, yk + Vy)]2 SCA = Σ[It(xk, yk) - It+1(xk + Vx, yk - Vy)]2 (xk, yk) ∈ NGk
    Les parties causale et anti-causale du critère double tel qu'écrites ci-dessus représentent respectivement la distance euclidienne entre le bloc de référence et le bloc candidat dans l'image causale et dans l'image anti-causale, c'est-à-dire la somme des carrés des différences des intensités de deux pixels, dont l'un est dans le bloc de référence et dont l'autre est respectivement dans le bloc candidat de l'image causale qui correspond au vecteur V(t,t-1) et dans le bloc candidat de l'image anti-causale qui correspond au vecteur V(t,t+1).
    Plus précisément, un vecteur V est défini par ses deux composantes Vx et Vy. Pour chaque localisation x,y, il existe un pixel dans le bloc de référence et un pixel correspondant dans le bloc candidat. Les différences d'intensité entre les deux pixels sont calculées, sont élevées au carré et l'ensemble est sommé. Cela représente énormément de calcul. Cette partie causale SCC du critère de similarité est calculée pour chaque bloc candidat, et le bloc qui donne la mesure de similarité la plus probante est choisi pour déterminer le vecteur de mouvement. Donc le nombre de différences au carré qui doivent être calculées pour évaluer le critère de similarité est égal au nombre de pixels qu'il y a dans le bloc : si c'est un bloc de 8 x 8 pixels, c'est une somme de 64 éléments. Les pixels sont pris deux à deux, à raison de 1 dans chaque bloc, séparés par le même vecteur V. Un vecteur V est défini pour chaque bloc candidat. Dans un bloc de référence tous les pixels sont sensés avoir le même vecteur mouvement. C'est-à-dire que, à la base du procédé FA-BMA, c'est un mouvement de translation qui relie deux blocs, et que Vx et Vy ne varient pas pour un bloc candidat donné. Si on définit un bloc de 8 x 8 pixels en taille, et si on définit une fenêtre de recherche SW qui fait plus ou moins 10 ou 15 pixels autour du bloc homologue, il existe 10 ou 15 positions possibles de chaque côté du bloc en x et en y. Cela signifie que l'objet peut se déplacer de plus ou moins 10 ou 15 pixels. Donc la fenêtre de recherche à une taille de 28 x 28 pixels, ou 33 x 33 pixels. Cela veut dire que, par bloc candidat, on doit effectuer 64 différences élevées au carré et sommées pour une seule mesure de similarité. Il en est de même pour l'estimation du vecteur de mouvement au moyen de la seconde partie anti-causale SCA du critère de similarité d'intensité.
    On utilise de préférence une politique de recherche particulière exhaustive notée F-SP, selon laquelle on choisit tous les blocs possibles de la fenêtre de recherche, c'est-à-dire tous les blocs qui sont référencés par leur point de référence, qui est par exemple le pixel central, et par leurs dimensions. Chaque point de la fenêtre de recherche est alors point de référence pour un bloc candidat. Dans ce cas, pour évaluer le premier critère causal SCC, on doit tester tous les blocs candidats possibles dans la fenêtre de recherche, qui ici est de 28 x 28 pixels ou 33 x 33 pixels, et on doit alors faire 784 ou 1089 mesures de similarité. Au total cela fait 784 x 64 ou 1089 x 64 différences au carré. On fait de même pour évaluer le second critère de similarité anti-causal SCA. Donc le calcul des mesures de similarité avec cette politique de recherche exhaustive F-SP met en jeu des puissances de calcul très importantes qui sont nécessaires pour faire l'estimation de mouvement.
    Le critère double de similarité d'intensité D-SC est donc nouveau du fait qu'il combine une partie causale et une partie anti-causale qui sont un même critère de similarité élémentaire appliqué à des instants différents. Ainsi le critère double D-SC peut s'écrire : D-SC = SCC[Mkt, Mkt-1 + V] + SCA [Mkt, Mkt+1 -V] Selon cette formulation (6), on évalue la partie causale et la partie anti-causale que l'on somme pour former le critère double de similarité d'intensité appelé critère causal anti-causal.
    Le vecteur de mouvement recherché est celui qui minimise le critère double de similarité sur l'ensemble des blocs candidats définis dans les fenêtres de recherche SWt+1 et SWt-1 dans les images Jt+1 et Jt-1.
    Pour évaluer le critère double de similarité D-SC causal anti-causal, on peut utiliser la distance euclidienne que l'on a défini précédemment. On peut d'autre part utiliser une somme des valeurs absolues des différences d'intensité. D'une manière générale le critère de similarité causal anti-causal est une fonction ou une combinaison de deux parties causale et anti-causale d'un critère de similarité d'intensité.
    Ci-après on note L2 la distance ou norme euclidienne, on note L1 la somme des valeurs absolues des différences d'intensité. Selon que l'on utilise l'une ou l'autre norme pour constituer les parties du critère de similarité, on note le critère de similarité causale anti-causale soit D-SCDL2, soit D-SCDL1. D'une manière générale on peut utiliser des distances telles que : [Σ [It - It-1]p 1/p, ou [Σ [It - It+1]p] 1/p qui est la distance dite de Minkowski. On note ci-après Lp la distance utilisée pour évaluer les parties causale et anti-causale du critère double de similarité maintenant noté DSC DLp.
    L'expérimentation montre que ce nouveau critère double D-SC DLp donne de très bons résultats lorsque le mouvement est linéaire, car, lorsque l'on trouve un bloc correspondant causal ayant un vecteur V, le bloc correspondant anti-causal se trouvera nécessairement avoir un vecteur -V. De cette manière, au lieu d'utiliser l'information qui provient de deux blocs seulement, c'est-à-dire du bloc de référence et du bloc causal, comme cela était le cas dans l'état de la technique, on utilise l'information qui est extraite de trois blocs : le bloc causal, le bloc de référence et le bloc anti-causal. De cette manière le procédé d'estimation de mouvement est beaucoup plus résistant au bruit du fait que l'on a pris en compte davantage d'information. Cela revient à agir sur la mesure de similarité.
    Cependant, si le mouvement n'est pas linéaire sur les trois images, le procédé décrit plus haut n'est pas applicable. Cela est très peu fréquent. En effet, lorsque l'on travaille à une cadence de 25 images par seconde, deux images sont séparées par 1/25ème de seconde. Il en résulte que, à cette cadence, entre trois images consécutives on peut considérer que le mouvement est linéaire et continu sur trois image temporelles.
    Néanmoins, en référence à la FIG.1, pour prendre en compte l'éventualité d'un mouvement non linéaire arrivant entre les instants t-1 et t+1, le présent procédé comporte une sous-étape 41 menée en parallèle à la sous-étape 42 dans l'étape 40, formant deux chaínes 41, 42 se terminant par une étape de TEST 50 qui s'applique dans ce cas.
    Soit V0 le vecteur déterminé par un critère de similarité élémentaire appliqué entre les seuls blocs de référence et causal, et soit VDLp le vecteur déterminé par le critère double causal anti-causal exhaustif. Le vecteur VDLp est moins bon que le vecteur V0 dans le cas d'un mouvement non linéaire non continu non uniforme puisque le vecteur V0 est le meilleur dans la fenêtre de recherche entre les images Jt et Jt-1. Dû à cette non continuité le vecteur VDLp peut être complètement différent du vrai vecteur de mouvement, d'où il résulte que la distance : Lp (V0) < m x Lp(VDLp) Dans la formule (7) le facteur m doit être précisé. Si par exemple Lp (V0) est plus petit de plus de 20 % que LP (VDLp) cela signifie que l'hypothèse linéaire continue n'est probablement pas vraie et que le vecteur V0 est le meilleur vecteur recherché. Donc dans la formule (7) m est équivalent à 0,8 pour correspondre à 20 % .
    Dans la chaíne 41 avec TEST 50, si la relation (7) est vérifiée, un mouvement non linéaire ou non continu ou non uniforme est détecté et alors une décision 61 est prise entraínant que le vecteur de mouvement choisi est: VADLP = V0. Si la relation (7) n'est pas vérifiée, alors le mouvement détecté est linéaire, continu et uniforme entre les trois images, une autre décision 62 est prise et le vecteur de mouvement choisi est: VADLp = VDLp. où ADLp signifie DLp adaptable (anglais : Adaptative DLp). Le critère de similarité selon la FIG.1 est donc un critère de similarité d'intensité double et adaptatif noté: AD-SCDLp. D'une part, dans le cas où le présent procédé peut reposer sur l'hypothèse de linéarité, il est beaucoup plus robuste au bruit que le procédé déjà connu comme il a été expliqué plus haut. D'autre part le présent procédé permet de tester l'hypothèse de linéarité, et, s'il s'avère que l'on n'est pas dans cette hypothèse de linéarité, il fournit une solution qui est localement acceptable. En pratique, l'utilisation du critère double et adaptatif AD-SCDLp conduit à des résultats tout à fait remarquables, d'autant plus qu'il est très rare de mettre en défaut l'hypothèse de linéarité entre trois images temporelles.
    Ainsi, dans le procédé d'estimation de mouvement noté FA-BMA, le critère double et adaptatif de similarité d'intensité noté AD-SCDLp est fondé sur les informations de trois blocs temporels et est constitué par une fonction d'une partie de critère causal et d'une partie de critère anti-causal. Ce procédé permet en particulier d'effectuer un TEST sur la partie causale de cette fonction et, à l'issue de ce TEST, de déduire si l'hypothèse de linéarité est vérifiée ou non. Cette vérification est faite sur chaque bloc. D'une manière générale le calcul sur la partie de critère causal est d'abord effectué fournissant le vecteur qui minimise la partie causale du critère, ce qui fait que ce TEST est réalisé une seule fois par bloc de référence.
    Ce critère de similarité double et adaptatif introduit une notion de cohérence temporelle, c'est-à-dire qu'il faut que le champ de vecteur que l'on trouve de manière temporelle vérifie une hypothèse de linéarité, ce qui impose une contrainte sur le vecteur que l'on cherche. Dans la phase de filtrage temporel au lieu de filtrer selon l'axe temporel classique, l'application de ce vecteur de mouvement permet de filtrer selon la direction du mouvement. Ainsi le filtrage temporel est appliqué entre des blocs qui se ressemblent au lieu d'être effectué entre des blocs dissemblables à cause du mouvement.
    De préférence, on utilise la politique de recherche exhaustive F-SP selon laquelle on considère tous les blocs de référence dans l'image Jt puis, pour chaque bloc de référence, on analyse tous les blocs possibles dans la fenêtre de recherche de l'image causale et en même temps dans la fenêtre de recherche de l'image anti-causale. Cela représente une quantité de calculs considérable. Ce procédé est dans ce cas implanté en combinant un grand nombre de processeurs ou bien en réalisant un CHIP dédié.
    On propose ci-après d'utiliser une politique de recherche particulière notée HF-SP qui permet de réduire ces calculs et qui est complètement adaptée à la réalisation du procédé d'estimation de mouvement en temps réel. Cette politique de recherche est appelée recherche hiérarchique (anglais : Hierarchical Search). En combinant cette politique de recherche hiérarchique HF-SP et un critère double de similarité causal anti-causal adaptatif AD-SCDLp, on définit complètement un nouveau procédé d'estimation de mouvement.
    En référence à la FIG.2, dans la méthode hiérarchique on décompose dans une étape 101 l'image d'origine en la filtrant et en la sous-échantillonnant. On part de l'image d'origine Jt et par un procédé connu de l'état de la technique on associe 1 pixel à voisinage de pixels de l'image d'origine et on attribue à ce pixel une intensité calculée comme la moyenne d'intensité du voisinage. Dans l'exemple décrit ci-après le voisinage est de 4 pixels autour d'un pixel considéré. La moyenne est calculée sur le quadruplé de pixels. On réalise ainsi une image décomposée à un premier niveau notée J't. Puis on recommence en regroupant 4 par 4 les pixels de l'image J't au premier niveau pour former une image plus petite à un second niveau notée J"t. On obtient ainsi une pyramide d'images formée de l'image Jt à la résolution d'origine, de l'image J't à un premier niveau à une résolution intermédiaire et de l'image J"t à un second niveau à une résolution grossière. A cette dernière résolution la plus grossière on a concentré l'image qui contient tous les détails importants qu'il y avait dans l'image d'origine. On a perdu des petites nuances, des détails très fins, mais on a conservé les grandes tendances de l'image. Il faut noter que cette image grossière J"t n'est pas une image filtrée du bruit, et donc que le fait de perdre des détails n'est pas important à ce stade.
    En référence aux FIGs.1 et 6, on réalise cette pyramide d'images sur l'image Jt dans l'étape 101, sur l'image causale Jt-1, ce qui fournit J't-1, J"t-1 dans l'étape 102 et sur l'image anti-causale Jt+1, ce qui fournit J't+1, J"t+1 dans l'étape 103. Ensuite on applique dans des étapes 110, 120, 130 le nouveau procédé selon l'invention qui a été noté plus haut FA-BMA entre les images à traiter et les images causales et anti-causales ayant respectivement la même résolution. Par cet effet de dilatation, le nombre de calculs impliqués pour rechercher les vecteurs de mouvement n'est plus proportionnel à la grandeur du vecteur de mouvement que l'on veut détecter, mais à cette grandeur divisée par deux à la puissance n où n est le nombre de niveaux de décomposition. Donc avec deux niveaux de décomposition par rapport à la résolution normale le nombre de calculs est divisé par quatre.
    Le déroulement des opérations est le suivant. On détermine d'abord dans l'étape 110 un vecteur V"t de mouvement au moyen des trois images à la résolution la plus grossière. Puis on recherche dans l'étape 120 un vecteur V't à la résolution intermédiaire : c'est-à-dire que l'on multiplie par deux la grandeur du vecteur V"t trouvé à la résolution la plus grossière et on détermine les fenêtres de recherche dans les images causale et anti-causale intermédiaires non pas autour de la localisation du point de référence mais autour de l'extrémité de ce vecteur plus probable déterminé à l'aide des images de résolution la plus grossière. On trouve un nouveau vecteur V't dans cette étape 120 grâce à ces images intermédiaires et on renouvelle les opérations dans l'étape 130 dans le triplé d'images à la résolution la plus fine, ce qui permet de déterminer rapidement un vecteur de mouvement Vt à cette résolution la plus fine.
    Des tests expérimentaux ont montré que le critère AD-SCDLp donnait des résultats très satisfaisants en utilisant une recherche hiérarchique aux résolutions que l'on vient de préconiser. En effet, si la résolution est trop fine le nombre des calculs est terriblement grand. En revanche si les images sont trop grossières on introduit parfois des erreurs parce que les blocs sont tellement grossiers que l'hypothèse linéaire n'est plus sensible. Par contre en utilisant les niveaux intermédiaires préconisés, d'une part les calculs sont peu onéreux car on a encore des blocs petits, et d'autre part on améliore très substantiellement les résultats. Ceci permet de travailler en temps réel. Les calculs ont été effectués au moyen d'un processeur de signal référencé C80 connu de l'homme du métier existant aujourd'hui. Avec ce processeur, on peut mettre en oeuvre un procédé ADSCDLp en temps réel avec une fraction d'utilisation égale à 0,6 pour la partie de recherche pyramidale HFSP et avec une fraction d'utilisation de 0,7 pour la partie de recherche pyramidale HFSP suivie du procédé ADSCDLp. La mise en oeuvre du procédé décrit plus haut nécessite donc un seul composant C80.
    En référence à la FIG.8, un appareil de radiographie numérisée comprend une source 1 de rayons X, une table 2 pour recevoir le patient, un dispositif 3 intensificateur d'image couplé à un tube video 4, qui fournit des données à un système 5 de traitement numérique d'image comprenant un processeur. pour mettre en oeuvre le procédé d'estimation de mouvement et un filtrage du bruit utilisant ce procédé. Ce processeur comprend plusieurs sorties dont une sortie 6 couplée à un moniteur 7 pour visualiser une séquence d'images radiographiques. L'appareil de radiographie peut travailler en mode fluoroscopique grâce à ce système de traitement d'images.

    Claims (10)

    1. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images bruitées, incluant une étape de détermination d'un champ de vecteurs de mouvement d'une image temporelle à la suivante sur la base d'un algorithme de mise en correspondance de blocs, ce procédé comprenant des étapes de :
      acquisition d'une séquence de trois images temporelles successives incluant une image à traiter (Jt) entre une image antérieure appelée causale (Jt-1) et une image ultérieure appelée anti-causale (Jt+1),
      détermination d'un bloc de référence (RBt) dans l'image à traiter, et d'un couple de blocs localisés respectivement dans l'image causale et l'image anti-causale, (CBt-1,CBt+1) correspondant au mieux au bloc de référence (RBt) selon un critère de similarité d'intensité, et détermination d'un vecteur de mouvement relatif au bloc de référence sur la base de la localisation des blocs de ce couple vis-à-vis de la localisation du bloc de référence.
    2. Procédé selon la revendication 1, où le critère de similarité d'intensité est basé sur une hypothèse de mouvement linéaire, continu et uniforme du bloc correspondant dans l'image causale au bloc correspondant dans l'image anti-causale, pour sélectionner des blocs correspondants symétriques par rapport au bloc de référence et pour déterminer des vecteurs de mouvement symétriques du bloc de référence vers chacun des blocs correspondants.
    3. Procédé selon l'une des revendications 1 ou 2, où le critère de similarité d'intensité appelé critère double est une fonction d'un premier critère de similarité élémentaire appelé partie causale qui relie le bloc de référence au bloc correspondant dans l'image causale et d'un second critère de similarité élémentaire appelé partie anti-causale qui relie le bloc de référence au bloc correspondant dans l'image anti-causale, ces parties causale et anti-causale étant identiques et appliquées à des instants différents relatifs aux images causale et anti-causales.
    4. Procédé selon la revendication 3, où la fonction pour former le critère double à partir des parties causale et anti-causale est choisie parmi une somme, une moyenne et une combinaison linéaire.
    5. Procédé selon l'une des revendications 3 ou 4, où l'étape de détermination des blocs correspondants comprend un test appliqué sur le mouvement entre le bloc correspondant dans l'image causale et le bloc correspondant dans l'image anti-causale pour déterminer si une hypothèse que ce mouvement est linéaire, continu et uniforme est vérifiée ou non, et en fonction de ce test, une décision est prise que:
      si cette hypothèse est vérifiée le vecteur de mouvement est déterminé par le critère double de similarité d'intensité,
      et si cette hypothèse n'est pas vérifiée le vecteur de mouvement est déterminé par un critère élémentaire de similarité d'intensité entre le bloc de référence et le bloc correspondant anti-causal,
      ce test déterminant que ladite hypothèse est vérifiée si le vecteur de mouvement qui optimise le critère double est substantiellement identique à un vecteur de mouvement qui optimise la partie causale de ce critère double.
    6. Procédé selon l'une des revendications 3 à 5, où les critères élémentaires de similarité d'intensité sont des distances d'un type appelé Minkowski.
    7. Procédé de traitement d'image selon l'une des revendications 1 à 6 comprenant:
      une étape de formation de trois pyramides d'images à différentes résolutions à partir de l'image à traiter, à partir de l'image causale et à partir de l'image anti-causale,
      une étape de détermination d'un vecteur de mouvement par l'application du critère de similarité sur les trois images de plus faible résolution dérivées de l'image à traiter, de l'image causale et de l'image anticausale,
      une étape de report du vecteur mouvement trouvé à la plus faible résolution dans les images dérivées de l'image à traiter, de l'image causale et de l'image anticausale à la résolution immédiatement supérieure et de recherche d'un nouveau vecteur de mouvement autour du vecteur reporté à cette résolution immédiatement supérieure,
      une répétition de cette étape jusqu'à la résolution la meilleure pour trouver le vecteur de mouvement recherché.
    8. Procédé de traitement d'image pour la réduction du bruit dans une séquence d'images comprenant des étapes selon l'une des revendications 1 à 7 pour l'évaluation de vecteurs de mouvements entre les images de la séquence, et des étapes de filtrage temporel récursif du bruit avec compensation de mouvement au moyen de ces vecteurs.
    9. Appareil d'imagerie médicale qui comprend un système d'acquisition d'une séquence d'images, et un système de traitement d'image qui a accès aux données des images et à un système d'affichage des images de la séquence et qui comprend un processeur mettant en oeuvre un procédé de traitement d'image selon l'une des revendications 1 à 8.
    10. Appareil à rayons X qui comprend un système d'acquisition d'une séquence d'images, et un système de traitement d'image qui a accès aux données des images et à un système d'affichage des images de la séquence et qui comprend un processeur mettant en oeuvre un procédé de traitement d'image selon l'une des revendications 1 à 8.
    EP99200360A 1998-02-17 1999-02-08 Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images Expired - Lifetime EP0936575B1 (fr)

    Applications Claiming Priority (2)

    Application Number Priority Date Filing Date Title
    FR9801906 1998-02-17
    FR9801906 1998-02-17

    Publications (2)

    Publication Number Publication Date
    EP0936575A1 true EP0936575A1 (fr) 1999-08-18
    EP0936575B1 EP0936575B1 (fr) 2004-07-28

    Family

    ID=9523058

    Family Applications (1)

    Application Number Title Priority Date Filing Date
    EP99200360A Expired - Lifetime EP0936575B1 (fr) 1998-02-17 1999-02-08 Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images

    Country Status (4)

    Country Link
    US (1) US6154519A (fr)
    EP (1) EP0936575B1 (fr)
    JP (1) JPH11331644A (fr)
    DE (1) DE69918877T2 (fr)

    Cited By (2)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US8428373B2 (en) 2002-07-18 2013-04-23 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US20210033440A1 (en) * 2019-07-29 2021-02-04 Supersonic Imagine Ultrasonic system for detecting fluid flow in an environment

    Families Citing this family (24)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    EP0926626A1 (fr) * 1997-12-23 1999-06-30 Koninklijke Philips Electronics N.V. Procédé de traitement d'image pour réduire le bruit dans une image d'une séquence de trois images temporelles et appareil d'imagerie médicale mettant en oeuvre un tel procédé
    JP2003533800A (ja) * 2000-05-18 2003-11-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｃアップコンバージョンにおけるハローを低減する動き推定器
    US6813315B1 (en) 2001-04-24 2004-11-02 Vweb Corporation Motion estimation using multiple search windows
    US6891890B1 (en) * 2001-04-24 2005-05-10 Vweb Corporation Multi-phase motion estimation system and method
    US6934332B1 (en) 2001-04-24 2005-08-23 Vweb Corporation Motion estimation using predetermined pixel patterns and subpatterns
    US7233696B2 (en) * 2002-07-12 2007-06-19 Hill Richard K Apparatus and method for characterizing digital images using a two axis image sorting technique
    EP1589877A1 (fr) * 2003-01-29 2005-11-02 Koninklijke Philips Electronics N.V. Systeme et procede pour ameliorer un objet a examiner dans des images medicales bruyantes
    US7440628B2 (en) * 2004-08-31 2008-10-21 Siemens Medical Solutions Usa, Inc. Method and system for motion correction in a sequence of images
    US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
    JP4915836B2 (ja) * 2005-12-15 2012-04-11 株式会社日立メディコ 画像処理装置の作動方法、プログラム、及び装置
    US7830565B2 (en) * 2006-06-27 2010-11-09 Motorola, Inc. Image capture device with rolling band shutter
    FR2924254B1 (fr) * 2007-11-23 2010-01-01 Gen Electric Procede de traitement d'images en radioscopie interventionnelle
    US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
    JP5053982B2 (ja) * 2008-12-05 2012-10-24 株式会社東芝 Ｘ線診断装置および画像処理装置
    US8233747B2 (en) * 2009-04-03 2012-07-31 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images
    US8189080B2 (en) * 2009-04-03 2012-05-29 Sony Corporation Orientation-based approach for forming a demosaiced image, and for color correcting and zooming the demosaiced image
    EP3142071A1 (fr) * 2009-10-06 2017-03-15 Koninklijke Philips N.V. Procédé et système permettant d'obtenir un premier signal pour l'analyse pour caractériser au moins une composante périodique de celui-ci
    JP5586209B2 (ja) * 2009-11-04 2014-09-10 三菱電機株式会社 画像信号処理装置
    US8942454B2 (en) 2009-12-03 2015-01-27 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Signal to-noise enhancement in imaging applications using a time-series of images
    WO2011117789A1 (fr) * 2010-03-24 2011-09-29 Koninklijke Philips Electronics N.V. Système et procédé permettant de produire une image d'un objet physique
    KR102274320B1 (ko) * 2014-10-16 2021-07-07 삼성전자주식회사 영상 처리 방법 및 장치
    US10332243B2 (en) * 2016-12-12 2019-06-25 International Business Machines Corporation Tampering detection for digital images
    US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
    US11154251B2 (en) 2018-02-10 2021-10-26 The Governing Council Of The University Of Toronto System and method for classifying time series data for state identification

    Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5337231A (en) * 1992-03-31 1994-08-09 General Electric Company View to view image correction for object motion with truncated data
    WO1995007591A1 (fr) * 1993-09-08 1995-03-16 Thomson Multimedia S.A. Procede et appareil d'evaluation de mouvement au moyen de l'assortiment des blocs
    EP0780795A1 (fr) * 1995-12-22 1997-06-25 THOMSON multimedia Procédé d'estimation de mouvement

    Family Cites Families (5)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5473384A (en) * 1993-12-16 1995-12-05 At&T Corp. Method of and system for enhancing distorted graphical information
    FR2736182A1 (fr) * 1995-06-30 1997-01-03 Philips Electronique Lab Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede
    FR2736181A1 (fr) * 1995-06-30 1997-01-03 Philips Electronique Lab Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede
    US5717463A (en) * 1995-07-24 1998-02-10 Motorola, Inc. Method and system for estimating motion within a video sequence
    US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method

    Patent Citations (3)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US5337231A (en) * 1992-03-31 1994-08-09 General Electric Company View to view image correction for object motion with truncated data
    WO1995007591A1 (fr) * 1993-09-08 1995-03-16 Thomson Multimedia S.A. Procede et appareil d'evaluation de mouvement au moyen de l'assortiment des blocs
    EP0780795A1 (fr) * 1995-12-22 1997-06-25 THOMSON multimedia Procédé d'estimation de mouvement

    Non-Patent Citations (3)

    * Cited by examiner, † Cited by third party
    Title
    KERDRANVAT M: "HIERARCHICAL MOTION ESTIMATION AND MOTION INFORMATION ENCODING", SIGNAL PROCESSING OF HDTV, 2, TURIN, AUG. 30 - SEPT. 1, 1989, no. 3, 30 August 1989 (1989-08-30), CHIARIGLIONE L, pages 101 - 108, XP000215230 *
    NEMOUCHI Y ET AL: "A REFERENCE DATA ORIENTED APPROACH FOR IMPLEMENTING A MULTIRESOLUTION BLOCK-MATCHING ALGORITHM", INTERNAT. SYMP. ON CIRCUITS AND SYSTEMS (ISCAS), ATLANTA, MAY 12 - 15, 1996, vol. 4, 12 May 1996 (1996-05-12), IEEE, pages 249 - 252, XP000704583 *
    SANG-YEON KIM ET AL: "A SYSTOLIC REALIZATION OF SUMMETRIC BLOCK MATCHING ALGORITHM FOR HD-MAC SYSTEM", IEEE TRANSACTIONS ON CONSUMER ELECTRONICS, vol. 39, no. 3, 1 August 1993 (1993-08-01), pages 277 - 283, XP000396292 *

    Cited By (27)

    * Cited by examiner, † Cited by third party
    Publication number Priority date Publication date Assignee Title
    US8428373B2 (en) 2002-07-18 2013-04-23 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8463058B2 (en) 2002-07-18 2013-06-11 Lg Electronics Inc. Calculation method for prediction motion vector
    US8467621B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8467622B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8467620B2 (en) 2002-07-18 2013-06-18 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8472738B2 (en) 2002-07-18 2013-06-25 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8509550B2 (en) 2002-07-18 2013-08-13 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8548264B2 (en) 2002-07-18 2013-10-01 Lg Electronics Inc. Apparatus for predicting a motion vector for a current block in a picture to be decoded
    US8565544B2 (en) 2002-07-18 2013-10-22 Lg Electronics Inc. Apparatus for predicting a motion vector for a current block in a picture to be decoded
    US8571335B2 (en) 2002-07-18 2013-10-29 Lg Electronics Inc. Calculation method for prediction motion vector
    US8634666B2 (en) 2002-07-18 2014-01-21 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8634667B2 (en) 2002-07-18 2014-01-21 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US8639048B2 (en) 2002-07-18 2014-01-28 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8644630B2 (en) 2002-07-18 2014-02-04 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8644631B2 (en) 2002-07-18 2014-02-04 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US8649622B2 (en) 2002-07-18 2014-02-11 Lg Electronics Inc. Method of determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8649621B2 (en) 2002-07-18 2014-02-11 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8655089B2 (en) 2002-07-18 2014-02-18 Lg Electronics Inc. Apparatus for determining motion vectors and a reference picture index for a current block in a picture to be decoded
    US8712172B2 (en) 2002-07-18 2014-04-29 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US8908983B2 (en) 2002-07-18 2014-12-09 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US9544589B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US9544591B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US9544590B2 (en) 2002-07-18 2017-01-10 Lg Electronics Inc. Method of predicing a motion vector for a current block in a current picture
    US9560354B2 (en) 2002-07-18 2017-01-31 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US10425639B2 (en) 2002-07-18 2019-09-24 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US10897613B2 (en) 2002-07-18 2021-01-19 Lg Electronics Inc. Method of predicting a motion vector for a current block in a current picture
    US20210033440A1 (en) * 2019-07-29 2021-02-04 Supersonic Imagine Ultrasonic system for detecting fluid flow in an environment

    Also Published As

    Publication number Publication date
    EP0936575B1 (fr) 2004-07-28
    DE69918877T2 (de) 2005-07-28
    DE69918877D1 (de) 2004-09-02
    JPH11331644A (ja) 1999-11-30
    US6154519A (en) 2000-11-28

    Similar Documents

    Publication Publication Date Title
    EP0936575B1 (fr) Procédé de traitement d&#39;images pour l&#39;estimation de mouvement dans une séquence d&#39;images
    EP0751483B1 (fr) Procédé de filtrage temporel du bruit dans une image d&#39;une séquence d&#39;images numériques et dispositif mettant en oeuvre ce procédé
    EP2489007B1 (fr) Correction de flou d&#39;image à l&#39;aide d&#39;une image spatiale antérieure
    EP0751482B1 (fr) Procédé de filtrage temporel du bruit dans une image d&#39;une séquence d&#39;images numériques et dispositif mettant en oeuvre ce procédé
    US4503461A (en) Multiple measurement noise reducing system using space-variant filters
    US7602989B2 (en) Realtime 2D deconvolution system and method
    EP0871143B1 (fr) Système de traitement d&#39;une séquence d&#39;images bruitées, et appareil d&#39;examen médical incluant un tel système
    EP2164040B1 (fr) Système et procédé pour une grande qualité d&#39;image et l&#39;interpolation vidéo
    FR2831013A1 (fr) Procede et systeme pour traiter une image fluoroscopique
    FR2766946A1 (fr) Procede et dispositif de pretraitement pour estimation de mouvement
    KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
    WO2014023904A1 (fr) Procede et dispositif pour la reconstruction d&#39;images a super-resolution
    EP0926626A1 (fr) Procédé de traitement d&#39;image pour réduire le bruit dans une image d&#39;une séquence de trois images temporelles et appareil d&#39;imagerie médicale mettant en oeuvre un tel procédé
    FR2666426A1 (fr) Procede de correction des mesures de densite optique effectuees sur un film radiographique.
    FR2564627A1 (fr) Dispositif d&#39;application de fenetre dans un systeme de visualisation
    JP5809920B2 (ja) 画像処理方法及び装置
    US8675080B2 (en) Motion estimation in imaging systems
    FR2790852A1 (fr) Procede d&#39;evaluation d&#39;images codees, dispositif mettant en oeuvre le procede et utilisation du dispositif et procede
    EP0926625B1 (fr) Procédé de traitement d&#39;image incluant des étapes de filtrage spatio-temporel du bruit et appareil d&#39;imagerie médicale mettant en oeuvre ce procédé
    EP0821322B1 (fr) Procédé de filtrage temporel du bruit dans une image d&#39;une séquence d&#39;images numérisées et dispositif mettant en oeuvre ce procédé
    CN105593899A (zh) 用于在图像序列中的噪声降低的方法
    JPH06507992A (ja) 画像平滑化のための装置及び方法
    KR102007601B1 (ko) 비디오 잡음 제거를 위한 효율적인 패치 기반 방법
    Daniel et al. Retinal image enhancement using wavelet domain edge filtering and scaling
    JPH1074192A (ja) 画像処理方法およびその装置

    Legal Events

    Date Code Title Description
    PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

    Free format text: ORIGINAL CODE: 0009012

    AK Designated contracting states

    Kind code of ref document: A1

    Designated state(s): DE FR GB NL

    AX Request for extension of the european patent

    Free format text: AL;LT;LV;MK;RO;SI

    17P Request for examination filed

    Effective date: 20000218

    AKX Designation fees paid

    Free format text: DE FR GB NL

    17Q First examination report despatched

    Effective date: 20030613

    GRAP Despatch of communication of intention to grant a patent

    Free format text: ORIGINAL CODE: EPIDOSNIGR1

    RTI1 Title (correction)

    Free format text: IMAGE PROCESSING METHOD FOR MOTION ESTIMATION IN A SEQUENCE OF IMAGES

    GRAS Grant fee paid

    Free format text: ORIGINAL CODE: EPIDOSNIGR3

    GRAA (expected) grant

    Free format text: ORIGINAL CODE: 0009210

    AK Designated contracting states

    Kind code of ref document: B1

    Designated state(s): DE FR GB NL

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: NL

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040728

    Ref country code: GB

    Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

    Effective date: 20040728

    REG Reference to a national code

    Ref country code: GB

    Ref legal event code: FG4D

    Free format text: NOT ENGLISH

    REF Corresponds to:

    Ref document number: 69918877

    Country of ref document: DE

    Date of ref document: 20040902

    Kind code of ref document: P

    NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
    GBV Gb: ep patent (uk) treated as always having been void in accordance with gb section 77(7)/1977 [no translation filed]

    Effective date: 20040728

    PLBE No opposition filed within time limit

    Free format text: ORIGINAL CODE: 0009261

    STAA Information on the status of an ep patent application or granted ep patent

    Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

    26N No opposition filed

    Effective date: 20050429

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: DE

    Payment date: 20070410

    Year of fee payment: 9

    PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

    Ref country code: FR

    Payment date: 20070226

    Year of fee payment: 9

    REG Reference to a national code

    Ref country code: FR

    Ref legal event code: ST

    Effective date: 20081031

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: DE

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20080902

    PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

    Ref country code: FR

    Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

    Effective date: 20080229