EP2951526A1 - Systeme de determination d'une image tridimensionnelle d'un circuit electronique - Google Patents

Systeme de determination d'une image tridimensionnelle d'un circuit electronique

Info

Publication number
EP2951526A1
EP2951526A1 EP14705849.9A EP14705849A EP2951526A1 EP 2951526 A1 EP2951526 A1 EP 2951526A1 EP 14705849 A EP14705849 A EP 14705849A EP 2951526 A1 EP2951526 A1 EP 2951526A1
Authority
EP
European Patent Office
Prior art keywords
projector
images
image
camera
card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP14705849.9A
Other languages
German (de)
English (en)
Inventor
Mathieu Perriollat
Pierre SCHROEDER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIT SAS
Original Assignee
VIT SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIT SAS filed Critical VIT SAS
Publication of EP2951526A1 publication Critical patent/EP2951526A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention generally relates to optical inspection systems and, more particularly, to three-dimensional image determination systems intended for the on-line analysis of objects, in particular electro ⁇ nic circuits.
  • the invention relates more particularly to systems equipped with digital cameras.
  • An optical inspection system of an object for example an electronic circuit, generally comprises a particular pattern projection device on the circuit to be inspected and at least one digital camera adapted to acquire several images of the circuit.
  • the projected image includes, for example, a succession of light and dark fringes.
  • An example of a method for determining three-dimensional images comprises projecting several images onto the circuit to be inspected. This is, for example, images having a repetition of patterns. It can also be a random image. Images projected in two successive projections differ from each other. For example, when the image includes patterns, they can be shifted from one projected image to another. An image of the circuit is acquired at each new position of the image projected on the circuit.
  • a three-dimensional image can be determined from the circuit images acquired by the digital camera.
  • an embodiment provides a method for determining three-dimensional images of an object, including projecting a display on the object by a projector; the acquisition of several two-dimensional images of the object by at least a first image sensor, a relative displacement of the object with respect to the assembly comprising the projector and the image sensor being performed during the acquisitions of the images ; and determining the height of each point of the object as corresponding to an extremum of a function obtained from the acquired two-dimensional images.
  • the projector and / or the first image sensor are of the perspective type.
  • the projected display is identical when acquiring each two-dimensional image.
  • the display comprises fringes.
  • a relative displacement of the object with respect to the assembly comprising the projector and the image sensor is performed during the acquisition of at least one of the two-dimensional images.
  • a relative displacement of the object with respect to the assembly comprising the projector and the image sensor is performed during the acquisition of each two-dimensional image.
  • the relative displacement is accelerated between the acquisitions of the two images of at least one pair of successive two-dimensional images.
  • the speed of the relative displacement is constant to within 10%.
  • the method comprises the acquisition of several two-dimensional images of the object by at least a second image sensor, the height of each point of the object corresponding to an extremum of a function obtained from images acquired by the first and second image sensors.
  • An embodiment also provides a three-dimensional image system for determining an object, compre ⁇ nant:
  • a projector adapted to project a display on
  • a first image sensor adapted to acquire a plurality of two-dimensional images of the object
  • a conveyor adapted to perform a relative movement of the object with respect to the assembly comprising the projector and the first image sensor during successive acquisitions of two-dimensional images;
  • processing means adapted to determine the height of each point of the object as corresponding to an extremum of a function obtained from the acquired two-dimensional images.
  • the projector and / or the image sensor are of the perspective type.
  • Figure 1 schematically shows an embodiment of an optical inspection system of electronic circuits
  • FIG. 2 represents an evolution curve of the displacement as a function of time of a circuit to be inspected for a conventional optical inspection system
  • FIGS. 3 and 4 show curves of evolution of the displacement as a function of time of a circuit to be inspected for two embodiments of optical inspection systems
  • FIG. 5 schematically illustrates an example of a method for determining three-dimensional images
  • FIGS. 6 and 7 schematically illustrate other examples of three-dimensional image determination method
  • Figure 8 schematically illustrates an embodiment of a three-dimensional image determination method
  • Fig. 9 schematically shows another embodiment of an optical inspection system of electronic circuits.
  • the term "electronic circuit” is understood to mean either a set of electronic components interconnected via a support, the only support used to make this interconnection without the electronic components or the support without the electronic components but provided with means for fixing the electronic components.
  • the support is a printed circuit and the electronic components are fixed to the printed circuit by dough pads which, after heating, form solder joints.
  • the term “electronic circuit” means the printed circuit alone (without electronic components or dough pads), the printed circuit provided with dough pads and without electronic components, the printed circuit provided with dough pads and electronic components. before the heating operation or the printed circuit provided with electronic components attached to the printed circuit by the solder joints.
  • the system 10 makes it possible to determine a three-dimensional image of the electronic circuit card.
  • Each electronic circuit Card is placed on a conveyor 12, for example a flat conveyor.
  • the conveyor 12 is able to move the card circuit in a direction X, for example a horizontal direction.
  • the conveyor 12 may comprise a set of belts 13 and rollers driven by a rotating electric motor 14.
  • the conveyor 12 may comprise a linear motor moving a carriage on which rests the electronic circuit card .
  • the system 10 comprises an image projection device P comprising at least one projector, a single projector P being represented in FIG. 1.
  • the projector P is connected to a computer system 16 for processing images.
  • the projectors P can be substantially aligned, preferably in a direction perpendicular to the direction X.
  • the system 16 can comprise a microcontroller comprising a processor and a non-volatile memory in which are stored instructions whose execution by the processor allows the system 16 to perform the desired functions.
  • the system 16 may correspond to a dedicated electronic circuit.
  • the electric motor 14 is further controlled by the system 16.
  • the system 10 further comprises an image acquisition device C comprising at least one digital camera, a single camera C being represented in FIG. 1.
  • the camera C is connected to the computer system 16 for processing images.
  • the cameras C may be substantially aligned, preferably in a direction perpendicular to the direction X and / or be arranged on either side of the pro ector or protectors P.
  • the camera C and the projector P are fixed and the electronic circuit Card is moved relative to the camera C and the projector P via the conveyor 12.
  • the electronic circuit Card is fixed and the camera C and the projector P are moved relative to the electronic circuit card by any suitable conveying device.
  • the dimensions of the circuit Card are generally greater than the field of view of the camera C so that the card circuit must be moved relative to the projector. P and the camera C so that the entire surface of the circuit Card is seen by the camera C.
  • FIG. 2 represents an evolution curve of the displacement of the electronic circuit Card according to the direction X as a function of time for an example of an image acquisition method for the determination of a three-dimensional image.
  • the instants tg to t5 are successive instants.
  • each star 20 represents the moment of acquisition of an image by the camera C.
  • a Phase A] _ image acquisition is made between the moments tg and t] _.
  • the card circuit is stationary relative to the projector P and the camera C.
  • the three-dimensional image of the portion of the circuit Card seen by the camera C is determined from several images acquired by the camera C during phase A ] _ while different images are projected on the circuit card by the projector P.
  • Each projected image corresponds, for example, to fringes.
  • the position of the projected fringes is shifted from one projected image to another.
  • a phase D ] _ of displacement is carried out between times t and t2 in which the card circuit is moved by the conveyor 12 until another part of the electronic circuit is seen by the camera C.
  • a phase A2 of image acquisition is performed between instants t2 and t3 for the determination of a three-dimensional image of this other part of the circuit Card.
  • a displacement phase D2 is performed between the instants t3 and tq, and an image acquisition phase A3 is performed between the instants and t5.
  • each acquisition phase A] _, A2, A3 is about 1.2 s in the case of acquiring 11 images and about 0.76 s in the case the acquisition of 7 images and the duration of a phase of displacement
  • D] _, D2 is about 0.35 s.
  • a disadvantage of the three-dimensional image determination method described above is that the total time required for the determination of the three-dimensional image of the entire Card circuit, which is equal to the sum of the durations image acquisition phases A ] _, A2, A3 and times of the displacement phases D ] _, D2 of the card circuit can be important, in particular because of the time taken for the displacement of the card circuit during which no Image acquisition is not performed.
  • an object of an embodiment is to overcome all or part of the disadvantages of three-dimensional image determination methods by an optical inspection system.
  • Another object of an embodiment is that the duration of an operation for determining a three-dimensional image of the entire electronic circuit to be inspected is reduced.
  • Another object of an embodiment is to simplify the supply of images projected by the projector P.
  • Another object of an embodiment is to use projectors and / or cameras whose optics are simple and low cost.
  • Another object of an embodiment is to provide a three-dimensional image determination system involving fast image processing, regardless of the shape of the three-dimensional scene to be observed.
  • an optical inspection system of electronic circuits in which the electronic circuit to inspect is no longer stationary during an image acquisition phase for the determination of a three-dimensional image but is moved during an image acquisition phase for determining a three-dimensional image.
  • a telecentric optical system is an optical system whose principal rays are parallel in the object space.
  • Object space refers to the scene (Card circuit) independently for cameras and projectors.
  • a perspective optical system is an optical system that is not telecentric.
  • at least one of the projector P and the camera C is of the perspective type. This advantageously makes it possible to reduce the size of the inspection system since projection or image acquisition devices of the perspective type have a smaller footprint than similar telecentric type devices. This also advantageously makes it possible to reduce the cost of the inspection system since the projection-type or perspective-type image acquisition apparatus has a lower cost than the telecentric-type analogue apparatus.
  • FIGS. 3 and 4 illustrate embodiments of methods for determining a three-dimensional image of the entire Card circuit.
  • each star 22 represents the instant of acquisition of an image by the camera C.
  • a relative displacement between the circuit Card and the assembly comprising the projector P and the camera C is performed throughout the operation of determining the three-dimensional image.
  • the circuit Card can be moved by the conveyor 12 during the acquisition of the images, the projector P and the camera C remaining fixed.
  • the card circuit may be fixed and the assembly comprising the projector P and the camera C is moved during the acquisition of the images.
  • the duration between two successive acquisitions of images is between 10 ms and 250 ms.
  • the duration between two successive acquisitions of images may be substantially constant at 10% near.
  • the relative speed of movement between the circuit Card and the assembly comprising the projector P and the camera C is substantially constant at 10% near.
  • the speed of movement depends in particular on the image projection method used. By way of example, the speed of movement is between 20 mm / s and 200 mm / s.
  • the relative speed of movement is temporarily increased, for example by more than 30%, between two successive acquisitions of images by the camera.
  • the relative speed of displacement is increased and then decreased so that the relative speed of movement at the moment of acquisition of an image is substantially the same for each acquisition. image.
  • the conveyor 12 is controlled by the computer processing system 16 to control the movement of the Card circuit between two successive acquisitions.
  • the acquired images are used to determine the three-dimensional image of the entire Card circuit.
  • only a few images acquired successively are used, preferably more than three images, for example eight images.
  • the image projected by the projector P on the card circuit during the acquisition of the images by the camera C is identical for several images acquired successively, preferably for all the images acquired successively.
  • FIG. 5 illustrates an exemplary method for determining a three-dimensional image in the case where the card circuit to be inspected is stationary relative to the projector P and to the camera C during the acquisition of several successive images.
  • REF is a reference plane, parallel to the plane on which the Card circuit rests.
  • Rj; p (0, X, Y, Z) is a reference linked to the reference plane REF in which the direction X is the direction of movement of the circuit Card, Y is a direction parallel to the plane REF and perpendicular to the direction X and Z is a direction perpendicular to the X and Y directions.
  • a three-dimensional image of the circuit Card corresponds to a cloud of an integer M of points Q where i is an integer ranging from 1 to M.
  • M is greater than several millions.
  • the exponent number of Q denotes the position occupied by the circuit Card relative to the camera C and the projector P during the acquisition of images.
  • the card circuit is stationary relative to the projector P and to the camera C during the acquisition of the images by the camera C necessary for the determination of the three-dimensional image of a part of the card circuit. .
  • This position is indicated by the exponent "1".
  • a point Q ( n i) of the outer surface of the circuit Card is located in the reference RREF by the coordinates (x-j, y, _, hj_).
  • the coordinate hj_ corresponds to the height of the point Q with respect to the plane REF.
  • a method for determining a three-dimensional image of the circuit Card consists in determining the height hj_ of each point Q.
  • Each point Q corresponds to the intersection of a line DQ associated with the camera C and a line Dp associated with the spotlight P.
  • Ii (3 ⁇ 4 (hi)) A (h + BCh costpiChi) (2)
  • a (hj_) is the luminous intensity of the background at point Q of the image
  • B (hj_) represents the amplitude between the minimum intensities and maximum at the Q point of the projected image.
  • the projector P successively projects N different images on the circuit, where N is a natural integer strictly greater than 1, preferably greater than or equal to 4, for example about 8.
  • Id ( C qi (hi)) A + BcosCcpiCh + ckx) (3) where d is an integer that varies between 0 and Nl and a is equal to 2n / N.
  • phase cpj_ (hj_) is given by the following relation:
  • the projector P and the camera C are of the telecentric type.
  • optical axes of the projector P and the camera C are coplanar
  • a row of the image projected by the projector P is associated with a row of the image acquired by the camera C, these rows being situated in a plane parallel to the direction X;
  • the projected images include straight fringes which extend, for example, perpendicular to the X direction and whose amplitude varies sinusoidally;
  • the straight lines Dp are perpendicular to the plane REF and the straight lines DQ make an angle ⁇ with the plane REF,
  • the system of equations (1) can be simplified according to the system of considering that the coordinate point QJ EF (REF A Yi REF ') is the point of the reference plane REF associated with the point cq1 of the camera C.
  • able 1 1 a9 i (h i) + b (7)
  • a and b are real numbers, where a is equal to pg / 2n with pg corresponding to the pitch of the sinusoidal fringes.
  • Y is equal to pg / (2ntan9) and (i (Qj REF) t are equal to the phase at the point Q i REF of the reference plane REF, that is to say, the phase in the absence of the circuit .
  • FIG. 6 illustrates an exemplary method for determining a three-dimensional image in the case where the card circuit to be inspected is immobile with respect to the projector P and the camera C during the acquisition of several successive images and in the case where the camera C and the projector P are of perspective type.
  • FIG. 7 illustrates an exemplary method for determining a three-dimensional image in the case where the card circuit to be inspected is mobile with respect to the projector P and the camera C during the acquisition of the N successive images and in the case where the camera C and the projector P are telecentric type.
  • two positions of the circuit are represented in FIG. 7 for the acquisition of two successive images.
  • the point Qj which corresponds to the point Q after displacement of the circuit is obtained by the following relation (9):
  • R ⁇ - is a rotation matrix and ⁇ - a translation matrix, these matrices being representative of the movement of the circuit from position "1" to position "t".
  • the projector P projects the same image on the circuit during the acquisitions of the N successive images.
  • This image includes fringes which extend, for example, perpendi ⁇ angles to the X direction and whose amplitude varies sinusoidally. Since the circuit is displaced with respect to the headlamp, the luminous intensity I ⁇ ( C qi t (h i )) reflected by the point Q is not the same as the reflected luminous intensity I ⁇ (3 ⁇ 4 (3 ⁇ 4)). by the point Qf when d is different from s.
  • the phase difference between the intensity I ⁇ ( c q (j)) reflected by the point Q and the intensity I d + i ( C q +1 (hi)) reflected by the point Q +1 is the same regardless of the considered point of the circuit.
  • the relative speed of movement of the circuit relative to the assembly comprising the camera C and the projector P can therefore be chosen so that the phase difference between the intensities
  • I d (qj (hi)) and I d + i (3 ⁇ 4i ( n i)) corresponds to a phase difference of 2 ⁇ / ⁇ .
  • the abscissa P 1 of the point P q1 follows the relationship (7) described above.
  • the displacement of each point c q of the camera associated with the point Q is the same regardless of the point Q of the circuit. In particular, this displacement is independent of the height h-;
  • the height h 1 is a solution of a linear equation so that an analytical expression of the height h 1 can be obtained directly.
  • FIG. 8 illustrates one embodiment of a method for determining a three-dimensional image in the case where a relative displacement of the card circuit to be inspected with respect to the projector P and the camera C is performed during the acquisition of several successive images. and in the case where the camera C and / or the projector P are of perspective type.
  • the inventors have demonstrated that an analytical expression of the height h i can not be obtained especially when the projector is of the perspective type.
  • the phase difference between the intensity I ⁇ ( C q? (Hj)) reflected by the point Q and the intensity ⁇ ⁇ + ⁇ ( C q? +1 (hi)) reflected by the point Q +1 is different depending on the considered point.
  • this phase difference necessarily varies according to the height h j _.
  • the inventors have shown that an analytical expression of the height hj can not be obtained when the camera C is of the perspective type. Indeed, when a relative displacement of the card circuit with respect to the set comprising the camera C and the projector P is made between the acquisition of two images, the displacement of the pixel at the point cq of the camera associated with the point Q n It is not the same for all the points Q of the circuit, and, in particular, depends on the height hj_ of the point Q.
  • the determination algorithms of the three-dimensional image described above can not be applied.
  • the inventors nevertheless determined that the three-dimensional image of the circuit could be obtained by determining a Cost cost function which depends in particular on the height hj_.
  • the desired height h 1 is then that for which the Cost cost function reaches a minimum according to the following relation (13):
  • the cost function can be based on the comparison between signals obtained from the image acquired by the camera and the image displayed by the projector, images acquired by more than one camera and the image displayed by the camera. the projector or images acquired by at least two or more cameras.
  • the signal may correspond to a pseudo-phase or the luminous intensity.
  • the cost function is determined by comparing the phase of the projected image with at least one determined phase estimate from the image acquired by a camera or by comparing phase estimates determined from the images acquired by at least two cameras. Expression (13) then amounts to minimizing a phase difference.
  • the phase c f C j) can be determined from the operating equations of the projector P.
  • the cost function Cost ] _ is given by the following relation (17):
  • the optical inspection system 30 includes at least two cameras C] _ and C2 ⁇ P projector and / or the cameras C] _ and C2 are perspective category.
  • the cost function Cost2 for the system 30 is determined according to the following relation (18):
  • the optical inspection system 30 comprises G cameras C ] _, C2, ⁇ , Cc, where G is an integer greater than or equal to 3 and the cost function Cost is given by the following relation (19):
  • the optical inspection system 30 includes cameras G C] _, C2, C G, where G is an integer greater than or equal to 3 and the Cost cost function is given ar equation (20 ) next :
  • the cost function is determined by directly comparing the images provided by at least two different cameras. Expression (13) then amounts to minimizing a difference in light intensity.
  • the cost function Cost5 is given by the following relation (21): (2i)
  • the optical inspection system 30 comprises G cameras C] _, 0.2, ⁇ , Cç and the cost function Costg is given by the following relation (22):

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)

Abstract

L'invention concerne un procédé de détermination d'images tridimensionnelles d'un objet (Card), comprenant la projection d'un affichage sur l'objet par un projecteur (P); l'acquisition de plusieurs images bidimensionnelles de l'objet par au moins un premier capteur d'images (C), un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le capteur d'images étant réalisé pendant les acquisitions des images; et la détermination de la hauteur de chaque point de l'objet comme correspondant à un extrémum d'une fonction obtenue à partir des images bidimensionnelles acquises.

Description

SYSTEME DE DETERMINATION D 'UNE IMAGE TRIDIMENSIONNELLE D 'UN
CIRCUIT ELECTRONIQUE
La présente demande de brevet revendique la priorité de la demande de brevet français FR13/50813 qui sera considérée comme faisant partie intégrante de la présente description.
Domaine
La présente invention concerne de façon générale les systèmes d'inspection optique et, plus particulièrement, les systèmes de détermination d'images tridimensionnelles destinés à l'analyse en ligne d'objets, notamment de circuits électro¬ niques. L'invention concerne plus particulièrement les systèmes équipés de caméras numériques.
Exposé de l'art antérieur
Un système d'inspection optique d'un objet, par exemple un circuit électronique, comprend généralement un dispositif de projection de motifs particuliers sur le circuit à inspecter et au moins une caméra numérique adaptée à acquérir plusieurs images du circuit. L'image projetée comprend, par exemple, une succession de franges claires et sombres.
Un exemple de procédé de détermination d'images tridimensionnelles comprend la projection de plusieurs images sur le circuit à inspecter. Il s'agit, par exemple, d'images comportant une répétition de motifs. Il peut également s'agir d'une image aléatoire. Les images projetées lors de deux projections successives diffèrent l'une de l'autre. Par exemple, lorsque l'image comprend des motifs, ceux-ci peuvent être décalés d'une image projetée à l'autre. Une image du circuit est acquise à chaque nouvelle position de l'image projetée sur le circuit .
Une image tridimensionnelle peut être déterminée à partir des images du circuit acquises par la caméra numérique. Résumé
Ainsi, un mode de réalisation prévoit un procédé de détermination d'images tridimensionnelles d'un objet, comprenant la projection d'un affichage sur l'objet par un projecteur ; l'acquisition de plusieurs images bidimensionnelles de l'objet par au moins un premier capteur d'images, un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le capteur d'images étant réalisé pendant les acquisitions des images ; et la détermination de la hauteur de chaque point de l'objet comme correspondant à un extrémum d'une fonction obtenue à partir des images bidimensionnelles acquises.
Selon un mode de réalisation, le projecteur et/ou le premier capteur d'images sont de type perspectif.
Selon un mode de réalisation, l'affichage projeté est identique lors de l'acquisition de chaque image bidimen- sionnelle .
Selon un mode de réalisation, l'affichage comprend des franges .
Selon un mode de réalisation, un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le capteur d'images est réalisé lors de l'acquisition d'au moins l'une des images bidimensionnelles.
Selon un mode de réalisation, un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le capteur d'images est réalisé lors de l'acquisition de chaque image bidimensionnelle . Selon un mode de réalisation, le déplacement relatif est accéléré entre les acquisitions des deux images d'au moins une paire d'images bidimensionnelles successives.
Selon un mode de réalisation, la vitesse du déplacement relatif est constante à 10 % près.
Selon un mode de réalisation, le procédé comprend l'acquisition de plusieurs images bidimensionnelles de l'objet par au moins un deuxième capteur d'images, la hauteur de chaque point de l'objet correspondant à un extrémum d'une fonction obtenue à partir des images acquises par les premier et deuxième capteurs d' images .
Un mode de réalisation prévoit également un système de détermination d'images tridimensionnelles d'un objet, compre¬ nant :
un projecteur adapté à projeter un affichage sur
1 ' obj et ;
un premier capteur d'images adapté à acquérir plusieurs images bidimensionnelles de l'objet ;
un convoyeur adapté à réaliser un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le premier capteur d'images lors des acquisitions successives d'images bidimensionnelles ; et
des moyens de traitement adaptés à déterminer la hauteur de chaque point de l'objet comme correspondant à un extrémum d'une fonction obtenue à partir des images bidimensionnelles acquises.
Selon un mode de réalisation, le projecteur et/ou le capteur d'images sont de type perspectif.
Brève description des dessins
Ces caractéristiques et avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles : la figure 1 représente, de façon schématique, un mode de réalisation d'un système d'inspection optique de circuits électroniques ;
la figure 2 représente une courbe d'évolution du déplacement en fonction du temps d'un circuit à inspecter pour un système d'inspection optique classique ;
les figures 3 et 4 représentent des courbes d'évolution du déplacement en fonction du temps d'un circuit à inspecter pour deux modes de réalisation de systèmes d'inspection optique ;
la figure 5 illustre, de façon schématique, un exemple de procédé de détermination d'images en trois dimensions ;
les figures 6 et 7 illustrent, de façon schématique, d'autres exemples de procédé de détermination d'images en trois dimensions ;
la figure 8 illustre, de façon schématique, un mode de réalisation d'un procédé de détermination d'images en trois dimensions ; et
la figure 9 représente, de façon schématique, un autre mode de réalisation d'un système d'inspection optique de circuits électroniques.
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures.
Description détaillée
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, les diverses figures ne sont pas tracées à l'échelle. Dans la suite de la description, sauf indication contraire, les termes "sensiblement", "environ" et "de l'ordre de" signifient "à 10 % près". En outre, seuls les éléments utiles à la compréhension de la présente description ont été représentés et sont décrits. En particulier, les moyens de commande du convoyeur du système d'inspection optique décrit ci-après sont à la portée de l'homme de l'art et ne sont pas décrits. La figure 1 représente, de façon très schématique, un système 10 d'inspection de circuits électroniques. On entend par circuit électronique indifféremment un ensemble de composants électroniques interconnectés par l'intermédiaire d'un support, le support seul utilisé pour réaliser cette interconnexion sans les composants électroniques ou le support sans les composants électroniques mais muni de moyens de fixation des composants électroniques. A titre d'exemple, le support est un circuit imprimé et les composants électroniques sont fixés au circuit imprimé par des plots de pâte qui, après chauffage, forment des joints de soudure. Dans ce cas, on entend par circuit électronique indifféremment le circuit imprimé seul (sans composants électroniques, ni plots de pâte) , le circuit imprimé muni des plots de pâte et sans composants électroniques, le circuit imprimé muni des plots de pâte et des composants électroniques avant l'opération de chauffage ou le circuit imprimé muni des composants électroniques fixés au circuit imprimé par les joints de soudure.
Le système 10 permet la détermination d'une image tridimensionnelle du circuit électronique Card. Chaque circuit électronique Card est placé sur un convoyeur 12, par exemple un convoyeur plan. Le convoyeur 12 est susceptible de déplacer le circuit Card selon une direction X, par exemple une direction horizontale. A titre d'exemple, le convoyeur 12 peut comprendre un ensemble de courroies 13 et de galets entraînés par un moteur électrique tournant 14. A titre de variante, le convoyeur 12 peut comprendre un moteur linéaire déplaçant un charriot sur lequel repose le circuit électronique Card.
Le système 10 comporte un dispositif de projection d'images P comprenant au moins un projecteur, un seul projecteur P étant représenté en figure 1. Le projecteur P est relié à un système informatique 16 de traitement d'images. Lorsque plusieurs projecteurs P sont présents, les projecteurs P peuvent être sensiblement alignés, de préférence selon une direction perpendiculaire à la direction X. Le système 16 peut comprendre un microcontrôleur comportant un processeur et une mémoire non volatile dans laquelle sont stockées des d'instructions dont l'exécution par le processeur permet au système 16 de réaliser les fonctions souhaitées. A titre de variante, le système 16 peut correspondre à un circuit électronique dédié. Le moteur électrique 14 est, en outre, commandé par le système 16.
Le système 10 comporte, en outre, un dispositif d'acquisition d'images C comprenant au moins une caméra numérique, une seule caméra C étant représentée en figure 1. La caméra C est reliée au système informatique 16 de traitement d'images. Lorsque plusieurs caméras C sont présentes, les caméras C peuvent être sensiblement alignées, de préférence selon une direction perpendiculaire à la direction X et/ou être disposées de part et d'autre du pro ecteur ou des pro ecteurs P.
Dans le présent mode de réalisation, la caméra C et le projecteur P sont fixes et le circuit électronique Card est déplacé par rapport à la caméra C et au projecteur P par l'intermédiaire du convoyeur 12. A titre de variante, le circuit électronique Card est fixe et la caméra C et le projecteur P sont déplacés par rapport au circuit électronique Card par tout dispositif de convoyage adapté.
Pour simplifier la description qui va suivre, on considère un seul projecteur P et une seule caméra C. La caméra C est fixe par rapport au projecteur P.
Les dimensions du circuit Card, correspondant par exemple à une carte ayant une longueur et une largeur variant de 50 mm à 550 mm, sont généralement supérieures au champ de vue de la caméra C de sorte que le circuit Card doit être déplacé par rapport au projecteur P et à la caméra C pour que la totalité de la surface du circuit Card soit vue par la caméra C.
La figure 2 représente une courbe d'évolution du déplacement du circuit électronique Card selon la direction X en fonction du temps pour un exemple de procédé d'acquisition d'images pour la détermination d'une image tridimensionnelle. Les instants tg à t5 sont des instants successifs. En figure 2, chaque étoile 20 représente l'instant d'acquisition d'une image par la caméra C.
Une phase A]_ d'acquisition d'images est réalisée entre les instants tg et t]_ . Au cours de la phase A]_, le circuit Card est immobile par rapport au projecteur P et à la caméra C. L'image tridimensionnelle de la partie du circuit Card vue par la caméra C est déterminée à partir de plusieurs images acquises par la caméra C pendant la phase A]_ alors que différentes images sont projetées sur le circuit Card par le projecteur P. Chaque image projetée correspond, par exemple, à des franges. La position des franges projetées est décalée d'une image projetée à l'autre. Une phase D]_ de déplacement est réalisée entre les instants t et t2 dans laquelle le circuit Card est déplacé par le convoyeur 12 jusqu'à ce qu'une autre partie du circuit électronique soit vue par la caméra C. Une phase A2 d'acquisition d'images est réalisée entre les instants t2 et t3 pour la détermination d'une image tridimensionnelle de cette autre partie du circuit Card. Une phase de déplacement D2 est réalisée entre les instants t3 et tq, et une phase A3 d'acquisition d'images est réalisée entre les instants et t5.
Dans l'exemple illustré en figure 2, quatre images sont acquises par la caméra C pendant chaque phase d'acquisition A]_, A2, A3. Toutefois, ce nombre peut être plus ou moins important. La durée de chaque phase d'acquisition A]_, A2, A3 dépend notamment du nombre d'images acquises, certaines des images acquises pouvant ne pas être destinées à la détermination d'une image tridimensionnelle. A titre d'exemple, la durée de chaque phase d'acquisition A]_, A2, A3 est d'environ 1,2 s dans le cas de l'acquisition de 11 images et d'environ 0,76 s dans le cas de l'acquisition de 7 images et la durée d'une phase de déplacement
D]_, D2 est d'environ 0,35 s.
Un inconvénient du procédé de détermination d'images tridimensionnelles décrit précédemment est que la durée totale nécessaire pour la détermination de l'image tridimensionnelle de la totalité du circuit Card, qui est égale à la somme des durées des phases d'acquisition d'images A]_, A2, A3 et des durées des phases de déplacement D]_, D2 du circuit Card, peut être importante, notamment en raison du temps pris pour le déplacement du circuit Card pendant lequel aucune acquisition d'image n'est réalisée.
En outre, lors d'une phase d'acquisition d'images, l'image projetée par le projecteur P sur le circuit Card est modifiée entre deux acquisitions. Il faut donc prévoir des moyens de modification de l'image projetée, ce qui peut nécessiter l'utilisation d'un projecteur P de structure complexe et/ou d'adapter le système de traitement informatique 16.
Ainsi, un objet d'un mode de réalisation est de pallier tout ou partie des inconvénients des procédés de détermination d'images tridimensionnelles par un système d'inspection optique.
Un autre objet d'un mode de réalisation est que la durée d'une opération de détermination d'une image tridimensionnelle de la totalité du circuit électronique à inspecter est réduite .
Un autre objet d'un mode de réalisation est de simplifier la fourniture des images projetées par le projecteur P.
Un autre objet d'un mode de réalisation est d'utiliser des projecteurs et/ou des caméras dont l'optique est simple et à bas coût.
Un autre objet d'un mode de réalisation est de prévoir un système de détermination d'images tridimensionnelles impliquant des traitements d'image rapides, quelle que soit la forme de la scène tridimensionnelle à observer.
Pour atteindre tout ou partie de ces objets ainsi que d'autres, il est prévu un système d'inspection optique de circuits électroniques dans lequel le circuit électronique à inspecter n'est plus immobile lors d'une phase d'acquisition d'images pour la détermination d'une image tridimensionnelle mais est déplacé au cours d'une phase d'acquisition d'images pour la détermination d'une image tridimensionnelle.
Par la suite, on appelle système optique télécentrique un système optique dont les rayons principaux sont parallèles dans l'espace objet. L'espace objet désigne la scène (circuit Card) indépendamment pour les caméras et les projecteurs. On appelle système optique perspectif un système optique qui n'est pas télécentrique. Selon un mode de réalisation, au moins un appareil parmi le projecteur P et la caméra C est de type perspectif. Ceci permet de façon avantageuse de réduire l'encombrement du système d'inspection étant donné que les appareils de projection ou d'acquisition d'images de type perspectif ont un encombrement moindre que les appareils analogues de type télécentrique. Ceci permet, en outre, de façon avantageuse de réduire le coût du système d'inspection étant donné que les appareils de projection ou d'acquisition d'images de type perspectif ont un coût inférieur aux appareils analogues de type télécentrique.
Les figures 3 et 4 illustrent des modes de réalisation de procédés de détermination d'une image tridimensionnelle de la totalité du circuit Card. Aux figures 3 et 4, chaque étoile 22 représente l'instant d'acquisition d'une image par la caméra C.
Selon un mode de réalisation, un déplacement relatif entre le circuit Card et l'ensemble comprenant le projecteur P et la caméra C est réalisé tout au long de l'opération de détermination de l'image tridimensionnelle. Dans ce but, le circuit Card peut être déplacé par le convoyeur 12 lors de l'acquisition des images, le projecteur P et la caméra C restant fixes. A titre de variante, le circuit Card peut être fixe et l'ensemble comprenant le projecteur P et la caméra C est déplacé lors de l'acquisition des images.
A titre d'exemple, la durée entre deux acquisitions successives d'images est comprise entre 10 ms et 250 ms . La durée entre deux acquisitions successives d'images peut être sensiblement constante à 10 % prés. Dans le mode de réalisation illustré en figure 3, la vitesse de déplacement relatif entre le circuit Card et l'ensemble comprenant le projecteur P et la caméra C est sensiblement constante à 10 % prés. La vitesse de déplacement dépend notamment du procédé de projection d'image utilisé. A titre d'exemple, la vitesse de déplacement est comprise entre 20 mm/s et 200 mm/s.
Dans le mode de réalisation illustré en figure 4, la vitesse de déplacement relatif est temporairement augmentée, par exemple de plus de 30 %, entre deux acquisitions successives d'images par la caméra. De préférence, entre deux acquisitions successives d'une image par la caméra C, la vitesse de déplacement relatif est augmentée puis diminuée de façon que la vitesse de déplacement relatif au moment de l'acquisition d'une image soit sensiblement la même pour chaque acquisition d'image.
A titre d'exemple, le convoyeur 12 est commandé par le système de traitement informatique 16 pour commander le déplacement du circuit Card entre deux acquisitions successives. Les images acquises sont utilisées pour déterminer l'image tridimensionnelle de la totalité du circuit Card. Toutefois, pour la détermination de l'image tridimensionnelle de seulement une partie du circuit Card, seule quelques images acquises successivement sont utilisées, de préférence plus de trois images, par exemple huit images.
Selon un mode de réalisation, l'image projetée par le projecteur P sur le circuit Card lors de l'acquisition des images par la caméra C est identique pour plusieurs images acquises successivement, de préférence pour la totalité des images acquises successivement.
La figure 5 illustre un exemple de procédé de détermination d'une image tridimensionnelle dans le cas où le circuit Card à inspecter est immobile par rapport au projecteur P et à la caméra C lors de l'acquisition de plusieurs images successives. On appelle REF un plan de référence, parallèle au plan sur lequel repose le circuit Card. On a représenté en traits pointillés des droites Dp de parcours de rayons projetés par le projecteur P et des droites DQ de parcours de rayons reçus par la caméra C.
On appelle Rj;p(0, X, Y, Z) un repère lié au plan de référence REF dans lequel la direction X est la direction de déplacement du circuit Card, Y est une direction parallèle au plan REF et perpendiculaire à la direction X et Z est une direction perpendiculaire aux directions X et Y.
Une image tridimensionnelle du circuit Card correspond à un nuage d'un nombre entier M de points Q OÙ i est un nombre entier variant de 1 à M. A titre d'exemple, M est supérieur à plusieurs millions.
Le nombre en exposant de Q désigne la position qu'occupe le circuit Card par rapport à la caméra C et au projecteur P lors de l'acquisition d'images. Dans l'exemple illustré en figure 5, le circuit Card est immobile par rapport au projecteur P et à la caméra C pendant l'acquisition des images par la caméra C nécessaires à la détermination de l'image tridimensionnelle d'une partie du circuit Card. Cette position est indiquée par l'exposant "1". Un point Q (ni) de la surface externe du circuit Card est repéré dans le repère RREF par les coordonnées (x-j_, yj_, hj_) . La coordonnée hj_ correspond à la hauteur du point Q par rapport au plan REF. Un procédé de détermination d'une image tridimensionnelle du circuit Card consiste à déterminer la hauteur hj_ de chaque point Q .
A chaque point Q correspond un point q} dans le plan image de la caméra C et un point P 1
q dans le plan image du projecteur P. On considère un repère RQ (OQ, X', Y', Z') associé à la caméra C dans lequel OQ est le centre optique de la caméra C, la direction Z' est parallèle à l'axe optique de la caméra C et les directions X' et Y' sont perpendiculaires entre elles et perpendiculaires à la direction Z'. Dans le repère RQ, pour simplifier la description qui va suivre, on peut considérer de façon approximative que le point C 1 C 1 q a les coordonnées ( , cvf , fç) où ÎQ est la distance focale de la caméra C. On considère un repère Rp(Op, X", Y", Z") associé au projecteur P dans lequel Op est le centre optique du projecteur P, la direction Z" est parallèle à l'axe optique du projecteur P et les directions X" et Y" sont perpendiculaires entre elles et perpendiculaires à la direction Z". Dans le repère Rp, pour simplifier la description qui va suivre, on peut considérer de façon approximative que le point pq} a les coordonnées ( pUjL, pvi 1 , fp) où fp est la distance focale du projecteur P.
De façon générale, en appelant Pp la matrice de projection du projecteur P et PQ la matrice de projection de la caméra C, on a le système d'équations (1) suivant pour chaque point Q , noté en coordonnées homogènes :
Chaque point Q correspond à l'intersection d'une droite DQ associée à la caméra C et d'une droite Dp associée au projecteur P.
A chaque point pq de l'image projetée par le projecteur P est associée une phase cp-j_(hj_). L'intensité lumineuse I^( ¾(¾))' mesurée par le pixel au point ¾ de l'image acquise par la caméra et correspondant au point Q , suit la relation (2) suivante :
Iî( ¾ (hi)) = A(h + BCh costpiChi) (2) où A(hj_) est l'intensité lumineuse du fond au point Q de l'image, B(hj_) représente l'amplitude entre les intensités minimale et maximale au point Q de l'image projetée.
Dans l'exemple illustré en figure 5, le projecteur P projette successivement N images différentes sur le circuit, où N est un entier naturel strictement supérieur à 1, de préférence supérieur ou égal à 4, par exemple d'environ 8.
Pour chaque image projetée, un déphasage de 2n/N est appliqué. A titre d'exemple, les niveaux de gris G]_, G2 de deux images projetées sont illustrés en figure 5. L'intensité lumineuse I^( ¾(¾))' mesurée par le pixel au point ¾ pour la d-ième image acquise par la caméra correspondant au point Qj suit la relation (3) suivante :
Id( Cqi (hi)) = A + BcosCcpiCh +ckx) (3) où d est un entier qui varie entre 0 et N-l et a est égal 2n/N.
On définit le vecteur (hi) selon la relation (4 suivante : (4)
Il s'agit d'un système d'équations linéaires, montre que la phase cpj_(hj_) est donnée par la relation suivante :
(5)
Dans l'exemple représenté en figure 5, le projecteur P et la caméra C sont de type télécentrique .
A titre d'exemple, dans le cas où les conditions suivantes sont remplies :
les axes optiques du projecteur P et de la caméra C sont coplanaires ;
une rangée de l'image projetée par le projecteur P est associée à une rangée de l'image acquise par la caméra C, ces rangées étant situées dans un plan parallèle à la direction X ;
les images projetées comprennent des franges droites qui s'étendent, par exemple, perpendiculairement à la direction X et dont l'amplitude varie de façon sinusoïdale ;
les droites Dp sont perpendiculaires au plan REF et les droites DQ font un angle Θ avec le plan REF,
le système d'équations (1) peut se simplifier selon le système d en considérant que le point QJ EF de coordonnées ( {REF A YiREF' est le point du plan de référence REF associe au point cq1 de la caméra C.
Dans le plan image du projecteur P, l'abscisse P 1 du point Pq1 suit, par exemple, la relation suivante (7) :
pu1 1=a9i(hi)+b (7) où a et b sont des nombres réels, a étant égal à pg/2n avec pg correspondant au pas des franges sinusoïdales.
A partir des relations (6) et (7), on obtient la relation (8) suivante :
où Y est égal à pg/ (2ntan9) et (i(QjREF) est égal à la phase au point QÎREF du plan de référence REF, c'est-à-dire à la phase en l'absence du circuit.
Dans le cas où les conditions énoncées précédemment ne sont pas remplies, les calculs sont plus complexes. Toutefois, une expression littérale de la hauteur hj_ peut être obtenue.
La figure 6 illustre un exemple de procédé de détermination d'une image tridimensionnelle dans le cas où le circuit Card à inspecter est immobile par rapport au projecteur P et à la caméra C lors de l'acquisition de plusieurs images successives et dans le cas où la caméra C et le projecteur P sont de type perspectif.
Par rapport au cas précédent, le système d'équations (1) ne peut pas se simplifier pour donner le système d'équations
(6) . Toutefois, il correspond à un système d'équations linéaires pour la hauteur hj_. Il est donc possible de trouver une expression littérale pour la hauteur hj_ .
La figure 7 illustre un exemple de procédé de détermination d'une image tridimensionnelle dans le cas où le circuit Card à inspecter est mobile par rapport au projecteur P et à la caméra C lors de l'acquisition des N images successives et dans le cas où la caméra C et le projecteur P sont de type télécentrique . A titre d'exemple, deux positions du circuit sont représentées en figure 7 pour l'acquisition de deux images successives. De façon générale, à la position "t", t étant un nombre entier variant entre 0 et N-l, le point Qj qui correspond au point Q après déplacement du circuit est obtenu par la relation (9) suivante :
où R†- est une matrice de rotation et †- une matrice de translation, ces matrices étant représentatives du déplacement du circuit de la position "1" à la position "t".
Le projecteur P projette la même image sur le circuit lors des acquisitions des N images successives. Cette image comprend des franges qui s'étendent, par exemple, perpendi¬ culairement à la direction X et dont l'amplitude varie de façon sinusoïdale. Comme le circuit est déplacé par rapport au projecteur, l'intensité lumineuse I^( Cqit(hi)) réfléchie par le point Q n'est pas la même que l'intensité lumineuse 1^( ¾(¾)) réfléchie par le point Qf lorsque d est différent de s.
Dans le cas où la matrice de rotation correspond à la matrice identité, c'est-à-dire dans le cas d'une translation sans rotation, le vecteur i (hi) est alors défini par la relation (10) suivante :
/ ioc( cq?(hi)) \
Comme le projecteur P est télécentrique, la différence de phases entre l'intensité I^( cq ( j)) réfléchie par le point Q et l'intensité Id+i ( Cq?+1(hi)) réfléchie par le point Q +1 est la même quel que soit le point considéré du circuit. La vitesse de déplacement relatif du circuit par rapport à l'ensemble comprenant la caméra C et le projecteur P peut donc être choisie de façon que la différence de phases entre les intensités
Id ( qj (hi)) et Id+i ( ¾i (ni)) corresponde à une différence de phase de 2π/Ν. Dans le plan image du projecteur P, l'abscisse P 1 du point P q1 suit donc la relation (7) décrite précédemment.
En outre, comme la caméra C est également de type télécentrique, le déplacement de chaque point cq de la caméra associé au point Q est le même quel que soit le point Q du circuit. En particulier, ce déplacement est indépendant de la hauteur h-;
On a donc la relation (11) suivante : :n:
lS-i( -HD) cos((N-l)a) -sin((N
L'expression de hj_ selon la relation (8) peut alors être utilisée.
Dans les procédés de détermination d'une image tridimensionnelle illustrés aux figures 5 à 7, la hauteur hj_ est une solution d'une équation linéaire de sorte qu'une expression analytique de la hauteur hj_ peut être obtenue directement.
La figure 8 illustre un mode de réalisation de procédé de détermination d'une image tridimensionnelle dans le cas où un déplacement relatif du circuit Card à inspecter par rapport au projecteur P et à la caméra C est réalisé lors de l'acquisition de plusieurs images successives et dans le cas où la caméra C et/ou le projecteur P sont de type perspectif.
Les inventeurs ont mis en évidence que, dans ce cas, il n'est pas possible d'obtenir une expression analytique de la hauteur hj_ .
Les inventeurs ont mis en évidence qu'une expression analytique de la hauteur hj_ ne peut pas être obtenue notamment lorsque le projecteur est du type perspectif. En effet, à la différence de l'exemple décrit précédemment en relation avec la figure 7, la différence de phases entre l'intensité I^( Cq?(hj)) réfléchie par le point Q et l'intensité Ι^+ι ( Cq?+1 (hi)) réfléchie par le point Q +1 est différente selon le point considéré. En effet, cette différence de phases varie nécessairement en fonction de la hauteur hj_. Il n'est donc pas possible de choisir la vitesse de déplacement relatif du circuit par rapport à l'ensemble comprenant la caméra C et le projecteur P de façon que la différence de phases entre l'intensité I^( Cq (hj)) réfléchie par le point Q et l'intensité Ι^+ι ( C(lii+1 (hi)) réfléchie par le point Q +1 corresponde à une différence de phases de 2n/N pour tous les points de la surface externe.
De ce fait, la relation (3) précédente n'est plus valable mais doit être remplacée par la relation (12) suivante :
Id ( = A + Bcos(9i(hi)+Ô9?(hi)) (12) ou δφ?(η est une fonction de la hauteur hj_ et de la position d du point Q .
De plus, les inventeurs ont mis en évidence qu'une expression analytique de la hauteur hj_ ne peut pas être obtenue lorsque la caméra C est du type perspectif. En effet, lorsqu'un déplacement relatif du circuit Card par rapport à l'ensemble comprenant la caméra C et le projecteur P est réalisé entre l'acquisition de deux images, le déplacement du pixel au point cq de la caméra associé au point Q n'est pas le même pour tous les points Q du circuit, et, en particulier, dépend de la hauteur hj_ du point Q .
De ce fait, dès que la caméra C ou le projecteur P est du type perspectif et qu'un déplacement relatif du circuit Card par rapport à la caméra C et au projecteur P est réalisé lors de l'acquisition des images, les algorithmes de détermination de l'image tridimensionnelle décrit précédemment ne peuvent pas être appliqués.
Les inventeurs ont néanmoins déterminé que l'image tridimensionnelle du circuit pouvait être obtenue en déterminant une fonction de coût Cost qui dépend notamment de la hauteur hj_. La hauteur hj_ recherchée est alors celle pour laquelle la fonction de coût Cost atteint un minimum selon la relation (13) suivante :
hi= argmin Costj (h) (13) La fonction de coût peut être basée sur la comparaison entre des signaux obtenus à partir de l'image acquise par la caméra et de l'image affichée par le projecteur, des images acquises par plus d'une caméra et de l'image affichée par le projecteur ou des images acquises par au moins deux caméras ou plus . Le signal peut correspondre à une pseudo-phase ou à l'intensité lumineuse.
Selon un mode de réalisation, la fonction de coût est déterminée en comparant la phase de 1 ' image proj etée avec au moins une estimation de phase déterminée à partir l'image acquise par une caméra ou en comparant des estimations de phase déterminées à partir des images acquises par au moins deux caméras. L'expression (13) revient alors à minimiser une différence de phases.
La relation (11) décrite précédemment devient la relation (14) suivante, en utilisant la relation (12) :
/l cos(ô9?(hi)) -sintôcpf Ch ) \
On détermine un vecteur estimé Xj (hj) , dont les coordonnées sont (y (hi),a :(hi), :(hi))T , qui correspond à une estimation du vecteur Xf (hi) et est donné par la relation (15) suivante :
données par la relation (16) suivante :
Dans le mode de réalisation illustré en figure 8 comprenant une caméra C et un projecteur P, pour une hauteur hj_ et une position d données, la phase c fC j) peut être déterminée à partir des équations de fonctionnement du projecteur P. Selon le présent mode de réalisation, la fonction de coût Cost]_ est donnée par la relation (17) suivante :
La figure 9 représente un autre mode de réalisation dans lequel le système d'inspection optique 30 comprend au moins deux caméras C]_ et C2 · Le projecteur P et/ou les caméras C]_ et C2 sont de type perspectif.
Selon un mode de réalisation, la fonction de coût Cost2 pour le système 30 est déterminée selon la relation (18) suivante :
Selon un autre mode de réalisation, le système d'inspection optique 30 comprend G caméras C]_, C2, ···, Cç , où G est un nombre entier supérieur ou égal à 3 et la fonction de coût Cost est donnée ar la relation (19) suivante :
Selon un autre mode de réalisation, le système d'inspection optique 30 comprend G caméras C]_, C2, CG , où G est un nombre entier supérieur ou égal à 3 et la fonction de coût Cost est donnée ar la relation (20) suivante :
Selon un mode de réalisation dans lequel le système d'inspection 30 comprend au moins deux caméras C]_, C2, la fonction de coût est déterminée en comparant directement les images fournies par au moins deux caméras différentes. L'expression (13) revient alors à minimiser une différence d'intensité lumineuse.
A titre d'exemple, la fonction de coût Cost5 est donnée par la relation (21) suivante : (2i) Selon un autre mode de réalisation, le système d'inspection optique 30 comprend G caméras C]_, 0,2, ···, Cç et la fonction de coût Costg est donnée par la relation (22) suivante :
2
Cost6(hi) =∑¾ || l1 k(hi)- G∑' !≡Î l!(hi) (22)
Les fonctions de coût décrites précédemment peuvent être mises en oeuvre dans le cas décrit précédemment en relation avec la figure 7, dans lequel la caméra C et le projecteur P sont de type télécentrique, lorsque la matrice de rotation R†- est différente de la matrice identité.
Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En particulier, bien que dans les modes de réalisation le projecteur soit disposé à l'aplomb du circuit électronique et que les caméras soient disposées de part et d'autre du projecteur, des caméras peuvent être disposées à l'aplomb du circuit à inspecter et des projecteurs peuvent être disposés de part et d'autre de la caméra. En outre, bien qu'un système d'inspection optique ait été décrit pour l'inspection de circuits électroniques, il est clair que le système d'inspection optique peut être utilisé pour l'inspection d'autres objets.

Claims

REVENDICATIONS
1. Procédé de détermination d'images tridimensionnelles d'un objet (Card) , comprenant :
la projection d'un affichage sur l'objet par un projecteur (P) ;
l'acquisition de plusieurs images bidimensionnelles de l'objet par au moins un premier capteur d'images (C ; C]_) , un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le capteur d'images étant réalisé pendant les acquisitions des images, la durée entre deux acquisitions successives d'images étant comprise entre 10 ms et 250 ms, la vitesse du déplacement relatif étant comprise entre 20 mm/s et 200 mm/s ; et
la détermination de la hauteur de chaque point de l'objet comme correspondant à un extrémum d'une fonction obtenue à partir des images bidimensionnelles acquises.
2. Procédé selon la revendication 1, dans lequel le projecteur et/ou le premier capteur d'images sont de type perspectif .
3. Procédé selon la revendication 1 ou 2, dans lequel l'affichage projeté est identique lors de l'acquisition de chaque image bidimensionnelle .
4. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel l'affichage comprend des franges.
5. Procédé selon l'une quelconque des revendications 1 à 4, dans lequel un déplacement relatif de l'objet (Card) par rapport à l'ensemble comprenant le projecteur (P) et le capteur d'images (C) est réalisé lors de l'acquisition d'au moins l'une des images bidimensionnelles.
6. Procédé selon la revendication 5, dans lequel un déplacement relatif de l'objet (Card) par rapport à l'ensemble comprenant le projecteur (P) et le capteur d'images (C) est réalisé lors de l'acquisition de chaque image bidimensionnelle.
7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel le déplacement relatif est accéléré entre les acquisitions des deux images d'au moins une paire d'images bidimensionnelles successives.
8. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel la vitesse du déplacement relatif (Card) est constante à 10 % près.
9. Procédé selon l'une quelconque des revendications 1 à 8, comprenant l'acquisition de plusieurs images bidimen¬ sionnelles de l'objet par au moins un deuxième capteur d'images (C2) , la hauteur de chaque point de l'objet correspondant à un extrémum d'une fonction obtenue à partir des images acquises par les premier et deuxième capteurs d'images.
10. Système de détermination d'images tridimensionnelles d'un objet (Card) , comprenant :
un projecteur (P) adapté à projeter un affichage sur l'objet ;
un premier capteur d'images (C) adapté à acquérir plusieurs images bidimensionnelles de l'objet, la durée entre deux acquisitions successives d'images étant comprise entre 10 ms et 250 ms ;
un convoyeur (12) adapté à réaliser un déplacement relatif de l'objet par rapport à l'ensemble comprenant le projecteur et le premier capteur d'images lors des acquisitions successives d'images bidimensionnelles, la vitesse du dépla¬ cement relatif étant comprise entre 20 mm/s et 200 mm/s ; et
des moyens de traitement (16) adaptés à déterminer la hauteur de chaque point de l'objet comme correspondant à un extrémum d'une fonction obtenue à partir des images bidimensionnelles acquises.
11. Système selon la revendication 10, dans lequel le projecteur et/ou le capteur d'images sont de type perspectif.
EP14705849.9A 2013-01-31 2014-01-30 Systeme de determination d'une image tridimensionnelle d'un circuit electronique Withdrawn EP2951526A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1350813A FR3001564B1 (fr) 2013-01-31 2013-01-31 Systeme de determination d'une image tridimensionnelle d'un circuit electronique
PCT/FR2014/050168 WO2014118469A1 (fr) 2013-01-31 2014-01-30 Systeme de determination d'une image tridimensionnelle d'un circuit electronique

Publications (1)

Publication Number Publication Date
EP2951526A1 true EP2951526A1 (fr) 2015-12-09

Family

ID=48521153

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14705849.9A Withdrawn EP2951526A1 (fr) 2013-01-31 2014-01-30 Systeme de determination d'une image tridimensionnelle d'un circuit electronique

Country Status (6)

Country Link
US (1) US20150365651A1 (fr)
EP (1) EP2951526A1 (fr)
KR (1) KR20150111944A (fr)
CN (1) CN105283732A (fr)
FR (1) FR3001564B1 (fr)
WO (1) WO2014118469A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017129737A1 (de) * 2017-12-13 2019-06-13 Hauni Maschinenbau Gmbh Vorrichtung zur berührungslosen, optischen 3D-Erfassung einer Stirnfläche eines sich queraxial bewegenden, stabförmigen Artikels der tabakverarbeitenden Industrie
FR3096126B1 (fr) * 2019-05-15 2021-04-23 Vit Procede d'inspection optique d'un objet

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795200B1 (en) * 2000-11-13 2004-09-21 Point Grey Research Inc. Method and system for dimensioning boxes or other cuboid objects
DE102009043823A1 (de) * 2008-08-28 2010-07-29 Werth Messtechnik Gmbh Verfahren und Anordnung zum Bestimmen von Strukturen oder Geometrien eines Messobjektes
US20150054922A1 (en) * 2009-06-17 2015-02-26 3Shape A/S Focus scanning apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956134A (en) * 1997-07-11 1999-09-21 Semiconductor Technologies & Instruments, Inc. Inspection system and method for leads of semiconductor devices
US6661523B1 (en) * 1998-11-23 2003-12-09 Inray Ltd. Method for determining and designing optical elements
US6449048B1 (en) * 2000-05-11 2002-09-10 Veeco Instruments, Inc. Lateral-scanning interferometer with tilted optical axis
JP3878023B2 (ja) * 2002-02-01 2007-02-07 シーケーディ株式会社 三次元計測装置
US8224064B1 (en) * 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
CA2435935A1 (fr) * 2003-07-24 2005-01-24 Guylain Lemelin Numeriseur tridimensionnel optique a zone de non-ambiguite elargie
WO2005083352A1 (fr) * 2004-02-11 2005-09-09 Filmetrics, Inc. Procede et appareil de cartographie d'epaisseur a grande vitesse pour couches minces configurees
FR2868156B1 (fr) * 2004-03-25 2006-11-10 Airbus France Sas Procede et dispositif de controle non destructif de structure et de caracterisation des endommagements de structure par le principe de moire d'ombre
US20060003111A1 (en) * 2004-07-01 2006-01-05 Tan Tseng System and method for creating a 3D figurine using 2D and 3D image capture
JP2006300676A (ja) * 2005-04-19 2006-11-02 Nikon Corp 平坦度異常検出方法及び露光装置
JP4230525B2 (ja) * 2005-05-12 2009-02-25 有限会社テクノドリーム二十一 ３次元形状計測方法およびその装置
US7545512B2 (en) * 2006-01-26 2009-06-09 Koh Young Technology Inc. Method for automated measurement of three-dimensional shape of circuit boards
GB2464453B8 (en) * 2008-10-10 2016-09-14 Toshiba Res Europ Ltd An imaging system and method
GB0900705D0 (en) * 2009-01-16 2009-03-04 Univ Huddersfield Surface measurement system
WO2011072175A2 (fr) * 2009-12-09 2011-06-16 Applied Precision, Inc. Procédé et système pour réalisation d'image de microscopie à éclairage structuré en trois dimensions rapide
TWI407075B (zh) * 2010-03-16 2013-09-01 Test Research Inc 量測立體物件之系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795200B1 (en) * 2000-11-13 2004-09-21 Point Grey Research Inc. Method and system for dimensioning boxes or other cuboid objects
DE102009043823A1 (de) * 2008-08-28 2010-07-29 Werth Messtechnik Gmbh Verfahren und Anordnung zum Bestimmen von Strukturen oder Geometrien eines Messobjektes
US20150054922A1 (en) * 2009-06-17 2015-02-26 3Shape A/S Focus scanning apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2014118469A1 *

Also Published As

Publication number Publication date
US20150365651A1 (en) 2015-12-17
KR20150111944A (ko) 2015-10-06
WO2014118469A1 (fr) 2014-08-07
CN105283732A (zh) 2016-01-27
FR3001564A1 (fr) 2014-08-01
FR3001564B1 (fr) 2016-05-27

Similar Documents

Publication Publication Date Title
US10571668B2 (en) Catadioptric projector systems, devices, and methods
CN107735645B (zh) 三维形状测量装置
CN110914634B (zh) 全息干涉度量的方法及系统
US10223575B2 (en) Measurement apparatus for measuring shape of object, system and method for producing article
FR2963093A1 (fr) Installation d'inspection optique 3d de circuits electroniques
CN111649691A (zh) 基于单像素探测器的数字条纹投影三维成像系统及方法
US20230199324A1 (en) Projection unit and photographing apparatus comprising same projection unit, processor, and imaging device
CN114127617A (zh) 用于具有高精度和实时对象跟踪的3d姿态测量的系统和方法
WO2014167248A1 (fr) Systeme et procede d'inspection optique de circuits electroniques
CH699122B1 (fr) Système et procédé pour l’inspection de composants de semi-conducteurs.
EP2413132A1 (fr) Installation d'inspection optique de circuits électroniques
EP2951526A1 (fr) Systeme de determination d'une image tridimensionnelle d'un circuit electronique
EP3073441B1 (fr) Procédé de correction d'une image d'au moins un objet présenté à distance devant un imageur et éclairé par un système d'éclairage et système de prise de vues pour la mise en oeuvre dudit procédé
WO2018100267A1 (fr) Système et procède de positionnement et d'inspection optique d'un objet
CA2198022C (fr) Procede de correlation des mesures tridimensionnelles realisees par des systemes d'acquisition d'images et installation pour sa mise en oeuvre
WO2014020289A1 (fr) Procede et dispositif d'identification de materiaux dans une scene
WO2015135952A1 (fr) Procede de determination d'images tridimensionnelles d'un objet
FR3081593A1 (fr) Procede d'etalonnage d'une camera d'un systeme de determination d'images tridimensionnelles et mire d'etalonnage
WO2020229780A1 (fr) Procédé et système d'inspection optique d'un objet
EP3803792A1 (fr) Systeme de determination d'images tridimensionnelles
EP3350581B1 (fr) Mire d'etalonnage ou de test
JP6941350B2 (ja) 三次元形状推定システム、三次元形状推定装置、三次元形状推定方法及びプログラム
CN116490745A (zh) 三维测量系统
KR20210000684A (ko) 정반사성 표면들에 대한 헤테로다인 광학 위상 측정 디바이스
JP2020122673A (ja) 基板検査装置、基板処理装置、基板検査方法および基板処理方法

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150716

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20170510

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170921