EP3494386A1 - Procede d'inspection optique d'un objet - Google Patents

Procede d'inspection optique d'un objet

Info

Publication number
EP3494386A1
EP3494386A1 EP17748541.4A EP17748541A EP3494386A1 EP 3494386 A1 EP3494386 A1 EP 3494386A1 EP 17748541 A EP17748541 A EP 17748541A EP 3494386 A1 EP3494386 A1 EP 3494386A1
Authority
EP
European Patent Office
Prior art keywords
dimensional image
window
determining
image
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17748541.4A
Other languages
German (de)
English (en)
Inventor
Romain Roux
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIT SAS
Original Assignee
VIT SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIT SAS filed Critical VIT SAS
Publication of EP3494386A1 publication Critical patent/EP3494386A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision

Definitions

  • the present invention generally relates to optical inspection installations comprising in particular three-dimensional image determination systems intended for online analysis of objects, in particular electronic circuits.
  • the invention more particularly relates to optical inspection installations comprising digital cameras.
  • An optical inspection facility is generally used to check the condition of an object, such as an electronic circuit, before it is placed on the market.
  • the optical inspection facility can provide different types of object images that are scanned automatically by computer and / or by an operator for potential defects.
  • An example image is a two-dimensional image, or 2D image, in color of the object, for example a top view of the object.
  • Another example of an image is a three-dimensional image of the object, or 3D image.
  • a 3D image of an object corresponds to a cloud of points, for example several million points, of at least one part of the outer surface of the object in which each point of the surface is marked by its coordinates determined with respect to a three-dimensional space mark.
  • Another example of an image is a depth map, also called "z-map", which can be represented by a 2D image called "heat map” in which the color of each pixel depends on the height of the corresponding point of the image. the object.
  • the optical inspection installation generally comprises a processing module adapted to perform an automatic analysis of the images of the object for possible defects. This is for example done by comparing the image of the object to a reference image.
  • a processing module adapted to perform an automatic analysis of the images of the object for possible defects. This is for example done by comparing the image of the object to a reference image.
  • the images of the electronic circuit can be used in particular to inspect the good state of the welds of the electronic components on the printed circuit.
  • a confirmation may be requested from an operator.
  • an image or several images of the object can be displayed on a display screen, including the 3D image of the object, the 2D color image of the object or the depth map of the object.
  • the processing module can indicate to the operator on each image displayed the part of the image where a potential fault is detected, it can be difficult for
  • the operator to validate or not the presence of defects by the mere observation of the image. Additional operations, for example the determination of sectional views of the object, may then be necessary for the operator to validate the presence of defects or not.
  • a disadvantage is that the duration of the optical inspection process is increased.
  • An object of an embodiment is to overcome at least in part the disadvantages of inspection methods optical and optical inspection facilities previously described.
  • Another object of an embodiment is to assist an operator during an optical inspection process of an object.
  • Another object of an embodiment is that the duration of the optical inspection method of the object is reduced.
  • an embodiment provides a method of assisting the optical inspection of an object comprising the steps of:
  • the method comprises displaying the second three-dimensional image on a screen.
  • the method comprises the validation or the non-validation by an operator of the potential defect by means of a man / machine interface.
  • the first depth map is a color map comprising a set of pixels, each pixel having a color that depends on the height of the point of the first three-dimensional image corresponding to said pixel.
  • the first depth map uses a color range including a first color for the maximum value of the height of the points of the first three-dimensional image in the first window and a second color for the minimum value of the height of the points of the first three-dimensional image in the first window.
  • the first and second colors are determined by an operator.
  • the first two-dimensional image is a top view of the object.
  • the method further comprises the following steps:
  • the method comprises successively:
  • the third windows are determined automatically or by an operator.
  • a potential defect is detected when the height of at least one point of the first three-dimensional image in the third window does not belong to an interval of heights.
  • the object is an electronic circuit.
  • An embodiment also provides an optical inspection facility of an object comprising a system for determining a first three-dimensional image of the object and a first two-dimensional color or greyscale image of the object, the installation further comprising a processing module adapted to determine at least one potential defect of the object from the first three-dimensional image and / or the first two-dimensional image, determining a first window on the first two-dimensional image surrounding the potential defect, determining a second two-dimensional image corresponding to the first two-dimensional image outside the first window and corresponding to a depth map of the object in the first window and determining a second three-dimensional image corresponding to the first three-dimensional image on which the second two-dimensional image is applied.
  • the installation comprises at least one camera and a projector adapted to project structured images on the object.
  • the installation further comprises a display screen for displaying the third three-dimensional image.
  • FIG. 1 represents, partially and schematically, an embodiment of an optical circuit inspection installation of electronic circuits
  • FIG. 2 is a block diagram of an embodiment of an optical inspection method implemented by the installation of Figure 1;
  • FIG. 3 is a partial and schematic representation of an example of a three-dimensional image of an electronic circuit;
  • FIG. 4 is a detailed view of the three-dimensional image of FIG. 3 after modification during the implementation of the optical inspection method illustrated in FIG. 2.
  • FIG. 1 shows, very schematically, an optical inspection facility 10 of electronic circuits.
  • the term "electronic circuit” is understood to mean either a set of electronic components interconnected via a support, the only support used to make this interconnection without the electronic components or the support without the electronic components but provided with means for fixing the electronic components.
  • the support is a printed circuit and the electronic components are fixed to the printed circuit by solder joints obtained by heating soldering paste blocks.
  • the term “electronic circuit” means the printed circuit alone (without electronic components or soldering paste blocks), the printed circuit provided with solder paste blocks and without electronic components, the printed circuit fitted with the dough blocks welding and electronic components before the heating operation or the printed circuit provided with electronic components attached to the printed circuit by solder joints.
  • Each electronic circuit Card is placed on a conveyor 12, for example a flat conveyor.
  • the conveyor 12 is able to move the card circuit in a direction X, for example a horizontal direction to bring it into a region of the optical inspection facility, called the scene S, in which images of the circuit card can be acquired.
  • the direction of movement of the circuit Card may be a horizontal direction perpendicular to the direction X shown in Figure 1.
  • the conveyor 12 may comprise a set of belts and rollers driven by an electric motor
  • the conveyor 12 may comprise a linear motor moving a carriage on which the electronic circuit Card rests.
  • the circuit Card corresponds, for example, to a rectangular card having a length and a width ranging from 50 mm to 550 mm.
  • the optical inspection facility 10 includes a system 15 for determining a 3D image of the electronic circuit card.
  • a 3D image of an electronic circuit corresponds to a cloud of points, for example several million points, of at least a portion of the outer surface of the electronic circuit in which each point of the surface is marked by its coordinates (x, y, z) determined with respect to a three-dimensional space mark R (Ox, Oy, Oz).
  • the plane (Ox, Oy) corresponds to a reference plane of the optical inspection installation 10, for example parallel to the plane containing the upper face of the printed circuit.
  • the direction (Oz) is perpendicular to the plane (Ox, Oy).
  • a 2D image is a digital image acquired by a camera and corresponding to a matrix of pixels.
  • the term image refers to a two-dimensional image.
  • the system 15 is adapted to determine a 3D image of the card circuit by image projection, for example fringes, on the circuit to be inspected.
  • the system 15 may comprise an image projection device P comprising at least one projector, a single projector P being represented in FIG. 1. When several projectors P are present, the projectors P may be substantially aligned in a direction perpendicular to the direction X.
  • the system 15 further comprises an image acquisition device C comprising at least one digital camera, a single camera C being shown in FIG. 1. When several cameras C are present, the cameras C may be substantially aligned.
  • the processing module 16 may comprise a computer or a microcontroller comprising a processor and a non-volatile memory. in which are stored sequences of instructions whose execution by the processor allows the processing module 16 to perform the desired functions.
  • the processing module 16 may correspond to a dedicated electronic circuit.
  • the electric motor 14 can, in addition, be controlled by the processing module 16.
  • control means of the conveyor 12, the camera C and the projector P of the optical inspection installation 10 described above are within the reach of those skilled in the art and are not described in more detail.
  • the 3D image judging system 15 is adapted to determine a 3D image of the Card circuit by projecting images, for example fringes, onto the circuit to be inspected.
  • the camera C and the projector P are fixed during the acquisition of the 2D images used for the determination of the 3D image and the electronic circuit Card is moved relative to the camera C and the projector P by way of the conveyor 12.
  • the electronic circuit Card can be fixed during the acquisition of the 2D images used for the determination of the 3D image and the camera C and the projector P are moved relative to the electronic circuit Card by any suitable conveying device.
  • the system 15 for determining a 3D image comprises a laser scanner.
  • the optical inspection facility 10 includes a display screen 18 connected to the processing module 16 and on which the processing module 16 is adapted to display 2D images or a representation of a 3D image.
  • the optical inspection installation 10 comprises a man / machine interface 20 connected to the processing module 16 and comprising for example a keyboard, a touch screen, possibly coinciding with the display screen 18, a mouse, a microphone and / or command buttons.
  • a man / machine interface 20 connected to the processing module 16 and comprising for example a keyboard, a touch screen, possibly coinciding with the display screen 18, a mouse, a microphone and / or command buttons.
  • An operator can transmit instructions to the processing module 16 by means of the interface 20.
  • the optical inspection facility 10 is further adapted to provide a 2D image of the electronic circuit Card, hereinafter called a texture image, for example a top view of the electronic circuit Card.
  • a texture image for example a top view of the electronic circuit Card.
  • This view may correspond to an image acquired by the camera C or by another camera, not shown, or to a combination of several two-dimensional images acquired by the camera C or by several cameras. It can be a grayscale or color image of the electronic circuit card.
  • the texture image corresponds to a matrix of pixels, each pixel being defined by a numerical value corresponding to a gray level or a color code which depends on the color of the corresponding point of the electronic circuit Card.
  • the optical inspection facility 10 is further adapted to provide a depth map of at least a portion of the electronic circuit card.
  • the depth map is a 2D image, for example a top view of the electronic circuit card, representing a heat card of the electronic circuit card wherein the color of each pixel of the image indicated by the coordinates (x, y) depends on the z-coordinate of the point of the 3D image of the electronic circuit Card at the (x, y) coordinates.
  • the colors of the pixels in the depth map are chosen from a color chart that maps a single color to each value in the z coordinate.
  • the heat map can be monochrome, for example with colors ranging from black to white.
  • a specific color gradient may be used, for example, colors successively passing through blue, cyan, green, yellow and red.
  • the color of the heat map corresponding to the maximum value of the z-coordinate and the minimum color is called the maximum color, the color of the heat map corresponding to the minimum value of the z-coordinate.
  • These minimum and maximum colors can be defined by the operator, for example based on manufacturing tolerances.
  • the colors of the depth map can be coded in the RGB coding computer system. In the RGB encoding, each color is coded by three values associated with the primary colors, that is, red, green, and blue. For each primary color, the value is expressed in an interval between 0 and the maximum, for example 1, 100%, or 255.
  • FIG. 2 represents in the form of a block diagram an embodiment of a method of optical inspection of an electronic circuit implemented by the optical inspection installation 10 of FIG. 1.
  • the method comprises successive successive steps 30, 32, 34, 36, 38 and 40.
  • step 30 the electronic circuit Card to be inspected is placed on the scene S of the optical inspection installation 10, for example by means of the conveyor 12.
  • the optical inspection facility 10 determines at least one 3D image of the electronic circuit Card.
  • the optical inspection facility 10 may further determine a texture image of the Card circuit and apply the texture image to the 3D image to display a color 3D image on 18.
  • the application of the texture image on the 3D image can be achieved by implementing a known virtual view synthesis algorithm.
  • the first family includes algorithms called "ray tracing", which are more expensive in calculations but allow to obtain more realistic virtual views.
  • the second family includes algorithms called “rasterization”, which are less expensive in calculations but more approximate. Examples of such algorithms are described in the book “Fundamentals of Computer Graphics” by Peter Shirley (Tayler & Francis Editions, 2005, ISBN 1568812698), especially chapters 3 and 10.
  • FIG. 3 is a perspective view, partial and schematic, of an example of a three-dimensional image I3D of an electronic circuit such that it can be displayed on the screen 18.
  • the image I3D represents two integrated circuits 42 comprising tabs 44 fixed to the upper face of a printed circuit 46 by solder pads 48.
  • the processing module 16 is adapted to detect the presence of potential defects on the electronic circuit card by an analysis of the 3D image and / or acquired 2D images of the electronic circuit card.
  • the processing module 16 can implement any type of algorithm for the detection of potential defects.
  • the processing module 16 can compare a 3D image of the electronic circuit on which solder paste has been deposited to an image 3D determined in advance of the printed circuit in the absence of solder paste, for example to obtain a 3D image representative of the differences between the 3D images of the printed circuit with and without solder paste.
  • the analysis of this 3D comparison image makes it possible in particular to determine whether the welds of the electronic components are satisfactory.
  • the processing module 16 determines, from the 3D image of the electronic circuit Card, a modified 3D image on which is highlighted at least one area where a potential fault has been detected. According to one embodiment, the processing module 16 determines for each potential fault a window in the texture image which contains the area where the potential fault is detected. Each window may correspond to a circle or to any polygonal shape, for example a square or a rectangle. The window is smaller than the dimensions of the texture image. According to one embodiment, each window contains less than 20% of the pixels of the texture image. Each window can be determined as the set of pixels around the area where a potential fault has been detected and for which the variation of the z-coordinate of the points of the window varies within a predetermined range.
  • the operator manually defines the windows on which the processing module 16 must perform specific tests also defined by the operator.
  • An example of a test is to check the inclusion of the height of a pixel of the z-map in a height range defined by the operator, for example based on manufacturing tolerances.
  • This automatic or supervised definition of windows takes place during a so-called programming phase of a new electronic card reference, of a new product.
  • a program consists of the numeric description of a set of windows associated with processes. These treatments may for example be methods for determining histograms, inclusion tests in an envelope along a section or profile, measurements of similarity between the image resulting from the acquisition system and a reference image. .
  • These processes (and therefore the definition of manufacturing tolerances) can then be stored in a "database” or "component library” to accelerate this programming step for future products on components already processed but also to reflect any modification of the processing library on existing programs.
  • the processing module 16 can further determine at least one window at a location where the structure of the electronic circuit is similar to that where the fault has been detected but no fault has been detected.
  • the processing module 16 determines a window at each location where the structure of the electronic circuit is similar to that where the fault has been detected but where no fault has been detected.
  • the window defines a sub-range of coordinates (x, y) corresponding to pixels of the texture image and points of the 3D image.
  • These windows can also be derived from a manual preset made by the operator who can position them for example on the legs of a component (for the detection of the legs not connected to the rest of the electronic card) or on the top of the box a component (for the detection of a coplanarity fault between the component and the rest of the electronic card).
  • the processing module 16 determines a local depth map. For this purpose, the processing module 16 determines the minimum and maximum values that the z-coordinate of the 3D image takes for the coordinate points (x, y) contained in the window.
  • the local maximum value of the z coordinate in the window is generally less than the maximum value of the z coordinate on the entire 3D image, called the overall maximum value.
  • the local minimum value of the z coordinate in the window is usually greater than the minimum value of the z coordinate on the entire 3D image, called the global minimum value.
  • the processing module 16 determines a local heat map by associating the maximum color with the local maximum value of the z-coordinate on the window and associating the minimum color with the minimum value of the z coordinate on the window.
  • the processing module 16 determines a new 2D image which corresponds in each window to a local depth map and which corresponds outside the windows to the texture image.
  • the processing module 16 applies the new 2D image to the 3D image.
  • the 3D image thus modified is then displayed on the screen 18.
  • the application of the new 2D image on the 3D image can be performed by the virtual view synthesis algorithms described above.
  • the colors of the heat map corresponding to the z-map can be set for each pixel on the manufacturing tolerances in order to encode for example the character " acceptable "of the electronic card inspected with the usual colors of pass or fail on a test, namely the green color when the z coordinate is included in the tolerance interval, orange when the z coordinate is close to one of the limit of the tolerance range (for example less than 50 ⁇ m from one of the terminals) and red when the z-coordinate is no longer included in the manufacturing tolerances.
  • FIG. 4 represents an enlarged detail view of an example of modified 3D image I3D 'obtained from the image I3D of FIG. 3.
  • a first window F1 located at a solder pad 48 where a potential fault has been detected and is represented by dotted lines a second window F2 located at a weld pad 48 where there has been no detection of 'failure .
  • step 38 for each potential fault detected by the processing module 16, the operator determines whether the electronic circuit Card is accepted or refused, for example by means of the interface 20.
  • the depth card applied locally to 1 3D image in each window where a potential fault is detected allows an operator to quickly determine the actual presence or absence of a fault in this window. Indeed, as the local depth map is applied to a small part of the image 3D, the color range of the local depth map corresponds to a range of variations of the z coordinate that is strictly less than the total range of variations of the z coordinate over the entire 3D image. As a result, the variations of the z coordinate are highlighted by the local depth map. The operator can thus easily determine whether variations of the z coordinate in the window where a potential fault has been detected are normal or not.
  • This detection can be facilitated when at least two local depth maps are applied to the 3D image, the first local depth map being in a first window where a potential fault has been detected and the second local depth map being located. in a second window where there has not been detection of a potential fault but where the structure of the electronic circuit is similar to that in the first window.
  • the operator can then easily determine if a defect is actually present by visually comparing the two local depth maps.
  • This detection can also be facilitated when the heat card encodes the distance between a pixel of the processing window and the tolerances predefined by the operator.
  • step 40 the electronic circuit Card is removed from the scene S.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un Procédé d'assistance à l'inspection optique d'un objet (46) comprenant les étapes suivantes : détermination d'une première image tridimensionnelle de l'objet; détermination d'une première image bidimensionnelle en couleur ou en niveaux de gris de l'objet; détermination d'au moins une première fenêtre (Fl) sur la première image bidimensionnelle entourant un défaut potentiel (44, 48) de l'objet à partir de la première image tridimensionnelle et/ou de la première image bidimensionnelle; détermination d'une deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et correspondant à une première carte de profondeur de l'objet dans la première fenêtre; et détermination d'une deuxième image tridimensionnelle (I3D') correspondant à la première image tridimensionnelle sur laquelle est appliquée la deuxième image bidimensionnelle.

Description

PROCEDE D ' INSPECTION OPTIQUE D ' UN OBJET
La présente demande de brevet revendique la priorité de la demande de brevet français FRl 6/57518 qui sera considérée comme faisant partie intégrante de la présente description.
Domaine
La présente invention concerne de façon générale les installations d'inspection optique comprenant notamment des systèmes de détermination d'images tridimensionnelles destinés à l'analyse en ligne d'objets, notamment de circuits électroniques. L'invention concerne plus particulièrement les installations d'inspection optique comprenant des caméras numériques.
Exposé de 1 ' art antérieur
Une installation d'inspection optique est généralement utilisée pour vérifier le bon état d'un objet, par exemple un circuit électronique, avant sa mise sur le marché. L'installation d'inspection optique peut fournir différents types d'images de l'objet qui sont analysées de façon automatique par ordinateur et/ou par un opérateur pour rechercher d'éventuels défauts. Un exemple d'image est une image bidimensionnelle, ou image 2D, en couleur de l'objet, par exemple une vue de dessus de l'objet. Un autre exemple d'image est une image tridimensionnelle de l'objet, ou image 3D. Une image 3D d'un objet correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure de l'objet dans lequel chaque point de la surface est repéré par ses coordonnées déterminées par rapport à un repère d'espace à trois dimensions. Un autre exemple d'image est une carte de profondeur, également appelée "z-map", qui peut être représentée par une image 2D appelée alors « carte de chaleur » dans laquelle la couleur de chaque pixel dépend de la hauteur du point correspondant de l'objet.
L'installation d'inspection optique comprend généralement un module de traitement adapté à réaliser une analyse automatique des images de l'objet pour recherche d'éventuels défauts. Ceci est par exemple effectué en comparant l'image de l'objet à une image de référence. Dans le cas d'un circuit électronique comprenant, par exemple, un circuit imprimé sur lequel sont fixés des composants électroniques, les images du circuit électronique peuvent être utilisées notamment pour inspecter le bon état des soudures des composants électroniques sur le circuit imprimé.
Dans certains cas, une confirmation peut être demandée à un opérateur. Pour assister l'opérateur, une image ou plusieurs images de l'objet peuvent être affichées sur un écran d'affichage, notamment l'image 3D de l'objet, l'image 2D en couleur de l'objet ou la carte de profondeur de l'objet.
Toutefois, même si le module de traitement peut indiquer à l'opérateur sur chaque image affichée la partie de l'image où un défaut potentiel est détecté, il peut être difficile pour
1 ' opérateur de valider ou non la présence de défauts par la seule observation de l'image. Des opérations supplémentaires, par exemple la détermination de vues en coupe de l'objet, peuvent alors être nécessaire pour que l'opérateur valide ou non la présence de défauts. Un inconvénient est que la durée du procédé d'inspection optique est augmentée.
Résumé
Un objet d'un mode de réalisation est de pallier au moins en partie les inconvénients des procédés d'inspection optique et les installations d'inspection optique décrits précédemment .
Un autre objet d'un mode de réalisation est d'assister un opérateur au cours d'un procédé d'inspection optique d'un objet.
Un autre objet d'un mode de réalisation est que la durée du procédé d'inspection optique de l'objet est réduite.
Ainsi, un mode de réalisation prévoit un procédé d'assistance à l'inspection optique d'un objet comprenant les étapes suivantes :
détermination d'une première image tridimensionnelle de
1 ' obj et ;
détermination d'une première image bidimensionnelle en couleurs ou en niveaux de gris de l'objet ;
détermination d'au moins une première fenêtre sur la première image bidimensionnelle entourant un défaut potentiel de l'objet à partir de la première image tridimensionnelle et/ou de la première image bidimensionnelle ;
détermination d'une deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et correspondant à une première carte de profondeur de l'objet dans la première fenêtre ; et
détermination d'une deuxième image tridimensionnelle correspondant à la première image tridimensionnelle sur laquelle est appliquée la deuxième image bidimensionnelle.
Selon un mode de réalisation, le procédé comprend l'affichage de la deuxième image tridimensionnelle sur un écran.
Selon un mode de réalisation, le procédé comprend la validation ou la non-validation par un opérateur du défaut potentiel au moyen d'une interface homme/machine .
Selon un mode de réalisation, la première carte de profondeur est une carte de couleurs comprenant un ensemble de pixels, chaque pixel ayant une couleur qui dépend de la hauteur du point de la première image tridimensionnelle correspondant audit pixel. Selon un mode de réalisation, la première carte de profondeur met en oeuvre une plage de couleurs dont une première couleur pour la valeur maximale de la hauteur des points de la première image tridimensionnelle dans la première fenêtre et une deuxième couleur pour la valeur minimale de la hauteur des points de la première image tridimensionnelle dans la première fenêtre.
Selon un mode de réalisation, les première et deuxième couleurs sont déterminées par un opérateur.
Selon un mode de réalisation, la première image bidimensionnelle est une vue de dessus de l'objet.
Selon un mode de réalisation, le procédé comprend en outre les étapes suivantes :
détermination d'une deuxième fenêtre sur la première image bidimensionnelle entourant une partie de l'objet ayant la même forme que dans la première fenêtre en l'absence du défaut potentiel ; et
détermination de la deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et de la deuxième fenêtre et correspondant à la première carte de profondeur de l'objet dans la première fenêtre et à une deuxième carte de profondeur de l'objet dans la deuxième fenêtre .
Selon un mode de réalisation, le procédé comprend successivement :
la détermination de troisièmes fenêtres sur la première image bidimensionnelle ; et
la recherche du défaut potentiel dans chaque troisième fenêtre, la première fenêtre correspondant à la troisième fenêtre dans laquelle le défaut potentiel a été détecté.
Selon un mode de réalisation, les troisièmes fenêtres sont déterminées automatiquement ou par un opérateur.
Selon un mode de réalisation, un défaut potentiel est détecté lorsque la hauteur d'au moins un point de la première image tridimensionnelle dans la troisième fenêtre n'appartient pas à un intervalle de hauteurs. Selon un mode de réalisation, l'objet est un circuit électronique .
Un mode de réalisation prévoit également une installation d'inspection optique d'un objet comprenant un système de détermination d'une première image tridimensionnelle de l'objet et d'une première image bidimensionnelle en couleurs ou en niveaux de gris de l'objet, l'installation comprenant, en outre, un module de traitement adapté à déterminer au moins un défaut potentiel de l'objet à partir de la première image tridimensionnelle et/ou de la première image bidimensionnelle, déterminer une première fenêtre sur la première image bidimensionnelle entourant le défaut potentiel, déterminer une deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et correspond à une carte de profondeur de l'objet dans la première fenêtre et déterminer une deuxième image tridimensionnelle correspondant à la première image tridimensionnelle sur laquelle est appliquée la deuxième image bidimensionnelle .
Selon un mode de réalisation, l'installation comprend au moins une caméra et un projecteur adapté à projeter des images structurées sur l'objet.
Selon un mode de réalisation, l'installation comprend, en outre, un écran d'affichage pour l'affichage de la troisième image tridimensionnelle.
Brève description des dessins
Ces caractéristiques et avantages, ainsi que d'autres, seront exposés en détail dans la description suivante de modes de réalisation particuliers faite à titre non limitatif en relation avec les figures jointes parmi lesquelles :
la figure 1 représente, de façon partielle et schématique, un mode de réalisation d'une installation d'inspection optique de circuits électroniques ;
la figure 2 est un schéma-blocs d'un mode de réalisation d'un procédé d'inspection optique mis en oeuvre par l'installation de la figure 1 ; la figure 3 représente, de façon partielle et schématique, un exemple d'une image tridimensionnelle d'un circuit électronique ; et
la figure 4 est une vue de détail de l'image tridimensionnelle de la figure 3 après modification lors de la mise en oeuvre du procédé d'inspection optique illustré en figure 2.
Description détaillée
Par souci de clarté, de mêmes éléments ont été désignés par de mêmes références aux différentes figures et, de plus, les diverses figures ne sont pas tracées à l'échelle. Sauf précision contraire, les expressions "approximativement", "sensiblement", et "de l'ordre de" signifient à 10 % près, de préférence à 5 % près. En outre, seuls les éléments utiles à la compréhension de la présente description ont été représentés et sont décrits. Dans la suite de la description, on appelle image bidimensionnelle en couleurs ou en niveaux de gris d'un objet une image bidimensionnelle de l'objet représentative de la couleur ou du niveau de gris de l'objet.
La figure 1 représente, de façon très schématique, une installation d'inspection optique 10 de circuits électroniques. On entend par circuit électronique indifféremment un ensemble de composants électroniques interconnectés par l'intermédiaire d'un support, le support seul utilisé pour réaliser cette interconnexion sans les composants électroniques ou le support sans les composants électroniques mais muni de moyens de fixation des composants électroniques. A titre d'exemple, le support est un circuit imprimé et les composants électroniques sont fixés au circuit imprimé par joints de soudure obtenus par chauffage de blocs de pâte à souder. Dans ce cas, on entend par circuit électronique indifféremment le circuit imprimé seul (sans composants électroniques, ni blocs de pâte à souder) , le circuit imprimé muni des blocs de pâte à souder et sans composants électroniques, le circuit imprimé muni des blocs de pâte à souder et des composants électroniques avant l'opération de chauffage ou le circuit imprimé muni des composants électroniques fixés au circuit imprimé par des joints de soudure.
Chaque circuit électronique Card est placé sur un convoyeur 12, par exemple un convoyeur plan. Le convoyeur 12 est susceptible de déplacer le circuit Card selon une direction X, par exemple une direction horizontale pour l'amener dans une région de l'installation d'inspection optique, appelée la scène S, dans laquelle des images du circuit Card peuvent être acquises. A titre de variante, la direction de déplacement du circuit Card peut être une direction horizontale perpendiculaire à la direction X représentée en figure 1. A titre d'exemple, le convoyeur 12 peut comprendre un ensemble de courroies et de galets entraînés par un moteur électrique tournant 14. A titre de variante, le convoyeur 12 peut comprendre un moteur linéaire déplaçant un charriot sur lequel repose le circuit électronique Card. Le circuit Card correspond, par exemple, à une carte rectangulaire ayant une longueur et une largeur variant de 50 mm à 550 mm.
L'installation d'inspection optique 10 comprend un système 15 de détermination d'une image 3D du circuit électronique Card. Une image 3D d'un circuit électronique correspond à un nuage de points, par exemple plusieurs millions de points, d'au moins une partie de la surface extérieure du circuit électronique dans lequel chaque point de la surface est repéré par ses coordonnées (x, y, z) déterminées par rapport à un repère d'espace à trois dimensions R (Ox, Oy, Oz) . A titre d'exemple, le plan (Ox, Oy) correspond à un plan de référence de l'installation d'inspection optique 10, par exemple parallèle au plan contenant la face supérieure du circuit imprimé. La direction (Oz) est perpendiculaire au plan (Ox, Oy) . Dans la suite de la description, on appelle image 2D une image numérique acquise par une caméra et correspondant à une matrice de pixels . Dans la suite de la description, sauf indication contraire, le terme image fait référence à une image bidimensionnelle .
Selon un mode de réalisation, le système 15 est adapté à déterminer une image 3D du circuit Card par projection d'images, par exemple des franges, sur le circuit à inspecter. Le système 15 peut comprendre un dispositif de projection d'images P comprenant au moins un projecteur, un seul projecteur P étant représenté en figure 1. Lorsque plusieurs projecteurs P sont présents, les projecteurs P peuvent être sensiblement alignés selon une direction perpendiculaire à la direction X. Le système 15 comporte, en outre, un dispositif d'acquisition d'images C comprenant au moins une caméra numérique, une seule caméra C étant représentée en figure 1. Lorsque plusieurs caméras C sont présentes, les caméras C peuvent être sensiblement alignées, par exemple par groupes de caméras, de préférence selon une direction perpendiculaire à la direction X et/ou être disposées de part et d'autre du projecteur ou des projecteurs P. Le projecteur P et la caméra C sont reliés à un module de traitement informatique d'images 16. Le module de traitement 16 peut comprendre un ordinateur ou un microcontrôleur comportant un processeur et une mémoire non volatile dans laquelle sont stockées des séquences d'instructions dont l'exécution par le processeur permet au module de traitement 16 de réaliser les fonctions souhaitées. A titre de variante, le module de traitement 16 peut correspondre à un circuit électronique dédié. Le moteur électrique 14 peut, en outre, être commandé par le module de traitement 16.
Les moyens de commande du convoyeur 12, de la caméra C et du projecteur P de l'installation d'inspection optique 10 décrits précédemment sont à la portée de l'homme de l'art et ne sont pas décrits plus en détails.
Dans le présent mode de réalisation, le système 15 de détermination d'une image 3D est adapté à déterminer une image 3D du circuit Card par projection d'images, par exemple des franges, sur le circuit à inspecter. Dans le présent mode de réalisation, la caméra C et le projecteur P sont fixes lors de l'acquisition des images 2D utilisées pour la détermination de l'image 3D et le circuit électronique Card est déplacé par rapport à la caméra C et au projecteur P par l'intermédiaire du convoyeur 12. A titre de variante, le circuit électronique Card peut être fixe lors de l'acquisition des images 2D utilisées pour la détermination de l'image 3D et la caméra C et le projecteur P sont déplacés par rapport au circuit électronique Card par tout dispositif de convoyage adapté.
Selon un autre mode de réalisation, le système 15 de détermination d'une image 3D comprend un scanner laser.
L'installation d'inspection optique 10 comprend un écran d'affichage 18 relié au module de traitement 16 et sur lequel le module de traitement 16 est adapté à afficher des images 2D ou une représentation d'une image 3D.
L'installation d'inspection optique 10 comprend une interface homme/machine 20 reliée au module de traitement 16 et comprenant par exemple un clavier, un écran tactile, éventuellement confondu avec l'écran d'affichage 18, une souris, un microphone et/ou des boutons de commandes. Un opérateur peut transmettre des instructions au module de traitement 16 au moyen de l'interface 20.
L'installation d'inspection optique 10 est, en outre, adaptée à fournir une image 2D du circuit électronique Card, appelée image de texture par la suite, par exemple une vue de dessus du circuit électronique Card. Cette vue peut correspondre à une image acquise par la caméra C ou par une autre caméra, non représentée, ou à une combinaison de plusieurs images bidimensionnelles acquises par la caméra C ou par plusieurs caméras. Il peut s'agir d'une image en niveaux de gris ou en couleurs du circuit électronique Card. L'image de texture correspond à une matrice de pixels, chaque pixel étant défini par une valeur numérique correspondant à un niveau de gris ou un code de couleurs qui dépend de la couleur du point correspondant du circuit électronique Card.
L'installation d'inspection optique 10 est, en outre, adaptée à fournir une carte de profondeur d'au moins une partie du circuit électronique Card. La carte de profondeur est une image 2D, par exemple une vue de dessus du circuit électronique Card, représentant une carte de chaleur du circuit électronique Card dans laquelle la couleur de chaque pixel de 1 ' image repéré par les coordonnées (x, y) dépend de la coordonnée z du point de l'image 3D du circuit électronique Card aux coordonnées (x, y). Les couleurs des pixels de la carte de profondeur sont choisies dans un nuancier de couleurs qui fait correspondre une couleur unique à chaque valeur de la coordonnée z . La carte de chaleur peut être monochrome, par exemple avec des couleurs variant du noir au blanc. De préférence, un gradient spécifique de couleurs peut être utilisé, par exemple des couleurs passant successivement par bleu, cyan, vert, jaune et rouge. Dans la suite de la description, on appelle couleur maximale la couleur de la carte de chaleur correspondant à la valeur maximale de la coordonnée z et couleur minimale la couleur de la carte de chaleur correspondant à la valeur minimale de la coordonnée z. Ces couleurs minimales et maximales peuvent être définies par l'opérateur en se basant par exemple sur des tolérances de fabrication. Les couleurs de la carte de profondeur peuvent être codées dans le système informatique de codage RVB. Dans le codage RVB, chaque couleur est codée par trois valeurs associées aux couleurs primaires, c'est-à-dire le rouge, le vert et le bleu. Pour chaque couleur primaire, la valeur s'exprime dans un intervalle entre 0 et le maximum, par exemple 1, 100 %, ou 255.
La figure 2 représente sous la forme d'un schéma-blocs un mode de réalisation d'un procédé d'inspection optique d'un circuit électronique mis en oeuvre par l'installation d'inspection optique 10 de la figure 1. Le procédé comprend des étapes successives suivantes 30, 32, 34, 36, 38 et 40.
A l'étape 30, le circuit électronique Card à inspecter est placé sur la scène S de l'installation d'inspection optique 10 par exemple au moyen du convoyeur 12.
A l'étape 32, l'installation d'inspection optique 10 détermine au moins une image 3D du circuit électronique Card. L'installation d'inspection optique 10 peut, en outre, déterminer une image de texture du circuit Card et appliquer l'image de texture sur l'image 3D pour afficher une image 3D en couleurs sur l'écran 18. L'application de l'image de texture sur l'image 3D peut être réalisée par la mise en oeuvre d'un algorithme connu de synthèse de vue virtuelle. Il existe principalement deux familles d'algorithmes qui permettent de synthétiser une vue virtuelle d'une scène à partir d'une information de texture couleur et d'une information tridimensionnelle. La première famille regroupe des algorithmes appelés "lancer de rayon" (en anglais ray tracing) , qui sont plus coûteux en calculs mais permettent d'obtenir des vues virtuelles plus réalistes. La deuxième famille regroupe des algorithmes appelés "rastérisation", qui sont moins coûteux en calculs mais plus approximatifs. Des exemples de tels algorithmes sont décrits dans l'ouvrage intitulé "Fundamentals of Computer Graphics" de Peter Shirley (Editions Tayler & Francis, 2005, ISBN 1568812698), notamment les chapitres 3 et 10.
La figure 3 est une vue en perspective, partielle et schématique, d'un exemple d'une image tridimensionnelle I3D d'un circuit électronique telle qu'elle peut être affichée sur l'écran 18. L'image I3D représente deux circuits intégrés 42 comprenant des pattes 44 fixées à la face supérieure d'un circuit imprimé 46 par des plots de soudure 48.
A l'étape 34, le module de traitement 16 est adapté à détecter la présence de défauts potentiels sur le circuit électronique Card par une analyse de l'image 3D et/ou des images 2D acquises du circuit électronique Card. Le module de traitement 16 peut mettre en oeuvre tout type d'algorithmes pour la détection de défauts potentiels. A titre d'exemple, pour l'inspection de l'état des soudures des composants électroniques sur le circuit imprimé, le module de traitement 16 peut comparer une image 3D du circuit électronique sur lequel a été déposé de la pâte à souder à une image 3D déterminée au préalable du circuit imprimé en l'absence de pâte à souder, par exemple pour obtenir une image 3D représentative des différences entre les images 3D du circuit imprimé avec et sans pâte à souder. L'analyse de cette image 3D de comparaison permet notamment de déterminer si les soudures des composants électroniques sont satisfaisantes. A l'étape 36, le module de traitement 16 détermine, à partir de 1 ' image 3D du circuit électronique Card, une image 3D modifiée sur laquelle est mise en évidence au moins une zone où un défaut potentiel a été détecté. Selon un mode de réalisation, le module de traitement 16 détermine pour chaque défaut potentiel une fenêtre dans 1 ' image de texture qui contient la zone où le défaut potentiel est détecté. Chaque fenêtre peut correspondre à un cercle ou à toute forme polygonale, par exemple un carré ou un rectangle. La fenêtre est plus petite que les dimensions de l'image de texture. Selon un mode de réalisation, chaque fenêtre contient moins de 20 % des pixels de l'image de texture. Chaque fenêtre peut être déterminée comme l'ensemble des pixels autour de la zone où un défaut potentiel a été détecté et pour laquelle la variation de la coordonnée z des points de la fenêtre varie dans une plage prédéterminée.
Selon un autre mode de réalisation, l'opérateur définit manuellement les fenêtres sur lesquelles le module de traitement 16 doit effectuer des tests spécifiques également définis par l'opérateur. Un exemple de test est de vérifier l'inclusion de la hauteur d'un pixel de la z-map dans un intervalle de hauteur défini par l'opérateur en se basant par exemple sur des tolérances de fabrication. Cette définition automatique ou supervisée de fenêtres a lieu lors d'une phase dite de programmation d'une nouvelle référence de carte électronique, d'un nouveau produit. Un programme consiste en la description numérique d'un ensemble de fenêtres associées à des traitements. Ces traitements peuvent par exemple être des procédés de détermination d'histogrammes, des tests d'inclusion dans une enveloppe le long d'une coupe ou profil, des mesures de similitude entre l'image issue du système d'acquisition et une image de référence. Ces traitements (et donc la définition des tolérances de fabrication) peuvent alors être stockés dans une « base de données » ou « librairie de composants » pour accélérer cette étape de programmation pour les futurs produits sur les composants déjà traités mais également pour répercuter toute modification de la librairie de traitement sur les programmes existants.
Pour faciliter la prise de décision par un opérateur, lorsqu'un défaut potentiel est détecté à un emplacement du circuit électronique, le module de traitement 16 peut en outre déterminer au moins une fenêtre à un emplacement où la structure du circuit électronique est analogue à celle où le défaut a été détecté mais où aucun défaut n'a été détecté. De préférence, le module de traitement 16 détermine une fenêtre à chaque emplacement où la structure du circuit électronique est analogue à celle où le défaut a été détecté mais où aucun défaut n'a été détecté. La fenêtre définit une sous-plage de coordonnées (x, y) correspondant à des pixels de l'image de texture et à des points de l'image 3D. Ces fenêtres peuvent également être issues d'une prédéfinition manuelle réalisée par l'opérateur qui peut les positionner par exemple sur les pattes d'un composant (pour la détection des pattes non connectées au reste de la carte électronique) ou sur le dessus du boitier d'un composant (pour la détection d'un défaut de coplanarité entre le composant et le reste de la carte électronique) .
Dans chaque fenêtre, le module de traitement 16 détermine une carte de profondeur locale. Dans ce but, le module de traitement 16 détermine les valeurs minimale et maximale que prend la coordonnée z de 1 ' image 3D pour les points de coordonnées (x, y) contenues dans la fenêtre. La valeur maximale locale de la coordonnée z dans la fenêtre est généralement inférieure strictement à la valeur maximale de la coordonnée z sur la totalité de l'image 3D, appelée valeur maximale globale. La valeur minimale locale de la coordonnée z dans la fenêtre est généralement supérieure strictement à la valeur minimale de la coordonnée z sur la totalité de l'image 3D, appelée valeur minimale globale. Dans chaque fenêtre, le module de traitement 16 détermine une carte de chaleur locale en associant à la couleur maximale la valeur maximale locale de la coordonnée z sur la fenêtre et en associant à la couleur minimale la valeur minimale de la coordonnée z sur la fenêtre. Le module de traitement 16 détermine une nouvelle image 2D qui correspond dans chaque fenêtre à une carte de profondeur locale et qui correspond en dehors des fenêtres à l'image de texture. Le module de traitement 16 applique la nouvelle image 2D sur l'image 3D. L'image 3D ainsi modifiée est alors affichée sur l'écran 18. L'application de la nouvelle image 2D sur l'image 3D peut être réalisée par les algorithmes de synthèse de vue virtuelle décrits précédemment.
Selon le mode de réalisation dans lequel l'opérateur a défini des tolérances de fabrication, les couleurs de la carte de chaleur correspondant à la z-map peuvent être réglées pour chaque pixel sur les tolérances de fabrication afin d'encoder par exemple le caractère « acceptable » de la carte électronique inspectée avec les couleurs usuelles de réussite ou d'échec à un test, à savoir la couleur verte lorsque la coordonnée z est incluse dans l'intervalle de tolérance, orange lorsque la coordonnée z est proche d'une des bornes de l'intervalle de tolérance (par exemple à moins de 50 ym d'une des bornes) et rouge lorsque la coordonnée z n'est plus incluse dans les tolérances de fabrication.
La figure 4 représente une vue de détail agrandie d'un exemple d'image 3D modifiée I3D' obtenue à partie de l'image I3D de la figure 3. A titre d'exemple, on a représenté par des traits pointillés une première fenêtre Fl située au niveau d'un plot de soudure 48 où un défaut potentiel a été détecté et on a représenté par des traits pointillés une deuxième fenêtre F2 située au niveau d'un plot de soudure 48 où il n'y a pas eu de détection d'un défaut .
A l'étape 38, pour chaque défaut potentiel détecté par le module de traitement 16, l'opérateur détermine si le circuit électronique Card est accepté ou refusé, par exemple au moyen de l'interface 20. La carte de profondeur appliquée localement sur 1 ' image 3D dans chaque fenêtre où un défaut potentiel est détecté permet à un opérateur de déterminer rapidement la présence réelle ou non d'un défaut dans cette fenêtre. En effet, comme la carte de profondeur locale est appliquée à une petite partie de l'image 3D, la plage de couleurs de la carte de profondeur locale correspond à une plage de variations de la coordonnée z qui est strictement inférieure à la plage de variations totale de la coordonnée z sur l'ensemble de l'image 3D. De ce fait, les variations de la coordonnée z sont mises en relief par la carte de profondeur locale. L'opérateur peut ainsi facilement déterminer si les variations de la coordonnée z dans la fenêtre où un défaut potentiel a été détecté sont normales ou non. Cette détection peut être facilitée lorsqu'au moins deux cartes de profondeur locale sont appliquées sur l'image 3D, la première carte de profondeur locale se trouvant dans une première fenêtre où un défaut potentiel a été détecté et la deuxième carte de profondeur locale se trouvant dans une deuxième fenêtre où il n'y a pas eu détection d'un défaut potentiel mais où la structure du circuit électronique est analogue à celle dans la première fenêtre. L'opérateur peut alors facilement déterminer si un défaut est réellement présent en comparant visuellement les deux cartes de profondeur locale. Cette détection peut également être facilitée lorsque la carte de chaleur encode la distance entre un pixel de la fenêtre de traitement et les tolérances prédéfinies par l'opérateur.
A l'étape 40, le circuit électronique Card est retiré de la scène S.
Des modes de réalisation particuliers ont été décrits. Diverses variantes et modifications apparaîtront à l'homme de l'art. En particulier, bien que le système 10 décrit précédemment soit adapté à la mise en oeuvre d'un procédé de détermination d'une image tridimensionnelle d'un objet par projection d'images sur l'objet, il est clair que le procédé de détermination de l'image tridimensionnelle peut être différent, par exemple mettant en oeuvre des méthodes interférométriques . En outre, bien qu'une installation d'inspection optique ait été décrite pour l'inspection de circuits électroniques, il est clair que l'installation d'inspection optique peut être utilisée pour l'inspection optique d'autres objets.

Claims

REVENDICATIONS
1. Procédé d'assistance à l'inspection optique d'un objet (Card) comprenant les étapes suivantes :
détermination d'une première image tridimensionnelle (I3D) de l'objet ;
détermination d'une première image bidimensionnelle en couleurs ou en niveaux de gris de l'objet ;
détermination d'au moins une première fenêtre (Fl) sur la première image bidimensionnelle entourant un défaut potentiel de l'objet à partir de la première image tridimensionnelle et/ou de la première image bidimensionnelle ;
détermination d'une première carte de profondeur de la partie de l'objet dans la première fenêtre ;
détermination d'une deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et correspondant à la première carte de profondeur dans la première fenêtre ; et
détermination d'une deuxième image tridimensionnelle (I3D') correspondant à la première image tridimensionnelle sur laquelle est appliquée la deuxième image bidimensionnelle.
2. Procédé selon la revendication 1, comprenant l'affichage de la deuxième image tridimensionnelle (I3D') sur un écran (18) .
3. Procédé selon la revendication 1 ou 2, comprenant la validation ou la non-validation par un opérateur du défaut potentiel au moyen d'une interface homme/machine (20) .
4. Procédé selon l'une quelconque des revendications 1 à 3, dans lequel la première carte de profondeur est une carte de couleurs comprenant un ensemble de pixels, chaque pixel ayant une couleur qui dépend de la hauteur du point de la première image tridimensionnelle (I3D) correspondant audit pixel.
5. Procédé selon la revendication 4, dans lequel la première carte de profondeur met en oeuvre une plage de couleurs dont une première couleur pour la valeur maximale de la hauteur des points de la première image tridimensionnelle dans la première fenêtre et une deuxième couleur pour la valeur minimale de la hauteur des points de la première image tridimensionnelle dans la première fenêtre .
6. Procédé selon la revendication 5, dans lequel les première et deuxième couleurs sont déterminées par un opérateur.
7. Procédé selon l'une quelconque des revendications 1 à 6, dans lequel la première image bidimensionnelle est une vue de dessus de l'objet (Card) .
8. Procédé selon l'une quelconque des revendications 1 à 7, comprenant en outre les étapes suivantes :
détermination d'une deuxième fenêtre (F2) sur la première image bidimensionnelle entourant une partie de l'objet (Card) ayant la même forme que dans la première fenêtre (Fl) en l'absence du défaut potentiel ; et
détermination de la deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et de la deuxième fenêtre et correspondant à la première carte de profondeur de l'objet dans la première fenêtre et à une deuxième carte de profondeur de l'objet dans la deuxième fenêtre .
9. Procédé selon l'une quelconque des revendications 1 à 8, comprenant successivement :
la détermination de troisièmes fenêtres sur la première image bidimensionnelle (I3D) ; et
la recherche du défaut potentiel dans chaque troisième fenêtre, la première fenêtre correspondant à la troisième fenêtre dans laquelle le défaut potentiel a été détecté.
10. Procédé selon la revendication 9, dans lequel les troisièmes fenêtres sont déterminées automatiquement ou par un opérateur.
11. Procédé selon la revendication 9 ou 10, dans lequel un défaut potentiel est détecté lorsque la hauteur d'au moins un point de la première image tridimensionnelle (I3D) dans la troisième fenêtre n'appartient pas à un intervalle de hauteurs.
12. Procédé selon l'une quelconque des revendications 1 à 11, dans lequel l'objet (Card) est un circuit électronique.
13. Installation (10) d'inspection optique d'un objet (Card) comprenant un système (15) de détermination d'une première image tridimensionnelle (I3D) de l'objet et d'une première image bidimensionnelle en couleurs ou en niveaux de gris de l'objet, l'installation comprenant, en outre, un module de traitement (16) adapté à déterminer au moins un défaut potentiel de l'objet à partir de la première image tridimensionnelle et/ou de la première image bidimensionnelle, déterminer une première fenêtre (Fl) sur la première image bidimensionnelle entourant le défaut potentiel, déterminer une première carte de profondeur de la partie de l'objet dans la première fenêtre, déterminer une deuxième image bidimensionnelle correspondant à la première image bidimensionnelle en dehors de la première fenêtre et correspond à la carte de profondeur dans la première fenêtre et déterminer une deuxième image tridimensionnelle (I3D') correspondant à la première image tridimensionnelle sur laquelle est appliquée la deuxième image bidimensionnelle.
14. Installation d'inspection optique selon la revendication 13, comprenant au moins une caméra (C) et un projecteur (P) adapté à projeter des images structurées sur 1 ' objet .
15. Installation d'inspection optique selon la revendication 13 ou 14, comprenant, en outre, un écran d'affichage (20) pour l'affichage de la troisième image tridimensionnelle.
EP17748541.4A 2016-08-03 2017-07-12 Procede d'inspection optique d'un objet Withdrawn EP3494386A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657518A FR3054914B1 (fr) 2016-08-03 2016-08-03 Procede d'inspection optique d'un objet
PCT/FR2017/051923 WO2018024957A1 (fr) 2016-08-03 2017-07-12 Procede d'inspection optique d'un objet

Publications (1)

Publication Number Publication Date
EP3494386A1 true EP3494386A1 (fr) 2019-06-12

Family

ID=57045187

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17748541.4A Withdrawn EP3494386A1 (fr) 2016-08-03 2017-07-12 Procede d'inspection optique d'un objet

Country Status (4)

Country Link
US (1) US10788434B2 (fr)
EP (1) EP3494386A1 (fr)
FR (1) FR3054914B1 (fr)
WO (1) WO2018024957A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334589B (zh) * 2019-05-23 2021-05-14 中国地质大学（武汉） 一种基于空洞卷积的高时序3d神经网络的动作识别方法
CN111854636B (zh) * 2020-07-06 2022-03-15 北京伟景智能科技有限公司 一种多相机阵列三维检测系统和方法
WO2022016152A1 (fr) * 2020-07-17 2022-01-20 Path Robotics, Inc. Rétroaction en temps réel et réglage dynamique pour robots de soudage
CN116007526B (zh) * 2023-03-27 2023-06-23 西安航天动力研究所 一种膜片刻痕深度自动测量系统及测量方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060065A (en) * 1990-02-23 1991-10-22 Cimflex Teknowledge Corporation Apparatus and method for illuminating a printed circuit board for inspection
JP4372709B2 (ja) 2005-03-25 2009-11-25 シーケーディ株式会社 検査装置
FR3004249B1 (fr) * 2013-04-09 2016-01-22 Vit Systeme d'acquisition d'images tridimensionnelles
KR20150017421A (ko) 2013-07-17 2015-02-17 주식회사 고영테크놀러지 3차원 기판검사장치의 그래픽 유저 인터페이스
KR101457040B1 (ko) 2013-09-03 2014-10-31 주식회사 고영테크놀러지 3차원 기판검사장치의 그래픽 유저 인터페이스
JP6303867B2 (ja) * 2014-06-27 2018-04-04 オムロン株式会社 基板検査装置及びその制御方法

Also Published As

Publication number Publication date
US20190178817A1 (en) 2019-06-13
US10788434B2 (en) 2020-09-29
FR3054914B1 (fr) 2021-05-21
FR3054914A1 (fr) 2018-02-09
WO2018024957A1 (fr) 2018-02-08

Similar Documents

Publication Publication Date Title
EP3494386A1 (fr) Procede d'inspection optique d'un objet
KR102576277B1 (ko) 불량 검출 장치 및 방법
WO2013109755A1 (fr) Segmentation pour l'inspection de tranches
JP2008170325A (ja) シミ欠陥検出方法およびシミ欠陥検出装置
CN104101611A (zh) 一种类镜面物体表面光学成像装置及其成像方法
EP3788319A1 (fr) Dispositif de balayage laser à rejet de réflexions
FR2974218A1 (fr) Analyse de l'image numerique de la surface d'un pneumatique - traitement des points de non mesure
FR3023629A1 (fr) Appareil de traitement d'informations destine a detecter un objet a partir d'une image, procede destine a commander l'appareil, et support de stockage
KR101828536B1 (ko) 패널 검사 방법 및 장치
KR20160054150A (ko) 형태학적 영상 처리와 레이블링을 이용한 얼룩 결함 자동 검출 시스템 및 방법
JP7098111B2 (ja) 表面検査装置および表面検査方法
TW202240546A (zh) 用於自動視覺檢查之圖像增強技術
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2007285868A (ja) 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置
JP2005189175A (ja) 流動性容器の検査装置および検査方法
WO2020229780A1 (fr) Procédé et système d'inspection optique d'un objet
US11816827B2 (en) User interface device for autonomous machine vision inspection
IL265163A (en) System and method for a preparatory test of a production line
US20220413476A1 (en) Offline Troubleshooting and Development for Automated Visual Inspection Stations
JP3432446B2 (ja) 表面検査装置および表面検査方法
FR2688911A1 (fr) Procede de creation de la signature d'un objet represente sur une image numerique, du type consistant a definir au moins un calibre dimensionnel caracteristique dudit objet, et procede correspondant de verification de la signature d'un objet.
JP6752670B2 (ja) 透明体の検査方法及び装置
KR101087863B1 (ko) 구조 광 패턴을 이용한 영상의 경계를 결정하는 방법, 이러한 방법이 기록된 기록매체 및 구조 광 패턴을 이용한 영상의 경계 인식 시스템
JP2006242584A (ja) ムラ欠陥検出方法及び装置
JP2008232639A (ja) シミ欠陥検出方法および装置

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G01B 11/25 20060101ALI20210908BHEP

Ipc: G01B 11/24 20060101ALI20210908BHEP

Ipc: G01N 21/956 20060101ALI20210908BHEP

Ipc: G01N 21/88 20060101AFI20210908BHEP

INTG Intention to grant announced

Effective date: 20211004

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20220215