ES2207754T3 - Procedimiento y sistema para formar imagenes de un objeto o de una configuracion. - Google Patents

Procedimiento y sistema para formar imagenes de un objeto o de una configuracion.

Info

Publication number
ES2207754T3
ES2207754T3 ES97946611T ES97946611T ES2207754T3 ES 2207754 T3 ES2207754 T3 ES 2207754T3 ES 97946611 T ES97946611 T ES 97946611T ES 97946611 T ES97946611 T ES 97946611T ES 2207754 T3 ES2207754 T3 ES 2207754T3
Authority
ES
Spain
Prior art keywords
images
light
image
sub
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES97946611T
Other languages
English (en)
Inventor
Howard Stern
Fereydoun Maali
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acuity CiMatrix Inc
Original Assignee
Robotic Vision Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robotic Vision Systems Inc filed Critical Robotic Vision Systems Inc
Application granted granted Critical
Publication of ES2207754T3 publication Critical patent/ES2207754T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8822Dark field detection
    • G01N2021/8825Separate detection of dark field and bright field
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646Soldering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Holo Graphy (AREA)
  • Non-Silver Salt Photosensitive Materials And Non-Silver Salt Photography (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Preparing Plates And Mask In Photomechanical Process (AREA)
  • Thermal Transfer Or Thermal Recording In General (AREA)

Abstract

Un método de formar imágenes de un objeto (501) incluyendo los pasos de: a) iluminar al menos una porción del objeto con luz transmitida por una fuente de luz (500); b) detectar, en una primera posición preseleccionada, luz reflejada del objeto; c) formar una primera imagen de la porción iluminada del objeto en función de la luz detectada en el paso b); d) simultáneamente con el paso b), detectar, en una segunda posición preseleccionada, luz reflejada del objeto; e) formar una segunda imagen de la porción iluminada del objeto en función de la luz detectada en el paso d); caracterizado porque el método incluye además los pasos de: f) dividir la primera imagen en una pluralidad de primeras subimágenes; g) dividir la segunda imagen en una pluralidad de segundas subimágenes; h) determinar la entropía de una de la pluralidad de primeras subimágenes correspondientes a una primera porción del objeto; i) determinar la entropía de una de la pluralidad de segundas subimágenes correspondientes a la primera porción del objeto; j) comparar (710) la entropía determinada de la primera de la pluralidad de primeras subimágenes con la entropía determinada de la primera de la pluralidad de segundas subimágenes; k) seleccionar (720) la primera de la pluralidad de primeras subimágenes o la primera de la pluralidad de segundas subimágenes en función del resultado del paso j); l) determinar la entropía de una segunda de la pluralidad de primeras subimágenes correspondientes a una segunda porción del objeto donde la segunda porción es diferente de la primera porción; m) determinar la entropía de una segunda de la pluralidad de segundas subimágenes correspondientes a la segunda porción del objeto; n) comparar (710) la entropía determinada de la segunda de la pluralidad de primeras subimágenes con la entropía determinada de la segunda de la pluralidad de segundas subimágenes; o) seleccionar (720) la segunda de la pluralidad de primeras subimágenes o la segunda de la pluralidad de segundas subimágenes en función del resultado del paso n); y p) combinar (740) la subimagen seleccionada en el paso k) y la subimagen seleccionada en el paso o) para formar una imagen compuesta.

Description

Procedimiento y sistema para formar imágenes de un objeto o de una configuración.
Campo de la invención
La presente invención se refiere a un sistema y método para formar imágenes de objetos o configuraciones. Más en concreto, la presente invención se dirige a un sistema y método para obtener simultáneamente una pluralidad de imágenes de un objeto o configuración desde múltiples puntos de vista diferentes.
Aviso sobre derechos de autor
Una parte de la descripción de este documento de patente contiene material que está sometido a protección de derechos de autor. El propietario de los derechos de autor no tiene objeción a la reproducción por facsímil por cualquier persona del documento de patente o descripción de patente tal como aparece en el archivo o registros de patente de la Oficina de Patentes y Marcas, pero por lo demás se reserva todos los demás derechos de autor.
Antecedentes de la invención
Los sistemas de visión con máquina se usan comúnmente en la industria para inspecciones a alta velocidad. En particular, estos sistemas se utilizan para obtener imágenes digitales de objetos para determinar, con un ordenador, si el objeto es de calidad "aceptable" con respecto a especificaciones predeterminadas. Por ejemplo, un sistema puede inspeccionar un paquete de chip semiconductor para determinar si cada uno de los hilos del paquete tiene las dimensiones apropiadas. Un sistema también puede inspeccionar la coplanaridad de bolas de soldadura en matrices de rejilla de bolas.
Dichos sistemas también forman imágenes de configuraciones tales como códigos de barras y códigos de datos. Las imágenes de estas configuraciones son analizadas por un ordenador y para "leer" la información representada por estos códigos.
En un sistema de visión con máquina, se forman típicamente imágenes de un objeto (o configuración) iluminando el objeto con fuentes de luz y capturando la luz reflejada del objeto con una cámara de vídeo (es decir, un fotodetector). Se forma una imagen digital a partir de la imagen recibida por la cámara y los datos digitales son analizados por un ordenador para determinar características del objeto o configuración.
Obtener un contraste apropiado entre el objeto o configuración y el fondo es crítico para obtener una imagen de claridad suficiente para análisis exacto por un ordenador. En la práctica corriente, un ingeniero o usuario experto obtiene el contraste apropiado variando las posiciones de las fuentes de luz con respecto al objeto o configuración que se ve y con respecto a la cámara de vídeo que graba la escena. Además, se varía la intensidad y posiblemente la polarización y el color de las fuentes de luz. Para lograr el contraste deseado, la iluminación se manipula a menudo para hacer el fondo oscuro con respecto a las características o configuración del objeto (iluminación de campo oscuro) o brillante con respecto a las características o configuración del objeto (iluminación de campo brillante). Obtener la iluminación adecuada es especialmente difícil al trabajar con superficies especulares (parecidas a espejo), especialmente cuando las superficies especulares están curvadas o tienen múltiples facetas.
Una técnica de iluminar un objeto a efectos de formación de imágenes se describe en la Patente de Estados Unidos número 5.461.417 concedida a White y otros. (La patente "White '417"). La patente White '417 describe un sistema para obtener un entorno de iluminación continuo, uniforme, difuso. Este sistema es satisfactorio para algunos tipos de aplicaciones. Otra técnica de iluminación se describe en la Patente de Estados Unidos número 5.187.611 concedida a White y otros. En esta patente se describe una Luz Difusa en Eje (DOAL) que también es beneficioso en algunas aplicaciones. Sin embargo, un buen contraste requiere a veces el resalte de los bordes que se obtiene mejor con luz unidireccional colimada, no luz difusa uniformemente.
Para algunos objetos, puede ser ventajoso iluminar secuencialmente un objeto desde varios puntos de vista diferentes y tomar una imagen del objeto con cada iluminación. Las imágenes se pueden combinar después en una sola imagen. Tal sistema se describe en la Patente de Estados Unidos número 5.060.065 concedida a Wasserman. Puede ser deseable, por ejemplo, formar imágenes de un objeto usando un método de iluminación de campo brillante y después tomar imágenes del mismo objeto usando un método de iluminación de campo oscuro. Las imágenes de campo brillante y de campo oscuro pueden ser analizadas después individualmente o se pueden combinar primero y analizar después.
Por desgracia, el método de iluminación secuencial aumenta el tiempo de captura puesto que se requiere una imagen separada para cada iluminación - cada imagen vídeo requiere típicamente 1/30 segundo. Así, si se utilizan luces en tres posiciones diferentes del objeto, se requerirían tres imágenes.
Además, la imagen combinada tiende a parecer corrida si hay movimiento relativo entre el objeto y la cámara. Por ejemplo, la vibración puede hacer que el objeto se mueva ligeramente. Dado que una imagen del objeto antes del movimiento y después del movimiento no coincidirá exactamente, la imagen combinada aparecerá corrida.
US 4 286 293 describe un método de formar imágenes de un objeto como el expuesto en la porción precaracterizante de la reivindicación 1. En el aparato descrito, luz láser retrodispersada por el objeto es verificada por una pluralidad de detectores. Cada detector verifica una característica diferente de la radiación retrodispersada y se realiza una operación aritmética en la salida de los detectores para obtener una sola señal vídeo compuesta con mejor contraste.
US 5 455 870 también describe un método de formar imágenes de un objeto como el expuesto en la porción precaracterizante de la reivindicación 1. El sistema descrito incluye dos cámaras vídeo. Las cámaras y las fuentes de iluminación se disponen de manera que produzcan una imagen de campo brillante y una imagen de campo oscuro del objeto, que se procesan conjuntamente.
US 4 152 723 describe un sistema de inspección de objetos para formar imágenes de una placa de circuitos impresos por detección de fluorescencia del material aislante de la placa.
Resumen de la invención
La presente invención proporciona un método de formar imágenes de un objeto como el expuesto en la reivindicación 1 y un aparato para formar imágenes de un objeto como el expuesto en la reivindicación 5.
En realizaciones preferidas, múltiples guías de luz que tienen extremos de entrada están colocadas para recibir simultáneamente luz reflejada del objeto y transmitir la luz recibida a una pluralidad de fotodetectores. Las guías de luz están dispuestas de tal manera que sus respectivos extremos de entrada estén espaciados sustancialmente a igual distancia a lo largo de al menos una porción de una superficie de una semiesfera imaginaria que rodea el objeto. Se procesan las señales generadas por los fotodetectores (como resultado de detección de luz) y se forma una pluralidad de imágenes del objeto.
Las realizaciones preferidas también proporcionan un método para generar imágenes compuestas a partir de imágenes obtenidas simultáneamente. Se comparan regiones equivalentes de cada imagen (correspondientes a subimágenes geográficamente idénticas). Se selecciona y guarda la subimagen que tiene la entropía más alta. Este proceso continúa hasta que se han considerado todas las subimágenes. Se genera una nueva imagen compuesta pegando las subimágenes seleccionadas.
Breve descripción de los dibujos
Ahora se describirán realizaciones de la invención, a modo de ejemplo solamente, con referencia a los dibujos anexos, en los que:
La figura 1A es un diagrama de un sistema de iluminación de campo brillante.
La figura 1B es una ilustración de una imagen obtenida usando el método de iluminación de campo brillante.
La figura 2A es un diagrama de un sistema de iluminación de campo oscuro.
La figura 2B es una ilustración de una imagen obtenida usando el método de iluminación de campo oscuro.
La figura 3 ilustra un sistema de iluminación secuencial.
La figura 4A es un diagrama de un sistema ejemplar que realiza la presente invención.
La figura 4B es un diagrama de una disposición ejemplar de fotodetectores.
La figura 4C es un diagrama de un sistema de iluminación secuencial para leer caracteres.
La figura 4D es un diagrama de un sistema ejemplar que realiza la presente invención correspondiente a la figura 4C.
La figura 5 ilustra con más detalle el aparato que realiza la invención.
La figura 6 ilustra con más detalle la disposición de escáner y fotodiodo de la figura 5.
La figura 7A es un diagrama de flujo de un proceso ilustrativo para parchear una imagen.
La figura 7B es un diagrama de flujo que ilustra la generación de imagen de gradiente compuesta.
La figura 8 ilustra un escáner que ilumina un punto en una superficie.
La figura 9 ilustra una matriz que representa propiedades de reflectancia de un código de barras bidimensional.
La figura 10A ilustra propiedades reflectoras de una superficie brillante.
La figura 10B ilustra propiedades reflectoras de una superficie difusa.
La figura 10C ilustra propiedades reflectoras de una superficie especular (de espejo).
La figura 11 es un diagrama de una realización ejemplar de hardware de preprocesado.
Y la figura 12 es un diagrama de una mejora de la figura 11.
Descripción detallada Iluminación de campo brillante
Con referencia ahora a los dibujos, e inicialmente a la figura 1A, se ilustra un sistema simple de iluminación de campo brillante 100. Una cámara de vídeo 110 que tiene una lente 115 está colocada para tomar imágenes de una placa brillante 120 en la que se ha pintado un círculo gris difuso (lambertiano) 125. Las propiedades reflectoras de superficies brillantes, difusas y especulares (de espejo) se muestran en las figuras 10A, 10B y 10C, respectivamente. La placa brillante 120 es ortogonal al eje de visión de la cámara 110. Dos fuentes de luz ("fuentes de luz superiores") 130 y 135, colocadas a igual distancia de la placa brillante 120 y muy cerca de la lente de cámara 115, iluminan la placa brillante 120 y el círculo gris 125. La placa brillante 120 refleja luz directamente hacia atrás a la cámara 110. El círculo 125, al ser difuso, dispersa la luz 150. La figura 1B ilustra la imagen de campo brillante formada por la cámara 110. Como se representa, la imagen del círculo 125B aparece oscura con relación al fondo brillante 120B. Si la placa brillante se sustituye por un espejo verdadero, el divisor de haz 160 y la lámpara 170 tendrían que dirigir la luz paralela al eje de cámara para obtener un campo de iluminación brillante verdadero.
Iluminación de campo oscuro
La figura 2A ilustra un sistema de iluminación de campo oscuro. En este sistema, una cámara 210, lente 215, y placa brillante 220 con un círculo gris 225 están colocadas de la misma manera que en la figura 1A. Aquí, sin embargo, las fuentes de luz ("fuentes de luz inferiores") 260 y 265 están colocadas al lado (con respecto al campo de visión de la cámara 210) y cerca de la placa brillante 220. Las fuentes de luz 260 y 265 también están colocadas aproximadamente a igual distancia de la placa brillante 220. Pantallas de luz 275 evitan que la luz pase directamente de las lámparas 260 y 265 a la lente 215. La luz que emana de las fuentes de luz 260 y 265 es reflejada como luz 270 por la placa brillante 220 en una dirección de alejamiento de la lente de cámara 215. La luz que choca en el círculo gris 225 se dispersa. Como se ilustra, al menos parte de la luz (280) de la luz que choca en el círculo gris 225 se refleja hacia la lente de cámara 215. La figura 2B ilustra la imagen de campo oscuro capturada por la cámara 210. Aquí, la imagen del círculo 225B aparece brillante con relación al fondo oscuro 220B.
Sistema combinado
En el sistema de iluminación de campo brillante y el sistema de iluminación de campo oscuro, si la superficie brillante (en las figuras 1A y 2A) no es perfectamente plana, pueden aparecer otras regiones brillantes y oscuras en el fondo de la imagen. Por ejemplo, la superficie puede reflejar en tal forma que cree imágenes reales y virtuales, cada una de las cuales es capturada por la cámara de vídeo. Así, puede ser deseable iluminar un objeto desde dos o más ángulos diferentes (con respecto al objeto). Por consiguiente, como se ilustra en la figura 3, un sistema único puede incluir fuentes de luz superiores 330 y 335 (correspondientes a las fuentes de luz 130 y 135 de la figura 1A) y fuentes de luz inferiores 360 y 365 (correspondientes a las fuentes de luz 260 y 265 de la figura 2A). Cada conjunto de fuentes de luz (es decir, las fuentes de luz superiores 330 y 335, y las fuentes de luz inferiores 360 y 365) puede ser usado independientemente para iluminar el objeto (aquí, la placa brillante 320 con círculo gris 325), capturándose una imagen por la cámara de vídeo 310 para cada una. Las porciones más "útiles" de la imagen de campo brillante y la imagen de campo oscuro capturadas se pueden analizar independientemente o se pueden combinar para proporcionar una sola imagen del objeto.
Puntos en algunas superficies tienen propiedades de reflectancia complejas que son combinaciones de las representadas en las figuras 10A, 10B y 10C. Además, puede haber regiones superficiales vistas por el sistema de la figura 3 que están curvadas o basculadas con respecto a la horizontal, lo que puede estropear las vistas de campo brillante o de campo oscuro. Por lo tanto, el sistema de la figura 3 puede no cumplir una amplia gama de condiciones que incluyen características de reflectancia insólitas, o superficies curvadas o con inclinación múltiple.
Como se ha observado anteriormente, este método de iluminación secuencial aumenta el tiempo de captura puesto que se requiere una imagen, por ejemplo, una trama vídeo, para cada iluminación. Además, la imagen combinada aparecerá corrida si hay movimiento relativo entre la cámara y el objeto.
Realización ejemplar
La presente invención resuelve muchos problemas de formación de imágenes obteniendo simultáneamente una pluralidad de imágenes del objeto. Las realizaciones de la invención proporcionan el "contraste" apropiado sustituyendo las fuentes de luz de los sistemas anteriores por "cámaras" equivalentes y las cámaras de los sistemas anteriores por fuentes de luz equivalentes. Con tal sistema, se puede obtener una amplia opción de puntos de vista de iluminación para obtener imágenes de campo brillante o de campo oscuro independientemente de las propiedades superficiales locales exactas o la orientación del objeto o configuración que se ve.
Un sistema ejemplar que implementa los principios de la presente invención se ilustra en la figura 4A. Un escáner 410 está colocado para iluminar una placa brillante 420 que tiene un círculo gris difuso 425 pintado. El escáner 410, que tiene un haz de luz que puede ser, por ejemplo, continuo o CA o modulada en pulso, genera un punto de luz de trama explorada que explora a través del objeto pero emana de la posición previamente ocupada por la lente de cámara 315 de la figura 3. El punto de luz puede ser "blanco" o de un color único puesto que es generado, por ejemplo, por un diodo fotoemisor (LED). Alternativamente, el punto de luz puede ser una sola longitud de onda puesto que puede ser generado por un láser.
Como se ilustra en la figura 4A, las fuentes de luz de la figura 3, es decir, 330, 335, 360 y 365, son sustituidas por fotodetectores 430, 435, 460 y 465 tal como, por ejemplo, captadores de fotodiodo. Dado que el punto de luz se explora en una configuración de trama, cada uno de los fotodetectores 430, 435, 460 y 465 genera una señal "vídeo" que se sincroniza con todos los demás fotodetectores 430, 435, 460 y 465. Es decir, en cada instante de tiempo, la señal generada en cada fotodetector 430, 435, 460 y 465 es como un resultado de la iluminación del mismo "pixel" (punto de luz en una región pequeña del objeto). Sin embargo, las señales generadas en cada fotodetector 430, 435, 460 y 465 varían en amplitud según las propiedades de reflectancia y la orientación del área iluminada con respecto a la posición relativa del escáner 410 y el fotodetector 430, 435, 460 y 465.
Debido a la reversibilidad de los rayos de luz, una región del objeto (es decir, la placa brillante 420) que aparecería brillante a la cámara 310 de la figura 3 cuando se ilumine con una fuente de luz particular, generará una señal intensa cuando sea iluminada con una fuente de luz (es decir, el escáner 410) en la posición de la cámara original, pero se detecta con un fotodetector en la posición de la fuente de luz original. Igualmente, una región que parecería tenue a la cámara 310 de la figura 3 cuando se ilumine con una fuente de luz particular generará una señal débil cuando se ilumine con una fuente de luz (escáner 310) en la posición de la cámara original 310 de la figura 3, pero se detecta con un sensor de luz en la posición de la fuente original de luz. Así, cuando el fondo de la placa brillante 420 se ilumina con el escáner 410, los fotodetectores 430 y 435 generan una señal relativamente intensa mientras que los fotodetectores 460 y 465 generan una señal relativamente débil. Además, cuando el círculo gris difuso 425 se ilumina con el escáner 410, los fotodetectores 430 y 435 generan una señal relativamente débil mientras que los fotodetectores 460 y 465 generan señales relativamente intensas. Por consiguiente, los fotodetectores 430 y 435 capturan imágenes de campo brillante de la placa brillante 420 mientras que el fotodetector 460 y 465 captura imágenes de campo oscuro de la placa brillante 420.
Muchos "puntos de vista de iluminación" equivalentes pueden ser capturados simultáneamente colocando estratégicamente simples captadores de luz tal como, por ejemplo, fotodiodos, en los puntos de vista que rodean el objeto a ver. Por consiguiente, se puede capturar simultáneamente imágenes de campo brillante e imágenes de campo oscuro desde diferentes puntos de vista.
Los dispositivos fotosensibles de las realizaciones ilustradas pueden emplear lentes, fibra óptica, guías de luz, o fotodetectores simples. Los fotodetectores pueden ser fotomultiplicadores o fotodiodos semiconductores tal como, por ejemplo, fotodiodos de avalancha, o fototransistores.
Además, se puede disponer múltiples fotodetectores en un punto de vista particular para sustituir o de manera que correspondan a tipos diferentes de fuentes de luz. Con referencia a la figura 4B, se ilustra una disposición ejemplar de fotodetectores, correspondiente en general a una matriz de LEDs con lente utilizados en muchas aplicaciones de visión con máquina. Cada lente 410B de una matriz de lentillas 420B enfoca luz sobre un fotodiodo correspondiente 430B de una matriz de fotodiodos 440B. La señal de salida de cada fotodiodo 430B se aplica a un amplificador sumador 450B. Después, se puede muestrear la señal de salida del amplificador sumador 450B. En otra realización, la señal de salida de cada fotodiodo individual 450B puede ser muestreada individualmente. La disposición de la figura 4B es especialmente adecuada para ver algunas superficies especulares que normalmente se ven mejor con fuentes de luz distribuidas. Como alternativa, se puede usar un solo haz de fibras o guía de luz para recoger la luz de cada lentilla en su punto focal y la luz de todos los haces o guías de luz se puede sumar en un solo fotodetector.
Un beneficio importante es que se puede utilizar óptica o fibra óptica de sistemas de visión con máquina comercializados. Por ejemplo, Fiber-Lite®, fabricado por Dolan-Jenner Industries, es un sistema de iluminación que acopla una entrada de luz mediante un conjunto de fibra óptica para formar una línea de luz (MV-IND150LA), un área de luz (MV-IND150ABL), un punto de luz (MV-IND150FO), o un aro de luz (MV-IND150RL). Cualquiera de dichos conjuntos se puede usar para crear un "equivalente" de forma correspondiente a la fuente de luz sustituyendo la luz usada normalmente como entrada al conjunto de fibra óptica con un aparato fotodetector que proporciona las señales de salida deseadas.
Al formar imágenes de caracteres (por ejemplo, series de números) que se colocan en una pastilla de semiconductor, los sistemas de la técnica anterior requieren típicamente que las fuentes de luz estén situadas en una posición crítica particular según las propiedades de reflectancia de la pastilla y los caracteres de la pastilla. Sin embargo, las propiedades superficiales y subsuperficiales pueden cambiar dependiendo del punto del proceso de fabricación de semiconductores (es decir, de qué paso del proceso) en que se formen imágenes de los caracteres. Con los sistemas de la técnica anterior, puede ser necesario verificar muchas posiciones de iluminación antes de poder leer apropiadamente los caracteres. Un ejemplo de varios tipos de iluminación que se podría usar para formación de imágenes de caracteres en una pastilla usando técnicas estándar de visión con máquina se representa en la figura 4C. Como se ilustra, los caracteres en la pastilla 400C son iluminados secuencialmente por una fuente de luz alta de campo oscuro 410C, (usada para producir una imagen de campo oscuro), una DOAL alta (luz difusa en eje) 420C (colocada para producir una imagen de campo brillante), y una DOAL baja 430C (colocada para producir una imagen de campo brillante). Una cámara 450C debe capturar tres imágenes separadas de los caracteres - una por fuente de luz.
Con referencia ahora a la figura 4D, cada una de las fuentes de luz (es decir, 410C, 420C y 430C) es sustituida por un fotodetector correspondiente (410D, 420D y 430D) mientras que la cámara 450B es sustituida por un escáner láser (450C). Aquí, los caracteres en la pastilla solamente se tienen que explorar una vez, capturándose simultáneamente tres imágenes con los fotodetectores 410D, 420D, y 430D.
Diagrama detallado
Un escáner 500, colocado para iluminar un objeto 501 (tal como, por ejemplo, un paquete de semiconductores), es controlado por circuitería de control de exploración 502 (bajo el control de señales de sincronización de un microprocesador o hardware asociado 503) para explorar el objeto 501 en una configuración de trama. Específicamente, la circuitería de control de exploración 501 proporciona señales de control de exploración horizontal y vertical 504 y una señal de reloj de pixel 505, para controlar el escáner 500 para iluminar secuencialmente cada punto (es decir, pixel) en el objeto 501.
Se colocan fotodetectores, por ejemplo, fotodiodos PD1-PDn, para capturar luz reflejada por el objeto 501 (como resultado de la iluminación por el escáner 500) desde varios puntos de vista. Como se ilustra, para una superficie horizontal, los fotodiodos colocados más próximos al objeto 501 (es decir, los fotodiodos PD5-PDn) proporcionan imágenes de campo oscuro mientras que los fotodiodos restantes (es decir, PD1-PD4) se colocan para formación de imágenes de campo brillante. Sin embargo, al formar imágenes de una porción de una superficie especular que está en un ángulo pronunciado al horizontal, las funciones de los PD1-PD4 y PD5-PDn se pueden invertir en cuyo caso PD5-PDn proporcionarían imágenes de campo brillante y PD1-PD4 proporcionarían imágenes de campo oscuro. Dependiendo de la complejidad de las superficies de las que se forman imágenes, se puede usar más o menos fotodiodos que los representados en la figura 5 para recoger datos suficientes para una aplicación particular de visión con máquina.
Cada fotodiodo PD1-PDn está conectado a un amplificador A1-An para amplificar las señales (que representan la intensidad de la luz reflejada detectada por los fotodiodos PD1-PDn) generada por los fotodiodos PD1-PDn. Debido a la variación de especularidad de las superficies del objeto explorado 501, los niveles de intensidad luminosa a los fotodiodos PD1-PDn puede tener un rango dinámico muy grande. Por consiguiente, se puede usar ventajosamente amplificadores logarítmicos. En la realización ejemplar de la presente invención, aunque se puede usar otros amplificadores, los amplificadores logarítmicos proporcionan varias ventajas sobre los amplificadores lineales (aunque se puede usar otros tipos de amplificadores):
\text{*}
La señal logarítmica de salida se comprime de manera que se necesiten menos bits para representar la señal - a pesar del rango dinámico grande;
\text{*}
Las señales logarítmicas de salida son procesados fácilmente al buscar cambios importantes (bordes) puesto que el mismo cambio porcentual en una señal siempre corresponde a la misma diferencia numérica independientemente de la amplitud de señal; y
\text{*}
Las señales logarítmicas de salida pueden ser normalizadas fácilmente puesto que la división de la señal de salida por una señal de referencia se lleva a cabo restando simplemente la referencia de la salida.
Cada amplificador A1-An está conectado a un circuito de muestreo y retención (o registro) SH1-SHn para muestrear las señales emitidas por los amplificadores A1-An. Los circuitos de muestreo y retención SH1-SHn se sincronizan con el escáner por circuitería de control de exploración 502 de manera que las señales que representan la intensidad de luz reflejada detectada por fotodetectores PD1-PDn en el mismo instante dado en el tiempo se muestrean para cada punto del objeto iluminado por el escáner 500. Las señales emitidas por la circuitería de muestreo y retención SH1-SHn se aplican a un multiplexor MPX. Bajo el control de circuitería de control de datos 506 (que está controlada, a su vez, por el microprocesador), las señales analógicas de la circuitería de muestreo y retención SH1-SHn son aplicadas secuencialmente a un convertidor analógico a digital (A/D) 507 por el multiplexor MPX. Las señales digitales generadas por el convertidor A/D 507 se ponen en una memoria intermedia 508 (u otro dispositivo grabador) en direcciones identificadas por la circuitería de control de datos 507 (bajo el control del microprocesador 503).
En la operación, cada punto iluminado por el escáner 500 es representado en imágenes simultáneamente por los fotodiodos PD1-PDn. Es decir, para cada punto iluminado en una coordenada X-Y dada, se almacena en la memoria intermedia 508 un valor digital de intensidad que representa la intensidad de la luz reflejada por el objeto 501 detectado por cada uno de los fotodiodos PD1-PDn. Por consiguiente, para la realización ejemplar de la presente invención, se capturan n imágenes del objeto 501 (es decir, una imagen por fotodiodo) como resultado de una sola exploración del objeto 501.
La figura 6 ilustra con más detalle el escáner 500 y la disposición de fotodiodos PD1-PDn. Un haz de luz 600 de una fuente de luz 610, tal como, por ejemplo, una fuente de luz de diodo láser colimada comercializada, se dirige a través de un divisor de haz 620 a una lente 630 que enfoca el haz 600 a un tamaño de punto predeterminado en el plano 660 mediante galvanómetros de espejo X e Y 640 y 650. El galvanómetro X 640, controlado por las señales de control de exploración X e Y 504 de la figura 5 y que oscila preferiblemente según el reloj de pixel 505, refleja el haz 600 sobre un galvanómetro de espejo Y 650. El galvanómetro Y 650, también controlado por las señales de control de exploración X e Y 504, refleja el haz 600 sobre un punto del objeto 660 bajo examen. Como entenderán los expertos en la materia, mover secuencialmente el galvanómetro X 640 en la dirección de la flecha 640A hace que el haz 600 ilumine puntos en la superficie del objeto a lo largo de un eje X, mientras que mover secuencialmente el galvanómetro Y 650 en la dirección de la flecha 650A hace que el haz 600 ilumine puntos a lo largo de un eje Y. Por consiguiente, el escáner 500 se puede controlar para iluminar cada punto en la superficie del objeto 660 en una configuración de trama. Este punto puede ser iluminado continuamente o justamente durante un breve intervalo en cada posición de pixel cuando avanza de una posición de pixel a otra según la señal de reloj de pixel 505.
En otra realización, el galvanómetro X 640 puede ser sustituido por un espejo fijo de manera que el objeto 660 se explore en una línea única a lo largo del eje Y. El objeto 660 puede ser trasladado después en la dirección X mediante una cinta transportadora o tabla de traslación para explorar la trama del objeto 660. Igualmente, el galvanómetro Y 650 puede ser sustituido por un espejo fijo y el objeto 660 trasladado en la dirección Y, o ambos galvanómetros 640 y 650 pueden ser sustituidos por espejos fijos y el objeto trasladado por una tabla de traslación X-Y.
Además, aunque se representan galvanómetros 650 y 660, se puede usar otros dispositivos de deflexión tal como polígonos rotativos con superficies especulares, prismas rotativos, y deflectores de haz acusto-ópticos, todos los cuales son conocidos en la técnica, para obtener la configuración de exploración deseada. Además, la óptica de deflexión del haz de luz puede tener muchas variantes tal como el uso de lentes de exploración óptica 680 (por ejemplo, una lente F-Theta o telecéntrica) entre el último deflector de haz (aquí, el galvanómetro 650) y el objeto que se puede usar para proporcionar una configuración de exploración más uniforme o una configuración en la que el haz permanece sustancialmente perpendicular a la superficie 660 en todas las posiciones del haz X, Y.
Como se representa en la figura 6, el escáner 500 de la realización ejemplar incluye además una lente 670 que enfoca luz reflejada del objeto a lo largo del recorrido del haz 600 sobre un fotodiodo PDn+1 para muestrear la luz que vuelve directamente a lo largo del recorrido de iluminación. Este fotodiodo corresponde a la fuente de luz 170 de la figura 1A. Además, se incluye un tope 671 para absorber la luz desviada por el divisor de haz 620.
En la realización ejemplar de la presente invención, se distribuyen guías de luz LG1-LGn alrededor de la periferia de una semiesfera imaginaria que rodea el objeto de tal manera que sus respectivos extremos de entrada estén espaciados uniformemente angularmente según se ve desde el centro de la semiesfera (es decir, la posición aproximada del objeto). Se puede usar configuraciones simples, tal como círculos o hexágonos empaquetados estrechamente para espaciar uniformemente los extremos de entrada de las guías de luz LG1-LGn en acimut y elevación a lo largo de toda la superficie de la semiesfera, cada uno de los extremos en un centro de un círculo o hexágono. En la realización ejemplar, si se utilizan hexágonos, el eje del haz central de escáner 500 se puede alinear con una esquina donde se encuentran tres hexágonos. Alternativamente, el eje del haz de rayos centrales del escáner 500 se puede alinear con el centro del hexágono "superior". Son posibles otros muchos esquemas de distribución.
En la realización ejemplar, cada uno de los extremos de entrada de las guías de luz individuales LG1-LGn puede estar debajo o encima de la superficie de la semiesfera. Sin embargo, cada extremo de entrada de luz de guía LG1-LGn está colocado para mantener la posición angular deseada según se ve desde el objeto. Las variaciones de salida entre los fotodetectores que están conectados a guías de luz LG1-LGn cuyos extremos de entrada están más próximos o más lejos del objeto, se pueden quitar durante la calibración del equipo o mediante cálculo. Los cálculos se basan en la distancia conocida entre cada extremo de entrada y la posición normal del objeto usando la ley de la inversa del cuadrado.
Los extremos de salida de las guías de luz LG1-LGn se enfocan en proximidad sobre fotodetectores asociados, es decir, fotodiodos PD1-PDn (descritos anteriormente en conexión con la figura 5).
En una realización alternativa, se puede usar una lente separada para formar la imagen del extremo de salida de cada guía de luz LG1-LGn sobre su fotodiodo correspondiente PD1-PDn.
Además, se puede usar una lente separada para formar la imagen del campo de visión sobre cada extremo de entrada de guía de luz. Cuando ése es el caso, la lente separada se puede seleccionar con gran abertura numérica para máxima captura de luz. La profundidad de campo y el enfoque exacto no son consideraciones tan importantes como lo serían en una lente de cámara que deba resolver pixels adyacentes. Si la lente asociada con el extremo de entrada de la fibra está algo desenfocada de manera que caiga luz fuera del extremo de fibra, meramente reduce la cantidad de luz capturada - no afecta a la nitidez de la imagen capturada. A la inversa, la profundidad de campo y el enfoque son un problema importante para el haz de trama explorado. Si este haz está fuera del enfoque exacto o si la escena explorada no cae en la profundidad de campo del haz explorador, la imagen capturada será borrosa puesto que el punto de luz que choca en la superficie explorada puede ser considerablemente más grande que el espacio entre pixels definidos por la distancia entre pulsos iluminantes o intervalos de grabación. Maximizar la profundidad de campo requiere minimizar la apertura numérica de la óptica de escáner de punto, lo que hace importante elegir una fuente brillante si se desea mantener un nivel alto de iluminación. Cuando se desea el punto más brillante, un láser es una fuente de luz adecuada. Al utilizar un láser para iluminación, también es posible usar filtros de luz de paso de banda estrecho (por ejemplo, de 10 nm de anchura) para eliminar la luz ambiente pasando al mismo tiempo la luz reflejada explorada de la escena a los fotodetectores. Tales filtros se pueden colocar en cualquier lugar en el recorrido de luz entre la escena y los fotodetectores.
Según la realización ejemplar, al sustituir una fuente de luz por fotodetectores en un punto de vista particular como se describe en conexión con las figuras 4A, 5 y 6, se puede tomar en cuenta varios factores, tal como, por ejemplo, la sensibilidad a las longitudes de onda elegidas, el rango dinámico, y la respuesta de frecuencia. Los fotodiodos de avalancha son generalmente dispositivos muy rápidos con rangos dinámicos grandes y son especialmente idóneos para capturar pulsos de alta velocidad a niveles de luz sumamente bajos debido a su sensibilidad muy alta. Los fotomultiplicadores tienen propiedades similares.
El fotodiodo ordinario, fotodiodo p-i-n, o fototransistor también es capaz de buen rendimiento en aplicación vídeo, pero es de menos utilidad con pulsos de velocidad sumamente alta a niveles de luz sumamente bajos. Todos los dispositivos fotodetectores de estado sólido pierden su capacidad de alta frecuencia a medida que aumenta su área (y por lo tanto la capacitancia). Por consiguiente, aunque parecería muy fácil emular un punto de vista de fuente de luz colocando el dispositivo fotosensible en la posición deseada y ampliando su área hasta que sea igual a la de la fuente de luz que se sustituye, la pérdida de respuesta de alta frecuencia y el aumento de ruido concomitante (debido a mayor área) no siempre permitirán este acercamiento.
Sin embargo, un acercamiento ejemplar es utilizar una lente para formar imágenes de la escena explorada en el dispositivo fotosensible. Esto incrementa la energía recogida a la recogida en el área de la lente sin incrementar el área del fotodetector (con todas las desventajas correspondientes). Alternativamente, en algunas aplicaciones se puede usar un dispositivo no formador de imágenes, tal como, por ejemplo, un tubo ahusado de luz, en lugar de una lente. Con ciertos límites, la ganancia lograda mediante un tubo ahusado de luz es igual al área de entrada dividida por el área de salida al fotodetector. Si se intenta lograr una ganancia demasiado alta, los rayos de salida emergerán casi paralelos a la superficie del fotodetector, y por relaciones Fresnel, serán reflejados por el fotodetector en vez de absorbidos.
Calibración
La realización ejemplar ilustrada en las figuras 5 y 6 se puede calibrar explorando un objeto blanco plano y normalizando la salida de cada fotodiodo PD1-PDn uno con respecto a otro. Los valores de corrección para normalización pueden ser almacenados después en una tabla en memoria accesible por el microprocesador 503, y usarse durante el tratamiento de imágenes. Aunque se podría registrar un valor para cada posición iluminada de la exploración de trama, puede ser necesario solamente almacenar un pequeño subconjunto de esta información puesto que los valores de corrección variarán en general muy lentamente a través del campo de visión.
Imágenes compuestas
Cuando un objeto especular tiene una superficie curvada o de múltiples facetas, puede no haber ninguna imagen individual capturada que tenga datos útiles que cubran todo el objeto. Por esta razón, las realizaciones proporcionan el microprocesador 503 para parchear las "mejores" porciones (es decir, las porciones que tienen el mayor contenido de información) de cada una de las imágenes obtenidas de cada punto de vista para formar una imagen compuesta. El diagrama de flujo de la figura 7A muestra un proceso ejemplar realizado por el microprocesador 503 para "parchear" una imagen.
Según el proceso ejemplar, se comparan regiones equivalentes de cada imagen (correspondientes a subimágenes geográficamente idénticas) (paso 710). Puesto que la porción "útil" de una escena será en general la porción con la entropía más alta - en sentido práctico, la porción con el mayor cambio o "detalle", se selecciona y se almacena en memoria la subimagen que tiene la entropía más alta (para la información de imagen buscada) (paso 720).
Una forma de determinar la entropía de cada subimagen es pasar cada subimagen por un filtro de frecuencia espacial de paso alto bidimensional y después elevar al cuadrado cada valor de pixel resultante. Si se desea, cada pixel se puede comparar con un valor umbral y poner a cero si es inferior al valor umbral (para eliminar pixels que representan ruido). Los valores de pixel en la subimagen se pueden sumar después para obtener un valor para la entropía de la subimagen.
Cuando se conocen con anterioridad algunas características de la subimagen deseada, tal como la frecuencia particular o el paso que pueden estar presentes en la imagen de un código de barras bidimensional, la subimagen se puede pasar por un filtro espacial de paso de banda correspondiente en lugar de, o además de, dicho filtro de paso alto.
Este proceso de la figura 7A continúa hasta que se han considerado todas las subimágenes (paso 730). Después se genera una nueva imagen compuesta (parcheando conjuntamente las subimágenes seleccionadas) (paso 740) que expresa mejor el detalle o la estructura de la configuración u objeto que se examina.
En la realización ejemplar, el parcheo es simple porque no hay distorsión perspectiva debido a los varios puntos de vista. Los datos capturados en el mismo instante de tiempo en cada punto de vista casi siempre serán del mismo punto iluminado o "pixel". La luz se puede recibir ocasionalmente mediante una reflexión múltiple, pero éste no será el caso usual.
Sin embargo, como entenderán los expertos en la materia, puede ser necesario conformar las subimágenes seleccionadas entre sí. Por ejemplo, supóngase que las imágenes se representan por matrices de N x M bits donde un "1" representa brillante y un "0" representa oscuro. Si se han de parchear juntas una subimagen de campo brillante y una subimagen de campo oscuro, cada bit en uno de las subimágenes, por ejemplo, la subimagen de campo oscuro, se somete a una operación O exclusivo con un "1" para "bascular los bits" de la subimagen para conformarla a la subimagen de campo brillante. En efecto, la subimagen de campo oscuro se convierte en una subimagen de campo brillante equivalente. Naturalmente, la subimagen de campo brillante se puede convertir de forma similar en una subimagen de campo oscuro equivalente.
Aunque la imagen compuesta obtenida como se describe en conexión con la figura 7A se puede procesar para revelar bordes, una imagen de borde compuesta o imagen de magnitud de gradiente compuesta también se puede derivar directamente de las imágenes individuales obtenidas de cada uno de los fotodetectores.
La figura 7B es un diagrama de flujo de un proceso ejemplar para derivar la imagen de magnitud de gradiente compuesta directamente de las imágenes individuales. La magnitud de gradiente se calcula como sigue:
df/dr=\sqrt{[(df/dx)^{2}} + (df/dy)^{2}] \ | \ i=0..m-1,j=0..n-1
Por consiguiente, en el paso 710B, se deriva df/dx (para cada una de las matrices de imagen P_{1}-P_{s} obtenidas de los fotodetectores) de la convolución de cada matriz de imagen P_{1}-P_{s} con la máscara horizontal Sobel h_{H} (es decir, el núcleo Sobel sensible a bordes verticales):
1
Así,
q_{h}(i,j) = \sum\limits_{i=-1}\sum\limits_{j=-1}P_{t}(i-k,j-l)h_{H}(k,l) \ | \ i = 0..m-1,j = 0..n-1
se calcula para cada matriz de imagen (paso 710B).
A continuación, en el paso 720B, se deriva df/dy para cada una de las matrices de imagen P de la convolución de cada matriz de imagen P_{1}-P_{s} con la máscara vertical Sobel h_{V} (es decir, el núcleo Sobel sensible a bordes horizontales):
2
Así,
q_{v}(i,j) = \sum\limits_{i=-1}\sum\limits_{j=-1}P_{t}(i-k,j-l)h_{v}(k,l) \ | \ i = 0..m-1,j=0..n-1
se calcula para cada matriz de imagen (paso 720B).
Después se determina el gradiente discreto en la coordinada de imagen i, j para cada matriz de imagen q_{h}(i, j) como sigue:
g_{t}(i,j) = \sqrt{[(q_{h}(i,j))^{2} + (q_{v}(i,j))^{2}]} \ | \ i=0..m-1,j=0..n-1
(paso 730B).
\newpage
Finalmente, se suman las matrices de gradiente g_{t}(i, j) correspondientes a matrices de imagen P_{1}-P_{s} para proporcionar una matriz de imagen de magnitud de gradiente compuesta G:
G(i, j)= \sum g_{t} (paso 740B).
La imagen de gradiente compuesta se puede poner opcionalmente a umbral (paso 750B).
Reflectancia
El vector de valores de luz relativos recogidos para cada pixel o región iluminada (es decir, un valor para cada fotodiodo PD1-PDn de la figura 5) proporciona unos medios para inferir propiedades de reflectancia (por ejemplo, la superficie es especular o mate) de puntos o regiones iluminados en el objeto o configuración.
Por cada vector de valores de luz relativos recogidos para cada pixel, por ejemplo, el procesador 503 o circuitería externa (no representada) puede determinar lo siguiente:
1)
La posición del fotodetector que tiene la señal más grande y su amplitud de señal (la amplitud de señal se puede usar como una referencia y la posición se puede usar para determinar la orientación del punto correspondiente al pixel en la superficie del objeto);
2)
La energía total (relativa) recibida (calculada sumando, por ejemplo, los valores de intensidad representados por cada una de las señales generadas por los fotodetectores como resultado de detectar luz);
3)
La amplitud de señal mediana como una fracción de la referencia;
4)
La amplitud de señal media como una fracción de la referencia;
5)
La distancia desde el sensor de referencia (para una configuración dada, la posición de cada uno de los sensores es conocida, de modo que la distancia se calcula fácilmente) que debe ser recorrida para obtener una fracción significativa de la energía total recibida (por ejemplo, la fracción del número total de detectores que capturan casi toda la energía); (esto se puede calcular, por ejemplo, añadiendo las señales más grandes -en orden de tamaño, primero la más grande- hasta que el total sea un porcentaje predeterminado de la energía total recibida por el sistema y determinando cuántos señales se añadieron);
6)
La desviación estándar de la energía recibida; y
7)
La relación del elemento más grande del vector (es decir, el valor más alto de intensidad de luz) al más pequeño.
A partir de los cálculos indicados se puede inferir las propiedades de reflectancia. Si, por ejemplo, un punto en un objeto es altamente especular (en un sentido ideal), un fotodetector recibiría toda (o la mayor parte de) la energía de luz reflejada. Como se representa en la figura 8, por ejemplo, un escáner 810 ilumina un punto 820 en una superficie de un objeto 830. Si el objeto es especular en el punto 820, la intensidad de luz reflejada detectada por uno de los fotodiodos (en este caso, el fotodiodo PD2) será probablemente considerablemente más grande que la luz detectada por fotodiodos contiguos (aquí, los fotodiodos PD1 y PD3). Igualmente, si el vector de valores de intensidad luminosa asociados con la iluminación del punto 820 consta de aproximadamente valores iguales (a excepción de la reducción de coseno con ángulo), la superficie iluminada es difusa o mate.
Por consiguiente, las propiedades de reflectancia serían evidentes a partir de todos los valores calculados en conexión con 1) a 7) anteriores. Sin embargo, no todos los valores son necesarios para inferir propiedades de reflectancia. Por ejemplo, el valor calculado para el punto 5, es decir, la fracción del número total de detectores que capturan casi toda la energía, puede ser suficiente para inferir especularidad (por ejemplo, el punto 5 sería muy pequeño). Igualmente, si el punto es completamente mate, los valores calculados correspondientes a los puntos 1, 3, y 4 serán próximos en amplitud. Además, los valores calculados correspondientes a puntos 6 y 7 serán pequeños.
Dado que las propiedades de reflectancia correspondientes a un punto se contienen en las relaciones calculadas de los valores en el vector (como se expone, por ejemplo, en los puntos 1-7 anteriores), la cantidad de información que se debe almacenar y procesar para describir suficientemente estas propiedades se puede reducir considerablemente. En vez de almacenar cada elemento del vector (cada elemento correspondiente a un fotodetector), puede ser necesario solamente almacenar un subconjunto de valores correspondientes a las propiedades calculadas del vector. Por ejemplo, en algunas circunstancias, grabar los puntos 1, 5 y 6 (anteriores) para cada punto explorado (derivados del vector de valores de intensidad luminosa asociados con dicho punto) proporciona suficiente información para inferir reflectancia. Esto se puede hacer en base de pixel a pixel.
En otras circunstancias puede ser necesario solamente almacenar un solo bit, un "1" para especular y un "0" para no especular, etc, para cada vector de entrada, según una decisión hecha en base a datos vectoriales. Los datos que haya que mantener serán específicos de la aplicación.
Circuitería de preprocesado
Cuando se desea una reducción de la cantidad de datos grabados como se ha descrito anteriormente, el vector de entrada debe ser examinado o preprocesado entre iluminación de pixels adyacentes. Por consiguiente, se puede usar hardware especial para garantizar que el procesado requerido se pueda hacer en el intervalo de tiempo entre pixels. Tal procesado especial puede aprovechar la arquitectura en paralelo o procesado analógico y digital mezclado para obtener la velocidad necesaria. La porción del sistema esbozada en líneas de trazos 511 ilustrada en la figura 5 se puede sustituir por dicho hardware de procesado.
La figura 11 ilustra una realización ejemplar del hardware de preprocesado. Como se ilustra, las señales de cada uno de los amplificadores log A1-An de la figura 5 se aplican a convertidores analógico a digital (A/D) correspondientes A/D1-A/Dn donde las señales analógicas se convierten en señales digitales de ocho bits. Las señales digitales de los convertidores A/D A/D1-A/Dn (representando cada señal digital un elemento vectorial) se aplican en paralelo al circuito lógico 1101 que identifica y extrae la señal digital más grande.
Los detalles del circuito lógico 1101 no se representan puesto que son muchas las formas en que se puede diseñar. Por ejemplo, se puede examinar el bit más significativo de cada elemento vectorial. Los elementos que tienen un "0" en esta posición se pueden eliminar de la consideración adicional si alguno de los otros elementos tiene un "1" en la misma posición. Esto se puede repetir para cada posición de bit, de uno en uno, hasta que se haya considerado el bit menos significativo de los elementos. Entonces, solamente quedará el elemento más grande. Aunque esto se puede realizar como un proceso secuencial, puede ser ventajoso implementar esta operación (circuito 1101) como un proceso paralelo utilizando lógica cableada (usando, por ejemplo, un PAL, un ASIC, etc) para obtener operación a alta velocidad. Usando conmutación adicional por puerta en el circuito lógico 1101, un procesador 1102 puede direccionar cualquiera de los elementos vectoriales para usar el circuito lógico 1101 como un demultiplexor o conmutador selector.
El elemento extraído como el "más grande" (es decir, un valor de "referencia") se puede usar ahora para normalizar los otros elementos vectoriales. Puesto que los elementos vectoriales son funciones log (como cuando los amplificadores A1-An son amplificadores log), la normalización se puede realizar usando circuitos digitales de resta DS1-DSn. Específicamente, las señales digitales de los convertidores A/D A/D1-A/Dn se aplican a la entrada positiva de circuitos de resta correspondientes DS1-DSn donde el elemento vectorial "más grande" del circuito lógico 1101 se resta de los demás. El resultado será un número negativo para cada uno de los elementos (a excepción, naturalmente, de cada elemento igual al elemento vectorial "más grande") que es proporcional al logaritmo de la relación de cada elemento al valor de referencia.
A continuación, el procesador 1102 consulta los valores de elemento para determinar rápidamente qué valores de elemento son más grandes que alguna fracción particular de la energía del valor de referencia. Por ejemplo, si el procesador ha de determinar el número de elementos cuya potencia es al menos 1/e**2 del valor de referencia, cada una de las señales emitidas por los sustractores digitales DS1-DSn se aplica a la entrada positiva de circuitos digitales de resta correspondientes DSS1-DSSn, y se resta ellos log(1/e**2) 1103. Los elementos que tienen más potencia que 1/e**2 del valor de referencia producen un valor positivo en la salida de circuitos de resta correspondientes DSS1-DSSn. Los elementos que tienen menos potencia producen un valor negativo en la salida de circuitos de resta correspondientes DSS1-DSSn.
Las señales de los circuitos digitales de resta DSS1-DSSn se aplican a circuitos de función de signo (sgn) correspondientes SGN1-SGNn, cada uno de los cuales envía una señal alta o positiva si la señal de entrada es positiva y envía una señal baja o negativa si la señal de entrada es negativa. Las señales enviadas por los circuitos sgn SGN1-SGNn se transmiten al procesador 1102. Un procesador (es decir, el procesador 1102) que tiene una palabra de n bits puede identificar así cuál de los valores de n elementos excedía de una fracción particular de la potencia de referencia.
Con el hardware descrito anteriormente, es posible obtener un vector nuevo conteniendo muchos menos bits de datos que el número de bits en el vector original, y tener todavía suficiente información para mejorar el tratamiento de imágenes u otra operación de visión con máquina mediante conocimiento de las propiedades de reflectancia de los pixels individuales.
El diagrama de la figura 12 ilustra una mejora de la circuitería de preprocesado de la figura 11. En particular, la circuitería lógica ilustrada en la figura 12 sustituye al circuito lógico 1101. Como se ilustra, las señales analógicas de los amplificadores A1-An de la figura 5 se aplican a un amplificador operativo de alta velocidad correspondiente ("amp op") con redes de diodos OP1-OPn. La(s) red(es) de amps ops OP1-OPn correspondientes a la(s) señal(es) más grande(s) introducidas desde los amplificadores A1-An generan una señal de salida positiva. Las redes restantes OP1-OPn generan una señal de salida negativa.
Las señales de las redes OP1-OPn se aplican a comparadores correspondientes C1-Cn que convierten las señales positivas en "1s" y las señales negativas en "0s". Estas señales se aplican después a un primer terminal de puertas muestra NI correspondientes N1-Nn.
Un pulso negativo 1201 reposiciona los retenes 1202 antes de cada pulso de luz de iluminación. Este pulso también es invertido por el inversor 1203 (después de un retardo) y aplicado a cada uno de los segundos terminales de puertas NI N1-Nn. Las señales emitidas por cada puerta NI N1-Nn se aplican, en paralelo, a retenes 1202 que retienen las señales aplicadas. Las señales de los retenes 1202 son aplicadas después a un conmutador selector 1204 para seleccionar la señal apropiada (es decir, la señal más grande) de las señales recibidas de A/D1-A/Dn. La señal seleccionada es enviada después al terminal de salida 1205 y puede ser utilizada después como la señal de referencia (descrita anteriormente en conexión con la figura 11).
Código de barras bidimensional
Determinar la propiedad de reflectancia de cada punto en una superficie es especialmente útil en una aplicación de visión con máquina tal como leer códigos de barras bidimensionales ("2-D") y símbolos de matriz de datos (como se describe en las Patentes de Estados Unidos números 4.939.354 y 5.053.609. Los códigos de barras y los símbolos de matriz de datos se generan típicamente en parte alterando sus propiedades de reflectancia local mediante marcación con láser, arenado, martillado u otros medios. En la realización ejemplar, el procesador 503 analiza la información almacenada con respecto a cada punto (por ejemplo, puntos 1, 5, y 6 anteriormente) y genera una matriz de bits bidimensional que representa la propiedad de reflectancia inferida de cada punto iluminado en la superficie del objeto. La figura 9 ilustra una porción de la matriz generada 910 que representa un símbolo de matriz de datos arenado en una superficie especular (tal como, por ejemplo, acero inoxidable). Aquí, un "1" identifica que el punto correspondiente en la superficie del objeto es altamente reflector o especular mientras que un "0" identifica que el punto es mate. Analizando esta matriz 910, el procesador puede decodificar fácilmente el símbolo de matriz de datos bidimensional.
Orientación superficial
El vector de valores de luz relativos recogidos para cada pixel también proporciona unos medios para inferir la orientación superficial de puntos o regiones iluminados en el objeto o configuración. Como se ilustra en la figura 8, la normal a la superficie en dicha posición se puede determinar observando qué fotodiodo detectó la luz reflejada de mayor intensidad, puesto que en posiciones aproximadas de la fuente de luz 810, los fotodiodos PD1-PD3, y el objeto 830 son conocidos.
Imágenes bidimensionales y tridimensionales
Como entenderán los expertos en la técnica, la presente invención se puede aplicar a obtener simultáneamente múltiples imágenes bidimensionales de un objeto, obtener simultáneamente múltiples imágenes tridimensionales (3D) de un objeto, y obtener simultáneamente imágenes 2D y 3D de un objeto. Una técnica de formar imágenes 3D (obtener una sola imagen 3D) se describe en la Patente de Estados Unidos número 4.957.369 de Antonsson.
Escáner portátil
No es necesario situar los fotodetectores y la fuente de luz en la misma caja, aunque para algunas aplicaciones puede ser deseable una caja común. Una caja común pone todo el equipo de exploración óptica y fotodetección en una caja de fácil manejo, y crea una relación geométrica fija conocida entre la fuente de luz y los varios fotodetectores. Esta relación fija es útil para calcular rangos mediante triangulación y para tener en cuenta la distancia y el ángulo al determinar propiedades de reflectancia. Los fotodetectores pueden ser dispositivos detectores de posición multisalida donde una relación de señales indica el ángulo y la suma de las señales indica los valores de luz, como se describe en la Patente de Estados Unidos número 4.957.369 concedida a Antonsson. Sin embargo, para aplicaciones de mano portátiles, puede ser ventajoso separar físicamente las funciones de manera que la función de exploración con láser la pueda sujetar el operador y ser lo más pequeña y ligera que sea posible. Los fotodetectores y el equipo de procesado se pueden distribuir por toda la sala o zona de trabajo donde se usará el escáner de mano. Sin embargo, la mayoría de los fotodetectores, no deberían quedar ensombrecidos por el área del objeto que está siendo explorado por el punto de luz.
El objeto se puede colocar a gran distancia del escáner láser de mano a condición de que el punto láser se mantenga razonablemente bien enfocado en la superficie del objeto. Hay muchas formas en que se puede mantener el enfoque. La más simple se basa en técnicas normales de autofocus a base de cámara tal como alcance sónico, maximización de detalle, alcance de medición, etc. Estos sistemas conocidos se pueden incorporar en el escáner de mano. Alternativamente, el escáner 500 podría tener su propia fuente de luz interna (CA o pulsada) utilizada como un blanco para dos fotodetectores en base conocida. Esto permite que el sistema rastree la posición del escáner de mano con respecto a la línea base conocida. A partir de la posición de la posición de escáner y la posición blanco (rastreando un punto de luz en la superficie del objeto), el procesador 503 podría calcular el rango entre el escáner y el blanco y usar esta información para regular la óptica en el escáner para mantener el enfoque.
Otras realizaciones alternativas
Aunque la presente invención se ha mostrado y descrito con detalle con referencia a sus realizaciones ejemplares, los expertos en la materia entenderán que se puede hacer varios cambios en la forma y detalles sin apartarse del espíritu y alcance de la invención definidos por las reivindicaciones anexas.

Claims (8)

1. Un método de formar imágenes de un objeto (501) incluyendo los pasos de:
a) iluminar al menos una porción del objeto con luz transmitida por una fuente de luz (500);
b) detectar, en una primera posición preseleccionada, luz reflejada del objeto;
c) formar una primera imagen de la porción iluminada del objeto en función de la luz detectada en el paso b);
d) simultáneamente con el paso b), detectar, en una segunda posición preseleccionada, luz reflejada del objeto;
e) formar una segunda imagen de la porción iluminada del objeto en función de la luz detectada en el paso d);
caracterizado porque el método incluye además los pasos de:
f) dividir la primera imagen en una pluralidad de primeras subimágenes;
g) dividir la segunda imagen en una pluralidad de segundas subimágenes;
h) determinar la entropía de una de la pluralidad de primeras subimágenes correspondientes a una primera porción del objeto;
i) determinar la entropía de una de la pluralidad de segundas subimágenes correspondientes a la primera porción del objeto;
j) comparar (710) la entropía determinada de la primera de la pluralidad de primeras subimágenes con la entropía determinada de la primera de la pluralidad de segundas subimágenes;
k) seleccionar (720) la primera de la pluralidad de primeras subimágenes o la primera de la pluralidad de segundas subimágenes en función del resultado del paso j);
l) determinar la entropía de una segunda de la pluralidad de primeras subimágenes correspondientes a una segunda porción del objeto donde la segunda porción es diferente de la primera porción;
m) determinar la entropía de una segunda de la pluralidad de segundas subimágenes correspondientes a la segunda porción del objeto;
n) comparar (710) la entropía determinada de la segunda de la pluralidad de primeras subimágenes con la entropía determinada de la segunda de la pluralidad de segundas subimágenes;
o) seleccionar (720) la segunda de la pluralidad de primeras subimágenes o la segunda de la pluralidad de segundas subimágenes en función del resultado del paso n); y
p) combinar (740) la subimagen seleccionada en el paso k) y la subimagen seleccionada en el paso o) para formar una imagen compuesta.
2. El método de la reivindicación 1, donde la primera imagen es una imagen de campo brillante y la segunda imagen es una imagen de campo oscuro.
3. El método de cualquiera de las reivindicaciones 1 ó 2, donde el paso de iluminación incluye el paso de:
explorar dicha porción del objeto con una fuente de luz colimada.
4. El método de cualquiera de las reivindicaciones 1 ó 2, donde el paso de iluminación incluye el paso de:
explorar dicha porción del objeto con una fuente de luz enfocada.
5. Aparato para formar imágenes de un objeto (501), incluyendo:
una fuente de luz (500) dispuesta para iluminar al menos una porción del objeto;
un primer detector (PD1) dispuesto para detectar, en una primera posición preseleccionada, luz reflejada del objeto;
medios para formar una primera imagen de la porción iluminada del objeto en función de la luz detectada por el primer detector;
un segundo detector (PD2) dispuesto para detectar, en una segunda posición preseleccionada y simultáneamente con la operación del primer detector, luz reflejada del objeto;
medios para formar una segunda imagen de la porción iluminada del objeto en función de la luz detectada por el segundo detector;
caracterizado porque el aparato incluye además:
medios para dividir la primera imagen en una pluralidad de primeras subimágenes;
medios para dividir la segunda imagen en una pluralidad de segundas subimágenes;
medios para determinar la entropía de la primera de la pluralidad de primeras subimágenes correspondientes a una primera porción del objeto;
medios para determinar la entropía de la primera de la pluralidad de segundas subimágenes correspondientes a la primera porción del objeto;
medios para comparar la entropía determinada de la primera de la pluralidad de primeras subimágenes con la entropía determinada de la primera de la pluralidad de segundas subimágenes y para seleccionar la primera de la pluralidad de primeras subimágenes o la primera de la pluralidad de segundas subimágenes en función del resultado de la comparación;
medios para determinar la entropía de una segunda de la pluralidad de primeras subimágenes correspondientes a una segunda porción del objeto donde la segunda porción es diferente de la primera porción;
medios para determinar la entropía de una segunda de la pluralidad de segundas subimágenes correspondientes a la segunda porción del objeto;
medios para comparar la entropía determinada de la segunda de la pluralidad de primeras subimágenes con la entropía determinada de la segunda de la pluralidad de segundas subimágenes y para seleccionar la segunda de la pluralidad de primeras subimágenes o la segunda de la pluralidad de segundas subimágenes en función del resultado de la comparación; y
medios para combinar las subimágenes seleccionadas para formar una imagen compuesta.
6. El aparato de la reivindicación 5, dispuesto además de tal manera que la primera imagen sea una imagen de campo brillante y la segunda imagen sea una imagen de campo oscuro.
7. El aparato de cualquiera de las reivindicaciones 5 ó 6, donde la fuente de luz es colimada y está dispuesta para explorar dicha porción del objeto.
8. El aparato de cualquiera de las reivindicaciones 5 ó 6, donde la fuente de luz es una luz enfocada y está dispuesta para explorar dicha porción del objeto.
ES97946611T 1996-11-12 1997-11-07 Procedimiento y sistema para formar imagenes de un objeto o de una configuracion. Expired - Lifetime ES2207754T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/748,040 US6075883A (en) 1996-11-12 1996-11-12 Method and system for imaging an object or pattern
US748040 2000-12-22

Publications (1)

Publication Number Publication Date
ES2207754T3 true ES2207754T3 (es) 2004-06-01

Family

ID=25007738

Family Applications (1)

Application Number Title Priority Date Filing Date
ES97946611T Expired - Lifetime ES2207754T3 (es) 1996-11-12 1997-11-07 Procedimiento y sistema para formar imagenes de un objeto o de una configuracion.

Country Status (10)

Country Link
US (3) US6075883A (es)
EP (2) EP1359534B1 (es)
AT (2) ATE250249T1 (es)
AU (1) AU5174798A (es)
CA (1) CA2271492C (es)
DE (2) DE69725021T2 (es)
DK (1) DK1016028T3 (es)
ES (1) ES2207754T3 (es)
PT (1) PT1016028E (es)
WO (1) WO1998021687A1 (es)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020014533A1 (en) 1995-12-18 2002-02-07 Xiaxun Zhu Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps
US6705526B1 (en) 1995-12-18 2004-03-16 Metrologic Instruments, Inc. Automated method of and system for dimensioning objects transported through a work environment using contour tracing, vertice detection, corner point detection, and corner point reduction methods on two-dimensional range data maps captured by an amplitude modulated laser scanning beam
JP4143788B2 (ja) * 1999-08-04 2008-09-03 澁谷工業株式会社 ボールマウント装置及びマウント方法
US6268093B1 (en) * 1999-10-13 2001-07-31 Applied Materials, Inc. Method for reticle inspection using aerial imaging
US6912076B2 (en) 2000-03-17 2005-06-28 Accu-Sort Systems, Inc. Coplanar camera scanning system
JP2003529857A (ja) * 2000-03-30 2003-10-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 画像処理
US7173648B1 (en) * 2000-04-21 2007-02-06 Advanced Micro Devices, Inc. System and method for visually monitoring a semiconductor processing system
US6891627B1 (en) 2000-09-20 2005-05-10 Kla-Tencor Technologies Corp. Methods and systems for determining a critical dimension and overlay of a specimen
US6917419B2 (en) * 2000-09-20 2005-07-12 Kla-Tencor Technologies Corp. Methods and systems for determining flatness, a presence of defects, and a thin film characteristic of a specimen
WO2002039877A2 (en) * 2000-11-17 2002-05-23 Oregon Health & Science University Stereotactic wands, endoscopes, and methods using such wands and endoscopes
US6547409B2 (en) * 2001-01-12 2003-04-15 Electroglas, Inc. Method and apparatus for illuminating projecting features on the surface of a semiconductor wafer
US7171033B2 (en) * 2001-03-28 2007-01-30 The Boeing Company System and method for identifying defects in a composite structure
US20020186878A1 (en) * 2001-06-07 2002-12-12 Hoon Tan Seow System and method for multiple image analysis
US7072502B2 (en) 2001-06-07 2006-07-04 Applied Materials, Inc. Alternating phase-shift mask inspection method and apparatus
US6766954B2 (en) * 2001-06-15 2004-07-27 Symbol Technologies, Inc. Omnidirectional linear sensor-based code reading engines
US6845178B1 (en) * 2001-06-27 2005-01-18 Electro Scientific Industries, Inc. Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
US7113633B2 (en) * 2001-07-02 2006-09-26 Photoinaphoto.Com, Inc. System and method for discovering and categorizing attributes of a digital image
EP1273928A1 (de) * 2001-07-06 2003-01-08 Leica Geosystems AG Verfahren und Vorrichtung zur Unterdrückung elektromagnetischer Hintergrundstrahlung in einem Bild
US7356453B2 (en) 2001-11-14 2008-04-08 Columbia Insurance Company Computerized pattern texturing
US7221805B1 (en) * 2001-12-21 2007-05-22 Cognex Technology And Investment Corporation Method for generating a focused image of an object
US7344082B2 (en) * 2002-01-02 2008-03-18 Metrologic Instruments, Inc. Automated method of and system for dimensioning objects over a conveyor belt structure by applying contouring tracing, vertice detection, corner point detection, and corner point reduction methods to two-dimensional range data maps of the space above the conveyor belt captured by an amplitude modulated laser scanning beam
DE10209269C1 (de) * 2002-03-01 2003-07-03 Leuze Electronic Gmbh & Co Optoelektronische Vorrichtung
US6813016B2 (en) * 2002-03-15 2004-11-02 Ppt Vision, Inc. Co-planarity and top-down examination method and optical module for electronic leaded components
US7016525B2 (en) * 2002-05-02 2006-03-21 Mitutoyo Corporation Systems and methods for continuously varying wavelength illumination
EP1644862A4 (en) * 2002-07-16 2006-10-11 Electro Scient Ind Inc NON-ORIENTED OPTICAL CHARACTER RECOGNITION OF A SUBSTRATE MARKER
US20050004472A1 (en) * 2002-08-17 2005-01-06 Greg Pratt Medical socket contour scanning system
US6900942B2 (en) * 2002-08-20 2005-05-31 Veridian Systems Wide field-of-view (FOV) coherent beam combiner/detector
DE10239548A1 (de) * 2002-08-23 2004-03-04 Leica Microsystems Semiconductor Gmbh Vorrichtung und Verfahren zur Inspektion eines Objekts
US8171567B1 (en) 2002-09-04 2012-05-01 Tracer Detection Technology Corp. Authentication method and system
AU2003268255A1 (en) * 2002-09-04 2004-03-29 Brooks Automation, Inc. Device and process for reading out identification information on reticles
JP3777149B2 (ja) * 2002-09-19 2006-05-24 株式会社ナムコ プログラム、情報記憶媒体及び画像生成装置
US7181066B1 (en) 2002-12-26 2007-02-20 Cognex Technology And Investment Corporation Method for locating bar codes and symbols in an image
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
US7236625B2 (en) * 2003-07-28 2007-06-26 The Boeing Company Systems and method for identifying foreign objects and debris (FOD) and defects during fabrication of a composite structure
JP3953988B2 (ja) * 2003-07-29 2007-08-08 Tdk株式会社 検査装置および検査方法
US7162322B2 (en) * 2003-11-28 2007-01-09 The Ohio Willow Wood Company Custom prosthetic liner manufacturing system and method
US7289656B2 (en) 2003-12-02 2007-10-30 The Boeing Company Systems and methods for determining inconsistency characteristics of a composite structure
US8934702B2 (en) * 2003-12-02 2015-01-13 The Boeing Company System and method for determining cumulative tow gap width
SG184722A1 (en) 2004-03-12 2012-10-30 Ingenia Holdings Ltd Authenticity verification methods, products and apparatuses
MXPA06010401A (es) 2004-03-12 2007-01-19 Ingenia Technology Ltd Metodos y aparatos para crear articulos impresos autentificables y para verificarlos posteriormente.
US7193696B2 (en) * 2004-04-12 2007-03-20 United Technologies Corporation Systems and methods for using light to indicate defect locations on a composite structure
US20060027657A1 (en) 2004-08-04 2006-02-09 Laurens Ninnink Method and apparatus for high resolution decoding of encoded symbols
GB2444139B (en) * 2004-08-13 2008-11-12 Ingenia Technology Ltd Authenticity verification methods products and apparatuses
US7175090B2 (en) 2004-08-30 2007-02-13 Cognex Technology And Investment Corporation Methods and apparatus for reading bar code identifications
DE102004053293A1 (de) * 2004-11-04 2006-05-11 Giesecke & Devrient Gmbh Abtastvorrichtung für Barcodes
US7424902B2 (en) 2004-11-24 2008-09-16 The Boeing Company In-process vision detection of flaw and FOD characteristics
US7963448B2 (en) * 2004-12-22 2011-06-21 Cognex Technology And Investment Corporation Hand held machine vision method and apparatus
US9552506B1 (en) 2004-12-23 2017-01-24 Cognex Technology And Investment Llc Method and apparatus for industrial identification mark verification
US7898524B2 (en) 2005-06-30 2011-03-01 Logitech Europe S.A. Optical displacement detection over varied surfaces
EP1930719A4 (en) * 2005-08-31 2009-11-25 Ccs Inc COAXIAL LIGHT EMITTING DEVICE
US20070077671A1 (en) * 2005-10-03 2007-04-05 Applied Materials In-situ substrate imaging
GB2434642B (en) 2005-12-23 2008-10-22 Ingenia Holdings Optical authentication
DE102005061834B4 (de) * 2005-12-23 2007-11-08 Ioss Intelligente Optische Sensoren & Systeme Gmbh Vorrichtung und Verfahren zum optischen Prüfen einer Oberfläche
US20070202476A1 (en) * 2006-02-03 2007-08-30 Mark Williamson Techniques for inspecting an electronic device
US8170322B2 (en) * 2006-03-22 2012-05-01 Jadak Llc Optical imaging system and method using a reflective background
JP4890096B2 (ja) * 2006-05-19 2012-03-07 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
US8108176B2 (en) * 2006-06-29 2012-01-31 Cognex Corporation Method and apparatus for verifying two dimensional mark quality
JP4306741B2 (ja) * 2006-07-20 2009-08-05 株式会社デンソーウェーブ 光学情報読取装置
GB2443457B (en) * 2006-10-31 2011-11-02 Hewlett Packard Development Co Image processing system and method
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业(深圳)有限公司 影像焦点合成系统及方法
US8169478B2 (en) * 2006-12-14 2012-05-01 Cognex Corporation Method and apparatus for calibrating a mark verifier
WO2008124397A1 (en) 2007-04-03 2008-10-16 David Fishbaine Inspection system and method
TWI475874B (zh) * 2007-06-15 2015-03-01 Camtek Ltd 使用多面成像之光學檢查系統
US8011583B2 (en) 2007-07-02 2011-09-06 Microscan Systems, Inc. Systems, devices, and/or methods for managing data matrix lighting
US9734376B2 (en) 2007-11-13 2017-08-15 Cognex Corporation System and method for reading patterns using multiple image frames
KR20110043616A (ko) * 2008-07-22 2011-04-27 오르보테크 엘티디. 효과적인 원격중심 광학 시스템(etos)
US8760507B2 (en) * 2008-08-05 2014-06-24 Inspectron, Inc. Light pipe for imaging head of video inspection device
GB2466465B (en) * 2008-12-19 2011-02-16 Ingenia Holdings Authentication
GB2466311B (en) 2008-12-19 2010-11-03 Ingenia Holdings Self-calibration of a matching algorithm for determining authenticity
SG164298A1 (en) * 2009-02-24 2010-09-29 Visionxtreme Pte Ltd Object inspection system
US8441532B2 (en) * 2009-02-24 2013-05-14 Corning Incorporated Shape measurement of specular reflective surface
US20100226114A1 (en) * 2009-03-03 2010-09-09 David Fishbaine Illumination and imaging system
US20110080476A1 (en) * 2009-10-02 2011-04-07 Lasx Industries, Inc. High Performance Vision System for Part Registration
US8461532B2 (en) * 2009-11-05 2013-06-11 The Aerospace Corporation Refraction assisted illumination for imaging
US8450688B2 (en) 2009-11-05 2013-05-28 The Aerospace Corporation Refraction assisted illumination for imaging
US8138476B2 (en) 2009-11-05 2012-03-20 The Aerospace Corporation Refraction assisted illumination for imaging
GB2476226B (en) 2009-11-10 2012-03-28 Ingenia Holdings Ltd Optimisation
DE102010032469B4 (de) * 2010-07-28 2014-12-04 Ioss Intelligente Optische Sensoren & Systeme Gmbh Verfahren und Vorrichtung zum Lesen von Codes auf Solarzellen-Wafern
US9265629B2 (en) 2011-04-01 2016-02-23 The Ohio Willow Wood Company Fabric covered polymeric prosthetic liner
JP6290854B2 (ja) * 2012-03-30 2018-03-07 ニコン メトロロジー エン ヴェー 改良された光学式走査プローブ
JP5783953B2 (ja) * 2012-05-30 2015-09-24 株式会社日立ハイテクノロジーズ パターン評価装置およびパターン評価方法
WO2014060564A1 (en) * 2012-10-17 2014-04-24 Cathx Research Ltd Improvements in and relating to gathering range and dimensional information underwater surveys
US9007454B2 (en) 2012-10-31 2015-04-14 The Aerospace Corporation Optimized illumination for imaging
KR101510553B1 (ko) * 2013-11-14 2015-04-08 주식회사 포스코 그림자를 이용한 후판의 영상 처리 장치
EP3227669A1 (en) * 2014-12-03 2017-10-11 Bombardier Inc. Online inspection for composite structures
US10697857B2 (en) * 2014-12-22 2020-06-30 Pirelli Tyre S.P.A. Method and apparatus for checking tyres in a production line
US10697762B2 (en) 2014-12-22 2020-06-30 Pirelli Tyre S.P.A. Apparatus for controlling tyres in a production line
JP6832650B2 (ja) * 2016-08-18 2021-02-24 株式会社Screenホールディングス 検査装置および検査方法
CN109754425B (zh) * 2017-11-01 2023-07-28 浙江舜宇智能光学技术有限公司 Tof摄像模组的标定设备及其标定方法
KR20210052559A (ko) 2018-09-24 2021-05-10 어플라이드 머티어리얼스, 인코포레이티드 Cmp 프로세스 제어 알고리즘에 대한 입력으로서의 기계 시각
CN113447485A (zh) * 2020-03-26 2021-09-28 捷普电子(新加坡)公司 光学检测方法
WO2022005916A1 (en) 2020-06-29 2022-01-06 Applied Materials, Inc. Film thickness estimation from machine learning based processing of substrate images

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US891013A (en) * 1907-01-25 1908-06-16 John Hammond Smith Method of reproducing objects.
US1596458A (en) * 1924-03-13 1926-08-17 Schiesari Mario Method of obtaining data for reproducing three-dimensional objects
US2177737A (en) * 1936-11-13 1939-10-31 Warner Bros Photographic apparatus
CH442965A (de) * 1966-07-08 1967-08-31 Koch Carl Photographische Mattscheibenkamera
US4092068A (en) * 1976-05-05 1978-05-30 Domtar Inc. Surface sensor
US4146327A (en) * 1976-12-27 1979-03-27 Autech Optical triangulation gauging system
US4152723A (en) * 1977-12-19 1979-05-01 Sperry Rand Corporation Method of inspecting circuit boards and apparatus therefor
US4373804A (en) * 1979-04-30 1983-02-15 Diffracto Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
US4238147A (en) * 1979-05-23 1980-12-09 Solid Photography Inc. Recording images of a three-dimensional surface by focusing on a plane of light irradiating the surface
US4286293A (en) * 1979-05-30 1981-08-25 Western Electric Company, Inc. Laser scanning and multiple detection for video image processing
US4343553A (en) * 1979-09-03 1982-08-10 Hitachi, Ltd. Shape testing apparatus
US4594001A (en) * 1981-07-07 1986-06-10 Robotic Vision Systems, Inc. Detection of three-dimensional information with a projected plane of light
US4494874A (en) * 1981-07-07 1985-01-22 Robotic Vision Systems, Inc. Detection of three-dimensional information using a projected point or line of light
US4441124A (en) * 1981-11-05 1984-04-03 Western Electric Company, Inc. Technique for inspecting semiconductor wafers for particulate contamination
US4443705A (en) * 1982-10-01 1984-04-17 Robotic Vision Systems, Inc. Method for locating points on a three-dimensional surface using light intensity variations
US4527893A (en) * 1982-10-13 1985-07-09 Taylor Francis M Method and apparatus for optically measuring the distance to a workpiece
US4529316A (en) * 1982-10-18 1985-07-16 Robotic Vision Systems, Inc. Arrangement of eliminating erroneous data in three-dimensional optical sensors
US4645348A (en) * 1983-09-01 1987-02-24 Perceptron, Inc. Sensor-illumination system for use in three-dimensional measurement of objects and assemblies of objects
US4590367A (en) * 1983-10-06 1986-05-20 Robotic Vision Systems, Inc. Arrangement for the expansion of the dynamic range of optical devices
US4682894A (en) * 1985-03-21 1987-07-28 Robotic Vision Systems, Inc. Calibration of three-dimensional space
JPS6279644A (ja) * 1985-10-02 1987-04-13 Sanwa Electron Kk Icピンの検査装置
US4762990A (en) * 1985-10-21 1988-08-09 International Business Machines Corporation Data processing input interface determining position of object
US4688939A (en) * 1985-12-27 1987-08-25 At&T Technologies, Inc. Method and apparatus for inspecting articles
JPH0776754B2 (ja) * 1986-06-25 1995-08-16 日立テクノエンジニアリング株式会社 Icリード曲り検出方法
US4740708A (en) * 1987-01-06 1988-04-26 International Business Machines Corporation Semiconductor wafer surface inspection apparatus and method
US5490084A (en) * 1987-06-01 1996-02-06 Hitachi Techno Engineering Co., Ltd. Method and apparatus for detecting bent leads in electronic components
JPH01249181A (ja) * 1988-03-31 1989-10-04 Tdk Corp チップ部品自動外観選別機における部品仕分け方法
US4824251A (en) * 1987-09-25 1989-04-25 Digital Signal Corporation Optical position sensor using coherent detection and polarization preserving optical fiber
FR2624600B1 (fr) * 1987-12-09 1990-04-13 Snecma Procede et dispositif de controle de contours geometriques sans contact
US4991968A (en) * 1988-07-20 1991-02-12 Robotic Vision Systems, Inc. Three dimensional object surface determination with automatic sensor control
US4925308A (en) * 1988-08-09 1990-05-15 Robotic Vision System, Inc. Calibration of three-dimensional space
US5030008A (en) * 1988-10-11 1991-07-09 Kla Instruments, Corporation Method and apparatus for the automated analysis of three-dimensional objects
US5247585A (en) * 1988-12-28 1993-09-21 Masaharu Watanabe Object recognition device
US4957369A (en) * 1989-01-23 1990-09-18 California Institute Of Technology Apparatus for measuring three-dimensional surface geometries
US5635697A (en) * 1989-03-01 1997-06-03 Symbol Technologies, Inc. Method and apparatus for decoding two-dimensional bar code
US5509104A (en) * 1989-05-17 1996-04-16 At&T Corp. Speech recognition employing key word modeling and non-key word modeling
JPH03209737A (ja) * 1990-01-11 1991-09-12 Tokyo Electron Ltd プローブ装置
US5060065A (en) * 1990-02-23 1991-10-22 Cimflex Teknowledge Corporation Apparatus and method for illuminating a printed circuit board for inspection
JPH04105341A (ja) * 1990-08-24 1992-04-07 Hitachi Ltd 半導体装置のリード曲がり、浮き検出方法及び検出装置
JP2591292B2 (ja) * 1990-09-05 1997-03-19 日本電気株式会社 画像処理装置とそれを用いた自動光学検査装置
US5245421A (en) * 1990-09-19 1993-09-14 Control Automation, Incorporated Apparatus for inspecting printed circuit boards with surface mounted components
IL99823A0 (en) * 1990-11-16 1992-08-18 Orbot Instr Ltd Optical inspection method and apparatus
US5365084A (en) * 1991-02-20 1994-11-15 Pressco Technology, Inc. Video inspection system employing multiple spectrum LED illumination
US5172005A (en) * 1991-02-20 1992-12-15 Pressco Technology, Inc. Engineered lighting system for tdi inspection comprising means for controlling lighting elements in accordance with specimen displacement
JP2722287B2 (ja) * 1991-05-15 1998-03-04 ファナック株式会社 レーザセンサにおける位置検出方法
DE4222804A1 (de) * 1991-07-10 1993-04-01 Raytheon Co Einrichtung und verfahren zur automatischen visuellen pruefung elektrischer und elektronischer baueinheiten
JP2714277B2 (ja) * 1991-07-25 1998-02-16 株式会社東芝 リード形状計測装置
US5187611A (en) 1991-08-27 1993-02-16 Northeast Robotics, Inc. Diffuse on-axis light source
US5351126A (en) * 1991-10-31 1994-09-27 Matsushita Electric Works, Ltd. Optical measurement system for determination of an object's profile or thickness
JP2969402B2 (ja) * 1991-12-02 1999-11-02 株式会社新川 ボンデイングワイヤ検査装置
US5179413A (en) * 1992-02-05 1993-01-12 Eastman Kodak Company System for illuminating a linear zone which reduces the effect of light retroflected from outside the zone on the illumination
US5260779A (en) * 1992-02-21 1993-11-09 Control Automation, Inc. Method and apparatus for inspecting a printed circuit board
US5448650A (en) * 1992-04-30 1995-09-05 International Business Machines Corporation Thin-film latent open optical detection with template-based feature extraction
TW278212B (es) * 1992-05-06 1996-06-11 Sumitomo Electric Industries
US5463227A (en) * 1992-06-24 1995-10-31 Robotic Vision Systems, Inc. Method for obtaining three-dimensional data from multiple parts or devices in a multi-pocketed tray
US5371375A (en) * 1992-06-24 1994-12-06 Robotic Vision Systems, Inc. Method for obtaining three-dimensional data from multiple parts or devices in a multi-pocketed tray
US5313542A (en) * 1992-11-30 1994-05-17 Breault Research Organization, Inc. Apparatus and method of rapidly measuring hemispherical scattered or radiated light
JP2745102B2 (ja) * 1992-12-02 1998-04-28 ローレルバンクマシン株式会社 硬貨判別装置
US5305091A (en) * 1992-12-07 1994-04-19 Oreo Products Inc. Optical coordinate measuring system for large objects
US5367439A (en) * 1992-12-24 1994-11-22 Cognex Corporation System for frontal illumination
US5461417A (en) * 1993-02-16 1995-10-24 Northeast Robotics, Inc. Continuous diffuse illumination method and apparatus
US5406372A (en) * 1993-04-16 1995-04-11 Modular Vision Systems Inc. QFP lead quality inspection system and method
US5517235A (en) * 1993-11-03 1996-05-14 Control Automation, Inc. Method and apparatus for inspecting printed circuit boards at different magnifications
JP3333615B2 (ja) * 1993-12-21 2002-10-15 三菱電機株式会社 半導体装置の寸法測定装置及び方法
US5506793A (en) * 1994-01-14 1996-04-09 Gerber Systems Corporation Method and apparatus for distortion compensation in an automatic optical inspection system
US5463213A (en) * 1994-05-03 1995-10-31 Honda; Takafaru Code mark reader
US5546189A (en) * 1994-05-19 1996-08-13 View Engineering, Inc. Triangulation-based 3D imaging and processing method and system
US5465152A (en) * 1994-06-03 1995-11-07 Robotic Vision Systems, Inc. Method for coplanarity inspection of package or substrate warpage for ball grid arrays, column arrays, and similar structures
US5635700A (en) * 1994-07-27 1997-06-03 Symbol Technologies, Inc. Bar code scanner with multi-channel light collection
US5550583A (en) * 1994-10-03 1996-08-27 Lucent Technologies Inc. Inspection apparatus and method

Also Published As

Publication number Publication date
DK1016028T3 (da) 2004-01-26
AU5174798A (en) 1998-06-03
DE69725021T2 (de) 2004-04-22
PT1016028E (pt) 2004-02-27
WO1998021687A1 (en) 1998-05-22
EP1359534B1 (en) 2006-10-11
US6603874B1 (en) 2003-08-05
US20030215127A1 (en) 2003-11-20
US6075883A (en) 2000-06-13
ATE250249T1 (de) 2003-10-15
CA2271492A1 (en) 1998-05-22
EP1016028A4 (en) 2001-11-21
EP1016028B1 (en) 2003-09-17
DE69736818D1 (de) 2006-11-23
EP1359534A1 (en) 2003-11-05
ATE342549T1 (de) 2006-11-15
EP1016028A1 (en) 2000-07-05
DE69725021D1 (de) 2003-10-23
CA2271492C (en) 2007-05-29

Similar Documents

Publication Publication Date Title
ES2207754T3 (es) Procedimiento y sistema para formar imagenes de un objeto o de una configuracion.
US6782122B1 (en) Apparatus for measuring height of a liquid in a container using area image pattern recognition techniques
US9618329B2 (en) Optical inspection probe
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
US7190461B2 (en) Method and apparatus for determining a bidirectional reflectance distribution function, subsurface scattering or a bidirectional texture function of a subject
KR101150755B1 (ko) 영상촬영장치
US6741279B1 (en) System and method for capturing document orientation information with a digital camera
US20050023448A1 (en) Position-detecting device
US6091834A (en) Method of illuminating a digital representation of an image
TWI597473B (zh) 檢閱一彎曲樣本邊緣之系統及方法
US9746420B2 (en) Differential scan imaging systems and methods
US6433867B1 (en) Contrast imaging method for inspecting specular surface devices
US20090073426A1 (en) Multiple Surface Inspection System and Method
ES2689907T3 (es) Procedimiento para la generación de informaciones de imágenes
WO1999012022A1 (es) Aparato y metodo para determinar la distorsion optica de un substrato transparente
TWI687672B (zh) 光學檢測系統及影像處理方法
Riza et al. Data efficient digital micromirror device-based image edge detection sensor using space-time processing
JP3634985B2 (ja) 光学的表面検査機構及び光学的表面検査装置
KR20190129693A (ko) 3d 구조의 광 적용을 위한 고감도 저전력 카메라 시스템
KR20020093507A (ko) 부품 검사 장치
ES2923507T3 (es) Procedimiento de comprobación de un objeto hecho de material transparente y sistema de comprobación correspondiente
JPS6366445A (ja) 外観検査装置
JP2006038550A (ja) 塗面検査装置
JP2000295639A (ja) 固体撮像素子検査用照明装置及びそれに用いる調整工具
JPWO2005083399A1 (ja) 多方向同時観察光学系、画像読み取り装置、画像読み取り方法および多方向同時観察光学系複合体