ES2957904A1 - Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales - Google Patents

Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales Download PDF

Info

Publication number
ES2957904A1
ES2957904A1 ES202230572A ES202230572A ES2957904A1 ES 2957904 A1 ES2957904 A1 ES 2957904A1 ES 202230572 A ES202230572 A ES 202230572A ES 202230572 A ES202230572 A ES 202230572A ES 2957904 A1 ES2957904 A1 ES 2957904A1
Authority
ES
Spain
Prior art keywords
module
machine
images
anomalies
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
ES202230572A
Other languages
English (en)
Inventor
Contreras Raúl Alberto Cabanas
Pintado Maria Perez
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SL
Original Assignee
Airbus Operations SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SL filed Critical Airbus Operations SL
Priority to ES202230572A priority Critical patent/ES2957904A1/es
Priority to US18/341,547 priority patent/US20230419477A1/en
Publication of ES2957904A1 publication Critical patent/ES2957904A1/es
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C70/00Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
    • B29C70/04Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
    • B29C70/28Shaping operations therefor
    • B29C70/30Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
    • B29C70/38Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
    • B29C70/386Automated tape laying [ATL]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/424Syntactic representation, e.g. by using alphabets or grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mechanical Engineering (AREA)
  • Composite Materials (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales. Un sistema (100) para inspeccionar elementos estructurales durante su fabricación capaz de detectar anomalías en la colocación automática de materiales compuestos mediante la visión por computación, comprendiendo un módulo de captura de imágenes (110) integrable en una máquina ATL que extrae datos de las imágenes, a partir de los que un módulo de visión artificial (120) obtiene información de las anomalías detectadas con la visión por computación, información que un módulo de interfaz hombre-máquina (130) traduce (131) automáticamente a un lenguaje comprensible para el humano. Al evitar la necesidad de introducir manualmente datos para la inspección, se evitan errores humanos y la información obtenida para cada inspección automáticamente puede guardarse para tener un registro de almacenamiento (132). El sistema está diseñado para inspeccionar compuestos de elementos estructurales grandes, como alas de aeronaves.

Description

DESCRIPCIÓN
Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
OBJETO DE LA INVENCIÓN
La presente invención se encuadra en el campo técnico de los sistemas de visión artificial, también conocida como visión por computador (del inglés, computer visión: CV) y, más concretamente, aplicada a la inspección visual de las máquinas para la colocación automática de composites o materiales de resinas compuestas (máquinas ATL o, en inglés, automated tape lying machines) que se usan en la fabricación y revestimiento de estructuras de aeronaves.
Particularmente, la presente invención se refiere a un sistema basado en CV para detectar anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales piezas (por ejemplo, piezas de fuselaje).
ANTECEDENTES DE LA INVENCIÓN
La tecnología ATL (del inglés, Automatic Tape Laying-up) es conocida, entre sus múltiples aplicaciones, para la fabricación de los principales componentes del ala de un avión.
Hoy en día, la inspección de calidad de las máquinas ATL, como las empleadas en la industria aeronáutica, se realiza mediante una inspección visual por parte del operador, a través de las cámaras instaladas en la máquina, sin más herramientas automáticas de ayuda que quizás un puntero láser para ir chequeando por partes las capas colocadas por la máquina y comprobar “manualmente” que se ajustan a los patrones correctos, según los estándares especificados para los elementos relacionados con la seguridad (SARI: Safety Related Item, en inglés).
Esta solución es susceptible de errores humanos, ya que en muchos casos es bastante difícil detectar defectos; por ejemplo, fallos en el posicionamiento de los patrones o tiras (“courses”, en inglés) de materiales compuestos como la fibra de vidrio (GF: Glass Fiber, en inglés) o láminas de cobre expandido (ECF: Expanded Copper Foil, en inglés), por ausencia de material o desviación en su colocación, provocando fugas de calidad durante la inspección técnica de los paneles del fuselaje de las alas de un avión. Aparte, según esta forma actual de proceder, no se lleva un registro automático de datos asociados a las inspecciones realizadas.
Otra solución existente es la de los sistemas para ensayos no destructivos (del inglés, nondestructive testing: NDT) diseñados para inspecciones, especialmente en la industria aeronáutica y aeroespacial, de fuselaje metálico o de componentes compuestos usados en carrocerías de aeronaves, timones, etc. y localizar defectos como grietas, fallos estructurales, inclusiones de agua, etc. de forma rápida y sencilla, por ejemplo, mediante técnicas de ultrasonido. Los sistemas NDT se aplican en la línea de ensamblaje final, por lo que los defectos localizados son ya sobre la estructura o pieza ya curada y esto implica altos costes de reparación.
Por consiguiente, el problema técnico objetivo que se presenta es proveer un sistema de inspección por computador orientado a la detección de anomalías o desviaciones en la colocación automática de capas de composites (materiales compuestos) durante la fase de fabricación de piezas (por ejemplo, para el fuselaje de una aeronave) y así evitar reparaciones posteriores cuando la pieza ya está curada.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención sirve para solucionar el problema mencionado anteriormente, mediante la provisión de un sistema basado en visión artificial, integrable en máquinas ATL de colocación automática de material compuesto, para detectar anomalías, desde carencias o exceso de material compuesto a errores de posicionamiento en una o más capas de material compuesto, durante la fase de fabricación de una pieza o elemento estructural, utilizando algoritmos de Inteligencia Artificial (IA) para analizar las imágenes captadas por una o más cámara instaladas en la cabeza de la máquina ATL.
Un aspecto de la invención se refiere a un sistema de detección de anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales, para lo que el sistema comprende:
- un módulo de captura de imágenes integrable en una máquina ATL y que comprende al menos una cámara para capturar imágenes de una superficie a inspeccionar durante la fabricación de un elemento estructural que comprende dicha superficie, donde el módulo de captura de imágenes está configurado para extraer datos de las imágenes capturadas; - un módulo de visión artificial configurado para recibir los datos extraídos por el módulo de captura de imágenes y obtener información de anomalías detectadas en la superficie, mediante un algoritmo CV (de visión por computación) que usa los datos anteriormente extraídos de las imágenes; y
- un módulo de interfaz hombre-máquina a través del que un usuario/ operador recibe la información obtenida por el módulo de visión artificial sobre las anomalías detectadas, traduciendo automáticamente la información recibida a un lenguaje comprensible para el humano.
Las ventajas de la presente invención frente al estado de la técnica anterior son fundamentalmente:
- El sistema está diseñado para poder inspeccionar compuestos de elementos estructurales grandes donde pueden ser necesarias varias imágenes para cubrir toda la superficie a inspeccionar.
- Al evitar la necesidad de introducir manualmente datos para la inspección, se evitan errores humanos que pueden dar lugar a la obtención de resultados incorrectos.
- El sistema permite obtener datos adecuados en términos de tolerancia de posicionamiento de los materiales compuestos durante la fabricación del elemento con dichos materiales y, por tanto, poder aplicar un algoritmo de comparación con los posicionamientos de referencia o aprendidos, sin tener que utilizar algoritmos de corrección de posicionamiento, ahorrando así software y tiempo de cálculo. Por ejemplo, uno de los principales problemas que resuelve el módulo de captura de imágenes es permitir trabajar con diferentes compuestos y hacer frente a una tolerancia de posicionamiento del molde de los materiales que puede ser de hasta un rango de 20 milímetros en los ejes X e Y sobre los que se mueve la cabeza de colocación de materiales de una máquina ATL.
- Permite registrar automáticamente, en medios de almacenamiento controlados por el sistema inteligente propuesto, todos y cada uno de los resultados obtenidos en la inspección durante la fase de fabricación.
- La modularidad del sistema permite llevar a cabo distintas implementaciones de cada módulo adaptadas al caso de uso específico para el que opera la ATL realizando la colocación automática de composites, ofreciendo que unidades funcionales personalizables para los operadores y ajustados a los requisitos de calidad que la fabricación de determinados elementos estructurales precisan.
Éstas y otras ventajas pueden derivarse a la luz de la descripción de la invención que detalladamente se presenta a continuación.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción un juego de dibujos en donde, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra un diagrama de bloques de la arquitectura modular que presenta el sistema de detección de anomalías en la colocación automática de materiales compuestos, según una realización preferida de la invención.
Figura 2.- Muestra un diagrama de flujo de los pasos implementados en el módulo de captura de imágenes del sistema, según una posible realización de la invención.
Figura 3.- Muestra una vista esquemática desde arriba de los carriles de desplazamiento de la cabeza de una máquina ATL de colocación automática de materiales compuestos, desde la que una cámara de visión artificial captura las imágenes de la superficie a inspeccionar, según una posible realización de la invención.
Figura 4.- Muestra un diagrama de flujo de los pasos implementados en el módulo de visión artificial del sistema, según una posible realización de la invención.
Figura 5.- Muestra una visualización de anomalías detectadas en las imágenes captadas sobre la superficie a inspeccionar, según un posible ejemplo de uso de la invención.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Seguidamente se proporciona, con ayuda de las figuras anteriormente referidas, una explicación detallada de un ejemplo de realización preferente del objeto de la presente invención.
La Figura 1 muestra los módulos/componentes principales que integra el sistema 100 de detección de anomalías basado en visión artificial que se propone para ser utilizado en la fabricación de elementos estructurales con máquinas ATL o de colocación automática de materiales compuestos/composites. Dichos módulos funcionales son:
Módulo de captura de imágenes 110
Módulo de visión artificial 120
Módulo de interfaz hombre-máquina 130
En este último módulo de interfaz hombre-máquina 130, a su vez, existe un submódulo para traducir 131 los resultados procedentes del módulo de visión artificial 120 y un submódulo de almacenamiento 132 de dichos resultados para realizar un seguimiento de los datos resultantes en cada inspección automática ejecutada por el sistema 100.
La Figura 2 muestra en un diagrama de flujo los principales pasos, descritos en detalle más abajo, realizados por el módulo de captura de imágenes 110, que es un módulo integrable en el entorno industrial de la máquina ATL y cuya finalidad es obtener la información basada en imágenes de la superficie a inspeccionar sobre la que opera la máquina ATL. El módulo de captura de imágenes 110 comprende una parte hardware que incluye al menos una cámara 312 con conexión a una red de telecomunicaciones para enviar las imágenes a una unidad de control de ejecución de la máquina ATL, de la que también puede recibir información de control a través de la red. Además, el módulo de captura de imágenes 110 tiene una parte software implementada en dicha unidad de control de ejecución, con capacidad de procesamiento y almacenamiento de información, para entregar la información adecuada extraída a partir de las imágenes captadas por la cámara 312 al siguiente módulo, el módulo de visión artificial 120, donde se ejecuta el algoritmo de detección de anomalías, basado en visión por computador (CV), de los materiales compuestos en una superficie del elemento estructural bajo de inspección.
Según muestra la Figura 3, la cámara 312 que va a capturar las imágenes de la superficie 300 a inspeccionar se instala preferiblemente en una parte móvil de la máquina ATL de colocación automática de materiales compuestos. Más particularmente, la parte móvil seleccionada de la máquina ATL es la cabeza 311 de colocación automática de materiales, que es capaz de moverse al menos según dos ejes ortogonales entre sí, un eje X 301 y un eje Y 302, a lo largo de un plano definido (situado) por encima de la superficie 300 para cubrirla en su totalidad durante la inspección en plena fase de fabricación del elemento. Normalmente, la superficie 300 es plana o moderadamente curvada; por ejemplo, puede tratarse de una pieza estructural para fuselajes de material compuesto que comprende una o más capas de material compuesto de fibra de vidrio o de ECF. Por ello, el plano de desplazamiento de la parte móvil donde se sitúa la cámara 312 se define normalmente por encima de la superficie 300, puesto que en muchos casos no es plana.
Volviendo a la Figura 2, el módulo de captura de imágenes 110 implementa los siguientes pasos, según una posible realización:
1) Obtener 201, de la unidad de control de ejecución de la máquina ATL, la selección del programa informático ejecutado por el sistema de control numérico o NC (del inglés, Numeric Control) que controla los movimientos de la herramienta de trabajo, la máquina ATL, con relación a los ejes de coordenadas de la máquina, durante la fabricación de una parte sobre la superficie 300 a inspeccionar. Uno de los principales problemas a resolver por el módulo de captura de imágenes 110 es poder trabajar con diferentes productos (materiales) y hacer frente a la tolerancia de posicionamiento del molde de los productos. La detección de productos se realiza seleccionando un programa NC diseñado para el molde en la estación de colocación de materiales.
2) Medir 202, por la unidad de control de ejecución de la máquina ATL, una vez seleccionado el programa NC, las posiciones de la herramienta en los ejes de coordenadas a lo largo de los que se desplaza. Por ejemplo, la posición que localiza la parte sobre la superficie 300 a inspeccionar en la que está trabajando la máquina ATL se detecta midiendo tres puntos situados en las esquinas del útil o herramienta (i.e., la cabeza 311 de la máquina ATL): se mide la posición de un primer punto con coordenadas determinadas (X1,Y1,Z1), la posición de un segundo punto con coordenadas determinadas (X2,Y2,Z2) y la posición de un tercer punto con coordenadas determinadas (X3,Y3,Z3). Este paso de medir 202 estos puntos permite la calibración de la posición relativa de la cámara 312 con respeto al molde/soporte, ya que los moldes pueden estar situado ligeramente diferentemente el uno del otro para la fabricación sucesiva de piezas. En efecto, en ciertos modos de fabricación, el molde acompaña la pieza que soporta de un puesto de fabricación a otro, de tal forma que cada puesto de fabricación recibe sucesivamente diferentes moldes/soportes.
3) Aplicar 203 una transformación matemática de roto-traslación a las posiciones teóricas medidas, cálculo que también realiza la unidad de control de ejecución de la máquina ATL y que aplica en el programa de captura de imágenes que controla la cámara 312. La roto-traslación aplicada al programa de toma de fotos permite adaptarse a cómo ha entrado el útil dentro de la estación para la colocación automática de materiales y asegurar la repetitividad en la toma de fotos entre piezas.
4) Ejecutar 204 ese programa o rutina de captura de imágenes, que por ejemplo puede implementar una sub-rutina para capturar las imágenes en respuesta a unos movimientos de cabeza del operario que supervisa la máquina ATL, para que la cámara 312 realice la adquisición de imágenes (fotos, vídeos o fotogramas de vídeos) y de las que el programa extrae los datos que van a servir de entrada al módulo de visión artificial 120.
5) Almacenar 205, en la unidad de control, los datos extraídos de las imágenes adquiridas por la cámara 312 para alimentar la entrada de módulo de visión artificial 120 que, a su vez, ejecuta los pasos mostrados en la Figura 4 que se describe seguidamente.
La Figura 4 muestra la cadena de pasos implementados por el módulo de visión artificial 120, que es el núcleo del sistema 100, así como las entradas y salidas de cada paso representadas por las flechas gruesas, según una posible realización. La rutina de inspección automática es activada 400 tras finalizar el proceso de colocación automática de materiales compuestos realizado por la máquina ATL en la superficie 300 del elemento estructural que se está fabricando, es decir, estando aún en la fase de fabricación del elemento. Con esa activación y la información basada en las imágenes captadas entregada por el anterior módulo de captura de imágenes 110, un primer paso es identificar 410 automáticamente el producto o material compuesto a inspeccionar a partir de dos parámetros de entrada: la ubicación 411 de la información (que se crea de forma estructurada; por ejemplo, localización de una carpeta con archivos de imagen) que se tiene sobre los elementos estructurales para los que está configurada la máquina ATL y la referencia o identidad 412 del objeto físico bajo inspección, por ejemplo, una determinada aeronave. Así, el módulo de visión artificial 120 detecta de manera automática cuál es el producto a inspeccionar y entrega a su salida un identificador 413 del producto; por ejemplo, identifica que es el ala derecha o izquierda de un determinado modelo de aeronave. Esta detección o identificación 410 automática del objetivo de interés se realiza mediante un algoritmo de aprendizaje automático de clasificación y evita la introducción manual, que puede conducir a resultados erróneos, de la información de partida para la inspección. El identificador 413 de salida del paso de identificación 410 automática se introduce como parámetro de entrada 421 al siguiente paso de preparación o preprocesamiento de las imágenes 420 que comprende limpiar y cortar las imágenes entregadas por módulo de captura de imágenes 110 para dejarlas adecuadamente preparadas para el siguiente paso de corrección de imágenes 430 que emplea máscaras. Como el algoritmo CV o de visión por computación 440 para la detección de anomalías que usa el módulo de visión artificial 120 se basa en la comparación de imágenes, es necesario eliminar previamente todas las secciones de las imágenes que están fuera del elemento objeto de fabricación (es decir, por ejemplo, herramientas, parte del suelo, partes de la máquina de fabricación, ... y cualquier otro objeto que "se cuele” en la imagen adquirida por el módulo de captura de imágenes 110) y que podría dar lugar a falsas anomalías. Esta preparación o preprocesamiento de las imágenes 420 está previamente definida por cada producto a ser inspeccionado y aplicada, por tanto, de acuerdo con la identificación del producto que se ha obtenido del anterior paso de identificación 410. Adicionalmente, por ejemplo, para la fabricación de piezas grandes, donde las condiciones de luz podrían cambiar a lo largo de la superficie 300 a inspeccionar, este preprocesamiento de las imágenes 420 puede también comprender correcciones de colores. Las imágenes preprocesadas 422 de salida se introducen como imágenes de entrada 431, ya limpias y cortadas, al submódulo o paso de corrección de imágenes 430 mediante máscaras, junto con unos valores de entrada referentes a valores máximos y mínimos 432 de matiz, saturación y brillo o valor (modelo HSV: Hue, Saturation, Valor; en inglés) que definen un modelo de color en términos de esas tres componentes. El propósito de esta corrección de imágenes 430 por valores umbrales de máscaras de color es convertir una imagen RGB en una imagen binaria que resalta solo el material compuesto a inspeccionaren función de sus propiedades de color (por ejemplo, un material gris está resaltado frente al verde) y así filtra la información de cada píxel según los valores umbrales, máximos y mínimos 432 de matiz, saturación y brillo dados, los cuales están configurados de acuerdo con el material y condiciones de iluminación de la inspección automática. Adicionalmente, tras la aplicación de estas máscaras o umbrales, se pueden aplicar algunas operaciones binarias (tales como una dilatación binaria y un cierre binario) para eliminar o reducir el ruido de pequeños píxeles negros. Las imágenes binarias 433 de salida de la corrección de imágenes 430 pasan como imágenes de entrada 441 al algoritmo de visión por computación 440 para la detección de anomalías que realiza una comparación de dichas imágenes, corregidas y convertidas en binario correspondientes a la superficie 300 a inspeccionar, con unas imágenes de referencia 442 que son imágenes teóricamente correctas (sin anomalías). Las imágenes de referencia 442 pueden ser obtenidas de varias formas: por ejemplo, por conversión de un modelo informatizado de la pieza a obtener, o bien por aprendizaje a base de imágenes capturadas en piezas previamente comprobadas por humanos entrenados como imágenes sin anomalías (otros modos de obtener tales imágenes de referencia 442 pueden ser utilizados). Sobre el resultado de esta comparación de imágenes se aplican de nuevo algunas operaciones binarias para reducir ruido y además el algoritmo de visión por computación 440 realiza los siguientes pasos: a) el primer paso es detectar todas las áreas que se identifican como anomalía utilizando un algoritmo de etiquetado que identifica áreas conectadas o agrupaciones de áreas (“clusters” en inglés) y calcula propiedades relacionadas con estos “clusters”; b) el siguiente paso es discriminar entre patrones reales de ausencia de material y de ruido, o discriminar puntos de luz (estos puntos de luz -lighting spots, en inglésconstituyen un problema común en los procesos de visión por computador y se puede resolver a través de componentes hardware, pero la presente solución se basa en el software) usando una nueva característica o parámetro ("parámetro de porosidad") que se calcula a partir del valor de área del “cluster” y el número de Euler 443 (el número de Euler se define como una operación matemática que incluye el número de agujeros dentro de un “cluster” o agrupación de áreas conectadas). Evaluando dos condiciones, el tamaño mínimo 444 de áreas a inspeccionar y el “parámetro de porosidad”, el algoritmo de visión por computación 440 es capaz de discriminar entre ruido y material faltante y reducir así, utilizando sólo software, la tasa de falsos positivos en la detección CV de anomalías. Esta doble condición permite comparar el tamaño de anomalía detectado frente al tamaño mínimo a detectar a la par que se comprueba la condición de porosidad del área de anomalía; de forma que, si la porosidad excede cierto nivel, se descarta como patrón. El parámetro de porosidad es pues un nuevo parámetro específicamente definido para poder distinguir ruido (proveniente principalmente de reflejos sobre el material) de anomalías por falta o desviación de patrones. La información de las anomalías detectadas, que pueden estar relacionadas con falta/exceso de material o material mal colocado, se entrega a la salida 445 como anomalías de fabricación detectadas y son los resultados entrada al módulo de interfaz hombre-máquina 130, pudiendo entregarse dicha información en función de propiedades del color. El objetivo es poder detectar, aparte de faltas o excesos de material, no solo un mal posicionamiento porque el material no está donde debería estar, sino que también es posible detectar una mala colocación del material; es decir una arruga o un material extraño sobre la superficie también puede ser detectado como anomalía en función del tamaño y el contraste de color.
Finalmente, el sistema 100 entrega a través de su módulo de interfaz hombre-máquina 130 los resultados del algoritmo de detección de anomalías obtenidos a la salida del módulo de visión artificial 120, tras la ejecución de los pasos vistos anteriormente. El módulo de interfaz hombremáquina 130 entrega (usualmente, mostrándolos visualmente) los resultados al operario que ha activado el sistema 100 para la inspección automática mientras opera/supervisa la máquina ATL en la fabricación de los elementos estructurales; por tanto, debe traducir 131 automáticamente todos los resultados a un lenguaje comprensible para el ser humano y, si se ha detectado alguna anomalía, mostrar la ubicación y el tipo de anomalía que es. Entre los resultados, se puede mostrar una indicación clara de si hay una anomalía que necesita ser inspeccionada cuidadosamente o si toda la superficie está correcta, de acuerdo con los parámetros teóricos o estándares. Por ejemplo, en la comunicación traducida al operador de los resultados, el módulo de interfaz hombre-máquina 130 puede utilizar un código de colores para indicar la falta de material con un color o el material extra encontrado en la inspección usando otro color distinto. Además, en este módulo también se incluye una parte de registro histórico o submódulo de almacenamiento 132, donde todas las salidas de la ejecución del módulo de visión artificial 120 se guardan para rastrear la información de cada inspección automática ejecutada.
En un posible uso del sistema 100, el módulo de interfaz hombre-máquina 130 puede presentar visualmente resultados como se muestran en el ejemplo de la Figura 5, donde aparece una imagen 500 de una zona de la superficie 300 bajo inspección; seguidamente, la imagen teóricamente corregida 510 que obtiene el sistema 100 a partir de la anterior; y, por último, la imagen resultado 520 muestra las anomalías detectadas distinguiendo visualmente el patrón faltante o falta de material 521, por una parte, y por otra, el ruido 522 por los puntos de luz ("lightning spots”).

Claims (13)

REIVINDICACIONES
1. Un sistema (100) para detectar anomalías en la colocación automática de materiales compuestos durante la fabricación de elementos estructurales, caracterizado por que comprende los siguientes módulos:
- un módulo de captura de imágenes (110) integrable en una máquina de colocación automática de materiales compuestos y que comprende al menos una cámara (312) configurada para capturar imágenes de una superficie (300) a inspeccionar durante la fabricación de un elemento estructural que comprende la superficie (300), el módulo de captura de imágenes (110) configurado para extraer datos de las imágenes capturadas por la, al menos una, cámara (312);
- un módulo de visión artificial (120) configurado para recibir los datos extraídos por el módulo de captura de imágenes (110) y obtener, mediante un algoritmo de visión por computación (440) que usa los datos extraídos, información de anomalías detectadas en la superficie (300); y
- un módulo de interfaz hombre-máquina (130) configurado para recibir la información de anomalías detectadas obtenida por el módulo de visión artificial (120) y traducir (131) automáticamente la información recibida a un lenguaje comprensible para el humano.
2. El sistema (100) de acuerdo con la reivindicación 1, caracterizado por que la cámara (312) está incorporada en una parte móvil de la máquina de colocación automática de materiales compuestos.
3. El sistema (100) de acuerdo con la reivindicación 2, caracterizado por que la cámara (312) está incorporada en una cabeza (311) de colocación automática de materiales compuestos configurada para desplazarse en un plano situado encima de la superficie (300) a inspeccionar.
4. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de captura de imágenes (110) está configurado además para:
- obtener (201), a través de una unidad de control asociada a la máquina de colocación automática de materiales compuestos, un programa de control numérico seleccionado que está configurado para realizar desplazamientos de la máquina para la colocación automática de materiales compuestos durante la fabricación de un área de la superficie (300);
- localizar el área de la superficie (300) a inspeccionar midiendo (202) posiciones de la máquina en el desplazamiento realizado según el programa de control numérico seleccionado;
- aplicar (203) una transformación de roto-traslación a las posiciones medidas para obtener una posición de la cámara (312) desde la que ejecutar (204) una rutina de captura de imágenes sobre el área localizada de la superficie (300).
5. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de captura de imágenes (110) está configurado además para almacenar (205) los datos extraídos de las imágenes capturadas por la cámara (312) y enviar los datos extraídos, almacenados o en tiempo real, al módulo de visión artificial (120).
6. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado para activar (400) una ejecución de inspección automática tras la colocación automática de materiales compuestos en la superficie (300) y aún durante la fabricación del elemento estructural.
7. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para, a partir de los datos extraídos por el módulo de captura de imágenes (110), identificar (410) mediante un algoritmo de aprendizaje automático de clasificación el elemento estructural a inspeccionar y obtener información relativa a la inspección asociada al elemento estructural identificado.
8. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para realizar un preprocesamiento de imágenes (420) que comprende limpiar y cortar las imágenes capturadas por el módulo de captura de imágenes (110) y una corrección de imágenes (430) que comprende convertir las imágenes preprocesadas en imágenes binarias que el algoritmo de visión por computación (440) usa como imágenes de entrada (441).
9. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el algoritmo de visión por computación (440) está configurado para comparar unas imágenes de entrada (441) con unas imágenes de referencia (442) que son imágenes sin anomalías.
10. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para identificar, utilizando un algoritmo de etiquetado que identifica agrupaciones de áreas, todas las áreas que el algoritmo de visión por computación (440) detecta como anomalía, calcular un parámetro de porosidad a partir de un valor de área total de cada agrupación de áreas y el número de Euler (443) y, comparando un tamaño mínimo (444) dado de áreas a inspeccionar junto con el parámetro de porosidad calculado, descartar falsos positivos en la detección de anomalías por el algoritmo de visión por computación (440).
11. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de interfaz hombre-máquina (130) está configurado para traducir (131) la información de anomalías detectadas obtenida por el módulo de visión artificial (120) a un código de colores asociado a tipos de anomalías.
12. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de interfaz hombre-máquina (130) además comprende un submódulo de almacenamiento (132) configurado para generar un registro de todas las informaciones obtenidas por el módulo de visión artificial (120) en cada inspección automática ejecutada.
13. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que la información de anomalías detectadas comprende una indicación de falta de material, exceso de material o material mal colocado en la superficie (300).
ES202230572A 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales Pending ES2957904A1 (es)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ES202230572A ES2957904A1 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
US18/341,547 US20230419477A1 (en) 2022-06-27 2023-06-26 Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES202230572A ES2957904A1 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales

Publications (1)

Publication Number Publication Date
ES2957904A1 true ES2957904A1 (es) 2024-01-29

Family

ID=89323231

Family Applications (1)

Application Number Title Priority Date Filing Date
ES202230572A Pending ES2957904A1 (es) 2022-06-27 2022-06-27 Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales

Country Status (2)

Country Link
US (1) US20230419477A1 (es)
ES (1) ES2957904A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876429A (zh) * 2024-03-12 2024-04-12 潍坊海之晨人工智能有限公司 一种运动型工业视觉实训平台

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5562788A (en) * 1994-09-20 1996-10-08 The Boeing Company Composite material laser flaw detection
US20070271064A1 (en) * 2006-05-16 2007-11-22 The Boeing Company System and method for identifying a feature of a workpiece
US20160097728A1 (en) * 2014-10-06 2016-04-07 The Boeing Company System and method for inspecting a composite part during manufacture
US20180311914A1 (en) * 2017-04-28 2018-11-01 The Boeing Company Process control of a composite fabrication process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5562788A (en) * 1994-09-20 1996-10-08 The Boeing Company Composite material laser flaw detection
US20070271064A1 (en) * 2006-05-16 2007-11-22 The Boeing Company System and method for identifying a feature of a workpiece
US20160097728A1 (en) * 2014-10-06 2016-04-07 The Boeing Company System and method for inspecting a composite part during manufacture
US20180311914A1 (en) * 2017-04-28 2018-11-01 The Boeing Company Process control of a composite fabrication process

Also Published As

Publication number Publication date
US20230419477A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
KR102603141B1 (ko) 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치
JP6280525B2 (ja) カメラのミスキャリブレーションの実行時決定のためのシステムと方法
EP1955108B1 (en) System for projecting flaws and inspection locations and associated method
US10026164B2 (en) Method of performing and monitoring a processing step on a workpiece
JP6782531B2 (ja) 製造中の複合部品を検査するためのシステムおよび方法
CN103562712B (zh) 用于检测在飞机部件或燃气涡轮部件中的裂纹的方法和设备
ES2957904A1 (es) Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
Jiang et al. Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping
US20210255117A1 (en) Methods and plants for locating points on complex surfaces
US10782671B2 (en) Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces
Aldao et al. Metrological comparison of LiDAR and photogrammetric systems for deformation monitoring of aerospace parts
EP3640621B1 (en) Method and apparatus for calibrating optical tools of a tyre checking system
Chen et al. Intelligent inspection system based on infrared vision for automated fiber placement
US20230115037A1 (en) Ply templating for composite fabrication with ai quality control modules
US20240029234A1 (en) Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure, and system
US20220284699A1 (en) System and method of object detection using ai deep learning models
CN211178438U (zh) 基于机器视觉防错的光学自动测量装置
CN111389750A (zh) 一种视觉测量系统及测量方法
CN114392940B (zh) 一种异型元器件的针脚检测方法及装置
WO2010112894A1 (en) Automated 3d article inspection
CN113269736B (zh) 紧固件尺寸的自动化检验方法、系统及介质
Gupta et al. Vision-based deformation and wrinkle detection for semi-finished fiber products on curved surfaces
US20200133245A1 (en) Device For Coordinated Movement And/Or Orientation Of A Tracking Tool, Method For Smoothing A Part Using Said Device And Smoothing Station For Implementing Said Method
WO2021176384A1 (en) System for locating and treating surface defects on objects, in particular motor vehicle bodies
KR20210120229A (ko) 영상기반 지그 검사 시스템 및 그 방법

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2957904

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20240129