ES2957904A1 - Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales - Google Patents
Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales Download PDFInfo
- Publication number
- ES2957904A1 ES2957904A1 ES202230572A ES202230572A ES2957904A1 ES 2957904 A1 ES2957904 A1 ES 2957904A1 ES 202230572 A ES202230572 A ES 202230572A ES 202230572 A ES202230572 A ES 202230572A ES 2957904 A1 ES2957904 A1 ES 2957904A1
- Authority
- ES
- Spain
- Prior art keywords
- module
- machine
- images
- anomalies
- image capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 35
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 14
- 238000013519 translation Methods 0.000 title claims abstract description 6
- 238000007689 inspection Methods 0.000 claims abstract description 23
- 238000003860 storage Methods 0.000 claims abstract description 6
- 239000000463 material Substances 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000003702 image correction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 241000282412 Homo Species 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract 1
- 230000007547 defect Effects 0.000 description 3
- 239000003365 glass fiber Substances 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000009659 non-destructive testing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 102100023006 Basic leucine zipper transcriptional factor ATF-like 2 Human genes 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101000903615 Homo sapiens Basic leucine zipper transcriptional factor ATF-like 2 Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000805 composite resin Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000011889 copper foil Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C70/00—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts
- B29C70/04—Shaping composites, i.e. plastics material comprising reinforcements, fillers or preformed parts, e.g. inserts comprising reinforcements only, e.g. self-reinforcing plastics
- B29C70/28—Shaping operations therefor
- B29C70/30—Shaping by lay-up, i.e. applying fibres, tape or broadsheet on a mould, former or core; Shaping by spray-up, i.e. spraying of fibres on a mould, former or core
- B29C70/38—Automated lay-up, e.g. using robots, laying filaments according to predetermined patterns
- B29C70/386—Automated tape laying [ATL]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
- G06V10/424—Syntactic representation, e.g. by using alphabets or grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mechanical Engineering (AREA)
- Composite Materials (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales. Un sistema (100) para inspeccionar elementos estructurales durante su fabricación capaz de detectar anomalías en la colocación automática de materiales compuestos mediante la visión por computación, comprendiendo un módulo de captura de imágenes (110) integrable en una máquina ATL que extrae datos de las imágenes, a partir de los que un módulo de visión artificial (120) obtiene información de las anomalías detectadas con la visión por computación, información que un módulo de interfaz hombre-máquina (130) traduce (131) automáticamente a un lenguaje comprensible para el humano. Al evitar la necesidad de introducir manualmente datos para la inspección, se evitan errores humanos y la información obtenida para cada inspección automáticamente puede guardarse para tener un registro de almacenamiento (132). El sistema está diseñado para inspeccionar compuestos de elementos estructurales grandes, como alas de aeronaves.
Description
DESCRIPCIÓN
Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales
OBJETO DE LA INVENCIÓN
La presente invención se encuadra en el campo técnico de los sistemas de visión artificial, también conocida como visión por computador (del inglés, computer visión: CV) y, más concretamente, aplicada a la inspección visual de las máquinas para la colocación automática de composites o materiales de resinas compuestas (máquinas ATL o, en inglés, automated tape lying machines) que se usan en la fabricación y revestimiento de estructuras de aeronaves.
Particularmente, la presente invención se refiere a un sistema basado en CV para detectar anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales piezas (por ejemplo, piezas de fuselaje).
ANTECEDENTES DE LA INVENCIÓN
La tecnología ATL (del inglés, Automatic Tape Laying-up) es conocida, entre sus múltiples aplicaciones, para la fabricación de los principales componentes del ala de un avión.
Hoy en día, la inspección de calidad de las máquinas ATL, como las empleadas en la industria aeronáutica, se realiza mediante una inspección visual por parte del operador, a través de las cámaras instaladas en la máquina, sin más herramientas automáticas de ayuda que quizás un puntero láser para ir chequeando por partes las capas colocadas por la máquina y comprobar “manualmente” que se ajustan a los patrones correctos, según los estándares especificados para los elementos relacionados con la seguridad (SARI: Safety Related Item, en inglés).
Esta solución es susceptible de errores humanos, ya que en muchos casos es bastante difícil detectar defectos; por ejemplo, fallos en el posicionamiento de los patrones o tiras (“courses”, en inglés) de materiales compuestos como la fibra de vidrio (GF: Glass Fiber, en inglés) o láminas de cobre expandido (ECF: Expanded Copper Foil, en inglés), por ausencia de material o desviación en su colocación, provocando fugas de calidad durante la inspección técnica de los paneles del fuselaje de las alas de un avión. Aparte, según esta forma actual de proceder, no se lleva un registro automático de datos asociados a las inspecciones realizadas.
Otra solución existente es la de los sistemas para ensayos no destructivos (del inglés, nondestructive testing: NDT) diseñados para inspecciones, especialmente en la industria aeronáutica y aeroespacial, de fuselaje metálico o de componentes compuestos usados en carrocerías de aeronaves, timones, etc. y localizar defectos como grietas, fallos estructurales, inclusiones de agua, etc. de forma rápida y sencilla, por ejemplo, mediante técnicas de ultrasonido. Los sistemas NDT se aplican en la línea de ensamblaje final, por lo que los defectos localizados son ya sobre la estructura o pieza ya curada y esto implica altos costes de reparación.
Por consiguiente, el problema técnico objetivo que se presenta es proveer un sistema de inspección por computador orientado a la detección de anomalías o desviaciones en la colocación automática de capas de composites (materiales compuestos) durante la fase de fabricación de piezas (por ejemplo, para el fuselaje de una aeronave) y así evitar reparaciones posteriores cuando la pieza ya está curada.
DESCRIPCIÓN DE LA INVENCIÓN
La presente invención sirve para solucionar el problema mencionado anteriormente, mediante la provisión de un sistema basado en visión artificial, integrable en máquinas ATL de colocación automática de material compuesto, para detectar anomalías, desde carencias o exceso de material compuesto a errores de posicionamiento en una o más capas de material compuesto, durante la fase de fabricación de una pieza o elemento estructural, utilizando algoritmos de Inteligencia Artificial (IA) para analizar las imágenes captadas por una o más cámara instaladas en la cabeza de la máquina ATL.
Un aspecto de la invención se refiere a un sistema de detección de anomalías en la colocación automática de materiales compuestos (composites) durante la fabricación de elementos estructurales, para lo que el sistema comprende:
- un módulo de captura de imágenes integrable en una máquina ATL y que comprende al menos una cámara para capturar imágenes de una superficie a inspeccionar durante la fabricación de un elemento estructural que comprende dicha superficie, donde el módulo de captura de imágenes está configurado para extraer datos de las imágenes capturadas; - un módulo de visión artificial configurado para recibir los datos extraídos por el módulo de captura de imágenes y obtener información de anomalías detectadas en la superficie, mediante un algoritmo CV (de visión por computación) que usa los datos anteriormente extraídos de las imágenes; y
- un módulo de interfaz hombre-máquina a través del que un usuario/ operador recibe la información obtenida por el módulo de visión artificial sobre las anomalías detectadas, traduciendo automáticamente la información recibida a un lenguaje comprensible para el humano.
Las ventajas de la presente invención frente al estado de la técnica anterior son fundamentalmente:
- El sistema está diseñado para poder inspeccionar compuestos de elementos estructurales grandes donde pueden ser necesarias varias imágenes para cubrir toda la superficie a inspeccionar.
- Al evitar la necesidad de introducir manualmente datos para la inspección, se evitan errores humanos que pueden dar lugar a la obtención de resultados incorrectos.
- El sistema permite obtener datos adecuados en términos de tolerancia de posicionamiento de los materiales compuestos durante la fabricación del elemento con dichos materiales y, por tanto, poder aplicar un algoritmo de comparación con los posicionamientos de referencia o aprendidos, sin tener que utilizar algoritmos de corrección de posicionamiento, ahorrando así software y tiempo de cálculo. Por ejemplo, uno de los principales problemas que resuelve el módulo de captura de imágenes es permitir trabajar con diferentes compuestos y hacer frente a una tolerancia de posicionamiento del molde de los materiales que puede ser de hasta un rango de 20 milímetros en los ejes X e Y sobre los que se mueve la cabeza de colocación de materiales de una máquina ATL.
- Permite registrar automáticamente, en medios de almacenamiento controlados por el sistema inteligente propuesto, todos y cada uno de los resultados obtenidos en la inspección durante la fase de fabricación.
- La modularidad del sistema permite llevar a cabo distintas implementaciones de cada módulo adaptadas al caso de uso específico para el que opera la ATL realizando la colocación automática de composites, ofreciendo que unidades funcionales personalizables para los operadores y ajustados a los requisitos de calidad que la fabricación de determinados elementos estructurales precisan.
Éstas y otras ventajas pueden derivarse a la luz de la descripción de la invención que detalladamente se presenta a continuación.
DESCRIPCIÓN DE LOS DIBUJOS
Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción un juego de dibujos en donde, con carácter ilustrativo y no limitativo, se ha representado lo siguiente:
Figura 1.- Muestra un diagrama de bloques de la arquitectura modular que presenta el sistema de detección de anomalías en la colocación automática de materiales compuestos, según una realización preferida de la invención.
Figura 2.- Muestra un diagrama de flujo de los pasos implementados en el módulo de captura de imágenes del sistema, según una posible realización de la invención.
Figura 3.- Muestra una vista esquemática desde arriba de los carriles de desplazamiento de la cabeza de una máquina ATL de colocación automática de materiales compuestos, desde la que una cámara de visión artificial captura las imágenes de la superficie a inspeccionar, según una posible realización de la invención.
Figura 4.- Muestra un diagrama de flujo de los pasos implementados en el módulo de visión artificial del sistema, según una posible realización de la invención.
Figura 5.- Muestra una visualización de anomalías detectadas en las imágenes captadas sobre la superficie a inspeccionar, según un posible ejemplo de uso de la invención.
REALIZACIÓN PREFERENTE DE LA INVENCIÓN
Seguidamente se proporciona, con ayuda de las figuras anteriormente referidas, una explicación detallada de un ejemplo de realización preferente del objeto de la presente invención.
La Figura 1 muestra los módulos/componentes principales que integra el sistema 100 de detección de anomalías basado en visión artificial que se propone para ser utilizado en la fabricación de elementos estructurales con máquinas ATL o de colocación automática de materiales compuestos/composites. Dichos módulos funcionales son:
Módulo de captura de imágenes 110
Módulo de visión artificial 120
Módulo de interfaz hombre-máquina 130
En este último módulo de interfaz hombre-máquina 130, a su vez, existe un submódulo para traducir 131 los resultados procedentes del módulo de visión artificial 120 y un submódulo de almacenamiento 132 de dichos resultados para realizar un seguimiento de los datos resultantes en cada inspección automática ejecutada por el sistema 100.
La Figura 2 muestra en un diagrama de flujo los principales pasos, descritos en detalle más abajo, realizados por el módulo de captura de imágenes 110, que es un módulo integrable en el entorno industrial de la máquina ATL y cuya finalidad es obtener la información basada en imágenes de la superficie a inspeccionar sobre la que opera la máquina ATL. El módulo de captura de imágenes 110 comprende una parte hardware que incluye al menos una cámara 312 con conexión a una red de telecomunicaciones para enviar las imágenes a una unidad de control de ejecución de la máquina ATL, de la que también puede recibir información de control a través de la red. Además, el módulo de captura de imágenes 110 tiene una parte software implementada en dicha unidad de control de ejecución, con capacidad de procesamiento y almacenamiento de información, para entregar la información adecuada extraída a partir de las imágenes captadas por la cámara 312 al siguiente módulo, el módulo de visión artificial 120, donde se ejecuta el algoritmo de detección de anomalías, basado en visión por computador (CV), de los materiales compuestos en una superficie del elemento estructural bajo de inspección.
Según muestra la Figura 3, la cámara 312 que va a capturar las imágenes de la superficie 300 a inspeccionar se instala preferiblemente en una parte móvil de la máquina ATL de colocación automática de materiales compuestos. Más particularmente, la parte móvil seleccionada de la máquina ATL es la cabeza 311 de colocación automática de materiales, que es capaz de moverse al menos según dos ejes ortogonales entre sí, un eje X 301 y un eje Y 302, a lo largo de un plano definido (situado) por encima de la superficie 300 para cubrirla en su totalidad durante la inspección en plena fase de fabricación del elemento. Normalmente, la superficie 300 es plana o moderadamente curvada; por ejemplo, puede tratarse de una pieza estructural para fuselajes de material compuesto que comprende una o más capas de material compuesto de fibra de vidrio o de ECF. Por ello, el plano de desplazamiento de la parte móvil donde se sitúa la cámara 312 se define normalmente por encima de la superficie 300, puesto que en muchos casos no es plana.
Volviendo a la Figura 2, el módulo de captura de imágenes 110 implementa los siguientes pasos, según una posible realización:
1) Obtener 201, de la unidad de control de ejecución de la máquina ATL, la selección del programa informático ejecutado por el sistema de control numérico o NC (del inglés, Numeric Control) que controla los movimientos de la herramienta de trabajo, la máquina ATL, con relación a los ejes de coordenadas de la máquina, durante la fabricación de una parte sobre la superficie 300 a inspeccionar. Uno de los principales problemas a resolver por el módulo de captura de imágenes 110 es poder trabajar con diferentes productos (materiales) y hacer frente a la tolerancia de posicionamiento del molde de los productos. La detección de productos se realiza seleccionando un programa NC diseñado para el molde en la estación de colocación de materiales.
2) Medir 202, por la unidad de control de ejecución de la máquina ATL, una vez seleccionado el programa NC, las posiciones de la herramienta en los ejes de coordenadas a lo largo de los que se desplaza. Por ejemplo, la posición que localiza la parte sobre la superficie 300 a inspeccionar en la que está trabajando la máquina ATL se detecta midiendo tres puntos situados en las esquinas del útil o herramienta (i.e., la cabeza 311 de la máquina ATL): se mide la posición de un primer punto con coordenadas determinadas (X1,Y1,Z1), la posición de un segundo punto con coordenadas determinadas (X2,Y2,Z2) y la posición de un tercer punto con coordenadas determinadas (X3,Y3,Z3). Este paso de medir 202 estos puntos permite la calibración de la posición relativa de la cámara 312 con respeto al molde/soporte, ya que los moldes pueden estar situado ligeramente diferentemente el uno del otro para la fabricación sucesiva de piezas. En efecto, en ciertos modos de fabricación, el molde acompaña la pieza que soporta de un puesto de fabricación a otro, de tal forma que cada puesto de fabricación recibe sucesivamente diferentes moldes/soportes.
3) Aplicar 203 una transformación matemática de roto-traslación a las posiciones teóricas medidas, cálculo que también realiza la unidad de control de ejecución de la máquina ATL y que aplica en el programa de captura de imágenes que controla la cámara 312. La roto-traslación aplicada al programa de toma de fotos permite adaptarse a cómo ha entrado el útil dentro de la estación para la colocación automática de materiales y asegurar la repetitividad en la toma de fotos entre piezas.
4) Ejecutar 204 ese programa o rutina de captura de imágenes, que por ejemplo puede implementar una sub-rutina para capturar las imágenes en respuesta a unos movimientos de cabeza del operario que supervisa la máquina ATL, para que la cámara 312 realice la adquisición de imágenes (fotos, vídeos o fotogramas de vídeos) y de las que el programa extrae los datos que van a servir de entrada al módulo de visión artificial 120.
5) Almacenar 205, en la unidad de control, los datos extraídos de las imágenes adquiridas por la cámara 312 para alimentar la entrada de módulo de visión artificial 120 que, a su vez, ejecuta los pasos mostrados en la Figura 4 que se describe seguidamente.
La Figura 4 muestra la cadena de pasos implementados por el módulo de visión artificial 120, que es el núcleo del sistema 100, así como las entradas y salidas de cada paso representadas por las flechas gruesas, según una posible realización. La rutina de inspección automática es activada 400 tras finalizar el proceso de colocación automática de materiales compuestos realizado por la máquina ATL en la superficie 300 del elemento estructural que se está fabricando, es decir, estando aún en la fase de fabricación del elemento. Con esa activación y la información basada en las imágenes captadas entregada por el anterior módulo de captura de imágenes 110, un primer paso es identificar 410 automáticamente el producto o material compuesto a inspeccionar a partir de dos parámetros de entrada: la ubicación 411 de la información (que se crea de forma estructurada; por ejemplo, localización de una carpeta con archivos de imagen) que se tiene sobre los elementos estructurales para los que está configurada la máquina ATL y la referencia o identidad 412 del objeto físico bajo inspección, por ejemplo, una determinada aeronave. Así, el módulo de visión artificial 120 detecta de manera automática cuál es el producto a inspeccionar y entrega a su salida un identificador 413 del producto; por ejemplo, identifica que es el ala derecha o izquierda de un determinado modelo de aeronave. Esta detección o identificación 410 automática del objetivo de interés se realiza mediante un algoritmo de aprendizaje automático de clasificación y evita la introducción manual, que puede conducir a resultados erróneos, de la información de partida para la inspección. El identificador 413 de salida del paso de identificación 410 automática se introduce como parámetro de entrada 421 al siguiente paso de preparación o preprocesamiento de las imágenes 420 que comprende limpiar y cortar las imágenes entregadas por módulo de captura de imágenes 110 para dejarlas adecuadamente preparadas para el siguiente paso de corrección de imágenes 430 que emplea máscaras. Como el algoritmo CV o de visión por computación 440 para la detección de anomalías que usa el módulo de visión artificial 120 se basa en la comparación de imágenes, es necesario eliminar previamente todas las secciones de las imágenes que están fuera del elemento objeto de fabricación (es decir, por ejemplo, herramientas, parte del suelo, partes de la máquina de fabricación, ... y cualquier otro objeto que "se cuele” en la imagen adquirida por el módulo de captura de imágenes 110) y que podría dar lugar a falsas anomalías. Esta preparación o preprocesamiento de las imágenes 420 está previamente definida por cada producto a ser inspeccionado y aplicada, por tanto, de acuerdo con la identificación del producto que se ha obtenido del anterior paso de identificación 410. Adicionalmente, por ejemplo, para la fabricación de piezas grandes, donde las condiciones de luz podrían cambiar a lo largo de la superficie 300 a inspeccionar, este preprocesamiento de las imágenes 420 puede también comprender correcciones de colores. Las imágenes preprocesadas 422 de salida se introducen como imágenes de entrada 431, ya limpias y cortadas, al submódulo o paso de corrección de imágenes 430 mediante máscaras, junto con unos valores de entrada referentes a valores máximos y mínimos 432 de matiz, saturación y brillo o valor (modelo HSV: Hue, Saturation, Valor; en inglés) que definen un modelo de color en términos de esas tres componentes. El propósito de esta corrección de imágenes 430 por valores umbrales de máscaras de color es convertir una imagen RGB en una imagen binaria que resalta solo el material compuesto a inspeccionaren función de sus propiedades de color (por ejemplo, un material gris está resaltado frente al verde) y así filtra la información de cada píxel según los valores umbrales, máximos y mínimos 432 de matiz, saturación y brillo dados, los cuales están configurados de acuerdo con el material y condiciones de iluminación de la inspección automática. Adicionalmente, tras la aplicación de estas máscaras o umbrales, se pueden aplicar algunas operaciones binarias (tales como una dilatación binaria y un cierre binario) para eliminar o reducir el ruido de pequeños píxeles negros. Las imágenes binarias 433 de salida de la corrección de imágenes 430 pasan como imágenes de entrada 441 al algoritmo de visión por computación 440 para la detección de anomalías que realiza una comparación de dichas imágenes, corregidas y convertidas en binario correspondientes a la superficie 300 a inspeccionar, con unas imágenes de referencia 442 que son imágenes teóricamente correctas (sin anomalías). Las imágenes de referencia 442 pueden ser obtenidas de varias formas: por ejemplo, por conversión de un modelo informatizado de la pieza a obtener, o bien por aprendizaje a base de imágenes capturadas en piezas previamente comprobadas por humanos entrenados como imágenes sin anomalías (otros modos de obtener tales imágenes de referencia 442 pueden ser utilizados). Sobre el resultado de esta comparación de imágenes se aplican de nuevo algunas operaciones binarias para reducir ruido y además el algoritmo de visión por computación 440 realiza los siguientes pasos: a) el primer paso es detectar todas las áreas que se identifican como anomalía utilizando un algoritmo de etiquetado que identifica áreas conectadas o agrupaciones de áreas (“clusters” en inglés) y calcula propiedades relacionadas con estos “clusters”; b) el siguiente paso es discriminar entre patrones reales de ausencia de material y de ruido, o discriminar puntos de luz (estos puntos de luz -lighting spots, en inglésconstituyen un problema común en los procesos de visión por computador y se puede resolver a través de componentes hardware, pero la presente solución se basa en el software) usando una nueva característica o parámetro ("parámetro de porosidad") que se calcula a partir del valor de área del “cluster” y el número de Euler 443 (el número de Euler se define como una operación matemática que incluye el número de agujeros dentro de un “cluster” o agrupación de áreas conectadas). Evaluando dos condiciones, el tamaño mínimo 444 de áreas a inspeccionar y el “parámetro de porosidad”, el algoritmo de visión por computación 440 es capaz de discriminar entre ruido y material faltante y reducir así, utilizando sólo software, la tasa de falsos positivos en la detección CV de anomalías. Esta doble condición permite comparar el tamaño de anomalía detectado frente al tamaño mínimo a detectar a la par que se comprueba la condición de porosidad del área de anomalía; de forma que, si la porosidad excede cierto nivel, se descarta como patrón. El parámetro de porosidad es pues un nuevo parámetro específicamente definido para poder distinguir ruido (proveniente principalmente de reflejos sobre el material) de anomalías por falta o desviación de patrones. La información de las anomalías detectadas, que pueden estar relacionadas con falta/exceso de material o material mal colocado, se entrega a la salida 445 como anomalías de fabricación detectadas y son los resultados entrada al módulo de interfaz hombre-máquina 130, pudiendo entregarse dicha información en función de propiedades del color. El objetivo es poder detectar, aparte de faltas o excesos de material, no solo un mal posicionamiento porque el material no está donde debería estar, sino que también es posible detectar una mala colocación del material; es decir una arruga o un material extraño sobre la superficie también puede ser detectado como anomalía en función del tamaño y el contraste de color.
Finalmente, el sistema 100 entrega a través de su módulo de interfaz hombre-máquina 130 los resultados del algoritmo de detección de anomalías obtenidos a la salida del módulo de visión artificial 120, tras la ejecución de los pasos vistos anteriormente. El módulo de interfaz hombremáquina 130 entrega (usualmente, mostrándolos visualmente) los resultados al operario que ha activado el sistema 100 para la inspección automática mientras opera/supervisa la máquina ATL en la fabricación de los elementos estructurales; por tanto, debe traducir 131 automáticamente todos los resultados a un lenguaje comprensible para el ser humano y, si se ha detectado alguna anomalía, mostrar la ubicación y el tipo de anomalía que es. Entre los resultados, se puede mostrar una indicación clara de si hay una anomalía que necesita ser inspeccionada cuidadosamente o si toda la superficie está correcta, de acuerdo con los parámetros teóricos o estándares. Por ejemplo, en la comunicación traducida al operador de los resultados, el módulo de interfaz hombre-máquina 130 puede utilizar un código de colores para indicar la falta de material con un color o el material extra encontrado en la inspección usando otro color distinto. Además, en este módulo también se incluye una parte de registro histórico o submódulo de almacenamiento 132, donde todas las salidas de la ejecución del módulo de visión artificial 120 se guardan para rastrear la información de cada inspección automática ejecutada.
En un posible uso del sistema 100, el módulo de interfaz hombre-máquina 130 puede presentar visualmente resultados como se muestran en el ejemplo de la Figura 5, donde aparece una imagen 500 de una zona de la superficie 300 bajo inspección; seguidamente, la imagen teóricamente corregida 510 que obtiene el sistema 100 a partir de la anterior; y, por último, la imagen resultado 520 muestra las anomalías detectadas distinguiendo visualmente el patrón faltante o falta de material 521, por una parte, y por otra, el ruido 522 por los puntos de luz ("lightning spots”).
Claims (13)
1. Un sistema (100) para detectar anomalías en la colocación automática de materiales compuestos durante la fabricación de elementos estructurales, caracterizado por que comprende los siguientes módulos:
- un módulo de captura de imágenes (110) integrable en una máquina de colocación automática de materiales compuestos y que comprende al menos una cámara (312) configurada para capturar imágenes de una superficie (300) a inspeccionar durante la fabricación de un elemento estructural que comprende la superficie (300), el módulo de captura de imágenes (110) configurado para extraer datos de las imágenes capturadas por la, al menos una, cámara (312);
- un módulo de visión artificial (120) configurado para recibir los datos extraídos por el módulo de captura de imágenes (110) y obtener, mediante un algoritmo de visión por computación (440) que usa los datos extraídos, información de anomalías detectadas en la superficie (300); y
- un módulo de interfaz hombre-máquina (130) configurado para recibir la información de anomalías detectadas obtenida por el módulo de visión artificial (120) y traducir (131) automáticamente la información recibida a un lenguaje comprensible para el humano.
2. El sistema (100) de acuerdo con la reivindicación 1, caracterizado por que la cámara (312) está incorporada en una parte móvil de la máquina de colocación automática de materiales compuestos.
3. El sistema (100) de acuerdo con la reivindicación 2, caracterizado por que la cámara (312) está incorporada en una cabeza (311) de colocación automática de materiales compuestos configurada para desplazarse en un plano situado encima de la superficie (300) a inspeccionar.
4. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de captura de imágenes (110) está configurado además para:
- obtener (201), a través de una unidad de control asociada a la máquina de colocación automática de materiales compuestos, un programa de control numérico seleccionado que está configurado para realizar desplazamientos de la máquina para la colocación automática de materiales compuestos durante la fabricación de un área de la superficie (300);
- localizar el área de la superficie (300) a inspeccionar midiendo (202) posiciones de la máquina en el desplazamiento realizado según el programa de control numérico seleccionado;
- aplicar (203) una transformación de roto-traslación a las posiciones medidas para obtener una posición de la cámara (312) desde la que ejecutar (204) una rutina de captura de imágenes sobre el área localizada de la superficie (300).
5. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de captura de imágenes (110) está configurado además para almacenar (205) los datos extraídos de las imágenes capturadas por la cámara (312) y enviar los datos extraídos, almacenados o en tiempo real, al módulo de visión artificial (120).
6. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado para activar (400) una ejecución de inspección automática tras la colocación automática de materiales compuestos en la superficie (300) y aún durante la fabricación del elemento estructural.
7. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para, a partir de los datos extraídos por el módulo de captura de imágenes (110), identificar (410) mediante un algoritmo de aprendizaje automático de clasificación el elemento estructural a inspeccionar y obtener información relativa a la inspección asociada al elemento estructural identificado.
8. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para realizar un preprocesamiento de imágenes (420) que comprende limpiar y cortar las imágenes capturadas por el módulo de captura de imágenes (110) y una corrección de imágenes (430) que comprende convertir las imágenes preprocesadas en imágenes binarias que el algoritmo de visión por computación (440) usa como imágenes de entrada (441).
9. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el algoritmo de visión por computación (440) está configurado para comparar unas imágenes de entrada (441) con unas imágenes de referencia (442) que son imágenes sin anomalías.
10. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de visión artificial (120) está configurado además para identificar, utilizando un algoritmo de etiquetado que identifica agrupaciones de áreas, todas las áreas que el algoritmo de visión por computación (440) detecta como anomalía, calcular un parámetro de porosidad a partir de un valor de área total de cada agrupación de áreas y el número de Euler (443) y, comparando un tamaño mínimo (444) dado de áreas a inspeccionar junto con el parámetro de porosidad calculado, descartar falsos positivos en la detección de anomalías por el algoritmo de visión por computación (440).
11. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de interfaz hombre-máquina (130) está configurado para traducir (131) la información de anomalías detectadas obtenida por el módulo de visión artificial (120) a un código de colores asociado a tipos de anomalías.
12. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que el módulo de interfaz hombre-máquina (130) además comprende un submódulo de almacenamiento (132) configurado para generar un registro de todas las informaciones obtenidas por el módulo de visión artificial (120) en cada inspección automática ejecutada.
13. El sistema (100) de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado por que la información de anomalías detectadas comprende una indicación de falta de material, exceso de material o material mal colocado en la superficie (300).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES202230572A ES2957904A1 (es) | 2022-06-27 | 2022-06-27 | Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales |
US18/341,547 US20230419477A1 (en) | 2022-06-27 | 2023-06-26 | Anomaly detection system in the automatic placement of composites during the manufacturing of structural elements |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
ES202230572A ES2957904A1 (es) | 2022-06-27 | 2022-06-27 | Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2957904A1 true ES2957904A1 (es) | 2024-01-29 |
Family
ID=89323231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES202230572A Pending ES2957904A1 (es) | 2022-06-27 | 2022-06-27 | Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230419477A1 (es) |
ES (1) | ES2957904A1 (es) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117876429B (zh) * | 2024-03-12 | 2024-06-07 | 潍坊海之晨人工智能有限公司 | 一种运动型工业视觉实训系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5562788A (en) * | 1994-09-20 | 1996-10-08 | The Boeing Company | Composite material laser flaw detection |
US20070271064A1 (en) * | 2006-05-16 | 2007-11-22 | The Boeing Company | System and method for identifying a feature of a workpiece |
US20160097728A1 (en) * | 2014-10-06 | 2016-04-07 | The Boeing Company | System and method for inspecting a composite part during manufacture |
US20180311914A1 (en) * | 2017-04-28 | 2018-11-01 | The Boeing Company | Process control of a composite fabrication process |
-
2022
- 2022-06-27 ES ES202230572A patent/ES2957904A1/es active Pending
-
2023
- 2023-06-26 US US18/341,547 patent/US20230419477A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5562788A (en) * | 1994-09-20 | 1996-10-08 | The Boeing Company | Composite material laser flaw detection |
US20070271064A1 (en) * | 2006-05-16 | 2007-11-22 | The Boeing Company | System and method for identifying a feature of a workpiece |
US20160097728A1 (en) * | 2014-10-06 | 2016-04-07 | The Boeing Company | System and method for inspecting a composite part during manufacture |
US20180311914A1 (en) * | 2017-04-28 | 2018-11-01 | The Boeing Company | Process control of a composite fabrication process |
Also Published As
Publication number | Publication date |
---|---|
US20230419477A1 (en) | 2023-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102603141B1 (ko) | 제조 공정의 마지막 단계에서 타이어 상의 결함을 검출하고 검사하기 위한 장치 | |
JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
JP5103402B2 (ja) | 欠陥と検査位置を投影するシステム及び関連方法 | |
US10026164B2 (en) | Method of performing and monitoring a processing step on a workpiece | |
JP6782531B2 (ja) | 製造中の複合部品を検査するためのシステムおよび方法 | |
CN103562712B (zh) | 用于检测在飞机部件或燃气涡轮部件中的裂纹的方法和设备 | |
US20160102966A1 (en) | Systems and methods for fiber placement inspection during fabrication of fiber-reinforced composite components | |
CN105333819A (zh) | 基于面激光传感器的机器人工件装配及形位公差检测系统及其检测方法 | |
US20210255117A1 (en) | Methods and plants for locating points on complex surfaces | |
US10782671B2 (en) | Method for operating a pass-through machine and a pass-through machine for edge machining and trimming of workpieces | |
US20230115037A1 (en) | Ply templating for composite fabrication with ai quality control modules | |
CN104245514A (zh) | 用于连结底盘的部分的自动系统及其方法 | |
ES2957904A1 (es) | Sistema de detección de anomalías en la colocación automática de composites durante la fabricación de elementos estructurales | |
CN211178438U (zh) | 基于机器视觉防错的光学自动测量装置 | |
US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
EP3640621B1 (en) | Method and apparatus for calibrating optical tools of a tyre checking system | |
US20240029234A1 (en) | Method for inspecting a correct execution of a processing step of components, in particular a wiring harness, data structure, and system | |
US20160146593A1 (en) | Photo-based 3d-surface inspection system | |
CN111389750A (zh) | 一种视觉测量系统及测量方法 | |
CN106123808A (zh) | 一种用于汽车后视镜镜面角度偏转测量的方法 | |
CN114392940B (zh) | 一种异型元器件的针脚检测方法及装置 | |
WO2010112894A1 (en) | Automated 3d article inspection | |
US20230136847A1 (en) | CMM Downtime System | |
CN113269736B (zh) | 紧固件尺寸的自动化检验方法、系统及介质 | |
US20200133245A1 (en) | Device For Coordinated Movement And/Or Orientation Of A Tracking Tool, Method For Smoothing A Part Using Said Device And Smoothing Station For Implementing Said Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
BA2A | Patent application published |
Ref document number: 2957904 Country of ref document: ES Kind code of ref document: A1 Effective date: 20240129 |