BR102019027932A2

BR102019027932A2 - system and method for detection and alignment of joints in robotic welding based on passive monocular image

Info

Publication number: BR102019027932A2
Application number: BR102019027932-0A
Authority: BR
Inventors: Eduardo Hwang; Douglas Coimbra De Andrade; Leonardo Da Paixão Carvalho; Sílvia Silva Da Costa Botelho; Nelson Lopes Duarte Filho; Vagner Santos Da Rosa; Eduardo Do Amaral Leivas; Cristiano Rafael Steffens; Paulo Lilles Jorge Drews Junior; Danúbia Bueno Espíndola; Rodrigo Zelir Azzolin; Andres Fabricio Fischdick Acuna; Átila Astor Weis
Original assignee: Petróleo Brasileiro S.A. - Petrobras; Universidade Federal Do Rio Grande - Furg
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-07-06
Also published as: WO2021127764A1

Abstract

A invenção apresenta um processo de soldagem robotizada ou automatizada de juntas de topo por meio de sistema e método para geração de referências de trajetórias para o robô. Para a realização da soldagem é utilizada uma câmera digital para capturar imagens, um sistema de iluminação difusa por LEDs ao redor da câmera e uma unidade de processamento digital capaz de processar imagens e geração das referências para alinhamento do robô. O método é composto pelo posicionamento da câmera junto à tocha de soldagem e algoritmos de processamento de imagens. Estes parâmetros foram estudados e testados exaustivamente até a identificação da melhor combinação da escolha de algoritmos em termos de acurácia e velocidade de processamento. A combinação entre os métodos escolhida caracteriza a inteligência agregada.

The invention presents a robotic or automated butt joint welding process by means of a system and method for generating trajectory references for the robot. To carry out the welding, a digital camera is used to capture images, a diffused LED lighting system around the camera and a digital processing unit capable of processing images and generating references for robot alignment. The method consists of positioning the camera with the welding torch and image processing algorithms. These parameters were studied and exhaustively tested until the identification of the best combination of algorithm choice in terms of accuracy and processing speed was identified. The combination of methods chosen characterizes aggregate intelligence.

Description

SYSTEM AND METHOD FOR DETECTION AND ALIGNMENT OF JOINTS IN ROBOTIZED WELDING BASED ON PASSIVE MONOCULAR IMAGE

Field of Invention

[0001] A presente invenção visa à automatização de processos de soldagem robotizada.[0001] The present invention aims at the automation of robotic welding processes.

[0002] Soldagem robotizada de juntas de topo por meio de sistema e método para geração de referências de trajetórias para o robô, bem como identificação do final da junta, parando o processo automaticamente, sem intervenção humana necessária. Dessa forma, robôs podem executar soldagens em peças sem conhecimento prévio da trajetória a ser executada. O sistema baseia-se em imagens monoculares passivas (de uma única câmera sem uso de lasers ou luz estruturada).[0002] Robotic welding of butt joints through a system and method for generating trajectory references for the robot, as well as identification of the end of the joint, stopping the process automatically, without human intervention required. In this way, robots can perform welds on parts without prior knowledge of the trajectory to be performed. The system is based on passive monocular images (from a single camera without the use of lasers or structured light).

Description of the State of the Art

[0003] Atualmente, os processos de soldagem a arco elétrico estão cada vez mais vinculados a sistemas automatizados. Soldagem automatizada é definida como "soldagem com equipamento que requer somente observação ocasional ou nenhuma observação da solda e nenhum ajuste manual nos controles do equipamento”. O envolvimento do soldador é limitado a ativar a máquina para iniciar o ciclo de soldagem e observar a solda sob uma base intermitente.[0003] Currently, electric arc welding processes are increasingly linked to automated systems. Automated welding is defined as “welding with equipment that requires only occasional observation or no observation of the weld and no manual adjustment of equipment controls.” Welder involvement is limited to activating the machine to initiate the welding cycle and observing the weld under an intermittent base.

[0004] Estes sistemas se comprometem a reproduzir as operações realizadas pelo ser humano nas situações de soldagens manuais. O sistema automático é aquele que caracteriza a capacidade de realizar tarefas pré-definidas sem que ocorra a interferência do homem.[0004] These systems are committed to reproducing the operations performed by humans in situations of manual welding. The automatic system is one that characterizes the ability to perform pre-defined tasks without human interference.

[0005] Significa que algumas ou todas as funções ou passos de uma operação são executadas e controladas, em sequência, por meios mecânicos e/ou eletrônicos. A automação pode ser parcial, com certas funções ou passos executados manualmente (automação parcial), ou pode ser total, onde todas as funções ou passos são executados pelo equipamento, numa certa sequência, sem qualquer ajuste feito pelo operador (automação total).[0005] Means that some or all of the functions or steps of an operation are performed and controlled, in sequence, by mechanical and/or electronic means. Automation can be partial, with certain functions or steps performed manually (partial automation), or it can be total, where all functions or steps are performed by the equipment, in a certain sequence, without any adjustment made by the operator (full automation).

[0006] Independentemente do grau de automação, seu objetivo consiste na diminuição do custo de manufatura, por meio de uma redução do número de pessoas envolvidas diretamente na produção e no aumento da produtividade e da qualidade do produto final, por meio do controle mais racional dos parâmetros do processo.[0006] Regardless of the degree of automation, its objective is to reduce the cost of manufacturing, by reducing the number of people directly involved in production and increasing productivity and quality of the final product, through more rational control of the process parameters.

[0007] Nesta área, a automação tem buscado alcançar a sensibilidade humana, como em situações de soldadores experientes, que executam uma série de correções, mediante aos desvios de trajetória causados por deformações, variações na altura de comprimento de arco, como também, faz adequações na velocidade de soldagem conforme a peça aquece, impedindo perfurações ou falta de fusão. Dentro do campo da soldagem, a automação tem avançado bastante nos processos MIG/MAG, TIG e PLASMA.[0007] In this area, automation has sought to achieve human sensitivity, as in situations of experienced welders, who perform a series of corrections, through trajectory deviations caused by deformations, variations in arc length height, as well as adjustments in welding speed as the part heats up, preventing perforations or lack of fusion. Within the field of welding, automation has advanced significantly in the MIG/MAG, TIG and PLASMA processes.

[0008] O sistema automatizado exige capacidade de decisão quando as variáveis externas e de parâmetros durante a soldagem estiverem desajustadas ou interferindo negativamente; isso somente é possível graças a recursos sensoriais que monitoram e informam o equipamento para que seja tomada a decisão correta. Quando se deseja automatizar, os níveis de evolução devem ser preferencialmente graduais para que não ocorram frustrações e comprometimento de investimentos.[0008] The automated system requires decision-making ability when external variables and parameters during welding are out of adjustment or negatively interfering; this is only possible thanks to sensory resources that monitor and inform the equipment so that the correct decision is taken. When you want to automate, the evolution levels should preferably be gradual so that frustrations and investment compromises do not occur.

[0009] Há no mercado soluções que tratam o problema de detecção e alinhamento para soldagens robotizadas ao identificar a trajetória a ser soldada sem a necessidade de treinamento prévio ou a intervenção de um operador. Essas soluções são baseadas em dispositivos lasers (conhecido como imagens ou iluminação ativas) ou com uso de uma ou duas câmeras (imagens estéreo).[0009] There are solutions on the market that address the problem of detection and alignment for robotic welding by identifying the trajectory to be welded without the need for prior training or the intervention of an operator. These solutions are based on laser devices (known as active imaging or lighting) or using one or two cameras (stereo imaging).

[0010] O documento JP2004219154A revela um método e um dispositivo de soldagem automática, que é capaz de realizar a soldagem detectando a posição do chanfro e a superfície da peça. Os meios para a detecção são através de luz de fenda (slit light) e uma câmera CCD (charge-coupled device) junto à tocha.[0010] The document JP2004219154A discloses a method and an automatic welding device, which is capable of performing welding by detecting the position of the chamfer and the surface of the part. The means for detection are through a slit light and a CCD camera (charge-coupled device) next to the torch.

[0011] O documento JPH09155543A revela um equipamento de soldagem automática, que é capaz de realizar soldagem multicamadas detectando, em especial, a posição do chanfro e a forma da seção transversal do chanfro na pré- soldagem ou durante a soldagem através de um sensor de medição, uma câmera CCD (charge-coupled device). A partir do processamento das imagens capturadas pela câmera CCD (charge-coupled device), é capaz de gerenciar todo o processo de soldagem automático através de recurso computacional.[0011] Document JPH09155543A discloses automatic welding equipment, which is capable of performing multilayer welding by detecting, in particular, the position of the chamfer and the shape of the cross section of the chamfer in pre-welding or during welding through a sensor of measurement, a CCD (charge-coupled device) camera. From the processing of images captured by the CCD camera (charge-coupled device), it is capable of managing the entire automatic welding process through a computational resource.

[0012] O documento US20050102060A1 revela um dispositivo para corrigir os dados de posicionamento de um robô soldador que inclui um sensor de visão, incluindo uma ou duas câmeras CCD (charge-coupleddevice) (acopladas ou não à tocha), um padrão de iluminação direcionada ou por luz de fenda ou outros tipos, e meios de processamento de imagem, para processar a imagem obtida. Conectado ao dispositivo de processamento de imagem está o dispositivo de controle do robô, garantindo assim, através de métodos computacionais, a automatização do processo de soldagem.[0012] The document US20050102060A1 discloses a device for correcting the positioning data of a welder robot that includes a vision sensor, including one or two CCD (charge-coupleddevice) cameras (coupled or not to the torch), a directed lighting pattern or by slit light or other types, and image processing means, to process the obtained image. Connected to the image processing device is the robot control device, thus ensuring, through computational methods, the automation of the welding process.

[0013] Os métodos de identificação automática de chanfros por visão computacional podem ser divididos entre trabalhos baseados em iluminação ativa estruturada, usando laser, e os trabalhos que dispensam iluminação artificial ou utilizam formas de iluminação convencional (iluminação passiva).[0013] The methods of automatic identification of bevels by computer vision can be divided between jobs based on structured active lighting, using laser, and jobs that do not require artificial lighting or use forms of conventional lighting (passive lighting).

[0014] Considerando o que foi apresentado no estado da técnica a invenção busca trazer um cálculo automatizado da trajetória de soldagem garantindo o alinhamento entre a tocha e o centro do chanfro durante o processo de soldagem e assim evitando a exposição do operador ao arco elétrico e trazendo aumento da produtividade em escala industrial.[0014] Considering what was presented in the prior art, the invention seeks to bring an automated calculation of the welding trajectory, ensuring the alignment between the torch and the center of the chamfer during the welding process and thus avoiding the operator's exposure to the electric arc and bringing increased productivity on an industrial scale.

[0015] Os documentos citados como o estado da técnica revelam a automatização do processo de soldagem através da aquisição de imagens, porém, nenhum deles revela o método ou a metodologia que será apresentada aqui, pela invenção.[0015] The documents cited as the state of the art reveal the automation of the welding process through image acquisition, however, none of them reveal the method or methodology that will be presented here, by the invention.

Brief Description of the Invention

[0016] A invenção apresenta um processo de soldagem robotizada ou automatizada de juntas de topo por meio de sistema e método para geração de referências de trajetórias para o robô.[0016] The invention presents a robotic or automated welding process of butt joints by means of a system and method for generating trajectory references for the robot.

[0017] Dessa forma, a automatização do processo de soldagem através de robôs utilizando uma metodologia da presente invenção permite executar soldagens em peças sem conhecimento prévio da trajetória exata a ser executada.[0017] In this way, the automation of the welding process through robots using a methodology of the present invention allows performing welding on parts without prior knowledge of the exact trajectory to be performed.

[0018] O sistema baseia-se em imagens monoculares passivas (de uma única câmera sem uso de lasers ou luz estruturada).[0018] The system is based on passive monocular images (from a single camera without the use of lasers or structured light).

[0019] Para a realização da soldagem são utilizados uma câmera digital para capturar imagens, um sistema de iluminação difusa por LEDs ao redor da câmera e uma unidade de processamento digital.[0019] To carry out the welding are used a digital camera to capture images, a diffused lighting system by LEDs around the camera and a digital processing unit.

Brief Description of Drawings

[0020] A presente invenção será descrita com mais detalhes a seguir, com referência às figuras em anexo que, de uma forma esquemática e não limitativa do escopo inventivo, representam exemplos de realização da mesma. Nos desenhos, têm-se:

- A Figura 1 ilustra o arranjo físico dos componentes do sistema de aquisição de imagens;
- A Figura 2 ilustra o sistema acoplado junto ao braço do robô e à tocha de soldagem;
- A Figura 3 ilustra a imagem capturada pelo sistema com vista superior da junta.

[0020] The present invention will be described in more detail below, with reference to the attached figures which, in a schematic and not limiting of the inventive scope, represent examples of its realization. In the drawings, there are:

- Figure 1 illustrates the physical arrangement of the image acquisition system components;
- Figure 2 illustrates the system coupled with the robot arm and the welding torch;
- Figure 3 illustrates the image captured by the system with a superior view of the joint.

Detailed Description of the Invention

[0021] A abordagem proposta não faz uso de lasers ou de duas câmeras para identificação das trajetórias de soldagem. O uso de lasers em ambiente industrial acarreta medidas adicionais necessárias para garantir a integridade de operadores e demais funcionários, devido aos riscos associados quando em um contato direto, ou após refração, do feixe de luz laser com os olhos. No caso quando comparado ao uso de duas câmeras, a invenção reduz a complexidade necessária para solucionar o mesmo problema, tanto em termos de hardware quanto de software.[0021] The proposed approach does not use lasers or two cameras to identify the welding trajectories. The use of lasers in an industrial environment entails additional measures necessary to ensure the integrity of operators and other employees, due to the associated risks when in direct contact, or after refraction, of the laser light beam with the eyes. In the case when compared to the use of two cameras, the invention reduces the complexity needed to solve the same problem, both in terms of hardware and software.

[0022] Em uma primeira realização, o sistema (10), ilustrado na Figura 1, é composto por anteparos para proteção (1), vidro de proteção (2), sistema de iluminação difusa (3), câmera monocular (4) e unidade de processamento digital (5). Na Figura 2 o sistema (10) é acoplado junto ao braço do robô e à tocha de soldagem (6), imagens capturadas da chapa metálica com vista superior à frente da tocha (7) são processadas e a linha do centro da junta (8) identificada, permitindo a automatização do processo de soldagem. Na Figura 3 apresenta-se uma ilustração da imagem capturada pelo sistema com vista superior da junta (12), as bordas do chanfro identificadas (9), o final da junta (11) e a linha de centro da junta calculada (8).[0022] In a first embodiment, the system (10), illustrated in Figure 1, is composed of shields for protection (1), protective glass (2), diffused lighting system (3), monocular camera (4) and digital processing unit (5). In Figure 2 the system (10) is coupled with the robot arm and the welding torch (6), images captured from the sheet metal with a top view to the front of the torch (7) are processed and the center line of the joint (8 ) identified, allowing the automation of the welding process. Figure 3 shows an illustration of the image captured by the system with a top view of the joint (12), the identified chamfer edges (9), the end of the joint (11) and the center line of the calculated joint (8).

[0023] A câmera monocular (4) é uma câmera digital monocular passiva com o objetivo de capturar imagens da junta à frente da tocha de solda numa posição conhecida. O sistema de iluminação difusa (3) é composto de um conjunto de LEDs (Light-Emitting Diode), posicionados ao redor da câmera (4). A unidade de processamento digital (5) é um sistema computacional responsável por aplicar os métodos de identificação da junta nas imagens capturadas pela câmera monocular (4) e posteriormente gerar as referências.[0023] The monocular camera (4) is a passive monocular digital camera with the objective of capturing images of the joint in front of the welding torch in a known position. The diffused lighting system (3) is composed of a set of LEDs (Light-Emitting Diode), positioned around the camera (4). The digital processing unit (5) is a computational system responsible for applying the joint identification methods in the images captured by the monocular camera (4) and subsequently generating the references.

[0024] A invenção faz uso de equipamentos comuns (câmera, iluminação e unidade de processamento) que dependem do método de identificação proposto para agregar a inteligência necessária para que o sistema desempenhe a função proposta de forma automática. Dessa forma, o método proposto é fundamental no desempenho da inovação. O método é composto pelo posicionamento da câmera junto à tocha de soldagem e algoritmos de processamento de imagens. Estes parâmetros foram estudados e testados exaustivamente até a identificação da melhor combinação.[0024] The invention makes use of common equipment (camera, lighting and processing unit) that depend on the proposed identification method to add the necessary intelligence for the system to perform the proposed function automatically. Thus, the proposed method is fundamental in the performance of the innovation. The method consists of positioning the camera with the welding torch and image processing algorithms. These parameters were studied and exhaustively tested until the best combination was identified.

[0025] No método a soldagem é guiada por uma câmera que rastreia os chanfros para controle da poça de fusão. Para o pré-processamento de imagens são utilizados algoritmos para supressão de ruídos, realce da imagem e limiarização.[0025] In the method, the welding is guided by a camera that tracks the chamfers to control the weld pool. For image pre-processing algorithms for noise suppression, image enhancement and thresholding are used.

[0026] O ruído é uma característica das imagens digitais, que pode ser decorrente de diversos fatores como iluminação, tipo de lente, tipo de câmera, movimento, poeira e efeitos atmosféricos. O efeito do ruído altera valores de pixels de forma aleatória, podendo ser mitigado utilizando métodos estatísticos. Devido a sua natureza aleatória, o ruído não pode ser previsto e é difícil mensurá-lo adequadamente.[0026] Noise is a characteristic of digital images, which can be due to several factors such as lighting, type of lens, type of camera, movement, dust and atmospheric effects. The effect of noise changes pixel values randomly and can be mitigated using statistical methods. Due to its random nature, noise cannot be predicted and is difficult to measure properly.

[0027] A supressão de ruídos pode ser feita utilizando alguns filtros clássicos, sendo que os métodos de filtragem que trabalham no domínio espacial operam diretamente sobre os pixels, sendo eles: filtro média, filtro gaussiano, filtro espacial não linear mediana, filtros lineares por operadores morfológicos e filtro não-linear bilateral.[0027] The noise suppression can be done using some classic filters, and the filtering methods that work in the spatial domain operate directly on the pixels, namely: average filter, Gaussian filter, median nonlinear spatial filter, linear filters by morphological operators and bilateral nonlinear filter.

[0028] O realce de imagem é utilizado para obter imagens que sejam melhor percebidas pelo sistema visual humano e que ofereçam uma saída mais relevante para o processamento de imagens. Geralmente consiste em alterar os valores dos pixels na matriz que representa a imagem, com base na intensidade. Entre os filtros podem ser: Normalização min-max (realce de contraste), equalização de histograma global (modifica o histograma da imagem), e equalização de histograma local.[0028] Image enhancement is used to obtain images that are better perceived by the human visual system and that offer a more relevant output for image processing. It usually consists of changing the values of the pixels in the matrix that represent the image, based on intensity. Among the filters can be: min-max normalization (contrast enhancement), global histogram equalization (modifies the image's histogram), and local histogram equalization.

[0029] A limiarização compreende uma forma de segmentação de imagens que se baseia na diferença entre os valores de pixel que compõem diferentes objetos de uma imagem. Os métodos mais comuns são: limiarização binária, limiarização com suavização média, limiarização com suavização gaussiana, limiarização pelo método de Otsu. A limiariazação binária é a mais comum, onde com as características dos objetos que se quer isolar, a imagem é segmentada em dois grupos, sendo pixels com nível de cinza acima de um limiar e abaixo do limiar.[0029] Thresholding comprises a form of image segmentation that is based on the difference between the pixel values that make up different objects of an image. The most common methods are: binary thresholding, thresholding with average smoothing, thresholding with Gaussian smoothing, thresholding by the Otsu method. Binary thresholding is the most common, where with the characteristics of the objects to be isolated, the image is segmented into two groups, with gray level pixels above a threshold and below the threshold.

[0030] Para o processamento, são utilizados métodos de identificação de bordas e identificação de primitivas. Uma borda separa o objeto do restante da cena contida na imagem. Uma borda pode ser caracterizada por variações significativas na refletância, iluminação, orientação e profundidade da cena. Pode-se considerar a detecção de bordas como uma parte do processo de segmentação de imagens. Os filtros Sobel e Feldman estimam o vetor gradiente com base na operação de convolução utilizando a máscara:

[0030] For processing, edge identification and primitive identification methods are used. A border separates the object from the rest of the scene contained in the image. An edge can be characterized by significant variations in the scene's reflectance, lighting, orientation, and depth. Edge detection can be considered as a part of the image segmentation process. The Sobel and Feldman filters estimate the gradient vector based on the convolution operation using the mask:

[0031] Normalmente, as máscaras tem tamanho 3x3. Outros filtros conhecidos são Prewitt, Laplaciano e Canny.[0031] Normally, masks are 3x3 size. Other well-known filters are Prewitt, Laplaciano and Canny.

[0032] As linhas e formas geométricas (consideradas formas primitivas) são importantes no processamento de imagens. As linhas podem ser utilizadas como aproximações de contornos de objetos na representação da imagem. Sendo assim, essa é a forma de representar as bordas dos chanfros e os limites das chapas. Os algoritmos de detecção de linha determinísticos conhecidos são: transformada de Hough, o algoritmo PPHT (Progressive Probabilistic Hough Transform), algoritmo LSWMS (Line Segment detection using Weighted Mean-Shift), e algoritmo LSD (Line Segment Detection). O algoritmo não determinístico são: agrupamento K-means.[0032] The lines and geometric shapes (considered primitive shapes) are important in image processing. Lines can be used as approximations of object contours in image representation. Therefore, this is the way to represent the edges of the chamfers and the limits of the sheets. The known deterministic line detection algorithms are: Hough transform, PPHT (Progressive Probabilistic Hough Transform) algorithm, LSWMS (Line Segment detection using Weighted Mean-Shift) algorithm, and LSD (Line Segment Detection) algorithm. The non-deterministic algorithm are: K-means grouping.

[0033] A etapa de dimensionamento do chanfro pode ser dividida em dois procedimentos principais:

a. a conversão das primitivas em dimensão do chanfro no domínio da imagem (pixeis) e depois
b. a conversão de pixels para o mundo físico (métrica). A etapa de conversão das primitivas em dimensão do chanfro no domínio da imagem (pixels) define em qual linha o chanfro vai ser estimado.

[0033] The chamfer dimensioning step can be divided into two main procedures:

The. converting primitives to bevel dimension in the image domain (pixels) and then
B. the conversion of pixels to the physical world (metric). The step of converting primitives into bevel dimensions in the image domain (pixels) defines in which line the bevel will be estimated.

[0034] O método escolhido é o do Ponto Central. Com a identificação de cada linha do chanfro, em pontos na imagem, a distância Euclidiana entre esses pontos permite o cálculo das características do mesmo como: abertura superior, abertura inferior e ângulo do bisel.[0034] The method chosen is the Central Point. With the identification of each chamfer line, at points in the image, the Euclidean distance between these points allows the calculation of its characteristics, such as: upper opening, lower opening and bevel angle.

[0035] A etapa de conversão da dimensão do chanfro no domínio da imagem para o mundo físico envolve o conhecimento do modelo de câmera. Por mundo físico entende-se a dimensão relativa a chapa. O modelo utilizado foi a câmera pinhole que permite definir uma projeção perspectiva.[0035] The step of converting the dimension of the bevel in the image domain to the physical world involves knowledge of the camera model. By physical world we mean the dimension relative to the plate. The model used was the pinhole camera that allows defining a perspective projection.

[0036] A iluminação, para o tratamento das imagens, pode ser nas cores: azul, branca, verde e vermelha. A iluminação verde apresenta maior destaque para as bordas do cordão de solda do que com as demais cores.[0036] The lighting, for the treatment of images, can be in colors: blue, white, green and red. Green lighting is more prominent on the edges of the weld bead than with other colors.

[0037] Sendo assim, o método para detecção de juntas e geração de referência para alinhamento do robô compreende as seguintes etapas:

a) Captura da imagem com vista superior da junta;
b) Processamento da imagem filtragem de ruídos: filtro média com máscara 11x11 ou 5x5, no qual é realizada uma operação de convolução para remoção de ruídos;
c) Processamento onde utiliza um algoritmo de realce de características : equalização de histograma na máscara, no é realizada uma melhora do contraste baseada na uniformização do histograma de intensidades da imagem;
d) Pré-processamento da imagem segmentando-a através de algoritmo de limiarização binária,
e) Processamento para detecção de bordas: algoritmo de Sobel que calcula os gradientes de intensidades na imagem;
f) Identificação das bordas de interesse: seleciona-se entre todas as bordas encontradas as 4 mais expressivas, caracterizando as bordas do chanfro (9);
g) Estimação da linha de centro do chanfro: calcula-se a linha do centro do chanfro com base nas 4 linhas encontradas anteriormente;
h) Conversão de pixels em unidades de comprimento: a partir de calibração da câmera faz-se a relação de pixels e milímetros baseado no modelo de projeção perspectiva;
i) Geração das referências para alinhamento do robô: a partir da diferença entre o centro da câmera e a linha de centro da junta calculada (8), o centro do chanfro.

[0037] Therefore, the method for joint detection and reference generation for robot alignment comprises the following steps:

a) Image capture with a superior view of the joint;
b) Image processing noise filtering: average filter with 11x11 or 5x5 mask, in which a convolution operation is performed to remove noise;
c) Processing using a feature enhancement algorithm: histogram equalization in the mask, no contrast improvement is performed based on the uniformity of the image intensities histogram;
d) Pre-processing the image by segmenting it using a binary thresholding algorithm,
e) Processing for edge detection: Sobel algorithm that calculates intensities gradients in the image;
f) Identification of the edges of interest: the 4 most expressive are selected among all edges found, characterizing the edges of the chamfer (9);
g) Estimation of the center line of the chamfer: the center line of the chamfer is calculated based on the 4 lines found previously;
h) Pixel conversion into units of length: based on the camera calibration, the ratio of pixels and millimeters is made based on the perspective projection model;
i) Generation of references for robot alignment: from the difference between the center of the camera and the centerline of the calculated joint (8), the center of the chamfer.

[0038] Para o processamento das imagens são utilizadas as sequências de 9 passos descritas anteriormente, onde a combinação entre os métodos escolhidos b), c), d) e e) caracterizam a inteligência agregada. No processamento das imagens são aplicados os algoritmos conforme descritos acima.[0038] For image processing, the 9-step sequences described above are used, where the combination of the chosen methods b), c), d) and e) characterize the aggregated intelligence. In the image processing, the algorithms as described above are applied.

[0039] O método proposto pela presente invenção garante um aumento da produtividade, uma vez que a intervenção humana necessária para execução da soldagem é menor. O método também garante ao operador uma menor exposição ao arco elétrico, uma vez que o cálculo automático da trajetória durante a execução da soldagem realizada pelo robô garante o alinhamento entre a tocha e o centro do chanfro.[0039] The method proposed by the present invention ensures an increase in productivity, since the human intervention required to perform the welding is less. The method also guarantees the operator less exposure to the electric arc, since the automatic calculation of the trajectory during the execution of the welding performed by the robot ensures the alignment between the torch and the center of the chamfer.

Claims

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, characterized by comprising a passive monocular digital camera (4), a diffused lighting system (3), a digital processing unit (5 ), bulkheads (1) and protective glass (2),

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, according to claim 1, characterized in that the system (10) can be coupled to the arm of a robot and the welding torch (6 ),

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, according to claim 1, characterized by the passive monocular digital camera (4) having the purpose of identifying the center line of the joint ( 8) from the images captured with a top view in front of the torch (7),

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, according to claim 1, characterized by the passive monocular digital camera (4) having the purpose of capturing images of the cord (13) of solder,

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, according to claim 1, characterized in that the diffused lighting system (3) comprises a set of LEDs positioned around the camera (4 ),

DETECTION AND ALIGNMENT SYSTEM OF JOINTS IN ROBOTIZED WELDING AND VISUAL INSPECTION OF WELDING BEADS FOR TOP JOINT, according to claim 1, characterized in that the digital processing unit (5) is the computer system responsible for applying the identification methods in the images captured by the monocular camera (4) and later generate the results,

METHOD OF DETECTION AND ALIGNMENT OF JOINTS IN ROBOTIZED WELDING, according to the inventive concept of claim 1, characterized in that it comprises the following steps:

a) Image capture with a superior view of the joint;
b) Image pre-processing by noise filtering
c) Pre-processing using a feature highlighting algorithm,
d) Image pre-processing through thresholding algorithm,
e) Edge detection processing that calculates the intensities gradients in the image;
f) Identification of the edges of interest: the 4 most expressive is selected among all edges found, characterizing the edges of the chamfer;
g) Estimation of the center line of the chamfer: the center line of the chamfer is calculated based on the 4 lines found previously;
h) Converting pixels into units of length through the perspective projection model;
i) Generation of references for robot alignment: from the difference between the center of the camera and the center of the bevel,

METHOD, according to claim 7, characterized in that the noise pre-processing step is performed by any type of filters: average, Gaussian, median nonlinear spatial filter, linear filters by morphological operators and bilateral nonlinear filter,

METHOD, according to claim 7, characterized in that the highlighting pre-processing step uses any algorithms that can be: min-max normalization, global histogram equalization and local histogram,

METHOD, according to claim 7, characterized in that the pre-processing step for thresholding uses any algorithms that can be: binary thresholding, thresholding with average smoothing, thresholding with Gaussian smoothing and thresholding by the Otsu method,

METHOD, according to claim 7, characterized in that the detection step uses the Sobel and Feldman algorithm, or any other, which may be: Prewitt, Laplaciano and Canny,

METHOD, according to claim 7, characterized by the conversion of pixels into units of length using the geometric relation of the perspective projection of the pinhole camera model,

METHOD, according to claim 7, characterized in that the masks of the pre-processing step are preferably 11 x 11, but it can be any other size,

METHOD, according to claim 7, characterized in that the lighting is in blue, green, red or white, preferably green with at least 500lux of lighting.