BR102022016587A2

BR102022016587A2 - METHOD FOR IDENTIFYING, MAPPING, CLASSIFYING AND DETERMINING THE SEVERITY OF WEAR MECHANISMS IN A METALLIC PLATE BASED ON COMPUTER VISION

Info

Publication number: BR102022016587A2
Application number: BR102022016587-4A
Authority: BR
Inventors: Brayan Camilo Valenzuela; Cristian Camilo Viáfara Arango; Fabio Martínez Carrillo; Jose Jimmy Penagos
Original assignee: Vale S.A.; Universidade Industrial De Santander
Priority date: 2022-08-19
Filing date: 2022-08-19
Publication date: 2024-02-27

Abstract

A presente invenção provê um método para identificar, mapear, classificar e determinar a severidade de mecanismos de desgaste em uma placa metálica com base em visão computacional, compreendendo as etapas de: capturar um conjunto de imagens de uma superfície de uma placa metálica; dividir as imagens em fragmentos de ; codificar a representação em profundidade da imagem, em cada camada, em um conjunto de filtros de redes neurais profundas convolucionais pré- treinadas; obter as características profundas como um conjunto de fragmentos de ativação ; calcular um descritor, a partir de características profundas; aprendizagem e classificação de mecanismos de desgaste e severidade de desgaste, e reconstrução para mapear os mecanismos de desgaste.The present invention provides a method for identifying, mapping, classifying and determining the severity of wear mechanisms on a metal plate based on computer vision, comprising the steps of: capturing a set of images of a surface of a metal plate; divide images into fragments; encode the depth representation of the image, in each layer, in a set of pre-trained deep convolutional neural network filters; get the deep features as a set of activation fragments; calculate a descriptor,from deep features; learning and classifying wear mechanisms and wear severity, and reconstruction to map wear mechanisms.

Description

FIELD OF INVENTION

[0001] A presente invenção está relacionada a métodos para automatizar a identificação de mecanismos de desgaste em placas metálicas. Mais especificamente, a presente invenção está relacionada a um método para modelar e caracterizar padrões de desgaste para reconhecer mecanismos de desgaste e severidade de desgaste em superfícies de placas metálicas.[0001] The present invention relates to methods for automating the identification of wear mechanisms in metal plates. More specifically, the present invention relates to a method for modeling and characterizing wear patterns to recognize wear mechanisms and wear severity on metal plate surfaces.

BASICS OF THE INVENTION

[0002] O desgaste de componentes de máquina é uma fonte de diversas perdas materiais, de energia e de tempo, o que gera grandes perdas econômicas. Uma das soluções mais comuns para esse problema consiste em desenvolver e selecionar materiais mais resistentes ao desgaste e, assim, aumentar vida útil desses componentes.[0002] The wear of machine components is a source of various material, energy and time losses, which generates large economic losses. One of the most common solutions to this problem is to develop and select materials that are more resistant to wear and thus increase the useful life of these components.

[0003] Os testes de laboratório são econômicos, fáceis de executar e suas condições em que os testes são realizados são cuidadosamente controladas. No entanto, quando esses testes visam modelar uma aplicação em situações reais, a correlação obtida é geralmente insuficiente, uma vez que é muito difícil reproduzir mecanismos de desgaste com o mesmo nível de severidade como o encontrado em situações reais. Este fato pode ser explicado devido à aceleração dos processos de mudança de desgaste, quando feitos em laboratório.[0003] Laboratory tests are economical, easy to perform and the conditions under which the tests are carried out are carefully controlled. However, when these tests aim to model an application in real situations, the correlation obtained is generally insufficient, since it is very difficult to reproduce wear mechanisms with the same level of severity as that found in real situations. This fact can be explained due to the acceleration of wear change processes when carried out in the laboratory.

[0004] No caso de testes em campo, eles oferecem várias vantagens, como avaliação das condições reais, mas com altos custos econômicos, reprodutibilidade pobre e alta dispersão dos resultados. Em ambos os tipos de teste, a análise de superfícies desgastadas constitui uma questão fundamental e muito estudada atualmente.[0004] In the case of field tests, they offer several advantages, such as assessment of real conditions, but with high economic costs, poor reproducibility and high dispersion of results. In both types of tests, the analysis of worn surfaces is a fundamental issue that is currently being studied extensively.

[0005] No atual estado da técnica, a análise de superfícies desgastadas é frequentemente realizada pela captura de imagens em microscópios ópticos e eletrônicos que, posteriormente, são caracterizados manualmente por especialistas técnicos em tribologia. No entanto, tal técnica é altamente subjetiva e sujeita a erros humanos de interpretação na caracterização do material.[0005] In the current state of the art, the analysis of worn surfaces is often carried out by capturing images in optical and electronic microscopes, which are subsequently characterized manually by technical experts in tribology. However, this technique is highly subjective and subject to human errors of interpretation when characterizing the material.

[0006] Assim, o desenvolvimento de sistemas computacionais para quantificar e representar mecanismos de desgaste representam uma forte demanda do atual estado da técnica, com o objetivo de possibilitar a caracterização de materiais e fornecer ferramentas mais sensíveis para a realização de análises in situ, o que possibilitaria um melhor planejamento de manutenção de diversos equipamentos industriais.[0006] Thus, the development of computational systems to quantify and represent wear mechanisms represents a strong demand from the current state of the art, with the aim of enabling the characterization of materials and providing more sensitive tools for carrying out in situ analyses, which which would enable better maintenance planning for various industrial equipment.

[0007] No atual estado da técnica, em especial na academia, são propostas soluções para este tipo de caracterização, envolvendo componentes de reconhecimento de padrões, com a aplicação de estratégias de visão computacional juntamente com metodologias de aprendizado de máquina. Em termos gerais, tais estratégias fazem uso de uma metodologia que inclui a análise de imagem computacional de superfícies desgastadas e a codificação de padrões de superfície relacionando recursos como a cor, a luz, a aparência geométrica e o perfil da superfície.[0007] In the current state of the art, especially in academia, solutions are proposed for this type of characterization, involving pattern recognition components, with the application of computer vision strategies together with machine learning methodologies. In general terms, such strategies make use of a methodology that includes computational image analysis of worn surfaces and the coding of surface patterns relating features such as color, light, geometric appearance and surface profile.

[0008] Esses recursos estão associados aos conceitos de desgaste semântico das técnicas de aprendizado de máquina. Por exemplo, algumas abordagens são baseadas em metodologias de reconhecimento de padrões, como o trabalho intitulado “Evaluation of wear in rolling contact tests by means of 2D image analysis (I. Bodini, C. Petrogalli, M. Faccoli, M. Lancini, S. Pasinetti, G. Sansoni, F. Docchio, A. Mazzu, Wear 400-401, Dezembro de 2017). Esse documento se propõe a quantificar o dano superficial produzido em uma superfície em resposta ao contato deslizante-rolante em testes de disco-contra-disco. Os autores aplicaram um processo de análise de limiarização e filtragem de partículas, sob uma hipótese bayesiana, para acompanhar a evolução do desgaste das superfícies durante cada etapa do teste.[0008] These features are associated with the concepts of semantic attrition from machine learning techniques. For example, some approaches are based on pattern recognition methodologies, such as the work entitled “Evaluation of wear in rolling contact tests by means of 2D image analysis (I. Bodini, C. Petrogalli, M. Faccoli, M. Lancini, S . Pasinetti, G. Sansoni, F. Docchio, A. Mazzu, Wear 400-401, December 2017). This document sets out to quantify the surface damage produced on a surface in response to sliding-rolling contact in disc-on-disc tests. The authors applied a particle thresholding and filtering analysis process, under a Bayesian hypothesis, to monitor the evolution of surface wear during each stage of the test.

[0009] De uma maneira parecida, o documento “Qunntifying abrasion and micro-pits in polymer wear asing image processing techniques” (S. Soleimani, J. Sukumaran, A. Kumcu, P. De Baets, W. Philips, Wear 319, 2014) propõe uma segmentação de limiarização local e global com compensação de iluminação e operações morfológicas. Esta abordagem foi aplicada para quantificar o nível de abrasão e microcorrosão que aparece nas imagens capturadas de superfícies desgastadas. A análise de imagens fractais também tem sido usada para monitorar superfícies de desgaste, introduzindo descritores visuais que indexam o nível de superfícies heterogêneas de acordo com processos caóticos em diferentes escalas das imagens.[0009] In a similar way, the document “Quantifying abrasion and micro-pits in polymer wear as using image processing techniques” (S. Soleimani, J. Sukumaran, A. Kumcu, P. De Baets, W. Philips, Wear 319, 2014) proposes a local and global thresholding segmentation with lighting compensation and morphological operations. This approach was applied to quantify the level of abrasion and microcorrosion that appears in captured images of worn surfaces. Fractal image analysis has also been used to monitor wear surfaces, introducing visual descriptors that index the level of heterogeneous surfaces according to chaotic processes at different image scales.

[0010] A evolução do desgaste é comumente caracterizada a partir de emenda baseada em imagens que combina imagens de uma superfície obtidas em diferentes períodos de tempo e, em seguida, detecta as mudanças topográficas ocorridas. Da mesma forma, esta metodologia foi estendida para prever mecanismos de desgaste em desgaste por deslizamento e em testes de contato deslizante-rolante.[0010] The evolution of wear is commonly characterized from image-based splicing that combines images of a surface obtained at different periods of time and then detects the topographic changes that have occurred. Likewise, this methodology has been extended to predict wear mechanisms in sliding wear and sliding-rolling contact tests.

[0011] Alguns trabalhos também incluíram uma correlação quantitativa entre o comportamento ao desgaste e os parâmetros numéricos obtidos das imagens processadas, o que poderia contribuir para o monitoramento do funcionamento dos regimes de desgaste. Essas abordagens, entretanto, apresentam limitações notáveis para lidar com múltiplas variações de imagem e o ruído associado durante a captura da imagem.[0011] Some works also included a quantitative correlation between wear behavior and numerical parameters obtained from processed images, which could contribute to monitoring the functioning of wear regimes. These approaches, however, have notable limitations in dealing with multiple image variations and the associated noise during image capture.

[0012] Outras abordagens do estado da técnica têm dedicado esforços para integrar descritores visuais com abordagem de aprendizado de máquina para caracterizar os mecanismos de desgaste em materiais específicos e com diferentes níveis de observação. Alguns trabalhos propõem uma abordagem de classificação automática de desgaste, implementando descritores wavelet de textura e um modelo de máquina de vetor de suporte linear (support vector machine - SVM).[0012] Other prior art approaches have dedicated efforts to integrate visual descriptors with machine learning approaches to characterize wear mechanisms in specific materials and with different levels of observation. Some works propose an automatic wear classification approach, implementing wavelet texture descriptors and a linear support vector machine (SVM) model.

[0013] Além disso, nos documentos “Automatic classification of severe and mild wear in worn surface images using histograms of oriented gradients as descriptor (C. Gonzalez-Arias, C. C. Viafara, J. J. Coronado, F. Martinez, Wear 426-427, 2019), e “Aaalysis of worn surface images sing gradient-based descriptors” (B. Valenzuela, C. Viáfara, F. Martínez, IEEE, 2019) imagens de superfícies desgastadas de exemplares de ferro fundido foram caracterizadas a partir de descritores baseados em gradiente, como o histograma de gradiente orientado (HoG) e o descritor Daisy. Em seguida, uma classificação automática foi implementada a partir de modelos Random Forest (RF) e SMV (linear support vector machine model).[0013] Furthermore, in the documents “Automatic classification of severe and mild wear in worn surface images using histograms of oriented gradients as descriptor (C. Gonzalez-Arias, C. C. Viafara, J. J. Coronado, F. Martinez, Wear 426-427, 2019 ), and “Aaalysis of worn surface images sing gradient-based descriptors” (B. Valenzuela, C. Viáfara, F. Martínez, IEEE, 2019) images of worn surfaces of cast iron specimens were characterized using gradient-based descriptors , such as the oriented gradient (HoG) histogram and the Daisy descriptor. Then, an automatic classification was implemented using Random Forest (RF) and SMV (linear support vector machine model) models.

[0014] E adição aos documentos apresentados anteriormente, os documentos patentários US10282834B1, US9613413B2, e US20170234775A1 revelam diferentes métodos baseados em aprendizagem de máquina capazes de detectar e mensurar desgaste em equipamentos industriais a partir de imagens desses equipamentos. Entretanto, esses métodos não são aplicáveis para modelar e caracterizar padrões de desgaste para reconhecer mecanismos de desgaste e severidade de desgaste em superfícies de placas metálicas, como pretende a presente invenção.[0014] In addition to the documents presented previously, patent documents US10282834B1, US9613413B2, and US20170234775A1 reveal different methods based on machine learning capable of detecting and measuring wear in industrial equipment from images of such equipment. However, these methods are not applicable for modeling and characterizing wear patterns to recognize wear mechanisms and wear severity on metal plate surfaces, as intended by the present invention.

[0015] Assim, a presente invenção visa prover uma nova abordagem para não só caracterizar e prever o mecanismo de desgaste em uma placa metálica, mas também o nível de severidade das superfícies desgastadas. Com relação à previsão do mecanismo de desgaste, também é previsto construir um mapeamento de desgaste ao longo de toda a imagem avaliada, permitindo uma melhor e fácil análise in loco. Para fazer isso, cada uma das imagens é dividida em patches que, a partir daí, são caracterizados por recursos profundos, recuperados de redes profundas convolucionais gerais e pré-treinadas. Uma das principais vantagens dessa representação em relação ao aprendizado de ponta a ponta é a capacidade de caracterizar o mecanismo de desgaste com poucas amostras para treinamento e representação de alta variabilidade. Esses recursos são então codificados com uma análise de componente principal e, em seguida, mapeados para um RF (Random Forest) realizar uma previsão de desgaste e severidade de cada fragmento. Para imagens que possuem diversos mecanismos de desgaste foi possível implementar uma operação de rolagem para prever a imagem inteira e obter um mapa de desgaste. Dois conjuntos de dados diferentes de imagens de superfícies desgastadas de revestimentos de chute de transferência foram recuperados para avaliar a classificação do mecanismo de desgaste e a gravidade do desgaste, respectivamente. Os resultados obtidos demonstraram a capacidade robusta da abordagem proposta para caracterizar superfícies desgastadas no conjunto de imagens relacionado, como ficará evidente a partir do descrito nas próximas seções.[0015] Thus, the present invention aims to provide a new approach to not only characterize and predict the wear mechanism on a metal plate, but also the level of severity of worn surfaces. Regarding the prediction of the wear mechanism, it is also planned to build a wear mapping across the entire evaluated image, allowing for better and easier on-site analysis. To do this, each of the images is divided into patches which are then characterized by deep features retrieved from pre-trained general convolutional deep networks. One of the main advantages of this representation over end-to-end learning is the ability to characterize the wear mechanism with few samples for training and high variability representation. These features are then encoded with a principal component analysis and then mapped to an RF (Random Forest) to perform wear and severity prediction for each fragment. For images that have several wear mechanisms, it was possible to implement a scrolling operation to preview the entire image and obtain a wear map. Two different datasets of images of worn surfaces of transfer chute liners were retrieved to evaluate the classification of wear mechanism and wear severity, respectively. The results obtained demonstrated the robust capacity of the proposed approach to characterize worn surfaces in the related set of images, as will be evident from what is described in the following sections.

[0016] Como será melhor detalhado abaixo, a presente invenção visa a solução dos problemas do estado da técnica acima descritos de forma prática e eficiente.[0016] As will be further detailed below, the present invention aims to solve the prior art problems described above in a practical and efficient way.

SUMMARY OF THE INVENTION

[0017] A presente invenção tem por objetivo prover um método para modelar e caracterizar padrões de desgaste para reconhecer mecanismos de desgaste e a severidade de desgaste em superfícies de placas metálicas.[0017] The present invention aims to provide a method for modeling and characterizing wear patterns to recognize wear mechanisms and wear severity on metal plate surfaces.

[0018] De forma a alcançar os objetivos acima descritos, a presente invenção provê um método para identificar, mapear, classificar e determinar a severidade de mecanismos de desgaste em uma placa metálica com base em visão computacional, caracterizado por compreender as etapas de: - capturar um conjunto de imagens de uma superfície de uma placa metálica; - dividir as imagens em fragmentos de ; - codificar a representação em profundidade da imagem, em cada camada, em um conjunto de de redes neurais profundas convolucionais pré-treinadas em que cada região é um pequeno fragmento de imagem q que é convolvido com cada um dos q filtros ’fy seguindo uma operação convolucional f = c dey] * V^C^y], descrito como: - obter as características profundas como um conjunto de fragmentos de ativação f = {/I,/2,---,/3}. em que cada /• tem as mesmas dimensões do fragmento; - calcular um descritor, a partir de características profundas, para recuperar os componentes principais expressos como combinações de características lineares que maximizam a variância em cada dimensão, em que é calculada uma matriz de covariância definida como: , onde E é o valor esperado, e μFo vetor de característica médio; - aprendizagem e classificação de mecanismos de desgaste e severidade de desgaste compreendendo implementar um algoritmo de aprendizagem supervisionada que permite aprender a partir de um conjunto de fragmentos, descritos pelo respetivo conjunto de descritores visuais, em que um conjunto de m descritores de fragmento de treinamento dé dé,..., dm é usado para construir um modelo de treinamento para estabelecer limites entre categorias de mecanismo de desgaste ou níveis de severidade, em que cada tarefa de classificação é modelada como a probabilidade de pertencer a uma classe yt dado um descritor profundo particular dt, em que é implementado um algoritmo de classificação (RF) que consiste em uma abordagem de conjunto que integra múltiplas Árvores de Decisão, em que cada representa ramos de aprendizagem com limiares de partição ao longo de características que representam cada um dos j nós de decisão, em que o conjunto de árvores de decisão usa uma estratégia de agregação Bootstrap para integrar diferentes classificadores, e selecionar aleatoriamente as características que constroem cada árvore de decisão no RF para obter um total de B árvores de decisão, em que o mecanismo de desgaste mais provável é selecionado a partir de uma votação por maioria, realizada a partir de todas as previsões das árvores de decisão, como , e - reconstrução para mapear os mecanismos de desgaste.[0018] In order to achieve the objectives described above, the present invention provides a method for identifying, mapping, classifying and determining the severity of wear mechanisms on a metal plate based on computer vision, characterized by comprising the steps of: - capture a set of images of a metal plate surface; - divide images into fragments; - encode the depth representation of the image, at each layer, in a set of of pre-trained deep convolutional neural networks in which each region is a small image fragment q that is convolved with each of the q 'fy filters following a convolutional operation f = c dey] * V^C^y], described as: - get the deep features as a set of activation fragments f = {/I,/2,---,/3}. where each /• has the same dimensions as the fragment; - calculate a descriptor, from deep features, to recover the main components expressed as combinations of linear features that maximize the variance in each dimension, in which a covariance matrix defined as: , where E is the expected value, and μFo mean feature vector; - learning and classification of wear mechanisms and wear severity comprising implementing a supervised learning algorithm that allows learning from a set of fragments, described by the respective set of visual descriptors, in which a set of m training fragment descriptors denotes dé,..., dm is used to build a training model to establish boundaries between wear mechanism categories or severity levels, where each classification task is modeled as the probability of belonging to a class yt given a deep descriptor particular dt, in which a classification algorithm (RF) is implemented that consists of an ensemble approach that integrates multiple Decision Trees, in which each represents learning branches with partition thresholds along features representing each of the j decision nodes, where the set of decision trees uses a Bootstrap aggregation strategy to integrate different classifiers, and randomly select the features that build each tree of decision trees in RF to obtain a total of B decision trees, where the most likely attrition mechanism is selected from a majority vote, carried out from all decision tree predictions, as , and - reconstruction to map wear mechanisms.

BRIEF DESCRIPTION OF THE FIGURES

[0019] A descrição detalhada apresentada adiante faz referência às figuras anexas e seus respectivos números de referência.[0019] The detailed description presented below makes reference to the attached figures and their respective reference numbers.

[0020] A figura 1 ilustra um esquema representando a abordagem computacional do método proposto.[0020] Figure 1 illustrates a scheme representing the computational approach of the proposed method.

[0021] A figura 2 ilustra uma representação visual da etapa de reconstrução para mapear os mecanismos de desgaste.[0021] Figure 2 illustrates a visual representation of the reconstruction step to map the wear mechanisms.

[0022] A figura 3 ilustra imagens de superfície desgastadas em três regiões diferentes do revestimento de chute utilizado no experimento em que o método da presente invenção foi aplicado.[0022] Figure 3 illustrates images of worn surface in three different regions of the chute coating used in the experiment in which the method of the present invention was applied.

[0023] A figura 4 ilustra um esquema mostrando exemplos das imagens marcadas de superfícies desgastadas nas regiões de entrada e saída do revestimento de chute em que o método da presente invenção foi aplicado.[0023] Figure 4 illustrates a schematic showing examples of marked images of worn surfaces in the entry and exit regions of the chute liner to which the method of the present invention was applied.

[0024] A figura 5 ilustra imagens de superfícies desgastadas de amostras de teste usadas para a validação da estratégia computacional da presente invenção, evidenciando cinco níveis de aparência de desgaste: a) Desgaste leve (amostra R); b) Desgaste abrasivo leve (amostra A); c) Desgaste corrosivo; d) Desgaste corrosivo-abrasivo; e e) Desgaste severo (amostra C).[0024] Figure 5 illustrates images of worn surfaces of test samples used to validate the computational strategy of the present invention, showing five levels of wear appearance: a) Light wear (sample R); b) Light abrasive wear (sample A); c) Corrosive wear; d) Corrosive-abrasive wear; and e) Severe wear (sample C).

[0025] A figura 6 ilustra os resultados do ajuste da classificação supervisionada para a região de entrada do revestimento usando recursos profundos (à esquerda) e o descritor HoG (à direita).[0025] Figure 6 illustrates the results of fitting the supervised classification to the casing input region using deep features (left) and the HoG descriptor (right).

[0026] A figura 7 ilustra os resultados do ajuste da classificação supervisionada para a região intermediária-saída do revestimento usando recursos profundos (à esquerda) e o descritor HoG (à direita).[0026] Figure 7 illustrates the results of fitting the supervised classification for the intermediate-exit region of the casing using deep features (left) and the HoG descriptor (right).

[0027] A figura 8 ilustra o mapeamento do mecanismo de desgaste com a melhor configuração usando classificação supervisionada, as quais: a) Imagens originais de superfícies desgastadas; b) imagens marcadas correspondentes; c) mapas de mecanismo de desgaste obtidos pelo modelo de classificação usando recursos profundos; e d) mapas de mecanismo de desgaste obtidos pelo modelo de classificação usando descritor HoG.[0027] Figure 8 illustrates the mapping of the wear mechanism with the best configuration using supervised classification, which: a) Original images of worn surfaces; b) corresponding marked images; c) wear mechanism maps obtained by the classification model using deep features; and d) wear mechanism maps obtained by the classification model using HoG descriptor.

[0028] A figura 9 ilustra os resultados do ajuste da classificação autossupervisionada para as regiões de entrada (esquerda) e intermediária-saída (direita) do revestimento usando recursos profundos.[0028] Figure 9 illustrates the results of tuning the self-supervised classification for the input (left) and intermediate-output (right) regions of the coating using deep features.

[0029] A figura 10 ilustra o mapeamento do mecanismo de desgaste com a melhor configuração usando classificação supervisionada, em que são ilustrados: a) Imagens originais de superfícies desgastadas; b) imagens marcadas correspondentes; c) mapa do mecanismo de desgaste obtido pelo modelo de classificação usando características profundas.[0029] Figure 10 illustrates the mapping of the wear mechanism with the best configuration using supervised classification, in which the following are illustrated: a) Original images of worn surfaces; b) corresponding marked images; c) wear mechanism map obtained by the classification model using deep features.

[0030] A figura 11 ilustra um histograma de contagem de classificação de níveis de severidade de desgaste para os fragmentos dos materiais testados.[0030] Figure 11 illustrates a histogram of classification counts of wear severity levels for the fragments of the tested materials.

DETAILED DESCRIPTION OF THE INVENTION

[0031] Preliminarmente, ressalta-se que a descrição que se segue partirá de uma concretização preferencial da invenção. Como ficará evidente para qualquer técnico no assunto, no entanto, a invenção não está limitada a essa concretização particular.[0031] Preliminarily, it should be noted that the following description will start from a preferred embodiment of the invention. As will be evident to anyone skilled in the art, however, the invention is not limited to this particular embodiment.

[0032] A presente invenção apresenta uma abordagem automática com a capacidade não só de prever mecanismos de desgaste, como determinar sua severidade, e criar mapas de mecanismos de desgaste a partir de imagens de superfícies desgastadas.[0032] The present invention presents an automatic approach with the ability to not only predict wear mechanisms, but also determine their severity, and create maps of wear mechanisms from images of worn surfaces.

[0033] O método para identificar, mapear, classificar e determinar a severidade de mecanismos de desgaste em uma placa metálica da presente invenção será descrito a partir de uma implementação dessa abordagem feita com imagens de revestimentos de chute reais que estavam em condições de desgaste em campo.[0033] The method for identifying, mapping, classifying and determining the severity of wear mechanisms on a metal plate of the present invention will be described based on an implementation of this approach made with images of real chute liners that were in wear conditions in field.

[0034] A figura 1 ilustra um esquema representando a abordagem computacional proposta, em que, de forma resumida, um conjunto de imagens capturadas da superfície desgastada é processado localmente como um conjunto de fragmentos que correspondem a mecanismos de desgaste locais, a partir dos quais uma função para discriminar entre os diferentes mecanismos de desgaste é aprendida. Cada fragmento é mapeado para as primeiras camadas de uma rede convolucional geral e previamente treinada. O conjunto de ativações resultante com relação a um fragmento específico constitui o descritor do mecanismo de desgaste, que é usado para treinar um algoritmo de aprendizagem automática Random Forest (RF).[0034] Figure 1 illustrates a scheme representing the proposed computational approach, in which, in short, a set of captured images of the worn surface is processed locally as a set of fragments that correspond to local wear mechanisms, from which a function to discriminate between different wear mechanisms is learned. Each fragment is mapped to the first layers of a general, previously trained convolutional network. The resulting set of activations with respect to a specific fragment constitutes the descriptor of the wear mechanism, which is used to train a Random Forest (RF) machine learning algorithm.

[0035] Assim abordagem proposta inicia dividindo imagens de superfícies desgastadas em fragmentos de que permitem uma caracterização do mecanismo de desgaste regional.[0035] Thus the proposed approach begins by dividing images of worn surfaces into fragments of which allow a characterization of the regional wear mechanism.

[0036] Em seguida, cada fragmento é profundamente representado por um conjunto de filtros de ativação, fornecidos por uma rede convolucional profunda pré-treinada. Esses recursos profundos (ativações) decompõem as informações de desgaste do fragmento em primitivas de imagem fundamentais (1b).[0036] Next, each fragment is deeply represented by a set of activation filters, provided by a pre-trained deep convolutional network. These deep features (activations) decompose fragment wear information into fundamental image primitives (1b).

[0037] Em uma etapa de treinamento, o conjunto de ativações associado a cada fragmento junto com marcações correspondentes são usados para treinar um classificador RF para realizar uma classificação automática do mecanismo de desgaste.[0037] In a training step, the set of activations associated with each fragment along with corresponding markings are used to train an RF classifier to perform an automatic classification of the wear mechanism.

[0038] Para a validação de cada fragmento local, caracterizado por recursos profundos, é prevista uma etapa de obter uma previsão de desgaste por RF. Além disso, em um esquema de rolamento de janela, foi possível reconstruir a imagem completa do revestimento (superfície). Nesse caso, regiões móveis que representam cada pixel na imagem são mapeadas sucessivamente para obter um mapa completo do mecanismo de desgaste. A seguir, cada etapa será apresentada em detalhes.[0038] For the validation of each local fragment, characterized by deep features, a step is foreseen to obtain an RF wear prediction. Furthermore, in a window rolling scheme, it was possible to reconstruct the complete image of the coating (surface). In this case, moving regions representing each pixel in the image are mapped successively to obtain a complete map of the wear mechanism. Below, each step will be presented in detail.

[0039] Como largamente difundido, os mecanismos de desgaste são caracterizados de acordo com padrões particulares de gradiente, textura e aparência. Metodologias automáticas em visão computacional têm aproveitado alguns desses recursos para descrever as assinaturas visuais associadas a esses mecanismos. No atual estado da técnica, como já adiantado neste relatório, representações de imagens bem-sucedidas são obtidas a partir de redes de aprendizado profundo que aprendem hierarquicamente padrões primitivos e permitem diferentes instâncias de alto nível, que podem potencialmente ser usadas na classificação de mecanismos de desgaste e estimativa de severidade de desgaste.[0039] As is widely known, wear mechanisms are characterized according to particular patterns of gradient, texture and appearance. Automatic methodologies in computer vision have taken advantage of some of these resources to describe the visual signatures associated with these mechanisms. In the current state of the art, as already advanced in this report, successful image representations are obtained from deep learning networks that hierarchically learn primitive patterns and allow for different high-level instances, which can potentially be used in classifying image mechanisms. wear and wear severity estimation.

[0040] No entanto, essas arquiteturas requerem grandes conjuntos de dados marcados para se adequar às representações visuais e enfrentar uma grande variabilidade visual, o que na tribologia é uma tarefa tediosa e demorada.[0040] However, these architectures require large labeled data sets to fit visual representations and cope with large visual variability, which in tribology is a tedious and time-consuming task.

[0041] Para lidar com essa questão, a presente invenção propõe que características visuais sejam capturadas de redes pré- treinadas, tomando características profundas dos primeiros níveis de representação (primeiras camadas). Esses recursos profundos evitam um aprendizado exaustivo de mecanismos de desgaste específicos e capturam com eficácia os padrões de imagem de desgaste.[0041] To deal with this issue, the present invention proposes that visual features are captured from pre-trained networks, taking deep features from the first levels of representation (first layers). These deep features avoid exhaustive learning of specific wear mechanisms and effectively capture wear image patterns.

[0042] Nesse caso, a representação em profundidade da imagem é codificada, em cada camada, em um conjunto de} de redes neurais profundas convolucionais pré- treinadas. No caso do experimento realizado, o conjunto de imagens de superfícies desgastadas obtidas dos revestimentos de chute foram divididas em regiões relativamente pequenas, que representam mecanismos de desgaste independentes.[0042] In this case, the depth representation of the image is encoded, at each layer, in a set of } of pre-trained deep convolutional neural networks. In the case of the experiment carried out, the set of images of worn surfaces obtained from the chute liners were divided into relatively small regions, which represent independent wear mechanisms.

[0043] Cada região é então um pequeno fragmento de imagem q, com dimensão de que é convolvido com cada um dos q filtros ’fy seguindo uma operação convolucional , descrito como: [0043] Each region is then a small image fragment q, with dimension which is convolved with each of the q 'fy filters following a convolutional operation , described as:

[0044] As características profundas obtidas são um conjunto de fragmentos de ativação f1-{f,f2,...,f3} onde cada tem as mesmas dimensões do fragmento, destacando padrões de desgaste relevantes e preservando a estrutura da imagem espacial, ou seja,. As características profundas são então expressas como a resposta do banco de filtros q que separam as informações em uma faixa de frequência especial, mas neste caso com a principal vantagem de resultar da decomposição progressiva, hierárquica e não linear. Assim, em cada característica profunda espera-se recuperar propriedades visuais dos mecanismos de desgaste, como textura e cor representativas que poderiam efetivamente modelar o problema de classificação.[0044] The obtained deep features are a set of activation fragments f1-{f,f2,...,f3} where each has the same fragment dimensions, highlighting relevant wear patterns and preserving the spatial image structure, or it is, . The deep features are then expressed as the response of the filter bank q that separates the information into a special frequency band, but in this case with the main advantage of resulting from the progressive, hierarchical and non-linear decomposition. Thus, in each deep feature it is expected to recover visual properties of the wear mechanisms, such as representative texture and color that could effectively model the classification problem.

[0045] As características profundas F têm uma representação esparsa, com relativamente poucas ativações diferentes de zero. Em seguida, um descritor foi calculado a partir de características profundas para recuperar os componentes principais expressos como combinações de características lineares que maximizam a variância em cada dimensão. Para isso, uma matriz de covariância é calculada entre as características profundas, definida como: , onde E é o valor esperado e μFo vetor de característica médio.[0045] Deep F features have a sparse representation, with relatively few non-zero activations. Then, a descriptor was calculated from deep features to recover principal components expressed as combinations of linear features that maximize variance in each dimension. For this, a covariance matrix is calculated between the deep features, defined as: , where E is the expected value and μFo mean feature vector.

[0046] O descritor de covariância é uma matriz simétrica semi-definida positiva que pode ser decomposta em seus respectivos autovetores V e autovalores , onde pode ser usado para projetar informações no eixo que maximiza a variação entre recursos profundos. Em seguida, os autovalores mais importantes são selecionados para projetar informações em uma dimensão inferior com relação aos componentes principais, como , em que d é o descritor final para cada fragmento que caracteriza completamente os mecanismos de desgaste. Este descritor resulta descritivo mesmo para representar a severidade dos mecanismos de desgaste, sendo um ponto relevante na análise progressiva de determinados fenômenos.[0046] The covariance descriptor is a positive semi-definite symmetric matrix that can be decomposed into its respective eigenvectors V and eigenvalues , where can be used to project information onto the axis that maximizes variation between deep features. Then, the most important eigenvalues are selected to project information into a lower dimension with respect to the principal components, such as , where d is the final descriptor for each fragment that completely characterizes the wear mechanisms. This descriptor is descriptive even to represent the severity of wear mechanisms, being a relevant point in the progressive analysis of certain phenomena.

[0047] A partir deste ponto, a invenção prevê etapas de aprendizagem e classificação de mecanismos e severidade de desgaste. Para obter uma classificação automática do mecanismo de desgaste, no estudo realizado foi implementado um algoritmo de aprendizagem supervisionada que permite aprender a partir de um conjunto de fragmentos, descritos pelo respetivo conjunto de descritores visuais. Em seguida, um conjunto de mdescritores de fragmento de treinamento (d}, d2,...,dm) é usado para construir um modelo de treinamento que permite estabelecer limites entre categorias de mecanismo de desgaste ou níveis de severidade com algum erro marginal.[0047] From this point on, the invention provides for stages of learning and classifying mechanisms and severity of wear. To obtain an automatic classification of the wear mechanism, in the study carried out a supervised learning algorithm was implemented that allows learning from a set of fragments, described by the respective set of visual descriptors. Then, a set of training fragment mdescriptors (d}, d2,...,dm) is used to build a training model that allows you to establish boundaries between wear mechanism categories or severity levels with some marginal error.

[0048] Cada tarefa de classificação (mecanismo de desgaste ou classificação de nível de severidade) para uma amostra particular pode ser modelada como a probabilidade de pertencer a uma classe da dado um descritor profundo particular duUma partição de espaço de característica discreta foi aqui considerada entre as características que representam o mecanismo de desgaste, e devido à sua natureza (vetor não correlacionado da análise de componente principal) pode operar melhor com representações de árvore.[0048] Each classification task (wear mechanism or severity level classification) for a particular sample can be modeled as the probability of belonging to a class given a particular deep descriptor. the features that represent the wear mechanism, and due to its nature (principal component analysis uncorrelated vector) can operate better with tree representations.

[0049] Assim, o algoritmo de classificação para RF que consiste em uma abordagem de conjunto que integra múltiplas Árvores de Decisão (Decision Trees - DTs), foi implementado para classificar os mecanismos de desgaste. Nesse caso, cada representa ramos de aprendizagem com limiares de partição Tm ao longo de características que representam cada um dos j nós de decisão. Uma das principais vantagens desse classificador é a descrição dos resultados e a possibilidade de compreender visualmente a decisão da marcação por meio dos ramos da característica. As árvores que representam de forma independente a hipótese de partição de característica foram construídas em uma análise ótima e discriminante usando a estratégia CART.[0049] Thus, the classification algorithm for RF, which consists of an ensemble approach that integrates multiple Decision Trees (DTs), was implemented to classify wear mechanisms. In this case, each represents learning branches with partition thresholds Tm along features representing each of the j decision nodes. One of the main advantages of this classifier is the description of the results and the possibility of visually understanding the marking decision through the feature branches. Trees independently representing the feature partition hypothesis were constructed in an optimal and discriminant analysis using the CART strategy.

[0050] Então, o RF (conjunto de DT) usa uma estratégia de agregação Bootstrap para integrar diferentes classificadores, selecionando aleatoriamente as características que constroem cada DT no RF. A partir desse processo é obtido um total de B DTs que predizem de forma independente o mecanismo de desgaste mais provável a partir dos recursos aprendidos e preservam a eficiência computacional.[0050] Then, the RF (DT set) uses a Bootstrap aggregation strategy to integrate different classifiers, randomly selecting the features that build each DT in the RF. From this process, a total of B DTs are obtained that independently predict the most likely wear mechanism from the learned features and preserve computational efficiency.

[0051] Finalmente, o mecanismo de desgaste mais provável é selecionado a partir de uma votação por maioria, realizada a partir de todas as previsões das DTs, como, em que B é o número de DTs usadas. Nesta abordagem, a classificação de características permite estabelecer duas tarefas diferentes em dois cenários (conjunto de dados) diferentes: classificação de mecanismo de desgaste (um total de cinco classes); e classificação da severidade de desgaste (cinco níveis). Embora os classificadores DT possam ter baixa polarização e variância muito alta, o RF reduz a variabilidade de predição usando a expectativa sobre um conjunto de algoritmos DT independentes, treinados em diferentes partes do espaço de características profundas.[0051] Finally, the most likely wear mechanism is selected from a majority vote, carried out from all DT predictions, as , where B is the number of DTs used. In this approach, feature classification allows us to establish two different tasks in two different scenarios (data sets): wear mechanism classification (a total of five classes); and classification of wear severity (five levels). Although DT classifiers can have low bias and very high variance, RF reduces prediction variability by using expectation over a set of independent DT algorithms trained on different parts of the deep feature space.

[0052] Após classificar os mecanismos de desgaste e a severidade de desgaste, a invenção prevê uma etapa de mapear os mecanismos de desgaste. A figura 2 ilustra uma representação visual da etapa de reconstrução para mapear os mecanismos de desgaste. Essa etapa pode ser realizada de diferentes formas, de modo que a descrição que se segue ilustra apenas uma configuração opcionalmente adotada.[0052] After classifying the wear mechanisms and the severity of wear, the invention provides for a step of mapping the wear mechanisms. Figure 2 illustrates a visual representation of the reconstruction step to map the wear mechanisms. This step can be carried out in different ways, so the following description only illustrates an optionally adopted configuration.

[0053] Uma questão importante na análise tribológica é analisar os padrões de desgaste espacial ao longo das áreas de trabalho de revestimento, que permitem entender a gravidade e o prognóstico do possível mecanismo de desgaste responsável pela falha. Uma imagem do mapa de desgaste é obtida pela propagação da classificação do mecanismo de desgaste em cada pixel, um processo de varredura realizado ao longo da imagem.[0053] An important issue in tribological analysis is to analyze the spatial wear patterns throughout the coating work areas, which allow understanding the severity and prognosis of the possible wear mechanism responsible for the failure. A wear map image is obtained by propagating the wear mechanism classification into each pixel, a scanning process performed across the image.

[0054] Para isso, um processo de janela deslizante foi aqui implementado para obter uma classificação do mecanismo de desgaste por pixel ou caracterização da gravidade do desgaste, de acordo com a respectiva tarefa treinada. Então, a cada iteração é tomada uma região de vizinhança, de dimensões, centrada no pixel pij que será classificado.[0054] To this end, a sliding window process was implemented here to obtain a classification of the wear mechanism per pixel or characterization of wear severity, according to the respective trained task. Then, at each iteration, a neighborhood region is taken, with dimensions , centered on the pixel pij that will be classified.

[0055] Cada região é representada por um conjunto de filtros convolucionais profundos que posteriormente são codificados a partir de seus respectivos componentes principais. Em seguida, este respectivo descritor de fragmento é mapeado para um RF previamente treinado e uma marcação atribuída (desgaste/severidade) é definida para cada pixel, descrito como [0055] Each region is represented by a set of deep convolutional filters that are subsequently encoded from their respective main components. Then, this respective fragment descriptor is mapped to a previously trained RF and an assigned label (wear/severity) is defined for each pixel, described as

[0056] Este processo é realizado ao longo de toda a imagem analisada para obter uma imagem do mapa de desgaste. Em grande parte das imagens analisadas, o mecanismo de desgaste representa regiões grandes e grosseiras, e levando isso em consideração, é possível obter mapas de desgaste a cada δpixels. Esses mapas são de baixa resolução para entrada de imagem, mas podem ser obtidos em menos tempo, o que pode ser importante para apoiar decisões online no processo industrial.[0056] This process is carried out over the entire analyzed image to obtain an image of the wear map. In most of the images analyzed, the wear mechanism represents large and coarse regions, and taking this into account, it is possible to obtain wear maps at every δpixels. These maps are low resolution for image input, but can be obtained in less time, which can be important to support online decisions in the industrial process.

[0057] Como informado inicialmente, o método ora proposto foi executado em um experimento que será descrito a seguir. Foi tomada uma série de imagens de uma superfície desgastada de um revestimento de chute que estava em serviço em uma planta de mineração de minério de ferro. O revestimento foi localizado em uma região do chute onde ocorria o deslizamento do minério de ferro com a umidade natural.[0057] As initially stated, the proposed method was carried out in an experiment that will be described below. A series of images were taken of a worn surface of a chute liner that was in service at an iron ore mining plant. The coating was located in a region of the chute where iron ore was sliding due to natural humidity.

[0058] Os detalhes do método de caracterização representativa dos mecanismos de desgaste na superfície de trabalho, bem como de aquisição das imagens serão omitidos neste relatório, uma vez que este não é o foco da presente invenção. Assim, de forma resumida, imagens de baixa ampliação da superfície desgastada foram capturadas usando microscopia estereoscópica. A superfície de trabalho do revestimento, no experimento realizado, era de aproximadamente 190 x 390 mm2. O método para o processo de captura das imagens consistiu em caracterizar três regiões principais do revestimento: as regiões de entrada, intermediária e saída.[0058] Details of the representative characterization method of wear mechanisms on the work surface, as well as image acquisition will be omitted in this report, as this is not the focus of the present invention. Thus, in brief, low-magnification images of the worn surface were captured using stereoscopic microscopy. The working surface of the coating, in the experiment carried out, was approximately 190 x 390 mm2. The method for the image capture process consisted of characterizing three main regions of the coating: the entry, intermediate and exit regions.

[0059] Cada região de análise foi coberta por quatorze quadrados de uma polegada. Quatro imagens para cada quadrado foram tiradas. Desta forma, o conjunto de dados é composto por 168 imagens, das quais sete foram totalmente marcadas manualmente e utilizadas para avaliar a abordagem proposta, três pertencentes à região de entrada, e quatro pertencentes à região intermediária e de saída. Um processo de marcação foi realizado para identificar os mecanismos de desgaste presentes nas imagens de superfícies desgastadas, que permite treinar e avaliar a abordagem proposta. Um total de nove imagens foram marcadas de acordo com áreas específicas com as mesmas características de superfície, correspondendo possivelmente a diferentes mecanismos de desgaste.[0059] Each analysis region was covered by fourteen one-inch squares. Four images for each square were taken. Thus, the dataset consists of 168 images, seven of which were completely manually marked and used to evaluate the proposed approach, three belonging to the input region, and four belonging to the intermediate and output regions. A marking process was carried out to identify the wear mechanisms present in images of worn surfaces, which allows training and evaluation of the proposed approach. A total of nine images were marked according to specific areas with the same surface characteristics, possibly corresponding to different wear mechanisms.

[0060] Cerca de 5% das imagens obtidas foram utilizadas para o processo de marcação, o que pareceu ser estatisticamente válido para obter resultados significativos. Características de superfície semelhantes foram encontradas nas regiões intermediárias e de saída do revestimento usado, assim que ambas as regiões foram consideradas como representativas de apenas uma região.[0060] Around 5% of the images obtained were used for the marking process, which appeared to be statistically valid to obtain significant results. Similar surface features were found in the intermediate and exit regions of the used coating, so both regions were considered to represent only one region.

[0061] A figura 3 ilustra imagens de superfícies desgastadas em três regiões diferentes do revestimento do chute utilizado no experimento em que o método da presente invenção foi aplicado. A figura 4 ilustra um esquema com exemplos das imagens marcadas de superfícies desgastadas nas regiões de entrada e saída do revestimento do chute em que o método da presente invenção foi aplicado.[0061] Figure 3 illustrates images of worn surfaces in three different regions of the chute coating used in the experiment in which the method of the present invention was applied. Figure 4 illustrates a schematic with examples of marked images of worn surfaces in the entry and exit regions of the chute coating to which the method of the present invention was applied.

[0062] Um resumo das imagens estereoscópicas para as três regiões do revestimento é exibido na figura 3. Cinco áreas específicas foram identificadas como representativas de um mecanismo de desgaste operacional, a saber: incrustação de minério de ferro (WM-I); indentações por impacto (WM-II); microsulcamento/corte sobreposto com incrustação de minério de ferro (WM-III); fenômenos corrosivos (WM-IV); e microsulcamento/corte (WM-V). Como resultado, o processo de marcação permitiu supor que cinco mecanismos de desgaste distintos estavam presentes, como pode ser visto na figura 4.[0062] A summary of the stereoscopic images for the three regions of the coating is shown in figure 3. Five specific areas were identified as representative of an operational wear mechanism, namely: iron ore fouling (WM-I); impact indentations (WM-II); microgrooving/overcut with iron ore incrustation (WM-III); corrosive phenomena (WM-IV); and microgrooving/cutting (WM-V). As a result, the marking process allowed us to assume that five distinct wear mechanisms were present, as can be seen in figure 4.

[0063] Um conjunto adicional de dados de imagem foi usado para validar a estratégia computacional desenvolvida. Nesse caso, as imagens das superfícies desgastadas foram obtidas de amostras de um teste de desgaste de campo realizado em uma calha de transferência de minério de ferro. Foram utilizadas amostras de cinco ferros fundidos brancos diferentes, os quais foram denominados, A, C, Cm, Em, e R, cada uma das amostras citadas possui um percentual de cromo inferior a 12% com o objetivo de reduzir seu custo mantendo uma considerável resistência ao desgaste.[0063] An additional set of image data was used to validate the developed computational strategy. In this case, images of the worn surfaces were obtained from samples from a field wear test performed on an iron ore transfer chute. Samples of five different white cast irons were used, which were named A, C, Cm, Em, and R, each of the samples mentioned has a chromium percentage of less than 12% with the aim of reducing its cost while maintaining a considerable wear resistance.

[0064] Para realizar a análise de severidade cada material possuía pelo menos quatro amostras, nas quais foi identificado o nível de severidade dos desgastes ali identificados. Desta forma, este conjunto de dados de gravidade consiste em 20 imagens contendo cinco graus de severidade diferentes (quatro imagens para cada grau).[0064] To carry out the severity analysis, each material had at least four samples, in which the level of severity of the wear identified there was identified. Thus, this severity dataset consists of 20 images containing five different severity degrees (four images for each degree).

[0065] Para a realização do treinamento do modelo de classificação do nível de severidade, foi realizado um processo de marcação. Assim, uma análise visual detalhada das imagens das superfícies desgastadas foi realizada para determinar diferentes níveis de aparência de desgaste de acordo com as características da superfície. Esses níveis podem eventualmente estar associados a níveis de severidade de desgaste.[0065] To train the severity level classification model, a marking process was carried out. Therefore, a detailed visual analysis of images of worn surfaces was performed to determine different levels of wear appearance according to surface characteristics. These levels may eventually be associated with wear severity levels.

[0066] A figura 5 mostra as imagens selecionadas nas quais um quadrante foi marcado como representativo de cada nível de severidade ao desgaste, com dimensões médias de (800 x 900), de forma que apenas as regiões marcadas para a etapa de treinamento são consideradas. Foram identificados cinco níveis de severidade de desgaste, nos quais foram observadas diferentes combinações de ausência e presença de microcorrosão (ou microcorte) e de marcas de corrosão, denominadas: desgaste leve; abrasivo leve; desgaste corrosivo; desgaste abrasivo-corrosivo; desgaste severo.[0066] Figure 5 shows the selected images in which a quadrant was marked as representative of each level of wear severity, with average dimensions of (800 x 900), so that only the regions marked for the training stage are considered . Five levels of wear severity were identified, in which different combinations of absence and presence of microcorrosion (or microcut) and corrosion marks were observed, called: light wear; light abrasive; corrosive wear; abrasive-corrosive wear; severe wear.

[0067] A observação de imagens de superfícies desgastadas sugeriu que apenas um material de teste (R) tinha sempre a mesma aparência específica, enquanto outros materiais (A, C, Cm e Em) exibiam mais de uma característica de desgaste. Como exemplo disso, na figura 5, três imagens de superfície desgastada da amostra C foram incluídas para representar três níveis de severidade de desgaste diferentes (Wear-III a Wear-V).[0067] Observation of images of worn surfaces suggested that only one test material (R) always had the same specific appearance, while other materials (A, C, Cm and Em) exhibited more than one wear characteristic. As an example of this, in figure 5, three worn surface images of sample C were included to represent three different wear severity levels (Wear-III to Wear-V).

[0068] Desta forma, a aparência da amostra R é caracterizada por poucos arranhões e marcas de corrosão (figura 5 a)), o que foi representativo do primeiro e mais baixo nível de severidade de desgaste (desgaste leve). O segundo nível de desgaste (desgaste abrasivo leve) é apresentado na figura 5 b), onde a presença de arranhões e carbonetos protuberantes é observada, mas nenhuma marca de corrosão significativa foi identificada.[0068] In this way, the appearance of sample R is characterized by few scratches and corrosion marks (figure 5 a)), which was representative of the first and lowest level of wear severity (light wear). The second level of wear (light abrasive wear) is presented in figure 5 b), where the presence of scratches and protruding carbides is observed, but no significant corrosion marks were identified.

[0069] A figura 5 c) apresenta uma superfície desgastada onde ocorreu corrosão de forma evidente e considerável, com ausência de riscos (Desgaste corrosivo). No quarto nível de desgaste (Desgaste corrosivo-abrasivo), as marcas de corrosão foram acompanhadas por arranhões (figura 5 d)).[0069] Figure 5 c) shows a worn surface where evident and considerable corrosion has occurred, with no scratches (Corrosive wear). In the fourth wear level (Corrosive-abrasive wear), the corrosion marks were accompanied by scratches (figure 5 d)).

[0070] A figura 5 e) mostra o nível de desgaste com maior severidade de desgaste, onde arranhões grossos e profundos são observados, juntamente com as evidências de corrosão (Desgaste severo). A estratégia computacional oferece uma capacidade de reconhecer essas características de superfície e realizar uma avaliação dos materiais de teste para saber qual nível de severidade de desgaste foi predominante.[0070] Figure 5 e) shows the level of wear with greater severity of wear, where thick and deep scratches are observed, together with evidence of corrosion (Severe wear). The computational strategy provides an ability to recognize these surface characteristics and perform an assessment of the test materials to learn what level of wear severity was predominant.

[0071] A abordagem proposta foi validada em dois conjuntos de dados diferentes que definem a classificação do mecanismo de desgaste e a caracterização da severidade do desgaste. Os próximos parágrafos relatam os resultados alcançados para cada um dos conjuntos de dados.[0071] The proposed approach was validated on two different data sets that define the classification of the wear mechanism and the characterization of wear severity. The next paragraphs report the results achieved for each of the data sets.

[0072] A abordagem proposta foi avaliada em relação à capacidade de classificar os mecanismos de desgaste no nível do fragmento, e também o desempenho ao construir o mapa do mecanismo de desgaste para toda a imagem. Para avaliar as duas tarefas, foram realizados dois experimentos diferentes de acordo com as amostras utilizadas para o treinamento. Primeiro, um mapeamento totalmente supervisionado dos mecanismos de desgaste foi aprendido a partir de várias imagens para gerar uma reconstrução regional a partir de informações globais. Em segundo lugar, uma classificação autossupervisionada foi realizada, a partir da qual apenas um conjunto reduzido de fragmentos em uma determinada imagem foram identificados e a aplicação pode reconstruir um mapa de mecanismos de desgaste para toda esta imagem.[0072] The proposed approach was evaluated with respect to the ability to classify wear mechanisms at the fragment level, and also the performance when building the wear mechanism map for the entire image. To evaluate the two tasks, two different experiments were carried out according to the samples used for training. First, a fully supervised mapping of wear mechanisms was learned from multiple images to generate a regional reconstruction from global information. Secondly, a self-supervised classification was performed, from which only a reduced set of fragments in a given image were identified and the application could reconstruct a map of wear mechanisms for this entire image.

[0073] Neste primeiro experimento, a abordagem foi treinada a partir de imagens de toda a região permitindo capturar uma grande variabilidade de observações do mecanismo de desgaste para prever e propagar o mapeamento de acordo com as classes presentes em cada região do revestimento.[0073] In this first experiment, the approach was trained from images of the entire region, allowing it to capture a large variability of observations of the wear mechanism to predict and propagate the mapping according to the classes present in each region of the coating.

[0074] Nesse experimento foi realizada primeiramente uma busca exaustiva de parâmetros para ajustar a abordagem proposta às regiões particulares avaliadas. Nesse caso, as previsões de fragmento de recursos profundos foram comparadas, também usando o descritor HoG. Os parâmetros avaliados foram o tamanho do fragmento, as janelas de deslocamento ao longo das imagens de teste e, particularmente para características profundas, foi avaliada a camada para formar o descritor de desgaste.[0074] In this experiment, an exhaustive search for parameters was first carried out to adjust the proposed approach to the particular regions evaluated. In this case, deep feature fragment predictions were compared, also using the HoG descriptor. The parameters evaluated were fragment size, displacement windows along the test images and, particularly for deep features, the layer to form the wear descriptor was evaluated.

[0075] A figura 6 mostra os resultados obtidos para a região de entrada do revestimento em diferentes configurações para ambas as abordagens e utilizando como referência a métrica Fl, que depende das métricas Re e PA. Adicionalmente, a melhor configuração também é exibida e escolhida com um critério de valores médios mais altos e desvios-padrão mais baixos para os três escores de mecanismos de desgaste.[0075] Figure 6 shows the results obtained for the coating entrance region in different configurations for both approaches and using the Fl metric as a reference, which depends on the Re and PA metrics. Additionally, the best configuration is also displayed and chosen with a criterion of highest mean values and lowest standard deviations for the three wear mechanism scores.

[0076] Como esperado, a abordagem implementada a partir de recursos profundos atinge escores de classificação notáveis justificados pela descrição completa e densa que cobre primitivos como gradientes, mas também padrões de cor e textura não lineares. De fato, o melhor escore da abordagem proposta foi alcançado com a configuração de fragmentos com tamanho 44, uma versão deslocada de 32 pixels, e usando a camada mais primária que representa uma decomposição espectral de padrões de desgaste observacionais.[0076] As expected, the approach implemented from deep features achieves remarkable classification scores justified by the complete and dense description covering primitives such as gradients, but also non-linear color and texture patterns. In fact, the best score of the proposed approach was achieved with the configuration of fragments with size 44, a shifted version of 32 pixels, and using the most primary layer that represents a spectral decomposition of observational wear patterns.

[0077] Ressalta-se que o melhor mecanismo previsto foi associado à classe de incrustação de minério de ferro, provavelmente explicado pela maior área desse mecanismo nesta região. Para tal mecanismo foi alcançado um escore Fl total de 74%, o pior mecanismo de desgaste foi a indentação de impacto atingindo apenas 36% de escore Fl.[0077] It is noteworthy that the best predicted mechanism was associated with the iron ore encrustation class, probably explained by the larger area of this mechanism in this region. For this mechanism, a total Fl score of 74% was achieved, the worst wear mechanism was the impact indentation, reaching only a 36% Fl score.

[0078] Portanto, a incrustação de minério de ferro foi completamente dominante para esta região, enquanto a classe de indentação de impacto foi observada em poucas e pequenas áreas. Em termos computacionais, isso é uma limitação, pois para alguns mecanismos de desgaste não há informações suficientes e, portanto, causam baixa probabilidade na previsão e reconstrução dos mesmos.[0078] Therefore, iron ore incrustation was completely dominant for this region, while the impact indentation class was observed in few and small areas. In computational terms, this is a limitation, as for some wear mechanisms there is not enough information and, therefore, causes low probability in predicting and reconstructing them.

[0079] Em relação ao descritor HoG, a melhor configuração foi fixada com fragmentos de tamanho 32 e deslocados de 32 pixels, com um escore Fl médio de 51% para o mecanismo de indentações de impacto. Nesta configuração, a melhor classe prevista também foi a incrustação de minério de ferro, mas com uma diferença significativa de aproximadamente 20% com relação ao escore F1 alcançado pela abordagem proposta usando recursos profundos.[0079] Regarding the HoG descriptor, the best configuration was fixed with fragments of size 32 and displaced by 32 pixels, with an average Fl score of 51% for the impact indentation mechanism. In this configuration, the best predicted class was also iron ore fouling, but with a significant difference of approximately 20% with respect to the F1 score achieved by the proposed approach using deep features.

[0080] Os resultados obtidos para a região intermediária-saída são apresentados na figura 7 para características profundas e HoG, e variando também o tamanho do fragmento, a janela deslocada e a camada para características profundas. Para esta região, apenas dois mecanismos de desgaste estão presentes e a abordagem proposta também atinge um desempenho de previsão muito melhor no nível do fragmento em todas as configurações.[0080] The results obtained for the intermediate-output region are presented in figure 7 for deep features and HoG, and also varying the fragment size, the offset window and the layer for deep features. For this region, only two wear mechanisms are present and the proposed approach also achieves much better prediction performance at the fragment level in all configurations.

[0081] Escores quase perfeitos foram alcançados para ambos os mecanismos de desgaste utilizando recursos profundos, fato justificado pela separação adequada dos limites de ambas as classes. A melhor configuração foi obtida com o tamanho de fragmento de 44, deslocado de 32, e usando também a primeira camada da arquitetura convolucional. A partir dessa configuração, foi alcançado um escore Fl de 95%. Em contraste, o descritor HoG atinge apenas 69% de escore F1 na melhor configuração usando patches de 44 e versão deslocada de 54 pixels. Novamente, os desvios padrão foram altos para o descritor HoG.[0081] Almost perfect scores were achieved for both wear mechanisms using deep features, a fact justified by the adequate separation of the limits of both classes. The best configuration was obtained with a fragment size of 44, offset of 32, and also using the first layer of the convolutional architecture. From this configuration, a Fl score of 95% was achieved. In contrast, the HoG descriptor achieves only 69% F1 score in the best configuration using patches of 44 and shifted version of 54 pixels. Again, standard deviations were high for the HoG descriptor.

[0082] A tabela abaixo mostra as médias e os desvios-padrão das métricas avaliadas para os mecanismos de desgaste do revestimento usando recursos profundos em comparação com o descritor HoG, em que I representa a região de entrada, e MO a região intermediária-saída. [0082] The table below shows the means and standard deviations of the metrics evaluated for coating wear mechanisms using deep features compared to the HoG descriptor, where I represents the input region, and MO the intermediate-exit region .

[0083] Como observado, a incrustação de minério de ferro para a região de entrada, e os fenômenos de corrosão (WM-IV) e Microcorte/sulcamento (WMV) para a região intermediária-saída foram os mecanismos de desgaste mais bem caracterizados e ao mesmo tempo que apresentaram as maiores áreas correspondentes. Tal fato está associado a um problema de desequilíbrio no conjunto de dados, a partir do qual as maiores regiões têm maior probabilidade de serem modeladas e previstas corretamente.[0083] As observed, iron ore incrustation for the inlet region, and the corrosion phenomena (WM-IV) and Microcutting/grooving (WMV) for the intermediate-outlet region were the best characterized wear mechanisms and at the same time that they presented the largest corresponding areas. This fact is associated with a problem of imbalance in the data set, from which the largest regions are more likely to be modeled and predicted correctly.

[0084] Por exemplo, uma previsão adequada é alcançada na região intermediária-saída para ambas as classes porque a abordagem proposta tem um equilíbrio adequado nas classes de desgaste para cada uma das imagens avaliadas. Em contraste, na região de entrada, o microsulcamento/corte sobreposto com incrustação de minério de ferro (WM-III) atinge apenas 30%, mas uma notável precisão de 90%.[0084] For example, an adequate prediction is achieved in the intermediate-output region for both classes because the proposed approach has an adequate balance in the wear classes for each of the evaluated images. In contrast, in the entrance region, microgrooving/overcutting with iron ore encrustation (WM-III) achieves only 30% but a remarkable accuracy of 90%.

[0085] Esta diferença marcante confirma uma representação convolucional adequada no conjunto reduzido de amostras de treinamento, mas também confirma que a quantidade de amostras foi insuficiente em relação ao resto das classes.[0085] This striking difference confirms an adequate convolutional representation in the reduced set of training samples, but also confirms that the number of samples was insufficient in relation to the rest of the classes.

[0086] Uma segunda avaliação, a partir do experimento supervisionado, foi a geração de mapas reconstruídos por predição de propagação em todas as imagens avaliadas. A figura 8 ilustra o mapeamento do mecanismo de desgaste com a melhor configuração usando classificação supervisionada, as quais: a) Imagens originais de superfícies desgastadas; b) imagens marcadas correspondentes; c) mapas de mecanismo de desgaste obtidos pelo modelo de classificação usando recursos profundos; e d) mapas de mecanismo de desgaste obtidos pelo modelo de classificação usando descritor HoG.[0086] A second evaluation, based on the supervised experiment, was the generation of reconstructed maps by propagation prediction in all evaluated images. Figure 8 illustrates the mapping of the wear mechanism with the best configuration using supervised classification, which: a) Original images of worn surfaces; b) corresponding marked images; c) wear mechanism maps obtained by the classification model using deep features; and d) wear mechanism maps obtained by the classification model using HoG descriptor.

[0087] Nesse caso, a abordagem proposta executou uma reconstrução notável que permite analisar globalmente o mecanismo de desgaste e entender as tendências de propagação do desgaste no revestimento do chute analisado.[0087] In this case, the proposed approach performed a remarkable reconstruction that allows to globally analyze the wear mechanism and understand the wear propagation trends in the analyzed chute lining.

[0088] A tabela abaixo mostra as médias e os desvios-padrão da métrica DSC para os mecanismos de desgaste do revestimento usando recursos profundos e o descritor HoG, em que I representa a região de entrada, e MO a região intermediária-saída. Notadamente, a abordagem usando recursos profundos atinge uma medida de interseção adequada para todos os mecanismos de desgaste. Como mencionado anteriormente, a presença de pequenas áreas de um mecanismo de desgaste específico é penalizada com pouca sobreposição e requer análise adicional para ajustar a sensibilidade do modelo. No caso da região intermediária- saída, onde ocorreram áreas balanceadas de mecanismos de desgaste, a reconstrução de mapeamento de desgaste obtida foi consideravelmente coerente. [0088] The table below shows the means and standard deviations of the DSC metric for the coating wear mechanisms using deep features and the HoG descriptor, where I represents the input region, and MO the intermediate-exit region. Notably, the approach using deep features achieves a suitable intersection measure for all wear mechanisms. As mentioned previously, the presence of small areas of a specific wear mechanism is penalized with little overlap and requires additional analysis to adjust the sensitivity of the model. In the case of the intermediate-exit region, where balanced areas of wear mechanisms occurred, the obtained wear mapping reconstruction was considerably coherent.

[0089] Um segundo experimento foi desenvolvido para avaliar o desempenho da abordagem proposta para propagar o mecanismo de desgaste a partir de um número mínimo de fragmentos da mesma imagem (20% dos fragmentos). Esta tarefa autossupervisionada pode resultar em uma aplicação prática onde apenas alguns pontos representativos são identificados, com os mecanismos de desgaste associados, e a abordagem proposta seria útil para propagar todo o mapeamento de desgaste na reconstrução.[0089] A second experiment was developed to evaluate the performance of the proposed approach to propagate the wear mechanism from a minimum number of fragments of the same image (20% of fragments). This self-supervised task can result in a practical application where only a few representative points are identified, with the associated wear mechanisms, and the proposed approach would be useful to propagate the entire wear mapping in the reconstruction.

[0090] Neste experimento foram consideradas apenas as características profundas para realização da tarefa autossupervisionada.[0090] In this experiment, only deep features were considered to perform the self-supervised task.

[0091] A figura 9 mostra o ajuste de alguns parâmetros codificados como cc_ad onde cc é o tamanho do fragmento e ag corresponde à porcentagem de aumento aplicada em cada experimento. O desempenho na classificação dos mecanismos de desgaste é mostrado para as regiões de entrada (esquerda) e intermediária-saída (direita).[0091] Figure 9 shows the adjustment of some parameters coded as cc_ad where cc is the fragment size and ag corresponds to the percentage increase applied in each experiment. Performance in classifying wear mechanisms is shown for the input (left) and intermediate-output (right) regions.

[0092] Devido ao conjunto pobre de imagens de treinamento, neste experimento é fundamental aplicar um aumento artificial de dados para lidar com a representação da variabilidade dos mecanismos de desgaste. A abordagem proposta, usando recursos de aprendizado profundo, alcançou resultados muito promissores e estáveis para quase todas as configurações e para todos os mecanismos de desgaste. A melhor configuração em ambas as regiões foi alcançada com uma configuração de tamanhos de janela 44 e um total de 40% de imagens geradas artificialmente como aumento de dados.[0092] Due to the poor set of training images, in this experiment it is essential to apply artificial data augmentation to deal with the representation of the variability of wear mechanisms. The proposed approach, using deep learning capabilities, achieved very promising and stable results for almost all configurations and for all wear mechanisms. The best configuration in both regions was achieved with a configuration of 44 window sizes and a total of 40% artificially generated images as data augmentation.

[0093] A tabela abaixo resume os resultados para as três métricas consideradas neste trabalho. De um modo geral, todos os mecanismos de desgaste considerados em cada imagem foram classificados corretamente com um escore médio de até 90% para as três métricas. Na verdade, não houve diferença entre os mecanismos de desgaste exibindo áreas ocupadas distintas em cada uma das imagens. Os melhores resultados são relatados novamente para a região intermediária-saída devido à distribuição homogênea e equilibrada de mecanismos de desgaste correspondentes em cada imagem. [0093] The table below summarizes the results for the three metrics considered in this work. Overall, all wear mechanisms considered in each image were classified correctly with an average score of up to 90% for the three metrics. In fact, there was no difference between the wear mechanisms showing different occupied areas in each of the images. The best results are reported again for the intermediate-exit region due to the homogeneous and balanced distribution of corresponding wear mechanisms in each image.

[0094] Para este tipo de aprendizado também foram gerados mapeamentos completos de mecanismos de desgaste que representam a distribuição espacial das classes consideradas. A figura 10 ilustra exemplos de mecanismos de desgaste reconstruídos. Como esperado, a abordagem proposta consegue uma representação local de alta qualidade dos mecanismos de desgaste, o que pode ser fundamental para determinar a propagação das classes ao longo da região. Algumas limitações estão presentes nos limites de desgaste espacial, que podem estar associadas à aproximação do nível do fragmento.[0094] For this type of learning, complete mappings of wear mechanisms were also generated that represent the spatial distribution of the classes considered. Figure 10 illustrates examples of reconstructed wear mechanisms. As expected, the proposed approach achieves a high-quality local representation of wear mechanisms, which can be fundamental to determine the propagation of classes throughout the region. Some limitations are present in the spatial wear limits, which may be associated with the approach of the fragment level.

[0095] Para validar a versatilidade e flexibilidade do modelo para representar diferentes padrões de superfície, uma avaliação complementar foi realizada em um novo conjunto de dados com imagens de superfícies desgastadas de materiais de revestimento testados em campo. Em tal conjunto de dados, a tarefa é tentar prever automaticamente diferentes níveis de severidade de desgaste sobre as superfícies desgastadas dos materiais de teste, o que permite quantificar o desgaste e determinar uma classificação do material com relação à resistência ao desgaste.[0095] To validate the versatility and flexibility of the model to represent different surface patterns, a complementary evaluation was carried out on a new dataset with images of worn surfaces of field-tested coating materials. In such a data set, the task is to try to automatically predict different levels of wear severity on the worn surfaces of the test materials, which allows wear to be quantified and a material rating to be determined with respect to wear resistance.

[0096] Na tabela abaixo estão incluídos os resultados das métricas de avaliação obtidas durante a classificação dos níveis de severidade de desgaste aplicando os recursos profundos e o descritor HoG, em que são indicados as médias e os desvios-padrão das métricas avaliadas para a severidade do desgaste de materiais de revestimento, em que Wear-I representa desgaste leve; Wear-II representa desgaste abrasivo leve; Wear-III representa desgaste corrosivo; Wear-IV representa desgaste abrasivo-corrosivo; e Wear-V representa desgaste severo. [0096] The table below includes the results of the evaluation metrics obtained during the classification of wear severity levels applying the deep features and the HoG descriptor, in which the averages and standard deviations of the metrics evaluated for severity are indicated. wear of coating materials, where Wear-I represents light wear; Wear-II represents light abrasive wear; Wear-III represents corrosive wear; Wear-IV represents abrasive-corrosive wear; and Wear-V represents severe wear and tear.

[0097] Observa-se que a abordagem proposta tem uma sensibilidade adequada para diferenciar entre os diferentes níveis de severidade de desgaste, pelo menos para os descritores de recursos profundos. Nesse caso, os valores de F1 foram relativamente altos para a maioria dos níveis de severidade de desgaste usando recursos profundos, que representam os valores de Pe e Re.[0097] It is observed that the proposed approach has adequate sensitivity to differentiate between different levels of wear severity, at least for deep resource descriptors. In this case, the F1 values were relatively high for most wear severity levels using deep features, which represent the Pe and Re values.

[0098] Não obstante, o nível Wear-IV exibiu um valor baixo de F1, enquanto alguns desvios-padrão dos valores de Fl foram altos. Desgaste leve e abrasivo leve foram os níveis mais bem caracterizados de severidade de desgaste por causa dos padrões observados em relação à cor e assinatura de textura. Em contraste, o descritor baseado em HoG que é baseado apenas em padrões de gradiente tem várias limitações para representar os níveis de severidade de desgaste. Apenas o desgaste moderado (Wear-I) foi efetivamente reconhecido por este descritor.[0098] Nevertheless, the Wear-IV level exhibited a low F1 value, while some standard deviations of the Fl values were high. Light wear and light abrasive were the best characterized levels of wear severity because of the patterns observed regarding color and texture signature. In contrast, the HoG-based descriptor that is based only on gradient patterns has several limitations for representing wear severity levels. Only moderate wear (Wear-I) was effectively recognized by this descriptor.

[0100] A partir da excelente previsão dos níveis de severidade de desgaste obtidos, em um segundo experimento as imagens do conjunto de dados foram avaliadas a fim de saber em que nível de severidade de desgaste os materiais de teste foram classificados.[0100] Based on the excellent prediction of wear severity levels obtained, in a second experiment the images from the data set were evaluated in order to know at what wear severity level the test materials were classified.

[0101] A figura 11 apresenta histogramas onde o número de contagens para cada nível de severidade foi plotado para todos os fragmentos avaliados de materiais de amostra. De modo geral, os resultados são coerentes com relação às medições de perda de massa. O material R é identificado como o material mais resistente ao desgaste, onde a maioria das classificações foram definidas em desgaste abrasivo leve (Wear-I) e desgaste abrasivo moderado (Wear-II).[0101] Figure 11 presents histograms where the number of counts for each severity level was plotted for all evaluated fragments of sample materials. Overall, the results are consistent with respect to mass loss measurements. Material R is identified as the most wear-resistant material, where most classifications were defined as light abrasive wear (Wear-I) and moderate abrasive wear (Wear-II).

[0102] Outro material que apresentou baixa perda de massa foi a amostra A, cujo histograma mostrou que grande parte de seus fragmentos foram classificados como leve desgaste abrasivo. O resto dos materiais, C, CM e EM, tiveram um comportamento de desgaste semelhante com uma resistência ao desgaste menor do que aqueles dos materiais R e A. Esse resultado está correlacionado com as previsões do modelo proposto, que classificou os materiais anteriores nos níveis de desgaste mais severos (Wear-III, Wear-IV e Wear-V).[0102] Another material that showed low mass loss was sample A, whose histogram showed that a large part of its fragments were classified as light abrasive wear. The rest of the materials, C, CM and EM, had a similar wear behavior with a lower wear resistance than those of materials R and A. This result is correlated with the predictions of the proposed model, which classified the previous materials into the levels more severe wear conditions (Wear-III, Wear-IV and Wear-V).

[0103] Conforme mencionado anteriormente, esses materiais foram os únicos onde diferentes características de desgaste foram observadas, conforme confirmado pelos resultados da análise computacional. Esses resultados mostram que apesar de alguns elevados desvios-padrão obtidos nas métricas estatísticas de avaliação, o desempenho do modelo foi suficiente para reconhecer os níveis de severidade ao desgaste e apontar aqueles materiais com alta resistência ao desgaste.[0103] As mentioned previously, these materials were the only ones where different wear characteristics were observed, as confirmed by the results of the computational analysis. These results show that despite some high standard deviations obtained in the statistical evaluation metrics, the model's performance was sufficient to recognize the levels of wear severity and identify those materials with high wear resistance.

[0104] Portanto, à guisa de conclusão, a presente invenção provê um método para identificar, mapear, classificar e determinar a severidade de mecanismos de desgaste em uma placa metálica com base em visão computacional e aprendizado de máquina de RF. Para realizar a caracterização das superfícies, foram realizados experimentos em que foram avaliadas duas abordagens. A primeira consiste na abordagem frequentemente utilizada na literatura, o descritor HoG, e o segundo é o descritor de características profundas (essência da presente invenção). Para avaliar o desempenho de ambas as abordagens, foi realizada uma otimização dos parâmetros de configuração. Como um caso de aplicação específico da invenção, imagens estereoscópicas de revestimentos desgastados de chutes de transferência em plantas de mineração de minério de ferro foram analisadas.[0104] Therefore, by way of conclusion, the present invention provides a method for identifying, mapping, classifying and determining the severity of wear mechanisms on a metal plate based on computer vision and RF machine learning. To characterize the surfaces, experiments were carried out in which two approaches were evaluated. The first consists of the approach frequently used in the literature, the HoG descriptor, and the second is the deep feature descriptor (essence of the present invention). To evaluate the performance of both approaches, an optimization of the configuration parameters was performed. As a specific application case of the invention, stereoscopic images of worn linings of transfer chutes in iron ore mining plants were analyzed.

[0105] O modelo de aprendizado de máquina teve sucesso em classificar e mapear os mecanismos de desgaste e determinar seus níveis de severidade. Em comparação com o descritor HoG, o modelo desenvolvido incorporou recursos profundos, como descritores de padrão de superfície e mostrou comportamento superior na previsão de mecanismos de desgaste e severidade.[0105] The machine learning model was successful in classifying and mapping wear mechanisms and determining their severity levels. Compared to the HoG descriptor, the developed model incorporated deep features such as surface pattern descriptors and showed superior behavior in predicting wear mechanisms and severity.

[0106] Por outro lado, foram avaliadas duas estratégias de treinamento, onde o uso de apenas 20% dos fragmentos da imagem (autossupervisionado) otimizou os resultados sem utilizar todos os fragmentos extraídos da imagem. O bom desempenho da estratégia computacional proposta foi validado pelos valores satisfatórios das métricas estatísticas obtidas. A classificação dos níveis de severidade de desgaste de superfície de materiais usados em testes de desgaste de campo oferece uma ferramenta potencial para apoiar a classificação e seleção de materiais usados em revestimentos de chute.[0106] On the other hand, two training strategies were evaluated, where the use of only 20% of the image fragments (self-supervised) optimized the results without using all the fragments extracted from the image. The good performance of the proposed computational strategy was validated by the satisfactory values of the statistical metrics obtained. Classification of surface wear severity levels of materials used in field wear testing offers a potential tool to support the classification and selection of materials used in chute linings.

[0107] Inúmeras variações incidindo no escopo de proteção do presente pedido são permitidas. Dessa forma, reforça-se o fato de que a presente invenção não está limitada às configurações/concretizações particulares acima descritas.[0107] Numerous variations affecting the scope of protection of this application are permitted. In this way, the fact is reinforced that the present invention is not limited to the particular configurations/embodiments described above.

Claims

1. Method for identifying, mapping, classifying and determining the severity of wear mechanisms on a metal plate based on computer vision, characterized by comprising the steps of: - capturing a set of images of a surface of a metal plate; - divide images into fragments - encode the depth representation of the image, at each layer, in a set of of pre-trained deep convolutional neural networks in which each region is a small image fragment q that is convolved with each of the q 'fy filters, following a convolutional operation described as: - obtain the deep features as a set of activation fragments f=f1,f2,...,f3 where each /• has the same fragment dimensions; - calculate a descriptor, from deep features, to recover the main components expressed as combinations of linear features that maximize the variance in each dimension, in which a covariance matrix defined as: , where E is the expected value, and μFo mean feature vector; - learning and classification of wear mechanisms and wear severity comprising implementing a supervised learning algorithm that allows learning from a set of fragments, described by the respective set of visual descriptors, in which a set of training fragment descriptors de, dy^usd,,,is used to build a training model to establish boundaries between wear mechanism categories or severity levels, where each classification task is modeled as the probability of belonging to a class yt given a particular deep descriptor dt, in which an RF classification algorithm is implemented that consists of an ensemble approach that integrates multiple Decision Trees, in which each represents learning branches with partition thresholds rm along features representing each of the j decision nodes, where the decision tree ensemble uses a Bootstrap aggregation strategy to integrate different classifiers, and randomly select the features that construct each decision tree in RF to obtain a total of B decision trees, where the most likely attrition mechanism is selected from a majority vote, performed from all decision tree predictions, as and - reconstruction to map wear mechanisms.

2. Method according to claim 1, characterized in that in the step of calculating a descriptor, the covariance descriptor be a positive semidefinite symmetric matrix that can be decomposed into its respective eigenvectors V and eigenvalues A, as is used to project information onto the axis that maximizes variation between deep features, where the most important eigenvalues are selected to project information into a lower dimension with respect to the principal components, such as , where d is the final descriptor for each fragment that completely characterizes the wear mechanisms.

3. Method, according to claim 1 or 2, characterized in that in the stage of learning and classifying wear mechanisms and wear severity, the feature classification establishes two different tasks in two different scenarios: wear mechanism classification, with a total of five classes; and wear severity classification, with a total of five levels.

4. Method according to any one of claims 1 to 3, characterized by the fact that the reconstruction to map the wear mechanisms comprises implementing a sliding window process to obtain a classification of the wear mechanism per pixel or characterization of the severity of the wear, in which at each iteration a neighboring region is taken, with dimensions , centered on the pixel pq that is classified, in which each region is represented by a set of deep convolutional filters that are subsequently encoded from their respective main components, in which the respective fragment descriptor is mapped to a previously trained RF and a assigned tag is defined for each pixel, described as .