BR112021009487A2 - otimização de um estágio de configuração em um processo de inspeção visual automática - Google Patents

otimização de um estágio de configuração em um processo de inspeção visual automática Download PDF

Info

Publication number
BR112021009487A2
BR112021009487A2 BR112021009487-3A BR112021009487A BR112021009487A2 BR 112021009487 A2 BR112021009487 A2 BR 112021009487A2 BR 112021009487 A BR112021009487 A BR 112021009487A BR 112021009487 A2 BR112021009487 A2 BR 112021009487A2
Authority
BR
Brazil
Prior art keywords
cluster
images
image
inspection
criterion
Prior art date
Application number
BR112021009487-3A
Other languages
English (en)
Inventor
Yonatan HYATT
Dan Carmon
Original Assignee
Inspekto A.M.V Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspekto A.M.V Ltd filed Critical Inspekto A.M.V Ltd
Publication of BR112021009487A2 publication Critical patent/BR112021009487A2/pt

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515Objects of complex shape, e.g. examined with use of a surface follower device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854Grading and classifying of flaws
    • G01N2021/888Marking defects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20216Image averaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

OTIMIZAÇÃO DE UM ESTÁGIO DE CONFIGURAÇÃO EM UM PROCESSO DE INSPEÇÃO VISUAL AUTOMÁTICA. As modalidades da invenção fornecem um sistema e método para um processo de inspeção visual, no qual imagens de objetos em uma linha de inspeção são automaticamente agrupadas em aglomerados com base na aparência do objeto nas imagens. As imagens aglomeradas criam um amplo banco de dados de imagens que podem ser usadas como referência para itens inspecionados com diferentes aparências, o que garante que todas as partes e aparências de um objeto inspecionado possam ser identificadas e inspecionadas, aumentando assim o sucesso da detecção de defeitos e minimizando substancialmente a detecção falsa de defeitos.

Description

“OTIMIZAÇÃO DE UM ESTÁGIO DE CONFIGURAÇÃO EM UM PROCESSO DE INSPEÇÃO VISUAL AUTOMÁTICA” CAMPO
[001] A presente invenção se refere a processos de inspeção visual automatizados, por exemplo, inspeção de itens durante um processo de produção.
ANTECEDENTES
[002] A inspeção durante os processos de produção pode ser fundamental para garantir a qualidade da produção. Por exemplo, inspeção durante processos de produção nas fábricas ajuda a controlar a qualidade dos produtos, identificando os defeitos e agindo após essa identificação, por exemplo, consertando o defeito ou descartando a peça defeituosa. Durante a produção, o processo de detecção de defeitos é essencial para a garantia de qualidade (QA), triagem em estágios (gating) e classificação nas linhas de produção e, consequentemente, útil para melhorar a produtividade, melhorar os processos de produção e procedimentos de trabalho, reduzir as taxas de defeito e reduzir o retrabalho e o desperdício.
[003] Métodos de inspeção visual são usados em linhas de produção para identificar anomalias detectáveis visualmente que podem ter um impacto funcional ou estético na integridade de um item fabricado. As soluções de inspeção visual existentes para linhas de produção contam com sistemas de inspeção visual automatizados feitos sob medida, que normalmente são muito caros e requerem integração especializada de componentes de hardware e software, bem como envolvimento de especialistas na configuração dos arredores, o aparelho do sistema de câmera, os parâmetros de imagem e software e algoritmos.
[004] As soluções de inspeção visual automática existentes são normalmente restritas a um item específico e ao ambiente de imageamento específico para o qual a solução foi configurada. Mesmo as soluções baseadas em técnicas de aprendizado de máquina visual dependem fortemente da entrada do usuário para identificar o objeto que está sendo inspecionado, e qualquer mudança no objeto ou na posição do objeto na linha de inspeção ou na iluminação circundante requer ajuste manual do sistema.
[005] Além disso, a aparência dos objetos inspecionados pode ser altamente variável, mesmo devido a pequenas mudanças no ambiente de imageamento e a localização física e posição do objeto imageado na linha de inspeção. Dependendo da forma 3D do objeto e do movimento do objeto nas diferentes imagens, diferentes imagens mostrarão distorção de perspectiva e oclusões do objeto de uma imagem para a outra. Essa variabilidade afeta muito a representação visual dos objetos imageados, muitas vezes causando falsa identificação de objetos e falsa detecção de defeitos, exigindo o envolvimento frequente e trabalhoso de um inspetor humano no processo de inspeção.
SUMÁRIO
[006] As modalidades da invenção fornecem um sistema e método para um processo de inspeção visual, no qual imagens de objetos em uma linha de inspeção são automaticamente agrupadas em aglomerados com base na aparência do objeto nas imagens. As imagens aglomeradas criam um amplo banco de dados de imagens que podem ser usadas como referência para itens inspecionados com aparências diferentes. Um amplo banco de dados de referências garante que todas as partes e aparências de um objeto inspecionado possam ser identificadas e inspecionadas, aumentando assim o sucesso da detecção de defeitos e minimizando substancialmente a detecção falsa de defeitos.
[007] Além disso, as modalidades da invenção permitem apresentar uma grande quantidade de itens inspecionados para confirmação do usuário antes de iniciar o estágio de inspeção, utilizando assim de forma eficiente o tempo do usuário e agilizando o processo de inspeção.
[008] Em uma modalidade, um sistema e um método de inspeção visual incluem detectar um objeto em uma pluralidade de imagens configuradas de uma linha de inspeção e agrupar as imagens em aglomerados de acordo com os valores de um critério do objeto imageado. O objeto é então detectado em uma imagem de inspeção da linha de inspeção e a imagem de inspeção é comparada a um dos aglomerados de acordo com o valor do critério do objeto na imagem de inspeção. Um defeito pode então ser detectado no objeto na imagem de inspeção com base na comparação.
[009] Uma vez que os aglomerados são criados para praticamente todas as aparências possíveis das imagens de referência, o estágio de inspeção pode começar com um risco muito reduzido de detecção incorreta, fornecendo, assim, um processo de inspeção aprimorado.
BREVE DESCRIÇÃO DAS FIGURAS
[010] A invenção será agora descrita em relação a certos exemplos e modalidades com referência às seguintes figuras ilustrativas, para que possa ser mais completamente compreendida. Nas figuras:
[011] a Figura 1A ilustra esquematicamente um estágio de configuração de um processo de inspeção visual, de acordo com uma modalidade da invenção;
[012] a Figura 1B ilustra esquematicamente um estágio de inspeção de um processo de inspeção visual, de acordo com uma modalidade da invenção;
[013] a Figura 1C ilustra esquematicamente uma interface de usuário, de acordo com uma modalidade da invenção;
[014] a Figura 2 é uma ilustração esquemática de um sistema para inspeção visual, de acordo com uma modalidade da invenção;
[015] a Figura 3A é uma ilustração esquemática de um método para um processo de configuração de linha de inspeção visual, de acordo com uma modalidade da invenção;
[016] a Figura 3B é uma ilustração esquemática de um método para prosseguir do estágio de configuração para o estágio de inspeção, de acordo com modalidades da invenção;
[017] a Figura 4 é uma ilustração esquemática de um método para um processo de configuração de linha de inspeção visual usando imagens que não são necessariamente livres de defeitos, de acordo com uma modalidade da invenção;
[018] a Figura 5 é uma ilustração esquemática de um método para determinar um limiar de aglomerado, de acordo com modalidades da invenção;
[019] a Figura 6 é uma ilustração esquemática de um método para aglomeração de imagens, de acordo com modalidades da invenção;
[020] a Figura 7A ilustra esquematicamente a aglomeração de um objeto 2D, de acordo com modalidades da invenção; e
[021] a Figura 7B ilustra esquematicamente a aglomeração de um objeto 3D, de acordo com as modalidades da invenção.
DESCRIÇÃO DETALHADA
[022] Um processo de linha de inspeção pode incluir um estágio de configuração antes de um estágio de inspeção. Em uma modalidade, no estágio de configuração, amostras de um item fabricado sem defeitos (itens sem defeitos) são imageadas em uma linha de inspeção. As imagens (que também podem ser referidas como imagens de configuração e/ou imagens de referência) são analisadas por um processador e, em seguida, usadas como imagens de referência para processamento de imagem e algoritmos de inspeção (por exemplo, algoritmos de detecção de defeitos) executados no estágio de inspeção. As modalidades da invenção permitem usar também amostras que não são necessariamente livres de defeitos, durante o estágio de configuração, conforme explicado mais detalhadamente abaixo.
[023] No estágio de inspeção, os itens inspecionados (itens fabricados que devem ser analisados para tarefas de inspeção, por exemplo, detecção de defeitos, classificação e/ou contagem) são imageados para produzir imagens de inspeção, e as tarefas de inspeção podem ser realizadas nos itens inspecionados com base na análise das imagens de configuração e imagens de inspeção.
[024] No estágio de configuração, um processador aprende as propriedades espaciais e a representação exclusiva de características ou atributos de um item sem defeitos em imagens, bem como parâmetros ideais de imagens de itens sem defeitos, por exemplo, parâmetros de imageamento ideais (por exemplo, tempo de exposição, foco e iluminação). Essas propriedades podem ser aprendidas, por exemplo, analisando imagens de um item sem defeitos usando diferentes parâmetros de imageamento e analisando a relação entre diferentes imagens de um mesmo tipo de item sem defeitos. Essa análise durante o estágio de configuração permite detectar discriminativamente um mesmo tipo de item (sem defeito ou com defeito) em uma nova imagem, independentemente do ambiente de imageamento da nova imagem, e permite otimizar continuamente os parâmetros de imageamento com o mínimo tempo de processamento durante a etapa de inspeção seguinte.
[025] Em uma modalidade, a análise das imagens configuradas é usada para determinar uma faixa espacial na qual o item livre de defeitos não mostra nenhuma distorção de perspectiva. O nível de distorção de perspectiva entre itens em imagens diferentes pode ser analisado, por exemplo, detectando-se regiões em um item que não possuem características correspondentes entre as imagens configuradas, analisando-se o local de intersecção e os ângulos entre as bordas do item ou áreas de interesse marcadas no item, etc. As fronteiras da faixa espacial podem ser calculadas comparando-se duas (ou mais) imagens configuradas (nas quais os itens podem ser posicionados e/ou orientados de forma diferente) e determinando-se quais das imagens mostram distorção de perspectiva e quais não mostram.
[026] A faixa calculada pode então ser usada para determinar as fronteiras de onde e/ou em qual orientação, escala ou outra disposição, um item inspecionado pode ser colocado na linha de inspeção de modo a evitar distorção. Além disso, ao usar um conjunto de imagens configuradas como referências umas para as outras, o processador pode detectar imagens com decomposição espacial semelhante e esse conjunto de imagens pode então ser analisado para ver se há imagens configuradas semelhantes o suficiente para permitir o registro, a detecção de defeitos e outras análises para cada posição/localização possível na linha de inspeção.
[027] “Imagens de configuração suficientes” são coletadas quando uma representação essencialmente completa de um tipo de item é obtida. Por exemplo, quando imagens suficientes são coletadas para permitir a determinação da faixa espacial em que cada imagem de referência pode ser usada como uma referência sem distorção, conforme descrito acima, ou ao comparar as imagens de configuração entre si, nenhuma nova tolerância ou variação de superfície é descoberta à medida que novas imagens de configuração são adicionadas. A análise das imagens configuradas pode ser realizada para coletar informações sobre possíveis formas 2D e características 3D (por exemplo, rotações na linha de inspeção) de um item ou para encontrar características discriminativas exclusivas do item e a relação espacial entre essas características exclusivas, como preservado entre as imagens configuradas.
[028] Com base nas informações coletadas das imagens configuradas, um processador pode detectar um segundo item do mesmo tipo e realizar tarefas de inspeção, mesmo se o segundo item não tiver sido aprendido anteriormente pelo processador. Isso permite que o processador detecte quando um novo item (do mesmo tipo) é imageado e, em seguida, analise o novo item, por exemplo, para procurar um defeito em um item inspecionado, com base na análise de imagens configuradas. A análise de um novo item normalmente inclui a aplicação de algoritmos de inspeção, por exemplo, algoritmos de detecção de defeitos, que, em uma modalidade, incluem a detecção do item na imagem e a comparação de dados de imagem do item detectado com dados de imagem de imagens de referência.
[029] Em alguns casos, as imagens de referência podem mostrar um baixo nível de qualidade de registro ou podem não permitir o registro. Em outros casos, as imagens de referência podem mostrar baixa probabilidade de detecção de objeto ou nenhuma detecção de objeto. Em ainda outros casos, imagens de referência podem mostrar baixa correlação quando comparadas umas às outras e/ou objetos ou regiões de interesse marcadas nas imagens podem mostrar baixa correlação quando comparados uns aos outros. Esses casos podem indicar que os objetos nessas imagens são muito diferentes para comparação. No entanto, uma vez que essas imagens são obtidas durante o estágio de configuração, que normalmente é supervisionado de perto por um usuário, essas imagens indicam uma situação da vida real na linha de inspeção e imagens semelhantes provavelmente serão obtidas durante o estágio de inspeção, que é menos supervisionado de perto por um usuário. Entretanto, se as imagens de referência têm uma baixa probabilidade de detecção de objeto ou detecção de defeito, uma imagem de inspeção em comparação com essas imagens de referência não será analisada corretamente e há o risco de não detectar um objeto em uma imagem de inspeção e/ou não detectar um defeito na imagem de inspeção ou detectar erroneamente um defeito na imagem de inspeção.
[030] As modalidades da invenção aliviam esse risco garantindo que todas as imagens de referência sejam agrupadas em um aglomerado no qual haja outras imagens de referência semelhantes suficientes, garantindo que a comparação, o registro e outras análises das imagens de referência no aglomerado possam ser realizadas e garantindo que haverá um grupo de referência para todas as imagens de inspeção, mesmo se os objetos nas imagens de inspeção tiverem aparências visuais diferentes.
[031] A aparência (ou aparência visual) de um objeto pode incluir qualquer característica visível para uma câmera. Por exemplo, a aparência pode incluir características espaciais do objeto na imagem (por exemplo, posicionamento e/ou rotação do objeto ou partes do objeto dentro do campo de visão (FOV) da câmera, forma e/ou tamanho do objeto, padrões ou marcações visíveis no objeto, etc.).
[032] Uma vez que os aglomerados são criados para praticamente todas as aparências possíveis das imagens de referência, o estágio de inspeção pode começar com um risco muito reduzido de detecção incorreta, fornecendo, assim, um processo de inspeção aprimorado.
[033] De acordo com as modalidades da invenção, uma grande quantidade de imagens de referência pode ser agrupada automaticamente em diferentes aglomerados com base nas diferenças na aparência visual do objeto sendo imageado, criando assim uma referência grande o suficiente para substancialmente cada aparência diferente de um objeto inspecionado. Isso melhora muito a identificação de um objeto de inspeção e a detecção de defeitos no objeto.
[034] Os termos “item” e “objeto” podem ser usados indistintamente e têm o objetivo de descrever a mesma coisa.
[035] Em algumas modalidades, os diferentes aglomerados podem ser apresentados de uma forma comprimida para um usuário (tal como um operador de uma linha de inspeção) para obter a confirmação do usuário antes de iniciar o estágio de inspeção, permitindo, assim, um processo de inspeção eficiente e simplificado.
[036] Na descrição a seguir, vários aspectos da presente invenção serão descritos. Para fins de explicação, configurações e detalhes específicos são estabelecidos a fim de fornecer um entendimento completo da presente invenção. No entanto, também será evidente para uma pessoa versada na técnica que a presente invenção pode ser praticada sem os detalhes específicos apresentados no presente documento. Além disso, características bem conhecidas podem ser omitidas ou simplificadas para não obscurecer a presente invenção.
[037] A menos que especificamente indicado de outra forma, como aparente nas discussões a seguir, é apreciado que ao longo das discussões do relatório descritivo utilizando termos como “analisar”, “processar”, “computar”, “calcular”, “determinar”, “detectar”, “identificar”, “criar”, “produzir” ou semelhantes, referem-se à ação e/ou processos de um computador ou sistema de computação, ou dispositivo de computação eletrônico semelhante, que manipula e/ou transforma dados representados como quantidades físicas, tais como eletrônicas, nos registros e/ou memórias do sistema de computação em outros dados representados de forma semelhante como quantidades físicas nas memórias, registros ou outros tais dispositivos de armazenamento, transmissão ou exibição de informações, do sistema de computação. Salvo indicação em contrário, esses termos referem- se à ação automática de um processador, independente e sem qualquer ação de um operador humano.
[038] Em uma modalidade, um método de inspeção visual inclui um estágio de configuração, um exemplo do qual é esquematicamente ilustrado na Figura 1A, e um estágio de inspeção, um exemplo do qual é esquematicamente ilustrado na Figura 1B. Em uma modalidade, as imagens de configuração (obtidas durante o estágio de configuração) incluem imagens de objetos sem defeitos e as imagens de inspeção (obtidas durante a etapa de inspeção) incluem objetos sem defeitos ou defeituosos.
[039] No estágio de configuração, um objeto 10 é detectado em uma série de imagens de configuração 11, 12, 13 e 14 de uma linha de inspeção. Em cada imagem de configuração, o objeto 10 obedece a um critério.
[040] Um critério pode incluir, por exemplo, uma característica espacial do objeto 10 na imagem, por exemplo, uma posição ou ângulo de posicionamento do objeto dentro da imagem (como sua posição em relação ao FOV da câmera, sua rotação em três eixos em relação ao FOV da câmera, sua forma ou escala em relação ao FOV da câmera, etc.). Outro exemplo de critério inclui uma ou mais características visuais, tais como marcas visíveis no objeto. Outras propriedades dos objetos e/ou imagens podem ser utilizadas como critérios.
[041] As imagens 11, 12, 13 e 14 são agrupadas em aglomerados (por exemplo, aglomerado A e aglomerado B) de acordo com os valores do critério. No exemplo ilustrado na Figura 1A, o critério para agrupar as imagens é o posicionamento do objeto 10. As imagens 11 e 12, nas quais o objeto 10 está posicionado de forma semelhante, ou seja, pode ser definido por valores angulares semelhantes, são ambas atribuídas ao aglomerado A, enquanto as imagens 13 e 14, nas quais o objeto 10 está posicionado de forma semelhante, mas de forma diferente do posicionamento do objeto 10 nas imagens 11 e 12, são atribuídas ao aglomerado B.
[042] No estágio de inspeção seguinte (Figura 1B), uma imagem de inspeção é comparada a um aglomerado de imagens configuradas com base no valor do critério do objeto na imagem de inspeção. Por exemplo, o objeto 10 é detectado em uma imagem de inspeção 15. O posicionamento do objeto 10 na imagem de inspeção 15 (por exemplo, o ângulo do objeto 10 em relação a um ponto dentro da imagem) é semelhante ao posicionamento do objeto nas imagens configuradas atribuídas ao aglomerado B (por exemplo, todas essas imagens incluem objetos com valores angulares semelhantes). Portanto, as imagens no aglomerado B podem ser usadas como uma referência apropriada para o objeto na imagem de inspeção 15, garantindo que existam imagens de referência semelhantes o suficiente à imagem de inspeção 15 para que possam ser usadas como uma referência para detectar o objeto 10 e/ou detectar defeitos no objeto 10 na imagem de inspeção 15. Assim, a imagem de inspeção 15 é comparada com as imagens atribuídas ao aglomerado B, a fim de detectar um defeito no objeto 10 com base na comparação.
[043] O objeto 10 em cada uma das imagens 11, 12, 13, 14 e 15 é um item diferente, no entanto, todos os objetos 10 são objetos do mesmo tipo.
[044] Os termos “itens do mesmo tipo” ou “objetos do mesmo tipo” referem-se a itens ou objetos que são da mesma constituição física e são semelhantes entre si em forma e dimensões e possivelmente cor e outras características físicas. Normalmente, itens de uma série de produção única, lote de itens do mesmo tipo ou lote de itens no mesmo estágio em sua linha de produção podem ser “itens do mesmo tipo”. Por exemplo, se os itens inspecionados forem produtos sanitários, bacias diferentes do mesmo lote serão do mesmo tipo.
[045] Um defeito pode incluir, por exemplo, uma falha visível na superfície do item, um tamanho indesejável do item ou parte do item, uma forma ou cor indesejável do item ou parte do item, um número indesejável de partes do item, um conjunto errado ou ausente de interfaces do item, uma peça quebrada ou queimada e um alinhamento incorreto do item ou partes do item, um código de barras errado ou defeituoso e, em geral, qualquer diferença entre a amostra livre de defeitos e o item inspecionado, que seriam evidentes a partir das imagens para um usuário, ou seja, um inspetor humano. Em algumas modalidades, um defeito pode incluir falhas que são visíveis somente em imagens ampliadas ou de alta resolução, por exemplo, imagens obtidas por microscópios ou outras câmeras especializadas.
[046] Os métodos de acordo com as modalidades da invenção podem ser realizados por um sistema para inspeção visual, um exemplo do qual é esquematicamente ilustrado na Figura 2.
[047] Um sistema exemplificativo que pode ser usado para inspeção visual automatizada de um item em uma linha de inspeção inclui um processador 102 em comunicação com uma ou mais câmeras 103 e com um dispositivo, tal como um dispositivo de interface de usuário 106 e/ou outros dispositivos, tais como o dispositivo de armazenamento 108.
[048] Os componentes do sistema podem estar em comunicação com ou sem fio e podem incluir portas e/ou hubs de rede adequados em algumas modalidades, o processador 102 pode se comunicar com um dispositivo, tal como o dispositivo de armazenamento 108 e/ou o dispositivo de interface de usuário 106 por meio de um controlador, tal como um controlador lógico programável (PLC), normalmente usado em processos de fabricação, por exemplo, para manipulação de dados, armazenamento, poder de processamento e capacidades de comunicação. Um controlador pode estar em comunicação com o processador 102, dispositivo de armazenamento 108, dispositivo de interface de usuário 106 e/ou outros componentes do sistema, via USB, Ethernet, cabeamento apropriado, etc.
[049] O processador 102 pode incluir, por exemplo, um ou mais processadores e pode ser uma unidade central de processamento (CPU), uma unidade de processamento gráfico (GPU), um processador de sinal digital (DSP), uma matriz de portas programáveis em campo (FPGA), um microprocessador, um controlador, um chip, um microchip, um circuito integrado (CI) ou qualquer outro processador ou controlador específico ou multifuncional adequado. O processador 102 pode ser embutido localmente ou remoto.
[050] O dispositivo de interface de usuário 106 pode incluir um visor, como um monitor ou tela, para exibir imagens, instruções e/ou notificações para um usuário (por exemplo, por meio de texto ou outro conteúdo exibido no monitor). O dispositivo de interface de usuário 106 também pode ser projetado para receber entrada de um usuário. Por exemplo, o dispositivo de interface de usuário 106 pode incluir um monitor e teclado e/ou mouse e/ou tela sensível ao toque, para permitir que um usuário insira feedback.
[051] O dispositivo de armazenamento 108 pode ser um servidor incluindo, por exemplo, mídia de armazenamento volátil e/ou não volátil, tal como uma unidade de disco rígido (HDD) ou unidade de estado sólido (SSD). O dispositivo de armazenamento 108 pode ser conectado localmente ou remotamente, por exemplo, na nuvem. Em algumas modalidades, o dispositivo de armazenamento 108 pode incluir software para receber e gerenciar dados de imagem relacionados a imagens de referência e/ou imagens de inspeção.
[052] A câmera (ou câmeras) 103, que é configurada para obter uma imagem de uma linha de inspeção 105, é normalmente colocada em relação à linha de inspeção 105 (por exemplo, uma correia transportadora), de modo que os itens (por exemplo, item 104) colocados na linha de inspeção 105 estejam dentro do FOV 103' da câmera 103.
[053] A câmera 103 pode incluir um CCD ou CMOS ou outro chip apropriado. A câmera 103 pode ser uma câmera 2D ou 3D. Em algumas modalidades, a câmera 103 pode incluir uma câmera padrão fornecida, por exemplo, com dispositivos móveis, tais como smartphones ou tablets. Em outras modalidades, a câmera 103 é uma câmera especializada, por exemplo, uma câmera para obter imagens de alta resolução.
[054] O sistema também pode incluir uma fonte de luz, tal como um LED ou outra fonte de luz apropriada, para iluminar o FOV 103’ da a câmera, por exemplo, para iluminar o item 104 na linha de inspeção 105.
[055] O processador 102 recebe dados de imagem (que podem incluir dados como valores de pixel que representam a intensidade da luz refletida, bem como imagens ou vídeos parciais ou totais) de objetos na linha de inspeção 105 de uma ou mais câmeras 103 e executa processos de acordo com modalidades da invenção.
[056] O processador 102 está normalmente em comunicação com uma unidade de memória 112. A unidade de memória 112 pode armazenar pelo menos parte dos dados de imagem recebidos da câmera (ou câmeras) 103.
[057] A unidade de memória 112 pode incluir, por exemplo, uma memória de acesso aleatório (RAM), uma RAM dinâmica (DRAM), uma memória flash, uma memória volátil, uma memória não volátil, uma memória cache, um buffer, uma unidade de memória de curto prazo, uma unidade de memória de longo prazo ou outras unidades de memória ou unidades de armazenamento adequadas.
[058] Em algumas modalidades, a unidade de memória 112 armazena instruções executáveis que, quando executadas pelo processador 102, facilitam o desempenho das operações do processador 102, conforme descrito no presente documento.
[059] Em uma modalidade, o processador 102 aplica técnicas e algoritmos de visão computacional e de processamento de imagem (por exemplo, como descrito acima) para determinar uma aparência visual de um objeto em imagens e para atribuir imagens a um de uma pluralidade de grupos ou aglomerados com base em um critério relacionado à aparência visual do objeto.
[060] Em uma modalidade, o processador 102 recebe imagens (por exemplo, imagens de configuração) de um objeto e agrupa as imagens em um aglomerado com base na aparência do objeto em cada imagem. Quando uma imagem sucessiva é recebida (por exemplo, uma imagem de inspeção obtida depois que as imagens de configuração foram obtidas), ela é atribuída a um aglomerado e comparada pelo menos com as imagens configuradas agrupadas no aglomerado. Isso garante um grupo de imagens de objetos do mesmo tipo que são comparáveis à imagem de inspeção atual sem resultados degradados para a distorção de perspectiva. Defeitos no objeto na imagem sucessiva podem então ser detectados com base na comparação. Em algumas modalidades, o processador 102 faz com que os defeitos detectados sejam exibidos (por exemplo, através do dispositivo de interface de usuário 106), por exemplo, para a aprovação de um usuário.
[061] Em algumas modalidades, os aglomerados (normalmente, dados de imagem relacionados a cada aglomerado) são armazenados em um banco de dados de imagem de referência (que pode ser mantido, por exemplo, no dispositivo de armazenamento 108), que é posteriormente usado para detecção de defeitos em imagens de inspeção. Em algumas modalidades, os dados de imagem são mantidos no banco de dados de modo que as imagens de referência sejam vinculadas a um aglomerado com base em um ou mais critérios. Por exemplo, referindo-se à Figura 1A, as imagens de configuração 11 e 12 podem ser armazenadas no banco de dados de imagens de referência com um enlace para o aglomerado que define o critério (por exemplo, posição, que pode ser expressa como um valor de um ângulo ou faixa de ângulos) e as imagens de configuração 13 e 14 podem ser armazenadas no banco de dados de imagens de referência com um enlace para o critério que define o aglomerado B.
[062] No estágio de inspeção, um critério (e, normalmente, o valor do critério) de uma imagem de inspeção (por exemplo, imagem de inspeção 15) é determinado, por exemplo, pelo processador 102. No exemplo ilustrado nas Figuras 1A e 1B, o critério é a posição, e o valor pode ser, por exemplo, o ângulo de rotação em relação a um ponto na imagem. Com base no critério determinado e/ou valor do critério, o aglomerado apropriado de imagens de referência pode ser facilmente identificado e usado como referência para a imagem de inspeção. O aglomerado apropriado de imagens de referência, nesse caso, seria o aglomerado definido pelo critério e/ou valor iguais ou semelhantes da imagem de inspeção.
[063] Em algumas modalidades, um exemplo das quais é esquematicamente ilustrado na Figura 1C, o processador 102 pode fazer com que os aglomerados (por exemplo, imagens atribuídas a esse aglomerado) ou representações dos aglomerados sejam exibidos, por exemplo, através do dispositivo de interface de usuário 106. Um usuário pode, então, fornecer entrada por meio do dispositivo de interface de usuário 106, para aprovar ou desaprovar cada aglomerado. Em algumas modalidades, uma ID de aglomerado 21, o número de imagens 22 incluídas no aglomerado e/ou outras informações sobre os aglomerados, instruções para um usuário 23 e botões de ação 24 podem ser exibidos.
[064] Cada aglomerado pode ser representado por um ou mais representantes, por exemplo, uma média, mediana ou outro objeto representativo do aglomerado. Portanto, exibir os aglomerados para um usuário pode incluir a exibição de um representante de cada aglomerado.
[065] Em algumas modalidades, cada aglomerado é representado por um esboço que circunda o objeto. Um esboço pode ser exibido em um visor (por exemplo, um visor do dispositivo de interface de usuário 106) como uma linha, por exemplo, uma linha colorida, uma linha tracejada ou outro estilo de linha, circundando o objeto ou como qualquer outra indicação tipicamente visível para um usuário.
[066] Por exemplo, o monitor 20 pode exibir diferentes aglomerados C e D exibindo um representante 16 do objeto que retrata o aglomerado e, opcionalmente, marcas gráficas 16’ e 16”, etc., mostrando o posicionamento de todos os objetos imageados. Um usuário pode, assim, entender melhor o que cada aglomerado inclui em relação a todos os objetos imageados.
[067] Em algumas modalidades, a pedido do usuário, imagens individuais de um determinado aglomerado podem ser exibidas. Por exemplo, um usuário pode clicar em um representante exibido de um aglomerado (por exemplo, representante 16) para abrir uma nova janela ou tela que exibe imagens individuais que foram atribuídas a esse aglomerado. Assim, uma interface de usuário de acordo com as modalidades da invenção permite que os aglomerados sejam aprovados ou reprovados (por exemplo, excluídos) como um todo, e/ou imagens individuais dentro de um aglomerado sejam aprovadas e/ou reprovadas por um usuário.
[068] Se um aglomerado não incluir imagens suficientes para garantir a representação completa de um objeto (como descrito mais detalhadamente aqui e abaixo), o aglomerado pode ser determinado como em um status “incompleto”, enquanto um aglomerado incluindo imagens suficientes é determinado como em status “concluído”.
[069] Em algumas modalidades, um sistema para inspeção visual inclui um processador 102 em comunicação com um visor (por exemplo, um monitor do dispositivo de interface de usuário 106), para receber uma imagem de um objeto em uma linha de inspeção, detectar o objeto na imagem e atribuir a imagem a um aglomerado com base na aparência do objeto na imagem (por exemplo, com base em uma característica espacial do objeto na imagem). O processador 102 pode determinar o status do aglomerado e causar a exibição de um representante do aglomerado com uma indicação do status do aglomerado. A indicação do status do aglomerado pode incluir uma característica visual que é diferente para cada status diferente. Por exemplo, a característica visual pode ser colorida de tal forma que um representante de um aglomerado concluído pode ser exibido em uma cor diferente do que um representante de um aglomerado incompleto. Em algumas modalidades, o processador 102 faz com que uma indicação apareça em uma imagem de um objeto (por exemplo, objeto 10 nas imagens 11 ou 12) de acordo com o aglomerado ao qual o objeto é atribuído. O processador 102 pode causar a exibição de uma primeira característica visual (por exemplo, cor ou outra marca visual) quando um objeto na imagem é detectado e uma segunda característica visual para indicar o status do aglomerado ao qual o objeto é atribuído.
[070] Em uma modalidade, que é esquematicamente ilustrada na Figura 3A, um método para um processo de configuração de inspeção visual pode ser realizado pelo processador 102. O método inclui determinar uma aparência visual de um objeto com base em um primeiro conjunto de imagens do objeto (302). Um segundo conjunto de imagens de objetos do mesmo tipo é obtido (304) e os objetos do mesmo tipo são identificados nas imagens do segundo conjunto com base na análise das imagens do primeiro conjunto (306). Cada imagem do segundo conjunto é atribuída a um (ou mais) de uma pluralidade de aglomerados (308), com base em um critério, e os aglomerados (normalmente, dados de imagem de imagens atribuídas aos aglomerados) são usados para atualizar um banco de dados de imagens de referência (310). As imagens de referência do banco de dados atualizado são então usadas no estágio de inspeção para permitir a detecção de defeitos e/ou outras tarefas de inspeção.
[071] Em outra modalidade, que é esquematicamente ilustrada na Figura 3B, as imagens são atribuídas a um aglomerado, durante um estágio de configuração, até que o aglomerado inclua imagens de referência suficientes e tenha alcançado a otimização dos parâmetros de imageamento, após o que o processo prossegue para o estágio de inspeção.
[072] Conforme descrito acima, imagens de referência suficientes são coletadas uma vez que uma representação essencialmente completa do item é alcançada. Por exemplo, uma representação completa do objeto é obtida quando cada nova imagem de inspeção tem um grupo de imagens de referência no aglomerado que podem ser usadas como uma referência sem distorção para a imagem de inspeção e que são indicativas da tolerância e variações típicas do item imageado.
[073] Assim, em uma modalidade, um método de inspeção visual inclui a atribuição de imagens de um objeto a um aglomerado (312), normalmente com base na aparência do objeto em cada imagem. Para cada aglomerado, é determinado se uma representação completa do objeto foi alcançada (314). Se uma representação completa do objeto tiver sido alcançada, o aglomerado pode prosseguir para o estágio de inspeção (316). Ou seja, uma imagem sucessiva atribuída ao aglomerado será inspecionada quanto a defeitos, por exemplo, comparando a imagem sucessiva com as imagens no aglomerado.
[074] Se uma representação completa do objeto não for alcançada (314), uma imagem sucessiva que é atribuída ao aglomerado (normalmente com base na aparência do objeto na imagem sucessiva) é usada como uma imagem de referência. Ou seja, a imagem sucessiva é usada para atualizar um banco de dados de imagens de referência e algoritmos de inspeção (por exemplo, algoritmos de detecção de defeitos) não são aplicados à imagem sucessiva.
[075] Em alguns casos, durante o estágio de inspeção, pode ser obtida uma imagem que é atribuída a um aglomerado para o qual uma representação completa do objeto ainda não foi alcançada e, portanto, não pode ser inspecionada quanto a defeitos. Em uma modalidade, em vez de esperar que o aglomerado alcance a representação completa do objeto, enquanto mantém o processo de inspeção, a imagem pode ser armazenada até que imagens suficientes sejam atribuídas ao aglomerado para obter uma representação completa do objeto, enquanto imagens adicionais que são atribuídas a aglomerados concluídos podem ser inspecionadas. Assim que imagens suficientes forem atribuídas ao aglomerado, o aglomerado estará concluído. O aglomerado concluído e/ou imagens do aglomerado concluído podem ser exibidos (por exemplo, através do dispositivo de interface de usuário 106) para confirmação do usuário. Depois que um aglomerado é concluído, opcionalmente após a aprovação do usuário, as imagens podem ser comparadas ao aglomerado concluído retroativamente, para detectar defeitos em imagens que foram obtidas antes da conclusão do aglomerado. Assim, os defeitos podem ser detectados retroativamente em imagens atribuídas ao aglomerado.
[076] Em algumas modalidades, determinar se uma representação completa do objeto é alcançada inclui a comparação de imagens atribuídas ao aglomerado entre si. Por exemplo, determinar se cada imagem atribuída ao aglomerado pode ser usada como uma referência sem distorção para todas as outras imagens no aglomerado, pode ser determinado comparando as imagens do aglomerado entre si.
[077] Em algumas modalidades, os aglomerados incluem um número predeterminado de imagens. O número predeterminado pode ser específico para as características de um objeto (por exemplo, os aglomerados para um objeto 2D podem exigir menos imagens de referência do que os aglomerados para um objeto 3D, que por exemplo podem ser definidos usando técnicas de profundidade de foco). Assim, em uma modalidade, determinar se uma representação completa do objeto é alcançada pode incluir determinar um número de imagens no aglomerado. Por exemplo, se houver um número predeterminado de imagens em um aglomerado, pode ser determinado que uma representação completa do objeto foi alcançada.
[078] Em uma modalidade, um método de inspeção visual inclui a atribuição de uma imagem de um objeto a um aglomerado com base na aparência do objeto na imagem. Em uma modalidade, um status do aglomerado (por exemplo, “concluído” ou “incompleto”) é determinado com base em uma determinação se o aglomerado obteve uma representação completa do objeto ou não. Um processador então determina se deve ou não aplicar um algoritmo de inspeção na imagem com base no status do aglomerado. Isso permite realizar a inspeção de alguns objetos antes que todos os aglomerados atinjam a representação completa do objeto.
[079] Métodos de acordo com modalidades da invenção, por exemplo, conforme exemplificado nas Figuras 3A e 3B, permitem um método de inspeção visual melhorado no qual algumas imagens podem prosseguir para inspeção, com base no aglomerado ao qual as imagens são atribuídas, mesmo antes de todas as imagens de referência possíveis para o objeto terem sido obtidas, ou seja, antes de o estágio de configuração estar completo. Isso permite que a inspeção comece cedo e prossiga com o mínimo de interrupção e com o envolvimento do usuário concentrado em pontos específicos durante o processo, agilizando bastante o processo de inspeção.
[080] Em algumas modalidades, os aglomerados podem ser exibidos a um usuário para aprovação antes de atualizar o banco de dados de imagens de referência.
[081] Em uma modalidade, o primeiro conjunto de imagens inclui apenas imagens de itens sem defeitos, enquanto o segundo conjunto de imagens inclui imagens que não são necessariamente livres de defeitos. Assim, imagens que não são necessariamente livres de defeitos podem ser usadas em um estágio de configuração, de acordo com modalidades da invenção.
[082] Nesta modalidade, um exemplo da qual é esquematicamente ilustrado na Figura 4, o segundo conjunto de imagens pode ser analisado quanto a defeitos, com base na aparência visual do objeto determinado a partir do primeiro conjunto de imagens. Neste exemplo, uma aparência visual de um objeto é determinada com base em um primeiro conjunto de imagens de objetos sem defeitos (402).
[083] Um segundo conjunto de imagens de objetos do mesmo tipo é obtido (404). Os objetos do mesmo tipo no segundo conjunto podem estar sem defeitos ou defeituosos. Os objetos do mesmo tipo são identificados e defeitos podem ser detectados nos objetos do mesmo tipo nas imagens do segundo conjunto com base na aparência visual detectada no primeiro conjunto (406). Cada imagem do segundo conjunto é atribuída a um ou mais de uma pluralidade de aglomerados (408), com base em um critério e os aglomerados são usados para atualizar um banco de dados de imagens de referência, conforme descrito acima.
[084] Os defeitos detectados na etapa (406) são então exibidos para um usuário para aprovação (410). Opcionalmente, os aglomerados também podem ser exibidos para o usuário para aprovação.
[085] Um usuário pode indicar, por exemplo, através do dispositivo de interface de usuário 106, se os defeitos detectados são de fato defeitos ou não são considerados defeitos. O processador 102 pode então atualizar os algoritmos de detecção de defeitos com base na entrada do usuário. Assim, as mudanças nas imagens do segundo conjunto, que podem ou não ser defeitos, podem ser apresentadas para aprovação do usuário, mesmo que não sejam mudanças que se enquadrem em um critério de um aglomerado, e algoritmos de detecção de defeitos podem ser ajustados antes do início do estágio de inspeção, agilizando, assim, ainda mais o processo de inspeção visual.
[086] Os aglomerados podem ser criados, por exemplo, pelo processador 102, com base em critérios predefinidos e/ou com base em critérios detectados a partir das imagens. Em algumas modalidades, um limiar de aglomerado é determinado, que é o limiar em relação ao qual as imagens são verificadas, para determinar a qual aglomerado elas serão atribuídas.
[087] Por exemplo, como esquematicamente ilustrado na Figura 5, o processador 102 pode receber uma imagem (imagem de referência ou inspeção) (502) e comparar a imagem a um conjunto existente de imagens confirmadas (504), tipicamente, imagens de referência. Com base na comparação, o processador 102 pode determinar um critério para a imagem (506). Por exemplo, se o objeto na imagem estiver posicionado em uma rotação em comparação aos objetos no conjunto de imagens confirmadas, o critério de “posicionamento” pode ser determinado e/ou o valor do critério também pode ser determinado (por exemplo, o ângulo de rotação em comparação aos objetos no conjunto de imagens confirmadas). Alguns exemplos, de diferenças entre imagens, que podem ser usados para determinar um critério, incluem um ângulo ou posição alterados em relação ao quadro da imagem (ou FOV da câmera ou ponto dentro do FOV da câmera), uma rotação em um ou mais eixos em relação ao FOV da câmera, uma mudança de escala em relação ao FOV da câmera, mudança de forma e/ou um padrão visual diferente no objeto.
[088] Um limiar de aglomerado pode ser determinado com base na diferença entre a imagem e o conjunto confirmado de imagens (508). Normalmente, o limiar do aglomerado é determinado com base no critério e/ou com base no valor do critério. Por exemplo, um limiar de aglomerado pode incluir um valor ou faixa de valores de ângulos, um tamanho e/ou forma do objeto, um número ou faixa de números de marcas visuais, um tamanho ou faixa de tamanhos de marcas visuais, um local ou faixa de localizações de marcas visuais dentro do objeto, uma cor ou faixa de cores de marcas visuais e assim por diante.
[089] Um limiar de aglomerado pode incluir uma faixa entre dois limites, por exemplo, um limite mais alto e mais baixo.
[090] Assim, os métodos de acordo com as modalidades da invenção podem incluir as etapas de agrupamento de um número predeterminado de imagens em um aglomerado em que o limiar para o agrupamento é determinado com base no número predeterminado.
[091] Em outras modalidades, o limiar é baseado no critério e no objeto.
[092] Assim, por exemplo, objetos do mesmo tipo girados em relação aos objetos no conjunto confirmado de imagens, em um ângulo que está dentro de uma primeira faixa, podem definir ou podem ser atribuídos a um primeiro aglomerado. Objetos do mesmo tipo com um padrão de círculos vermelhos podem definir ou podem ser atribuídos a um segundo aglomerado e objetos do mesmo tipo com um padrão de círculos verdes podem definir ou podem ser atribuídos a um terceiro aglomerado e assim por diante.
[093] Em algumas modalidades, uma única imagem pode ser atribuída a mais de um aglomerado. Por exemplo, um primeiro limiar de aglomerado pode incluir uma primeira faixa de ângulos e um segundo limiar de aglomerado pode incluir uma segunda faixa de ângulos, que se sobrepõe parcialmente à primeira faixa. As imagens nas quais o posicionamento de um objeto está em um ângulo que está dentro da sobreposição podem ser atribuídas ao primeiro e ao segundo aglomerado. Em outro exemplo, uma única imagem pode ser atribuída a um primeiro aglomerado com base em um primeiro critério (por exemplo, posicionamento) e a um segundo aglomerado com base em um segundo critério (por exemplo, marcação visível). Assim, tarefas de inspeção, como detecção de defeito, para uma imagem, podem ser realizadas com base na comparação com um ou mais aglomerados.
[094] Em uma modalidade, o método inclui a atribuição de uma primeira imagem a um primeiro aglomerado e a atribuição de uma segunda imagem a um segundo aglomerado se a diferença entre um valor do critério na primeira imagem e um valor do critério na segunda imagem estiver acima de um limiar.
[095] Conforme esquematicamente ilustrado na Figura 6, o processador 102 pode receber uma imagem e determinar o critério (e/ou valor do critério) da imagem (por exemplo, conforme descrito na Figura 5) (602). O critério (e/ou valor) é comparado a um critério de um aglomerado, por exemplo, a um critério (e/ou valor) do aglomerado A do banco de dados de imagens de referência (604). Se o critério (e/ou valor) da imagem for igual ao critério (e/ou valor) do aglomerado A (606), a imagem será atribuída ao aglomerado A (608).
Se o critério (e/ou valor) da imagem não for o mesmo que o critério (e/ou valor) do aglomerado A (606), então o critério e/ou valor da imagem é comparado ao limiar do aglomerado A. Se o critério (e/ou valor) da imagem estiver dentro (ou acima ou abaixo) do limiar do aglomerado A (610), a imagem é atribuída ao aglomerado A (608). No entanto, se o critério (e/ou valor) da imagem não estiver dentro (ou acima ou abaixo) do limiar do aglomerado A (610), a imagem é atribuída a outro aglomerado (por exemplo, aglomerado B) (612), por exemplo, se o critério e seu valor forem compatíveis com o limiar do aglomerado B.
[096] Um critério e/ou limiar de aglomerado pode ser predeterminado ou dinâmico, por exemplo, dependente do tipo específico de objeto que está sendo inspecionado.
[097] No exemplo, que é esquematicamente ilustrado na Figura 7A, um objeto bidimensional 702 tendo um padrão 712 nele, é mostrado em duas imagens, 71 e 72. O objeto 702 é girado em 90° na imagem 72 em comparação com a imagem 71 (conforme ilustrado pela seta tracejada), no entanto, o padrão 712 é visível em ambas as imagens 71 e 72. Assim, as imagens 71 e 72 podem ser concebivelmente atribuídas a um único aglomerado, que é definido por uma ampla faixa de padrões visíveis no objeto.
[098] No exemplo, que é esquematicamente ilustrado na Figura 7B, o objeto 703 é um objeto tridimensional tendo padrão 713 em uma primeira superfície (a) do objeto e padrão 714 em uma segunda superfície (b) do objeto, como visível em imagem 73. O objeto 703 na imagem 74 é girado ao longo do seu eixo longitudinal em 90° em relação ao objeto 703 na imagem 73 (como ilustrado pela seta tracejada). Nesse caso, a rotação faz com que a primeira superfície (a) do objeto 703 seja obstruída enquanto a segunda superfície (b) permanece visível. Consequentemente, o padrão 714 é visível, mas o padrão 713 não é visível na imagem 74. Como diferentes padrões são visíveis nas imagens 73 e 74, essas imagens não seriam atribuídas ao mesmo aglomerado.
[099] Em um exemplo, um número predeterminado de imagens
(por exemplo, vinte) pode ser agrupado em um aglomerado. Em outros casos, o número de imagens em um aglomerado não é predeterminado, mas sim depende do tipo específico de objeto que está sendo inspecionado. Por exemplo, um aglomerado pode incluir imagens suficientes para permitir a determinação da faixa espacial na qual cada imagem de referência pode ser usada como uma referência sem distorção, conforme descrito acima.
[100] Em um exemplo, um esboço pode ser criado em torno de um objeto (possivelmente uma média ou outro objeto representativo) e o esboço é usado como um limiar de aglomerado. Por exemplo, todas as imagens nas quais os objetos cabem no esboço podem ser atribuídas ao mesmo aglomerado. Um esboço que representa um objeto 2D pode seguir vagamente o contorno do objeto, enquanto o esboço que representa um objeto 3D, normalmente seguirá mais estritamente o contorno do objeto.
[101] As modalidades da invenção permitem criar, com envolvimento mínimo do usuário, um amplo banco de dados de imagens de referência para melhorar o desempenho das tarefas de inspeção.

Claims (26)

REIVINDICAÇÕES
1. Método de inspeção visual, caracterizado pelo fato de que compreende: detectar um objeto em uma pluralidade de imagens de configuração de uma linha de inspeção, em cada imagem de configuração o objeto estando em conformidade com um critério; agrupar as imagens em aglomerados de acordo com os valores do critério; detectar o objeto em uma imagem de inspeção da linha de inspeção; comparar a imagem de inspeção com um dos aglomerados de acordo com um valor do critério do objeto na imagem de inspeção; e detectar um defeito no objeto na imagem de inspeção com base na comparação.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que agrupar as imagens em aglomerados de acordo com os valores do critério compreende atribuir uma primeira imagem a um primeiro aglomerado e atribuir uma segunda imagem a um segundo aglomerado se uma diferença entre um valor do critério na primeira imagem e um valor do critério na segunda imagem estiver acima de um limiar.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que compreende o agrupamento de um número predeterminado de imagens em um aglomerado e em que o limiar é determinado com base no número predeterminado.
4. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que o limiar é baseado no critério e no objeto.
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o critério compreende uma característica espacial do objeto nas imagens.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o critério compreende uma característica visual do objeto.
7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que imagens de configuração compreendem imagens de objetos sem defeitos e a imagem de inspeção compreende um objeto sem defeitos ou defeituoso.
8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende a exibição dos aglomerados para aprovação do usuário.
9. Processo, de acordo com a reivindicação 8, caracterizado pelo fato de que a exibição dos aglomerados compreende a exibição de um representante de cada aglomerado.
10. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que compreende a exibição de imagens individuais de um determinado aglomerado mediante solicitação do usuário.
11. Processo, de acordo com a reivindicação 8, caracterizado pelo fato de que o representante compreende um esboço do objeto.
12. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que, se o objeto for um objeto 2D, o esboço segue vagamente o contorno do objeto e em que, se o objeto for um objeto 3D, o esboço segue estritamente o contorno do objeto.
13. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende exibir os defeitos detectados.
14. Método de inspeção visual, caracterizado pelo fato de que compreende: atribuir imagens de um objeto a um aglomerado com base na aparência do objeto em cada imagem; determinar se o aglomerado obteve uma representação completa do objeto; se uma representação completa do objeto for alcançada, detectar defeitos no objeto em uma imagem sucessiva comparando a imagem sucessiva com as imagens atribuídas ao aglomerado.
15. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que determinar se o aglomerado obteve uma representação completa do objeto compreende determinar um número de imagens no aglomerado.
16. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que determinar se o aglomerado obteve uma representação completa do objeto compreende comparar imagens atribuídas ao aglomerado entre si.
17. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que determinar se o aglomerado obteve uma representação completa do objeto compreende determinar se cada imagem atribuída ao aglomerado pode ser usada como uma referência sem distorção para todas as outras imagens atribuídas ao aglomerado.
18. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que, se uma representação completa do objeto não for alcançada, então o método compreende o uso de uma imagem sucessiva atribuída ao aglomerado para atualizar um banco de dados de imagens de referência.
19. Método, de acordo com a reivindicação 18, caracterizado pelo fato de que compreende exibir o aglomerado a um usuário para aprovação.
20. Método, de acordo com a reivindicação 14, caracterizado pelo fato de que compreende detectar de forma retroativa defeitos em imagens atribuídas ao aglomerado.
21. Sistema para inspeção visual, em que o sistema é caracterizado pelo fato de que compreende: um processador em comunicação com um visor, o processador para: receber uma imagem de um objeto em uma linha de inspeção; detectar o objeto na imagem; atribuir a imagem a um aglomerado com base em uma característica espacial do objeto na imagem; determinar um status do aglomerado; e causar a exibição de um representante do aglomerado e uma indicação do status do aglomerado.
22. Sistema, de acordo com a reivindicação 21, caracterizado pelo fato de que a indicação do status do aglomerado compreende uma característica visual que é diferente para cada status diferente.
23. Sistema, de acordo com a reivindicação 22, caracterizado pelo fato de que a característica visual compreende cor.
24. Sistema, de acordo com a reivindicação 21, caracterizado pelo fato de que o processador deve exibir uma primeira característica visual quando o objeto na imagem é detectado e uma segunda característica visual para indicar o status do aglomerado.
25. Método de inspeção visual, caracterizado pelo fato de que compreende: atribuir uma imagem de um objeto a um aglomerado com base na aparência do objeto na imagem; com base na determinação de se o aglomerado obteve uma representação completa do objeto, determinar um status do aglomerado; determinar se deve ou não aplicar um algoritmo de inspeção na imagem com base no status do aglomerado, conseguindo, assim, a inspeção de alguns objetos antes de todos os aglomerados atingirem a representação completa do objeto.
26. Sistema para inspeção visual, em que o sistema é caracterizado pelo fato de que compreende: um processador para receber imagens de configuração e imagens de inspeção de um objeto, o processador para: agrupar as imagens de configuração e imagens de inspeção em um aglomerado com base na aparência do objeto em cada imagem; comparar uma imagem de inspeção com as imagens configuradas agrupadas no aglomerado; detectar um defeito no objeto na imagem de inspeção com base na comparação; e causar a exibição do defeito detectado.
BR112021009487-3A 2018-11-18 2019-11-18 otimização de um estágio de configuração em um processo de inspeção visual automática BR112021009487A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862768934P 2018-11-18 2018-11-18
IL263097A IL263097B2 (en) 2018-11-18 2018-11-18 Optimization of the preparation phase in the automatic visual inspection process
IL263097 2018-11-18
US62/768.934 2018-11-18
PCT/IL2019/051260 WO2020100146A1 (en) 2018-11-18 2019-11-18 Optimizing a set-up stage in an automatic visual inspection process

Publications (1)

Publication Number Publication Date
BR112021009487A2 true BR112021009487A2 (pt) 2021-08-10

Family

ID=65910786

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021009487-3A BR112021009487A2 (pt) 2018-11-18 2019-11-18 otimização de um estágio de configuração em um processo de inspeção visual automática

Country Status (10)

Country Link
US (1) US20220020136A1 (pt)
EP (1) EP3881059A4 (pt)
JP (1) JP2022507678A (pt)
KR (1) KR20210091189A (pt)
CN (1) CN113039432A (pt)
BR (1) BR112021009487A2 (pt)
CA (1) CA3117917A1 (pt)
IL (1) IL263097B2 (pt)
MX (1) MX2021005739A (pt)
WO (1) WO2020100146A1 (pt)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL259285B2 (en) * 2018-05-10 2023-07-01 Inspekto A M V Ltd A system and method for detecting defects on objects in an image
IL260417B (en) 2018-07-04 2021-10-31 Tinyinspektor Ltd System and method for automatic visual inspection
WO2021161321A1 (en) 2020-02-13 2021-08-19 Inspekto A.M.V Ltd User interface device for autonomous machine vision inspection
JP2021131629A (ja) * 2020-02-18 2021-09-09 株式会社リコー 情報処理装置、プログラム、情報生成方法、情報処理システム
WO2023218441A1 (en) * 2022-05-11 2023-11-16 Inspekto A.M.V. Ltd. Optimizing a reference group for visual inspection

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850466A (en) * 1995-02-22 1998-12-15 Cognex Corporation Golden template comparison for rotated and/or scaled images
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
JP4608224B2 (ja) 2004-03-22 2011-01-12 オリンパス株式会社 欠陥画像検査装置及びその方法
US7369236B1 (en) * 2006-10-31 2008-05-06 Negevtech, Ltd. Defect detection through image comparison using relative measures
SG164293A1 (en) * 2009-01-13 2010-09-29 Semiconductor Technologies & Instruments Pte System and method for inspecting a wafer
US8295580B2 (en) * 2009-09-02 2012-10-23 Hermes Microvision Inc. Substrate and die defect inspection method
JP2011232302A (ja) * 2010-04-30 2011-11-17 Ricoh Elemex Corp 画像検査方法及び画像検査装置
JP6138162B2 (ja) * 2012-02-06 2017-05-31 インサイテック・リミテッド 非侵襲的療法中の参照ベースの動き追跡
JP5956814B2 (ja) * 2012-04-20 2016-07-27 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP2015179073A (ja) * 2014-02-26 2015-10-08 株式会社リコー 画像検査装置、画像検査システム及び画像検査プログラム
EP3176751B1 (en) * 2015-12-01 2020-12-30 Ricoh Company, Ltd. Information processing device, information processing method, computer-readable recording medium, and inspection system

Also Published As

Publication number Publication date
US20220020136A1 (en) 2022-01-20
KR20210091189A (ko) 2021-07-21
CN113039432A (zh) 2021-06-25
EP3881059A1 (en) 2021-09-22
IL263097B2 (en) 2024-01-01
WO2020100146A1 (en) 2020-05-22
IL263097A (en) 2020-05-31
IL263097B1 (en) 2023-09-01
MX2021005739A (es) 2021-08-11
CA3117917A1 (en) 2020-05-22
EP3881059A4 (en) 2022-05-11
JP2022507678A (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
BR112021009487A2 (pt) otimização de um estágio de configuração em um processo de inspeção visual automática
US11562480B2 (en) System and method for set up of production line inspection
US11982628B2 (en) System and method for detecting defects on imaged items
WO2019204854A1 (en) System and method for performing automated analysis of air samples
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
CN107431788A (zh) 视觉系统中的基于图像的托盘对准和管槽定位
JP2007114843A (ja) 良否判定装置
WO2020079694A1 (en) Optimizing defect detection in an automatic visual inspection process
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JP2015197396A (ja) 画像検査方法および画像検査装置
US20220335585A1 (en) Set up of a visual inspection process
CN105572133B (zh) 瑕疵检测方法及其装置
US11574400B2 (en) System and method for automated visual inspection
Baykal Inspection of Screw Holes on Machine Parts Using Robot Vision
WO2020053866A1 (en) Streamlining an automatic visual inspection process
CN116188427A (zh) 检测小目标外观缺陷的方法、装置、设备及存储介质
KR102022494B1 (ko) 비전 이미지 검출을 이용한 문서 자동 작성 시스템 및 그 방법
JP6987616B2 (ja) 設定サポートシステム、データサーバ、制御方法およびプログラム
US11816827B2 (en) User interface device for autonomous machine vision inspection
IL265163A (en) System and method for a preparatory test of a production line
CN114813746B (zh) 基于机器视觉的弯针检测的方法、系统、存储介质及设备
RU2789786C2 (ru) Система и способ организации контроля на производственной линии
WO2023218441A1 (en) Optimizing a reference group for visual inspection
Kos et al. Detection, localization and recognition of objects using LabVIEW
CN115668292A (zh) 基于有效区域覆盖的缺陷检测的优化路径规划