BR112012031828B1 - Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório - Google Patents

Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório Download PDF

Info

Publication number
BR112012031828B1
BR112012031828B1 BR112012031828-4A BR112012031828A BR112012031828B1 BR 112012031828 B1 BR112012031828 B1 BR 112012031828B1 BR 112012031828 A BR112012031828 A BR 112012031828A BR 112012031828 B1 BR112012031828 B1 BR 112012031828B1
Authority
BR
Brazil
Prior art keywords
image
images
fact
light sources
topography
Prior art date
Application number
BR112012031828-4A
Other languages
English (en)
Other versions
BR112012031828A2 (pt
Inventor
Lévesque Serge
Original Assignee
Ultra Electronics Forensic Technology Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultra Electronics Forensic Technology Inc. filed Critical Ultra Electronics Forensic Technology Inc.
Publication of BR112012031828A2 publication Critical patent/BR112012031828A2/pt
Publication of BR112012031828B1 publication Critical patent/BR112012031828B1/pt

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

aquisição de imagens topográficas 3d de marcas de ferramentas usando processo estereofotométrico não linear. a presente invenção refere-se a um processo e um sistema de aquisição de imagens 3d para abordar a natureza especular de superfícies metálicas em geral, e peças de evidência balísticas em particular, usando estereofotométrico por identificação e solução de vários conjuntos de equações não lineares, compreendendo um termo difusivo e um termo especular, para determinar um campo de vetor normal superfície n (x,y), e usando n( x, y) para determinar uma topografia 3d z (x, y).

Description

Relatório Descritivo da Patente de Invenção para MÉTODO PARA DETERMINAR UMA TOPOGRAFIA 3D Z (X, Y) DE UMA SUPERFÍCIE ESPECULAR DE UM OBJETO, SISTEMA PARA DETERMINAR UMA TOPOGRAFIA 3D Z (X, Y) DE UMA SUPERFÍCIE ESPECULAR DE UM OBJETO, E MEIO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO.
CAMPO TÉCNICO [0001] A presente invenção refere-se ao campo da aquisição de imagens topográficas de objetos altamente especulares usando processos estereofotométricos não lineares.
ANTECEDENTES DA TÉCNICA [0002] Os testes de comparação balística se baseiam nas estrias e impressões, que são criadas na superfície de uma peça de evidência balística (BPOE), tal como uma bala ou invólucro de cartucho. Essas estrias têm aspectos únicos, que representam uma assinatura única de uma arma de fogo. Por comparação das estrias ou características impressas de duas BPOEs, pode ser possível concluir se houve disparos da mesma arma de fogo.
[0003] Quando da aquisição de imagens topográficas 3D de uma área de um objeto, isto é, um mapa em relevo Z (x, y), em que Z é a altura local da superfície na posição (x, y), um sistema óptico, incluindo um sensor (ou câmera) e uma fonte de luz, é usado. Um objeto sob estudo é iluminado, e uma imagem topográfica da superfície iluminada é adquirida.
[0004] No campo da balística, objetos sob estudo são frequentemente não planos e provavelmente especulares. Isso significa que a maior parte da luz incidente de um ângulo Θ com relação à normal da superfície local N, vai ser refletida em um pequeno cone apontando na direção - Θ. Portanto, se a fonte de luz for colocada ao longo do eixo óptico do sensor, como é o caso para vários
Petição 870190122276, de 25/11/2019, pág. 6/42
2/25 processos ópticos para captura de topografia, apenas uma parte infinitesimal de luz incidente é refletida de volta no sensor em partes da topografia apresentando inclinações significativas, levando a medidas localmente inválidas.
[0005] Um processo totalmente diferente de medida da topografia de um objeto existe. De acordo com o processo, conhecido como estereofotométrico, um conjunto de imagens radiantes (ou de luminância energética) da superfície é adquirido, com diferentes condições de iluminação para cada imagem do conjunto. Se uma refletividade constante da superfície e uma intensidade de iluminação idêntica das fontes de luz são consideradas, e se a superfície é puramente difusiva (ou lambertiana), três fontes de luz são suficientes para recuperar o campo normal superficial N (x, y). A topografia Z (x, y) da superfície é obtida por integração do campo normal.
[0006] No entanto, as imagens radiantes de uma superfície são submetidas a ruído, e a refletividade superficial pode não ser constante, devido à variação local de cor e/ou albedo. Uma solução comum é usar um maior número de fontes de luz, para definir completamente o sistema de equações linear. O campo normal superficial N (x, y) é então obtido por um procedimento de minimização de erro, tal como o esquema de minimização de erro ao quadrado qui. Se o número de fontes de luz for suficientemente grande, pode-se não ter recursos de medir a intensidade das fontes de luz, ou mesmo as posições das fontes de luz, e obter essas informações por um procedimento de adaptação, análise de Componente Principal, ou outros processos conhecidos daqueles versados na técnica.
[0007] Muito poucas superfícies são verdadeiramente difusivas, e a aplicação do procedimento mencionado acima gera resultados muito maus em termos de precisão da topografia, ser a superfície for lustrosa ou brilhante. No entanto, quando a direção de visão é muito
Petição 870190122276, de 25/11/2019, pág. 7/42
3/25 distante da direção de reflexão especular para uma fonte de luz particular, o modelo de Lambert de reflexão de luz em uma superfície pode ainda valer a um certo ponto. De novo, a solução comum, quando do enfrentamento com esse material brilhante ou lustroso, é definir completamente o problema por uso de mais de três fontes de luz e determinar, para cada pixel do conjunto de imagens resultante, se alguma fonte de luz define uma reflexão no sentido da câmera, que seja dominada por contribuição não lambertiana. Se essa condição for encontrada, a contribuição dessa fonte de luz é ignorada na computação da normal superficial N do pixel considerado.
[0008] No entanto, quando da consideração de peças de evidência balísticas (BPOEs), nenhum desses processos vai funcionar, uma vez que a superfície é metálica, o que leva a uma contribuição difusiva de reflexão de luz, se alguma, isto é, ordens de grandeza mais baixas do que aquelas de contribuição especular. Há, portanto, uma necessidade de aperfeiçoar o estereofotométrico para a captura de superfícies metálicas em geral e para as BPOEs em particular.
SUMÁRIO [0009] Descreve-se no presente relatório descritivo um processo e um sistema de aquisição de imagens 3D para abordar a natureza especular de superfícies metálicas em geral, e peças de evidência balísticas, em particular, usando o estereofotométrico por identificação e solução de vários conjuntos de equações não lineares compreendendo um termo difusivo e um termo especular, para determinar um campo de vetor normal superficial N (x, y), e usar N (x, y) para determinar uma topografia 3D Z (x, y).
[00010] De acordo com um primeiro aspecto genérico, proporcionase um processo para determinar uma topografia 3D Z (x, y) de uma superfície especular de um objeto, o processo compreendendo: iluminar sucessivamente a superfície do objeto de várias direções de
Petição 870190122276, de 25/11/2019, pág. 8/42
4/25 eixo localizadas; adquirir pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície do objeto, usando um sensor, tendo um eixo de detecção substancialmente perpendicular a um plano geral da superfície do objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV); usar as imagens radiantes para proporcionar e solucionar vários conjuntos de equações não lineares compreendendo um termo difusivo e um termo especular, para determinar um campo de vetor normal superficial N (x, y); e determinar a topografia 3D Z (x, y) usando o campo de vetor normal superficial N (x, y).
[00011] De acordo com um segundo aspecto genérico, proporcionase um sistema para determinar uma topografia 3D Z (x, y) de uma superfície especular de um objeto, o sistema compreendendo: um sensor para adquirir imagens radiantes 2D, o sensor tendo um eixo de detecção substancialmente perpendicular a um plano global do objeto; um conjunto de K fontes de luz efetivas proporcionadas em várias direções de eixos localizadas; e um meio legível por computador tendo um código de programa armazenado nele e executável por um processador, para: fazer com que as K fontes de luz efetivas iluminem sucessivamente a superfície do objeto das várias direções de eixos localizadas; fazer com que o sensor adquira pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície do objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV); usar as imagens radiantes para proporcionar e solucionar vários conjuntos de equações não lineares compreendendo um termo difusivo e um termo especular, para determinar um campo de vetor normal superficial N (x, y); e determinar a topografia 3D Z (x, y) usando o campo de vetor normal superficial N (x, y).
[00012] De acordo com outro aspecto genérico, proporciona-se um
Petição 870190122276, de 25/11/2019, pág. 9/42
5/25 meio legível por computador tendo codificados nele: um código de programa de um módulo de controle de luz executável por um processador, para fazer com que as K fontes de luz efetivas iluminem sucessivamente uma superfície de um objeto de várias direções de eixos localizadas; um código de programa de um módulo de controle de sensor, executável por um processador, para fazer com que um sensor adquira pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície para o objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV); e um código de programa de um módulo gerador de topografia, executável por um processador para usar as imagens radiantes, para proporcionar e solucionar vários conjuntos de equações não lineares compreendendo um termo difusivo e um termo especular, para determinar um campo de vetor normal superficial N (x, y), e a topografia 3D Z (x, y) usando o campo de vetor normal superficial N (x, y).
[00013] Neste relatório descritivo, o termo topografia 3D é intencionado para significar uma superfície em relevo z (x, y), em que Z é a altura local da superfície na posição (x, y), relativa ao eixo do sensor em um plano perpendicular ao eixo do sensor. A expressão imagem radiante 2D deve ser entendida como o mapa R (x, y) da radiância (ou luminância energética) capturada por uma câmera óptica. É diretamente proporcional a um mapa da intensidade de luz emitida pela superfície na direção da câmera. Essa é chamada, em linguagem comum, uma imagem fotográfica. Ao longo desse texto, deve-se entender que as imagens radiantes são de canal único, ou monocromáticas. Portanto, nenhuma informação de cor é gravada, e a profundidade de bits das imagens se refere à profundidade de bits do canal único. Uma imagem monocromática obtida de uma câmera colorida, ou por combinação de informações de diferentes canais de
Petição 870190122276, de 25/11/2019, pág. 10/42
6/25 cor ou por consideração de apenas um desses canais, pode ser também usada. Deve-se também entender que a câmera tem uma resposta radiométrica linear, ou, de outro modo, que a resposta radiométrica da câmera é conhecida, de modo que a imagem capturada pode ser linearizada. A expressão fontes de luz efetivas deve ser entendida como incluindo um número total de fontes de luz físicas e um número total efetivo de fontes de luz usadas, quando rotações sucessivas de fontes de luz físicas e/ou um objeto sob observação são aplicados.
BREVE DESCRIÇÃO DOS DESENHOS [00014] Outros aspectos e vantagens da presente invenção vão ficar evidentes da descrição detalhada apresentada a seguir, feita em combinação com os desenhos em anexo, em que:
[00015] a figura 1 ilustra uma concretização exemplificativa de um sistema usado para adquirir topografias 3D usando um processo estereofotométrico não linear;
[00016] a figura 2 é um fluxograma ilustrando uma concretização exemplificativa de um processo estereofotométrico não linear para adquirir topografias 3D;
[00017] a figura 3 é um fluxograma ilustrando uma concretização exemplificativa de um processo para adquirir uma imagem tendo níveis de cinza múltiplos;
[00018] a figura 4 é um fluxograma ilustrando uma concretização exemplificativa de um processo para computar uma máscara de validade;
[00019] a figura 5 é um fluxograma ilustrando uma concretização exemplificativa de um processo para computar uma imagem composta e uma máscara de validade composta;
[00020] a figura 6 é uma representação esquemática ilustrando vários vetores usados para cálculos no processo estereofotométrico
Petição 870190122276, de 25/11/2019, pág. 11/42
7/25 não linear;
[00021] a figura 7 é uma representação esquemática ilustrando reflexões de passos múltiplos;
[00022] a figura 8 é um diagrama de blocos de uma concretização exemplificativa para o sistema computadorizado da figura 1; e [00023] a figura 9 é uma representação esquemática ilustrando uma concretização exemplificativa para um conjunto de níveis de elevações múltiplas de fontes de luz.
[00024] Deve-se notar que ao longo dos desenhos em anexo, os itens similares são identificados por números de referência similares.
DESCRIÇÃO DETALHADA [00025] Alguns dos objetos mostrando os aspectos de marcas de ferramentas não são planos. Os invólucros de cartuchos gastos mostram, por exemplo, uma depressão grande e profunda na parte central da cápsula (para calibres de tiro centrais), ou na região externa de uma cabeça de cartucho (para os calibres de tiro baixos). Essa depressão é usualmente de ordens de grandeza mais profunda do que a profundidade usual de marcas de estrias ou impressões úteis para identificação balística. Muitos invólucros de cartuchos gastos de calibres de tiro central também apresentam regiões estendendo-se pelo plano geral da cápsula. Essas regiões são conhecidas como de retrocesso e apresentam, frequentemente, estrias características de armas de fogo de marcas de cisalhamento nos seus limites externos. Além do mais, uma vez que as balas são objetos aproximadamente cilíndricos, o valor local das suas normais superficiais varia continuamente em uma direção perpendicular a um eixo cilíndrico.
[00026] Ainda que um sensor de imagem seja colocado sobre o objeto sob estudo, com seu eixo óptico (ou eixo do sensor) aproximadamente perpendicular ao plano global do objeto e com uma fonte de luz coaxial, pode acontecer que marcas balísticas relevantes
Petição 870190122276, de 25/11/2019, pág. 12/42
8/25 fiquem em áreas superficiais locais, que estão longe de serem perpendiculares ao eixo óptico. Se o material do objeto sob estudo for altamente especular (isto é, reflete mais da luz entrante como se fosse um espelho, com ângulos de incidência e reflexão iguais), do mesmo modo que com metais em geral, e peças balísticas de evidência (BPOEs) em particular, muito pouco da luz incidente brilhando nessas regiões localmente íngremes vai ser refletida de volta para o sensor, resultando em uma medida topográfica inválida.
[00027] A figura 1 ilustra uma concretização exemplificativa de um sistema usado para adquirir topografias 3D, utilizando um processo estereofotométrico não linear. O sistema consiste geralmente de um sensor 102 e um conjunto de K fontes de luz localizadas 106. Como mostrado, o dispositivo de captura de imagem 102 e o aparelho de iluminação 106 são separados, mas um dos eixos da fonte de luz pode ser colinear com o eixo do sensor. Nessa configuração, o dispositivo de captura de imagem 102 é colocado sobre o objeto sob estudo 108, com seu eixo óptico (ou de detecção) 104 aproximadamente perpendicular ao plano global do objeto 108. No presente exemplo, um sistema de coordenadas, tendo um eixo Z que corresponde ao eixo óptico 104 do sensor 102, é usado. Os eixos X e Y são um par de eixos mutuamente ortogonais, que definem o plano perpendicular ao eixo Z. As posições na superfície do objeto e nas imagens capturadas são igualmente denotadas (x, y) e vão descrever indistintamente o ponto físico e o ponto mapeado na imagem. Outros sistemas de coordenadas podem ser usados sem afetar a generalidade deste processo.
[00028] O objeto é iluminado de múltiplas direções de eixos localizadas 106. Além do mais, essas fontes de luz localizadas 106 iluminam um por vez e pelo menos uma imagem radiante é capturada pelo sensor óptico 102, para cada fonte de luz 106 do conjunto. Um
Petição 870190122276, de 25/11/2019, pág. 13/42
9/25 sistema computadorizado 110, tendo um processador 114, e a aplicação 112 e uma memória 116, é ligado operacionalmente ao sensor 102 e às fontes de luz 106, para operações de controle e processamento. A aplicação 112 compreende um código de programa, que é executável pelo processador 114, como vai ser descrito em mais detalhes abaixo.
[00029] A figura 2 é um fluxograma ilustrando um processo exemplificativo para determinar uma topografia 3D Z (x, y) de uma região de um objeto. A primeira etapa do processo é uma etapa de calibração 202, usando um plano de referência, que vai ser explicado em mais detalhes abaixo. A calibração envolve determinar as intensidades relativas das fontes de luz e dos seus modelos de intensidades individuais no campo de visão (FOV) da câmera. Uma vez que a calibração está completa, o plano de referência é substituído pelo objeto 204. O conjunto de K fontes de luz é então iluminado sucessivamente 206, com pelo menos uma imagem radiante capturada pela câmera, para cada fonte de luz do conjunto 208. Uma vez que todas as imagens do conjunto são adquiridas, o campo normal superficial N (x, y) é computado por resolução, para cada pixel do FOV, o conjunto de equações 210 definido completamente:
Ii = A + DiffuseTerm (N, Li) + B * SpecularTerm (N, Li, C), [00030] que resulta em conjuntos independentes de NPX (número de pixels por linha) * NPY (número de pixels por coluna) de equações não lineares, em que i é de 1 a K, Li é o vetor unitário apontando da superfície para a ia fonte de luz, e C é o vetor unitário apontando da superfície para a câmera. O campo normal superficial N (x, y) é então integrado pelo FOV, para computar a topografia 3D Z (x, y) 212. Os coeficientes A e B são desconhecidos e vão ser parte dos resultados da solução da equação, bem como os 3 componentes de N. Em uma concretização, a etapa 208 é conduzida sequencialmente para obter
Petição 870190122276, de 25/11/2019, pág. 14/42
10/25 imagens de maior profundidade de bits, como ilustrado no fluxograma da figura 3. Primeiro, um conjunto de M tempos de integração de câmera (ou velocidades de obturador de câmera) é definido 302. Esses tempos de integração devem ser suficientemente diferentes para gerar imagens capturadas significativamente diferentes. Dependendo da profundidade de bits das imagens capturadas pela câmera e da profundidade de bits alvo da imagem resultante, o número M de tempos de integração pode ser tão baixo quando 2 e tão alto quanto 10, mas um maior M é também possível. A câmara é ajustada sequencialmente a cada tempo de integração 304, e uma imagem é capturada para cada tempo de integração 306. Para cada imagem capturada e armazenada, uma máscara de validade é computada e armazenada 308. Um pixel é declarado inválido se sua intensidade estiver fora da faixa linear de captura da câmera. Uma vez que M imagens são capturadas e as M máscaras são computadas, a imagem resultante, chamada a imagem de alta faixa dinâmica (HDR) ou composta ou combinada, é computada 310.
[00031] A figura 4 ilustra um processo exemplificativo usado para computar a máscara de validade 308 para cada imagem radiante capturada com um determinado tempo de integração. Um par de limiares de intensidade é primeiro definido 402, um limiar para a alta intensidade de pixel TH e um para a baixa intensidade de pixel TL. Um valor de validade de pixel da máscara de validade associada é computado como se segue 404: o valor de pixel da máscara é ajustado em 0, se o valor de intensidade de pixel correspondente na imagem for superior a TH ou abaixo de TL, e é ajustado em 1 de outro modo. Os valores típicos para TL são usualmente muito baixos e consideram os possíveis valores de base nas imagens capturadas pela câmera e/ou o nível de ruído de corrente escura esperado da câmera. Os valores de TL podem ser também ligeiramente maiores,
Petição 870190122276, de 25/11/2019, pág. 15/42
11/25 para evitar sinal dominado por ruído de disparo. Os valores típicos para TH dependem da profundidade de bits original de um único canal nas imagens capturadas pela câmera. Para o caso de imagens de 8 bits, o nível de cinza máximo nas imagens é 255. O valor TH é usado para manter a condição de linearidade entre a intensidade do pixel e o tempo de integração. É, desse modo, ajustado a um valor abaixo de 255 para evitar saturação do pixel, e suficientemente alto para manter uma faixa dinâmica razoável.
[00032] A figura 5 ilustra uma concretização para computar a imagem composta e sua máscara de validade de imagem composta associada 310. Para cada posição de pixel x, y, obtém-se primeiro o conjunto de M intensidades de pixels linearizados adequadamente h (x, y) para cada pixel (x, y) no FOV 502 e os M valores de máscara de validade Maski (x, y) 504. Um valor temporário da intensidade de imagem composta é computado 506 com a seguinte equação:
M
T(x, y) - ôf- y) * h y) * [00033] na qual STi é o i° tempo de integração do conjunto e STm é considerado como sendo o maior tempo de integração do conjunto. Finalmente, a imagem de alta profundidade de bits composta e sua máscara de validade associada são computadas 508, como se segue: [00034] Se
M
MastiCcy) > 0 ; = 1 então
Cte y) = ________ y ^Mask^y) e
CMask (x, y) = 1
Ou
C (x, y) = 0
Petição 870190122276, de 25/11/2019, pág. 16/42
12/25
E
CMask (x, y) = 0, [00035] em que C (x, y) é a imagem composta e CMask (x, y) é sua máscara de validade associada. Outros processos de composição de imagens HDR de um conjunto de M imagens são conhecidos daqueles versados na técnica.
[00036] Essa definição da imagem composta se baseia na linearidade da intensidade registrada com o tempo de exposição. Resultados similares podem ser obtidos por variação da intensidade da fonte de luz e/ou do ganho do sensor. No entanto, a condição de linearidade é mais difícil de obter. Se os parâmetros de construção da imagem composta forem ajustados adequadamente (número de tempos de integração de câmera e seus valores) quase que todos os pixels da imagem composta vão ser válidos.
[00037] Em uma concretização alternativa, uma câmera monocromática digital, com alta capacidade de profundidade de bits, pode ser usada para liberar imagens de alta profundidade de bits, que constituiriam uma substituição conveniente para esse procedimento, e, em alguns casos, torná-la mais rápida por abaixamento do número de tempos de integração da câmera necessários para obter imagens adequadamente profundas.
[00038] Com referência de novo à figura 2, uma vez que o conjunto de K imagens compostas Ci (x, y) é obtido, juntamente com possivelmente um conjunto de K máscaras de validade Cmaski (x, y), o conjunto de equações não lineares levando à computação do campo normal superficial N (x, y) pode ser resolvido 210. A formulação genérica da equação individual do conjunto é a seguinte:
Ii(x,y) = A(x,y)*DiffuseTermi + B(x,y)*SpecularTermi [00039] Os coeficientes A e B são desconhecidos e serão parte dos resultados da solução da equação. Ii (x,y) é a ia imagem composta do
Petição 870190122276, de 25/11/2019, pág. 17/42
13/25 conjunto, ou intensidade registrada da imagem ou imagem composta ou registrada corrigida pelo valor Calmap (x,y) descrito abaixo. O termo difusivo é o modelo de reflexão de luz lambertiano regular em material difusivo e depende apenas do cosseno do ângulo entre a superfície normal e a direção da luz incidente. Pode ser expresso em termos de um produto ponto, que se reduz a:
DiffuseTermi(x,y) = N.L = NxLxi+ NyLyi+ NzLzi, [00040] Nesse caso, N.L indica um produto ponto e Lxi, Lyi e Lzi são as coordenadas cartesianas normalizadas da ia fonte de luz, com a origem do sistema cartesiano sendo no centro do FOV da câmera. Nx, Ny e Nz são as decomposições cartesianas do vetor unitário normal superficial na posição (x, y). Outras formulações do termo difuso são também possíveis.
[00041] A não linearidade da equação aparece no termo especular, que pode ser escrito de diferentes modos, de acordo com o modelo usado para reflexão de luz. Em todos os casos, no entanto, o termo depende do ângulo entre o vetor unitário normal superficial local N e um vetor unitário Li, que aponta na direção da ia fonte de luz. No caso de uma superfície perfeitamente especular, tal como um espelho, a luz emitida da fonte de luz i vai atingir a câmera, apenas se o ângulo entre N e Li for tal que a direção especular S aponta no sentido da câmera, isto é, que o lobo especular seja infinitamente estreito. Para material realmente brilhante tendo um parâmetro de rugosidade igual ou maior do que o comprimento de onda da luz, a reflexão especular ocorre dentro de um lobo, cuja largura depende de características superficiais locais.
[00042] Em uma modalidade, o termo non-linear pode ser modelado usando um modelo Phong. O modelo de reflexão especular Phong usa uma analogia com a função cosseno do termo difusivo e descreve o lobo especular como um cosseno do ângulo entre Si e C elevado à «a
Petição 870190122276, de 25/11/2019, pág. 18/42
14/25 potência. Quanto maior a, mais estreito o lobo especular é. O vetor C aponta para a câmera e, portanto, é igual a [0,0,1] no presente sistema de coordenadas, enquanto o vetor S é expresso em termos de N e L como:
Si = 2(N.Li) N -Li [00043] Considerando a definição acima de C, a ia equação do conjunto então é lida da seguinte forma:
Ii(x,y) = A(x,y)*(NxLxi+ NyLyi+ NzLzi) + B(x,y)*[2(NxLxi+ NyLyi+
NzLzi)Nz —Lzi]a [00044] Nesse ponto, o parâmetro de largura de lobo especular a é desconhecido e vai ser dado pela resolução do conjunto de equações, como A, B e N.
[00045] Em outra concretização, um modelo de Torrence e Sparrow é usado para o termo não linear (também conhecido como modelo de Cook-Torrence). Torrence e Sparrow propuseram um modelo de reflexão de luz em superfícies metálicas. De acordo com esse modelo, cada elemento de uma superfície metálica (ou superfície especular em geral) é subdividido em várias microfacetas, cuja orientação média corresponde à superfície do elemento, mas são, individualmente, distribuídas normalmente aleatoriamente em torno desse valor. Matematicamente, o lobo especular é descrito em termos do produto ponto entre N e um vetor unitário H, que indica a normal superficial local que levaria a uma reflexão especular exatamente no sentido da câmera. Uma vez que o presente sistema de coordenadas é centralizado no centro do FOV da câmera, com seu eixo Z apontando para a câmera, e uma vez que as leis da física ditam que esse vetor se situa exatamente entre L e C (vetor unitário apontando para a câmera), para uma câmera colocada muito longe da superfície do objeto, esse vetor unitário é:
Hi = [Lxi,Lyi,Lzi+1]/|| [Lxi,Ly,Lzi+1] II,
Petição 870190122276, de 25/11/2019, pág. 19/42
15/25 [00046] em que o símbolo II II indica o operador de norma. Uma vez que a câmera repousa em [0,0,1], podemos escrever:
Ii(x,y) = = A(x,y)*(NxLxi+ NyLyi+ NzLzi) +
B(x,y)* Exp[-[ArcCos(NxHxi+ NyHyi+ NzHzi)]2/u2] [00047] Exp é a função exponencial, ArcCos é o inverso da função cosseno e σ é a largura da função exponencial. Quando mais baixo for σ, mais estreito é o lobo especular. Em princípio, B(x, y) deve também conter fatores geométricos, dependendo dos ângulos refletidos e incidentes, que impedem o termo especular de divergir. No entanto, se mantiver o ângulo de inclinação (o ângulo entre o eixo óptico e a direção do centro do FOV e a fonte de luz, também conhecido como ângulo de zênite) dos vetores unitários Li suficientemente distante de π/2 (isto é, distante da incidência rasante), esses fatores podem ser desprezados. Nesse ponto, o parâmetro de largura do lobo especular σ é desconhecido e vai ser dado pela resolução do conjunto de equações, como A, B e N.
[00048] Em outra concretização, um modelo de BeckmannSpizzichino é usado para o termo não linear. De acordo com esse modelo, o termo especular é a soma de duas contribuições: um lobo especular, que pode ser descrito por um modelo do tipo TorrenceSparrow, e uma ponta especular, que descreve a energia luminosa residual, que é refletida em uma maneira perfeitamente especular. O termo especular pode ser desse modo reescrito como:
SpecularTerm = B1(x,y) * SpecularLobe +
B2(x,y) * SpecularSpike [00049] O termo ponta especular é formalmente escrito como 5(N,L), que é igual a 1 se N = H e 0 de outro modo. No entanto, uma vez que a óptica do sensor tem uma abertura numérica finita, o termo ponta especular pode ser escrito, por exemplo, como uma função exponencial muito estreita de N e H.
Petição 870190122276, de 25/11/2019, pág. 20/42
16/25 [00050] Outros modos de modelar a reflexão de luz de superfícies especulares e/ou difusivas vai ser conhecido daqueles versados na técnica.
[00051] Deve-se entender que os modelos descritos previamente, todos os termos Nx, Ny, Nz dependem também da posição (x,y) dentro do FOV. Se a câmera e/ou as fontes de luz não são colocadas muito longe da superfície do objeto, então os vetores unitários Li, Hi e C podem também depender das posições (x,y) na superfície do objeto. As modificações nas equações apresentadas acima, que essas correções geométricas introduzem, vão ser entendidas por aqueles versados na técnica. A figura 6 ilustra a posição de cada um dos vetores N, C, S, H e L.
[00052] Os modelos de Phong e Torrence-Sparrow contêm até cinco parâmetros livres (as três coordenadas cartesianas da normal superficial N [com a restrição de que N é normalizado], os dois coeficientes A e B e a largura do lobo especular) e os modelos de Beckmann - Spizzichino incorporam pelo menos dois parâmetros mais, para considerar a ponta especular. Desde que o número K de fontes de luz, e, desse modo, o número de equações no conjunto para resolver, sejam suficientemente altos, pode-se selecionar resolver para todos esses parâmetros. Alternativamente, é possível medir a função de refletividade do material do objeto sob estudo e fixar os valores dos coeficientes e/ou da largura do lobo e/ou da largura da ponta nas equações e resolver para um conjunto reduzido de parâmetros livres. Esses valores de parâmetros podem ser também fixados por outros meios do que pelas medidas efetivas.
[00053] A etapa 202 da figura 2 se refere a uma calibração de um plano de referência. Isso é feito para calibrar as fontes de luz. Três objetivos dessa etapa são: obter uma calibração de intensidade relativa entre as fontes de luz tendo um mesmo ângulo de inclinação,
Petição 870190122276, de 25/11/2019, pág. 21/42
17/25 para obter uma calibração de intensidade relativa entre as fontes de luz tendo diferentes ângulos de inclinação, e obter uma calibração de intensidade relativa entre os pixels no FOV irradiado por uma fonte de luz particular.
[00054] Em uma concretização, a calibração pode ser feita como se segue. Em primeiro lugar, uma superfície de calibração plana é colocada no FOV da câmera e na distância focal do sensor óptico. As K fontes de luz são irradiadas em uma maneira sequencial, e pelo menos uma imagem radiante é adquirida de cada fonte de luz. A contribuição da corrente escura e/ou do valor de base das imagens é removida de cada uma delas. Um modo possível de executar essa etapa consiste em adquirir uma imagem na ausência de luz e remoção dessa imagem de cada uma delas do conjunto de K imagens. Cada imagem resultante é então dividida pelo cosseno do ângulo de inclinação da fonte de luz associada com a imagem (isso garante que as fontes de luz de diferentes níveis são calibradas, desde que a superfície de calibração seja lambertiana), e as imagens resultantes Ci (x, y) são registradas. Alternativamente, outras superfícies com funções de reflexão conhecidas podem ser usadas com a correção adequada para o ângulo de inclinação da fonte de luz. Para cada imagem do conjunto de K imagens resultantes, a média dos valores dos pixels é registrada. Além do mais, dividem-se esses valores médios pelo valor mais alto do conjunto e registra-se esse conjunto de médias normalizadas como MeanNi. O conjunto de K mapas de calibração é definido como:
CalMapi(x,y) = MeanNi/Ci(x,y) [00055] Em vez de usar o valor de pixel médio de cada imagem de calibração, pode-se considerar os valores máximos ou médios, ou outros valores característicos, dessas imagens e terminar com um conjunto de máximos ou médias, ou outras características,
Petição 870190122276, de 25/11/2019, pág. 22/42
18/25 normalizados, para computar o termo CalMapi(x,y).
[00056] Se nenhuma imagem de calibração for registrada, então os mapas de calibração são ajustados em 1 para cada pixel. Quando do trabalho com imagens calibradas, em todas as equações (precedentes e seguintes), pode-se substituir a intensidade de pixel registrada Ii (x, y) com:
ICi(x,y) = Ii(x,y) X CalMapi(x,y) [00057] Na segunda etapa do procedimento de calibração, as imagens capturadas são divididas pelo cosseno do ângulo de inclinação da fonte de luz, sugerindo que a superfície de calibração seja lambertiana pelo menos para o conjunto de ângulos de inclinação usados. Alternativamente, uma superfície com uma função de reflexão diferente, mas conhecida, pode ser usada com o divisor correto. Outra possível etapa pode ser a de garantir, por outro processo ou aparelho, que todas as K fontes de luz tenham iguais intensidades, ou intensidades diferentes, mas conhecidas. Nesse caso, apenas a última etapa do procedimento mencionado acima precisa ser executada, e a equação em uso é:
CalMapi(x,y) = MeanNi/Ci(x,y) [00058] Meani é o valor médio da ia imagem de calibração. No entanto, essa etapa é opcional no caso no qual as fontes de luz estão suficientemente distantes da superfície, de modo que se pode considerar que geram um modelo de luz constante na superfície.
[00059] Como ilustrado na figura 6, a descrição matemática de reflexão de luz na superfície do objeto no sentido da câmera considera implicitamente uma reflexão de passo único. No entanto, considerando a alta refletividade de materiais especulares e a forma convexa inerente de uma região de cápsula de invólucro de cartucho gasto, reflexões de passos múltiplos na superfície do objeto podem transferir intensidade de luz de uma fonte para a câmera. Isso é ilustrado na
Petição 870190122276, de 25/11/2019, pág. 23/42
19/25 figura 7. Uma superfície especular é sucessivamente irradiada da fonte 1 e da fonte 2, e o resultado é observado com uma câmera. Uma alta intensidade é esperada no pixel da câmera, correspondente ao ponto superficial P1, quando a fonte 1 é irradiada em função da orientação da superfície local refletir luz da fonte 1 dentro de um lobo especular, apontando na direção geral da câmera. Quando a fonte 2 é irradiada, não se deve esperar registrar qualquer luz no pixel da câmera correspondente ao ponto P1, uma vez que a luz deve ser refletida longe da câmera nesse ponto. No entanto, a luz atingindo o ponto P2 da fonte 2 é refletida no sentido do ponto P1, com um ângulo de incidência próximo do ângulo especular ótimo, resultando em uma intensidade significativa registrada no pixel da câmera correspondente ao ponto P1.
[00060] Quando da resolução do vetor normal superficial local para o ponto P1 com intensidade coletada da fonte 1 e da fonte 2, o algoritmo de ajuste vai tentar provavelmente satisfazer as informações compatíveis, em virtude do seu modelo físico não considerar as reflexões múltiplas. Isso resulta usualmente em uma subestimativa da inclinação local da superfície. Notar que a escala da superfície mostrada na figura 7 é relativamente arbitrária. O efeito descrito vai ocorrer desde que o modelo óptico geométrico se mantenha, isto é, se a escala da depressão é maior do que uns poucos mícrons para luz visível. Por menos detalhes, múltiplas reflexões podem ainda ocorrer, mas vão precisar de uma descrição muito mais complicada envolvendo a natureza de onda de luz. Portanto, múltiplas reflexões podem geralmente ocorrer para marcas de ferramenta e marcas balísticas dispostas nos materiais especulares.
[00061] Não há qualquer modo fácil de solucionar esse aspecto, porque transforma uma descrição matemática originalmente local em uma descrição global, que complica a resolução numérica a um nível
Petição 870190122276, de 25/11/2019, pág. 24/42
20/25 que não é prático. Esse problema é usualmente resolvido iterativamente, uma vez que parte de um conhecido prévio da forma superficial é necessária para estimar múltiplas contribuições de reflexão, mas devido à natureza não linear do problema, a convergência não é garantida.
[00062] A abordagem proposta no presente relatório descritivo consiste em remover a contribuição de uma fonte para um pixel particular, se acreditar-se que a intensidade registrada para essa fonte, nesse local, for corrompida significativamente devido às múltiplas reflexões. A identificação da intensidade corrompida induzida por reflexão múltipla é suportada pela noção que a função descrevendo o processo de reflexão é azimultalmente monotônica. Em outras palavras, se considerar-se um grupo de fontes de luz, no qual todas apresentem aproximadamente o mesmo ângulo de inclinação, com relação ao eixo óptico do sistema, mas que são, mais ou menos, distribuídas uniformemente em torno desse eixo (isto é, têm diferentes ângulos de azimute), uma curva da intensidade registrada versus o ângulo de azimute da fonte deve apresentar um único máximo, e esse máximo ocorre para a fonte que é a mais próxima ao plano definido pelo eixo óptico e a normal local N da superfície.
[00063] Na prática, deve-se analisar o conjunto de intensidades registradas para um pixel particular do seguinte modo. Primeiro, reagrupar as intensidades em subconjuntos com ângulos de inclinação comparáveis das fontes de luz, relativos ao eixo óptico, e ordenar as intensidades de acordo com os ângulos de azimute das fontes. Para um subconjunto particular, se as curvas de intensidades versus o ângulo de azimute mostrem apenas um máximo, então todas as intensidades são mantidas para o procedimento de ajuste. Inversamente, se muitos máximos são encontrados, o melhor máximo mais provável é identificado. Isso pode ser feito por comparação das
Petição 870190122276, de 25/11/2019, pág. 25/42
21/25 posições e forma dos máximos com aqueles encontrados em outros subconjuntos de intensidades. O melhor máximo deve se repetir mais uniformemente para todos os subconjuntos de ângulos de inclinação. Uma vez que o máximo correto seja encontrado, todas as intensidades associadas com os outros máximos são removidas do conjunto de dados, que vai ser ajustado.
[00064] De modo similar, a função de reflexão é também monotônica com relação ao ângulo de inclinação para um determinado ângulo de azimute, e é máximo quando o ângulo entre N e o eixo óptico é metade do ângulo de L (a direção da fonte de luz) e o eixo óptico. No entanto, para ângulos de inclinação de baixos valores (isto é, para fontes colocadas próximas do eixo óptico), o ângulo de azimute é de menor significância. Também, uma vez que a função de reflexão não é linear e varia rapidamente com L para um determinado N, não é possível em um único esquema de reflexão registrar altas intensidades de ambos os subconjuntos de ângulos de inclinação baixos e os subconjuntos de ângulos de inclinação altos. Desse modo, um segundo critério é usado para fontes de subconjuntos de ângulos de inclinação mais baixos (isto é, aproximadamente abaixo de 15 graus). Se o valor máximo registrado para um determinado pixel do subconjunto de ângulos de inclinação mais alto exceder k vezes o valor máximo do subconjunto de ângulos de inclinação mais baixos, todas as intensidades do ângulo de inclinação mais baixo são removidas do conjunto de dados a ser ajustado. O valor de k é tipicamente abaixo de 1, e o seu melhor valor exato depende da diferença dos ângulos de inclinação entre os dois subconjuntos.
[00065] As duas técnicas descritas acima para abordar as reflexões de passos múltiplos são usualmente empregadas para cada pixel do FOV da câmera, antes do procedimento de ajuste não linear. Outros processos para identificar intensidades registradas dominadas por
Petição 870190122276, de 25/11/2019, pág. 26/42
22/25 reflexões múltiplas podem ser usados, como vai ser reconhecido por aqueles versados na técnica.
[00066] A figura 8 é um diagrama de blocos de uma concretização exemplificativa para a aplicação 112 sendo executada no processador 114 do sistema computadorizado 110 da figura 1. Uma unidade de controle de luz 802 controla as fontes de luz 106, de modo que estas sejam iluminadas sequencialmente uma por vez. Uma unidade de controle de câmera 804 controla o sensor 102 para adquirir as imagens nos tempos adequados e de acordo com os tempos de integração determinados previamente, como explicado acima. Cada imagem adquirida é recebida na unidade de recebimento de imagens 806 e transferida para o gerador de imagens 808.
[00067] O gerador de imagens 808 usa as imagens adquiridas para resolver um conjunto de equações não lineares, compreendendo um termo difuso e um termo especular, para obter a topografia 3D Z (x, y). Como descrito acima, isso é feito por resolução, para cada pixel das K imagens, um conjunto completamente definido de K equações ligando uma radiância capturada ou calibrada Ii de uma ia imagem com uma soma do termo difusivo e do termo especular, que depende de uma normal superficial local, uma direção de iluminação e/ou uma direção de visualização. Um mapa da normal da unidade superficial calculada N é integrado para obter a topografia superficial Z (x, y). Uma interface de usuário 801 é conectada ao processador 114. A interface de usuário pode compreender um teclado, um monitor e quaisquer outros componentes de interfaces de usuário usados para interação com um sistema computadorizado. Por exemplo, um monitor pode ser usado para introduzir e descarregar, se a tela for uma tela de toque. Várias outras concretizações vão ser facilmente entendidas por aqueles versados na técnica.
[00068] Uma memória 116 pode ser dotada e ser acessível pelo
Petição 870190122276, de 25/11/2019, pág. 27/42
23/25 processador 114, para receber e armazenar dados. A memória pode ser uma memória principal, tal como uma Memória de Acesso Aleatório (RAM) de alta velocidade, ou uma unidade de armazenamento auxiliar, tal como um disco rígido, um disco flexível ou uma unidade de fita magnética. A memória pode ser qualquer outro tipo de meio legível por computador, tal como uma Memória Exclusiva de Leitura (ROM), ou meios de armazenamento óptico, tais como um videodisco e um disco compacto. Notar que a memória 116 pode ser externa ao sistema computadorizado 110.
[00069] O processador 114 pode acessar a memória 116 para recuperar dados. O processador 114 pode ser qualquer dispositivo, que pode executar operações em dados. Os exemplos são uma unidade de processamento central (CPU), um processador auxiliar, um microprocessador, uma unidade de processamento gráfico (GPU/VPU), uma unidade de processamento físico (PPU), um processador de sinal digital e um processador de rede. Uma aplicação pode ser acoplada ao processador 114 e configurada para executar várias tarefas, como explicado acima em mais detalhes. Deve-se entender que os módulos ilustrados na figura 8 podem ser proporcionados em uma única aplicação ou em uma combinação de duas ou mais aplicações acopladas ao processador 114.
[00070] Em algumas concretizações, o processador 114 é configurado para controlar o sensor, para adquirir pelo menos uma imagem, com cada um dos tempos de integração definidos, enquanto uma fonte de luz está ligada e brilha com intensidade constante. Para cada pixel de cada imagem do conjunto, o gerador de imagem 808 vai determinar se esse pixel é válido, se sua intensidade registrada está abaixo de um limiar predefinido. Para cada posição de pixel do FOV, o gerador de imagem 808 vai adicionar os valores de intensidade do pixel valido do conjunto, multiplicados pelo inverso do seu tempo de
Petição 870190122276, de 25/11/2019, pág. 28/42
24/25 integração, e dividir o resultado pelo número de pixels válidos nessa posição, para obter uma imagem aumentada em profundidade de bits composta.
[00071] Em algumas concretizações, o conjunto de K fontes de luz é subdividido em J subconjuntos, cada um desses subconjuntos sendo caracterizado por um ângulo de inclinação definido. J pode ser dois ou mais do que dois. A figura 9 ilustra uma concretização exemplificativa para as fontes de luz.
[00072] Em algumas concretizações, as K fontes de luz efetivas são obtidas de Q fontes de luz físicas e de uma série de P rotações do objeto sob estudo em torno do eixo óptico do sensor. Os processos para realinhar as imagens capturadas com o conjunto de imagens não girado são conhecidos daqueles versados na técnica. As rotações podem ser aplicadas a todo o sensor ou ao conjunto de luzes apenas, sem afetar a generalidade do processo. Se apenas o conjunto de luzes for girado, então todas das K fontes de luz efetivas precisa de um mapa de calibração. Se o objeto for girado (ou o sensor conjuntamente com o conjunto de fontes de luz), então apenas as Q fontes de luz físicas precisam de um mapa de calibração, mas este deve ser aplicado à imagem antes do procedimento de realinhamento.
[00073] Ainda que ilustrado nos diagramas de bloco como grupos de componentes distintos em comunicação entre si, por meio de distintas conexões de sinais de dados, aqueles versados na técnica devem entender que as concretizações preferidas são proporcionadas por uma combinação de componentes de hardware e software, com alguns componentes sendo implementados por uma determinada função ou operação de um sistema de hardware ou software, e muitos dos caminhos de dados ilustrados sendo implementados por comunicação de dados, dentro de uma aplicação de computador ou sistema operacional. A estrutura ilustrada é, desse modo,
Petição 870190122276, de 25/11/2019, pág. 29/42
25/25 proporcionada para eficiência de ensinamento da presente concretização preferida.
[00074] Deve-se notar que a presente invenção pode ser conduzida como um processo, pode ser representada por um sistema, um meio legível por computador ou um sinal elétrico ou eletromagnético. As concretizações da invenção descritas acima são intencionadas para serem apenas exemplificativas. O âmbito da invenção é, portanto, intencionado para ser limitado apenas pelo âmbito das reivindicações em anexo.

Claims (18)

  1. REIVINDICAÇÕES
    1. Método para determinar uma topografia 3D Z (x, y) de uma superfície especular de um objeto, o processo caracterizado pelo fato de que compreende:
    iluminar sucessivamente a superfície do objeto de várias posições de eixo localizadas o objeto tendo uma reflexão especular dominante sobre uma reflexão difusiva;
    adquirir pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície do objeto, usando um sensor, tendo um eixo de detecção substancialmente perpendicular a um plano geral da superfície do objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV);
    para cada imagem radiante do conjunto, definir uma radiância medida na posição (x, y) de uma imagem i como uma soma de um termo de reflexão difusiva e um termo de reflexão especular dependente de um campo de vetor normal de superfície N(x, y), uma direção de fonte de lux Li e uma direção de câmera C, para obter um conjunto de equações não lineares;
    solucionar o conjunto de equações não lineares para pelo menos o termo de reflexão especular para encontrar o campo de vetor normal superficial N(x, y); e integrar o campo de vetor normal superficial N(x, y) sobre o FOV para determinar a topografia 3D Z(x, y).
  2. 2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda calibrar um plano de referência e substituir o plano de referência com o objeto, antes de iluminar sucessivamente a superfície do objeto.
  3. 3. Método de acordo com a reivindicação 2, caracterizado pelo fato de que calibrar o plano de referência compreende:
    Petição 870190122276, de 25/11/2019, pág. 31/42
    2/7 colocar uma superfície de referência em um campo de visão do sensor, a uma distância focal dela;
    iluminar sucessivamente a superfície de referência das várias posições de eixo localizadas;
    adquirir pelo menos uma imagem radiante de calibração em cada iluminação sucessiva;
    computar um conjunto de valores característicos para as imagens radiantes de calibração;
    determinar um valor característico máximo;
    normalizar o conjunto de valores característicos pelo valor máximo, para obter um conjunto de características normalizadas Mi; e obter um conjunto de mapas de calibração de um inverso das imagens de calibração dividido pelas características normalizadas Mi; em que as imagens calibradas para a fonte i são obtidas por multiplicação de uma imagem capturada com um i° mapa de calibração.
  4. 4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda usar o campo de vetor normal superficial N (x, y) para visualizar o objeto com um mecanismo de sintetização.
  5. 5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que iluminar sucessivamente a superfície do objeto compreende usar Q fontes de luz físicas e uma série de P rotações do objeto ou das fontes de luz físicas, em torno do eixo de detecção do sensor, para obter as K direções de eixos localizadas, K > Q.
  6. 6. Método de acordo com a reivindicação 1, caracterizado pelo fato de que adquirir pelo menos uma imagem compreende:
    definir um conjunto de M diferentes tempos de integração de câmera;
    adquirir uma imagem com cada um dos tempos de
    Petição 870190122276, de 25/11/2019, pág. 32/42
    3/7 integração definidos, adquirindo, desse modo, M imagens;
    computar uma máscara de validade para cada uma das imagens; e computar uma imagem composta tendo uma maior profundidade de bits do que a imagem adquirida, e computar uma máscara de validade composta, usando essa imagem adquirida com cada um dos tempos de integração e máscaras de validade correspondentes.
  7. 7. Método de acordo com a reivindicação 6, caracterizado pelo fato de que computar a máscara de validade para cada uma das imagens compreende:
    ajustar um limiar de intensidade alto TH e ajustar um limiar de intensidade baixo TL; e ajustar um valor de máscara (x, y) para cada pixel nessa imagem, em função de TH e TL.
  8. 8. Método de acordo com a reivindicação 6, caracterizado pelo fato de que computar a imagem composta e a máscara de validade composta compreende:
    obter um conjunto de M intensidades de pixel Ii (x, y) das M imagens;
    obter os valores das M máscaras de validade Maski (x, y) da máscara de validade de cada imagem;
    computar um valor temporário para uma intensidade de imagem composta; e computar uma imagem de alta profundidade de bits composta e uma máscara de validade composta associada.
  9. 9. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende ainda remover equações dos conjun-tos de equações não lineares, em que a radiância medida é afetada pelas reflexões de passos múltiplos na superfície do objeto.
    Petição 870190122276, de 25/11/2019, pág. 33/42
    4/7
  10. 10. Sistema para determinar uma topografia 3D Z (x, y) de uma superfície especular de um objeto, o sistema caracterizado pelo fato de que compreende:
    um sensor para adquirir imagens radiantes 2D, o sensor tendo um eixo de detecção substancialmente perpendicular a um plano global do objeto, o objeto tendo uma reflexão especular dominante sobre uma reflexão difusiva;
    um conjunto de K fontes de luz efetivas proporcionadas em várias direções de eixos localizadas; e um meio legível por computador tendo um código de programa armazenado nele e executável por um processador, para:
    fazer com que as K fontes de luz efetivas iluminem sucessivamente a superfície do objeto das várias direções de eixos localizadas;
    fazer com que o sensor adquira pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície do objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV);
    para cada imagem radiante do conjunto, definir uma radiância medida na posição (x, y) em uma imagem i como uma soma de um termo de reflexão difusiva e um termo de reflexão especular dependente de um campo de vetor normal de superfície N(x, y), uma direção de fonte de lux Li e uma direção de câmera C, para obter um conjunto de equações não lineares;
    solucionar o conjunto de equações não lineares para pelo menos o termo de reflexão especular para encontrar o campo de vetor normal superficial N(x, y); e integrar o campo de vetor normal superficial N(x, y) sobre o FOV para determinar a topografia 3D Z(x, y).
  11. 11. Sistema de acordo com a reivindicação 10,
    Petição 870190122276, de 25/11/2019, pág. 34/42
    5/7 caracterizado pelo fato de que o meio legível por computador compreende ainda um código de programa, executável por um processador, para calibrar um plano de referência.
  12. 12. Sistema de acordo com a reivindicação 11, caracterizado pelo fato de que o código de programa para calibrar o plano de referência compreende o código de programa para:
    fazer com que as K fontes de luz efetivas iluminem sucessivamente uma superfície de referência das várias direções de eixos localizadas;
    fazer com que o sensor adquira pelo menos uma imagem radiante de calibração em cada iluminação sucessiva;
    computar um conjunto de valores característicos para as imagens radiantes de calibração;
    determinar um valor característico máximo;
    normalizar o conjunto de valores característicos pelo valor máximo, para obter um conjunto de características normalizadas Mi; e obter um conjunto de mapas de calibração de um inverso das imagens de calibração dividido pelas características normalizadas Mi; em que as imagens calibradas para a fonte i são obtidas por multiplicação de uma imagem capturada com um i° mapa de calibração.
  13. 13. Sistema de acordo com a reivindicação 10, caracterizado pelo fato de que as K fontes de luz efetivas compreendem Q fontes de luz físicas rotativas a posições correspondentes às várias direções de eixos localizadas.
  14. 14. Sistema de acordo com a reivindicação 10, caracterizado pelo fato de que compreende ainda um suporte para girar o objeto a várias direções de eixos localizadas, para corresponder às várias direções de eixos localizadas para as K fontes de luz efetivas.
    Petição 870190122276, de 25/11/2019, pág. 35/42
    6/7
  15. 15. Sistema de acordo com a reivindicação 10, caracterizado pelo fato de que as K fontes de luz efetivas são proporcionadas em vários subconjuntos tendo diferentes ângulos de inclinação.
  16. 16. Sistema de acordo com a reivindicação 10, caracterizado pelo fato de que o código de programa para solucionar o conjunto de equações não lineares também compreende um código de programa para remover equações do conjunto de equações não lineares em que a radiância medida é afetada por reflexões de passos múltiplos na superfície do objeto.
  17. 17. Meio legível por computador não transitório caracterizado pelo fato de que tem codificados nele:
    um código de programa de um módulo de controle de luz executável por um processador, para fazer com que as K fontes de luz efetivas iluminem sucessivamente uma superfície de um objeto de várias direções de eixos localizadas, o objeto tendo uma reflexão especular dominante em relação a uma reflexão difusiva;
    um código de programa de um módulo de controle de sensor, executável por um processador, para fazer com que um sensor adquira pelo menos uma imagem da superfície do objeto em cada iluminação sucessiva da superfície para o objeto, resultando, desse modo, em um conjunto de imagens radiantes tendo um mesmo campo de visão (FOV); e um código de programa de um módulo gerador de topografia, executável por um processador para definir, para cada imagem radiante do conjunto, uma radiância medida na posição (x, y) de uma imagem i como uma soma de um termo de reflexão difusa e um termo de reflexão especular dependente de um campo de vetor normal superficial N(x, y), direção de fonte de lux Li e uma direção de câmera C, para obter um conjunto de equações não lineares;
    Petição 870190122276, de 25/11/2019, pág. 36/42
    7/7 solucionar conjunto de equações não lineares pelo menos para o termo de reflexão especular para encontrar o campo de vetor normal superficial N(x, y); e integrar o campo de vetor normal superficial N(x, y) sobre o FOV para determinar a topografia 3D Z(x, y).
  18. 18. Meio legível por computador não transitório, de acordo com a reivindicação 17, caracterizado pelo fato de que o código de programa do módulo gerador de topografia compreende ainda um código de programa para remover equações do conjunto de equações não lineares em que a radiância medida é afetada por reflexões de passos múltiplos na superfície do objeto.
BR112012031828-4A 2010-06-16 2011-06-02 Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório BR112012031828B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US35524110P 2010-06-16 2010-06-16
US61/355,241 2010-06-16
PCT/CA2011/050335 WO2011156919A1 (en) 2010-06-16 2011-06-02 Acquisition of 3d topographic images of tool marks using non-linear photometric stereo method

Publications (2)

Publication Number Publication Date
BR112012031828A2 BR112012031828A2 (pt) 2016-11-08
BR112012031828B1 true BR112012031828B1 (pt) 2020-05-12

Family

ID=45328712

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112012031828-4A BR112012031828B1 (pt) 2010-06-16 2011-06-02 Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório

Country Status (11)

Country Link
US (1) US9007457B2 (pt)
EP (1) EP2583054B1 (pt)
CN (1) CN103003663B (pt)
AU (1) AU2011267751B2 (pt)
BR (1) BR112012031828B1 (pt)
CA (1) CA2801097C (pt)
ES (1) ES2742264T3 (pt)
MX (1) MX2012014516A (pt)
RU (1) RU2557674C2 (pt)
WO (1) WO2011156919A1 (pt)
ZA (1) ZA201208945B (pt)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9202310B2 (en) * 2010-04-13 2015-12-01 Disney Enterprises, Inc. Physical reproduction of reflectance fields
JP6576354B2 (ja) * 2014-01-23 2019-09-18 パフォーマンス エスケー8 ホールディング インコーポレイテッド ボード本体の製造のためのシステムと方法
CZ305606B6 (cs) * 2014-03-31 2016-01-06 Ăšstav teoretickĂ© a aplikovanĂ© mechaniky AV ÄŚR, v.v.i. Integrální zařízení pro tvorbu digitalizovaných 3D modelů objektů pomocí metody fotometrického sterea
JP6366344B2 (ja) * 2014-05-02 2018-08-01 国立大学法人群馬大学 ツールマーク照合システム
GB2526866A (en) * 2014-06-05 2015-12-09 Univ Bristol Apparatus for and method of inspecting surface topography of a moving object
JP6290720B2 (ja) * 2014-06-09 2018-03-07 株式会社キーエンス 検査装置、検査方法およびプログラム
DE102014112648A1 (de) 2014-08-29 2016-03-03 Carl Zeiss Ag Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
US9664507B2 (en) 2014-09-17 2017-05-30 Canon Kabushiki Kaisha Depth value measurement using illumination by pixels
US9958383B2 (en) * 2014-12-18 2018-05-01 Microsoft Technology Licensing, Llc. Range camera
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
US9958259B2 (en) 2016-01-12 2018-05-01 Canon Kabushiki Kaisha Depth value measurement
DE102016106535B4 (de) * 2016-04-08 2019-03-07 Carl Zeiss Ag Vorrichtung und Verfahren zum Vermessen einer Flächentopografie
ES2923881T3 (es) 2016-06-23 2022-10-03 Ultra Electronics Forensic Tech Inc Detección de irregularidades superficiales en monedas
CN107677216B (zh) * 2017-09-06 2019-10-29 西安交通大学 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法
US11249293B2 (en) 2018-01-12 2022-02-15 Iballistix, Inc. Systems, apparatus, and methods for dynamic forensic analysis
RU2682012C1 (ru) * 2018-05-04 2019-03-14 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Устройство выявления электронного портрета тепловизионной камеры
US10785422B2 (en) 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
KR102222992B1 (ko) * 2019-07-03 2021-03-05 대한민국 가해진 힘의 측정이 가능한 공구 줄무늬흔 생성 실험장치 및 이를 이용하여 가해진 힘을 측정하는 방법
CN110227662A (zh) * 2019-08-08 2019-09-13 征图新视(江苏)科技股份有限公司 一种受话器产品成像缺陷的检测方法及其检测光源
US20220392045A1 (en) 2019-11-15 2022-12-08 Vural DERYA Topographical ballistic identification with section profiles and comparison system
CN115164776B (zh) * 2022-07-04 2023-04-21 清华大学 一种结构光解码与深度学习融合的三维测量方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2786207B2 (ja) * 1988-08-26 1998-08-13 株式会社日立製作所 走査型顕微鏡における表面形状算出方法
US4912336A (en) * 1989-02-21 1990-03-27 Westinghouse Electric Corp. Surface shape and reflectance extraction system
JP2682559B2 (ja) * 1992-09-30 1997-11-26 インターナショナル・ビジネス・マシーンズ・コーポレイション 物体の画像をディスプレイ装置上に表示する装置及び方法並びにコンピュータ・グラフィックス表示システム
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
DE69703487T2 (de) 1997-08-22 2001-06-13 Fraunhofer Ges Forschung Verfahren und Vorrichtung zur automatischen Prüfung bewegter Oberflächen
US6410872B2 (en) 1999-03-26 2002-06-25 Key Technology, Inc. Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio
EP1391176A1 (en) * 2002-08-16 2004-02-25 Universiteit Maastricht Method and arrangement for performing measurements of the topography of a corneal surface
US7359562B2 (en) 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
US7545963B2 (en) * 2003-04-04 2009-06-09 Lumidigm, Inc. Texture-biometrics sensor
JP3996630B2 (ja) 2005-01-19 2007-10-24 松下電器産業株式会社 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
US7689035B2 (en) * 2005-06-17 2010-03-30 The Regents Of The University Of California Methods for identifying, separating and editing reflection components in multi-channel images and videos
JP2007206797A (ja) * 2006-01-31 2007-08-16 Omron Corp 画像処理方法および画像処理装置
JP4082714B2 (ja) 2006-05-29 2008-04-30 松下電器産業株式会社 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム
KR100967701B1 (ko) * 2007-02-26 2010-07-07 한국외국어대학교 연구산학협력단 3차원 유화 데이터의 복원
US8085987B2 (en) * 2007-10-26 2011-12-27 Ahmed Shalaby Method and tool for surface texture evaluation
MX2010012506A (es) * 2008-05-16 2010-12-21 Forensic Technology Wai Inc Adquisicion de topografias de objetos que tienen geometrias arbitrarias.
EP2288849B1 (en) * 2008-06-11 2013-10-30 Koninklijke Philips N.V. Light emitting system producting beam with adjustable width

Also Published As

Publication number Publication date
ZA201208945B (en) 2015-08-26
AU2011267751B2 (en) 2014-12-18
AU2011267751A1 (en) 2012-12-20
CN103003663A (zh) 2013-03-27
US9007457B2 (en) 2015-04-14
MX2012014516A (es) 2013-01-29
CN103003663B (zh) 2016-03-16
EP2583054B1 (en) 2019-05-22
CA2801097C (en) 2015-08-04
US20110311107A1 (en) 2011-12-22
ES2742264T3 (es) 2020-02-13
BR112012031828A2 (pt) 2016-11-08
CA2801097A1 (en) 2011-12-22
EP2583054A4 (en) 2017-08-23
WO2011156919A1 (en) 2011-12-22
EP2583054A1 (en) 2013-04-24
RU2557674C2 (ru) 2015-07-27
RU2013101791A (ru) 2014-07-27

Similar Documents

Publication Publication Date Title
BR112012031828B1 (pt) Método para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, sistema para determinar uma topografia 3d z (x, y) de uma superfície especular de um objeto, e meio legível por computador não transitório
Tong An evaluation of digital image correlation criteria for strain mapping applications
EP3265789B1 (en) Imaging system and method with scatter correction
US20100140485A1 (en) Imaging system and method with scatter correction
ATE465425T1 (de) Kompensationsalgorithmus bei abschneidung für iterative rekonstruktion
WO2016145582A1 (zh) 相位偏移校准方法、3d形状检测的方法、系统及投影系统
BRPI0907048B1 (pt) método para medir a temperatura de um material em chapa, e, sistema de medição de temperatura
KR20150084680A (ko) 서브-레졸루션 광학 검출
JP2016186421A (ja) 画像処理方法
JP2021047200A (ja) 表面特性を決定する多段階方法および調査装置
US8755586B2 (en) Image reconstruction including shift-variant blur compensation
Zhiqiang et al. An experimental method for eliminating effect of rigid out-of-plane motion on 2D-DIC
JP2012233881A (ja) 核医学イメージング方法、核医学イメージング装置及び記憶媒体
US10195002B2 (en) Device and method for generating dental three-dimensional surface image
US20190304110A1 (en) Characterization of specular surfaces
Langmann Wide area 2D/3D imaging: development, analysis and applications
CN112288785B (zh) 子孔径扫描平场定标的数据处理方法、系统和存储介质
US10657665B2 (en) Apparatus and method for generating three-dimensional information
JP2023025805A (ja) 画像処理システム、画像処理方法、及びプログラム
BR102014031964A2 (pt) sistema móvel e método para a análise da textura da superfície dos revestimentos dos pavimentos
JP5019798B2 (ja) タイヤ検査方法
Sawyer et al. Practical improvement of geometric parameter estimation for cone beam microCT imaging
Krzesłowski et al. Novel calibration procedure for SVBRDF estimation of 3D objects using directional illumination and structured light projection
JP2004184349A (ja) 光強度分布計測方法、および光強度分布計測装置
Zhang et al. A Stratified Reconstruction Algorithm Based on Affine Point Correspondences

Legal Events

Date Code Title Description
B25A Requested transfer of rights approved

Owner name: ULTRA ELECTRONICS FORENSIC TECHNOLOGY INC. (CA)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 02/06/2011, OBSERVADAS AS CONDICOES LEGAIS.