BR112013029691B1 - Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d - Google Patents

Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d Download PDF

Info

Publication number
BR112013029691B1
BR112013029691B1 BR112013029691-7A BR112013029691A BR112013029691B1 BR 112013029691 B1 BR112013029691 B1 BR 112013029691B1 BR 112013029691 A BR112013029691 A BR 112013029691A BR 112013029691 B1 BR112013029691 B1 BR 112013029691B1
Authority
BR
Brazil
Prior art keywords
intensity characteristics
image
lighting pattern
intensity
subset
Prior art date
Application number
BR112013029691-7A
Other languages
English (en)
Other versions
BR112013029691A2 (pt
Inventor
Ruud Vlutters
Dmitry Nikolayevich Znamenskiy
Karl Catharina Van Bree
Original Assignee
Koninklijke Philips N.V
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips N.V filed Critical Koninklijke Philips N.V
Publication of BR112013029691A2 publication Critical patent/BR112013029691A2/pt
Publication of BR112013029691B1 publication Critical patent/BR112013029691B1/pt

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Abstract

método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, produto de programa de computador, e scanner de objetos 3d para determinação de informações de posições 3d. diversos padrões de iluminação estruturados são projetados sobre um objeto. cada padrão de iluminação estruturado sucessivo possui primeiro e segundo subconjuntos de características de intensidade, tais como extremidades entre áreas clara e escura. as características de intensidade do primeiro conjunto coincidem no espaço com as características de intensidade do primeiro ou segundo subconjunto de um padrão de iluminação estruturado anterior na série. são detectadas posições de imagem em que as características de intensidade dos primeiro e segundo subconjuntos dos padrões de iluminação estruturados são visíveis nas imagens. posições de imagem em que as características de intensidade do primeiro subconjunto são visíveis são associadas às características de intensidade do primeiro subconjunto, com base nas características de intensidade associadas de posições de imagem detectadas mais próximas com características de intensidade associadas na imagem obtida com um padrão de iluminação estruturado anterior na mencionada série. posições de imagens em que as características de intensidade do segundo subconjunto são visíveis, entre pares das posições de imagens associadas a características de intensidade do primeiro subconjunto, com características de intensidade do segundo subconjunto entre as características de intensidade associadas ao par de posições. as características de intensidade associadas em um padrão de iluminação estruturado final da série são utilizadas para identificar as características de intensidade do padrão de iluminação estruturado final para determinação das informações da posição de superfície 3d.

Description

CAMPO DA INVENÇÃO
A presente invenção refere-se a um método e sistema de determinação de informações 3D utilizando iluminação estruturada.
ANTECEDENTES DA INVENÇÃO
Iluminação estruturada é uma técnica bem conhecida para uso na extração de informações 3D de uma cena. A extração de informações 3D é baseada na projeção de um padrão de iluminação conhecido em uma cena e captura da imagem resultante com uma câmera da cena. A técnica trabalha com base na disparidade (como durante o uso de uma estereocâmera), com uma distância (frequentemente denominada linha base) entre a câmera e um projetor que projeta o padrão de iluminação. Como resultado dessa disparidade, pode-se determinar a profundidade de um objeto (visto da câmera). De forma similar a uma estereocâmera, esse sistema pode estimar a profundidade, mas, à medida que projetamos estruturas (padrões) de iluminação, o sistema também trabalha sobre objetos uniformes, o que não é o caso para uma câmera estéreo. Sistemas de iluminação estruturados, portanto, fornecem estimativa da profundidade muito mais confiável que sistemas de visão estéreo.
Uma etapa fundamental da extração de informações 3D é a determinação de onde as características do padrão de iluminação são projetadas sobre o objeto pelo projetor. Isso às vezes é denominado "decodificação". Uma técnica de decodificação é descrita em um artigo de Gumholdt et al intitulado Image-Based Motion Compensation for Structured Light Scanning of Dynamic Surfaces (IJISTA (2008) 434-441).
Nesta técnica, diversos padrões de iluminação estruturados diferentes são utilizados sucessivamente, em que a dependência do tempo da intensidade de pixel é utilizada para identificar o plano do projetor que intersecciona o objeto no pixel. Na sua forma mais simples, esta técnica considera que o objeto não se move. Caso o movimento do objeto não possa ser excluído, utiliza-se compensação de movimento de acordo com um vetor de movimento para mapear um ponto de objeto no mesmo pixel em uma série de imagens. Gumholdt menciona que a detecção do movimento de fitas do padrão de iluminação estruturado pode ser utilizada para determinar o vetor de movimento necessário, mas Gumholdt prefere uma técnica mais robusta, na qual são utilizados padrões de iluminação de referência especiais para obter imagens que podem ser correlacionadas para determinar os vetores de movimento. Estes métodos, entretanto, ainda não são completamente robustos. WO 2011/013373 descreve a determinação de informações 3D por meio de iluminação estruturada. Locais de pixel são codificados pela iluminação de uma hierarquia de padrões de iluminação, por meio de valores de bits determinados dependendo se o local da imagem exibe uma área clara ou escura quando iluminado com os padrões de iluminação sucessivos. Para obter localizações de extremidades precisas, o objeto é finalmente iluminado sucessivamente com dois padrões de iluminação binários complementares e os valores de pixel nas transições entre esses padrões são utilizados para determinar as posições das extremidades nas outras imagens. US 2010/194855 aumenta a precisão de locais de extremidades utilizando uma série final de padrões de iluminação analógicos comutados por fase. 0 rastreamento de extremidades móveis em um método de determinação de informações 3D a partir de iluminação estruturada é descrito por 0. Hall-Holt et al em um artigo intitulado: Stripe Boundary Codes for Real-Time Structure Light Range Scanning of Moving Objects,publicado nos Anais da Oitava Conferência Internacional do IEEE sobre Visão Computadorizada (ICCV), Vancouver, Colúmbia Britânica, Canadá, 7-14 de julho de 2001; IEEE Comp. Soc., vol. 2, 7 de julho de 2001, págs. 359-366 (referência EPO XP010554111). Hall-Holt descreve o uso de marcação de extremidades por meio de quatro padrões de iluminação sucessivos, em que as mesmas extremidades são exibidas com diferentes combinações de intensidades de luz e escuro sobre qualquer um dos lados. Hall-Holt rastreia todas as extremidades de quadro a quadro, considerando fantasmas (extremidades de fitas pretas-pretas e brancas-brancas inferidas). Todas as posições possíveis de fantasmas são idealizadas e cada extremidade visível coincide com a fita mais próxima ou possível fantasma no quadro anterior.
RESUMO DA INVENÇÃO
Dentre outros, é um objetivo fornecer um sistema e método mais robustos de determinação de informações da posição de superfícies 3D a partir de uma imagem 2D de uma cena obtida com iluminação estruturada. Ê fornecido um método de determinação de informações da posição de superfície 3D de acordo com a reivindicação 1. No presente, são utilizados diversos padrões de iluminação estruturados com características de intensidade tais como extremidades entre áreas com intensidade mutuamente diferente. São utilizados padrões de iluminação estruturados diferentes da série para iluminar um objeto em momentos de tempo diferentes e são empregadas imagens resultantes do objeto para detectar as posições em que as características de intensidade são visíveis na imagem. Um primeiro e um segundo subconjuntos das características de intensidade são diferenciados para determinar qual posição detectada corresponde a qual característica de intensidade no padrão de iluminação estruturado. No exemplo em que as características de intensidade são extremidades, as características do primeiro conjunto podem ser extremidades em que a intensidade ao longo de um trajeto através da imagem eleva-se até o nível de intensidade de áreas com alta intensidade e as características do segundo subconjunto podem ser extremidades ao longo do trajeto em que a intensidade cai de áreas com alta intensidade, por exemplo.
Na série de padrões de iluminação estruturados, o primeiro subconjunto das características de intensidade de cada imagem sucessiva coincide espacialmente com as características (do primeiro e do segundo subconjuntos) de um padrão de iluminação estruturado anterior na série. Em comparação com o padrão de iluminação estruturado anterior, as características de intensidade do segundo subconjunto são características adicionais, localizadas entre as características de intensidade do primeiro subconjunto e/ou além das características de intensidade externas do padrão de iluminação estruturado anterior. Desta forma, as posições das características de intensidade dos padrões de iluminação estruturados na série tornam-se sucessivamente mais densas.
Características de intensidade do primeiro subconjunto são identificadas com posições detectadas das características de intensidade do primeiro subconjunto, com base na identificação de características de intensidade detectadas obtidas com um padrão de iluminação estruturado anterior na série. Características de intensidade do segundo subconjunto que repousa entre pares de posições das características de intensidade do primeiro subconjunto são identificadas com posições detectadas entre as posições detectadas de características de intensidade do par. Desta forma, o risco de falhas de identificação é minimizado.
Posições de imagens associadas de características de intensidade do primeiro subconjunto para a imagem obtida com o padrão de iluminação estruturado atual podem ser determinadas antes ou depois das posições de imagem associadas de características de intensidade do primeiro subconjunto. Em uma realização, as posições associadas para o segundo subconjunto são determinadas em primeiro lugar, a partir de faixas de posição de imagens selecionadas com base em posições de imagem associadas de características de intensidade de imagens do primeiro subconjunto para a imagem obtida com o padrão de iluminação estruturado anterior. Nesta realização, as posições associadas para o primeiro subconjunto são determinadas em seguida, a partir de faixas de posição de imagens selecionadas com base em posições de imagem associadas de características de intensidade de imagens do segundo subconjunto para a imagem obtida com o padrão de iluminação estruturado atual. Desta forma, as segundas características de intensidade fornecem uma forma de compensação de movimento que reduz o risco de erros de identificação. Em outra realização, as posições associadas para o primeiro subconjunto são determinadas em primeiro lugar, com base nas posições de imagens associadas de características de intensidade de imagens do primeiro subconjunto para a imagem obtida com o padrão de iluminação estruturado anterior. As posições de imagem mais próximas das posições associadas para a imagem obtida com o padrão de iluminação estruturado anterior, por exemplo, podem ser selecionadas. Nesta realização, as posições associadas para o segundo subconjunto podem ser determinadas em seguida, a partir de faixas de posição de imagens selecionadas com base em posições de imagem associadas de características de intensidade de imagens do primeiro subconjunto para a imagem obtida com o padrão de iluminação estruturado atual.
Em uma realização, o objeto é iluminado com os padrões de iluminação estruturados em uma sequência temporal correspondente à sua sequência na série, ou seja, em tempo na sequência em que ocorrem na série ou na ordem contrária daquela sequência. Desta forma, o movimento entre a captura de imagens que são utilizadas para identificar as características de intensidade do primeiro subconjunto é minimizado.
Em uma realização, a iluminação com pelo menos um dos padrões de iluminação estruturados na série compreende iluminação sucessiva com um par de padrões de iluminação complementares, ou seja, em que um padrão no par é escuro em locais em que o outro é branco e vice-versa. Nesta realização, pode ser capturado um par de imagens quando o objeto é iluminado com os padrões de iluminação complementares e a imagem resultante para detecção de posição pode ser uma imagem de diferença entre as imagens do par.
Em uma realização, as posições na imagem em que as características de intensidade são visíveis são detectadas a partir do perfil de intensidade ao longo de uma linha de imagem. Isso pode ser repetido para uma série de linhas de imagem. Desta forma, as posições dos perfis de intensidade podem ser detectadas com um mínimo de computação. Em uma realização, as características de intensidade dos primeiro e segundo subconjuntos são extremidades de intensidade em direções mutuamente opostas de alteração de intensidade ao longo de uma linha de imagem. Desta forma, é fácil detectar se uma característica de intensidade pertence ao primeiro subconjunto ou ao segundo subconjunto.
Em uma realização, pode-se utilizar uma série de padrões de iluminação estruturados anteriores para identificar posições detectadas das características de intensidade do primeiro subconjunto. Desta forma, caso não seja encontrada nenhuma posição apropriada obtida com o padrão de iluminação estruturado imediatamente anterior, pode ser utilizada a posição de um padrão de iluminação estruturado anterior mais distante. Desta forma, o método é mais robusto contra a invisibilidade de características em algumas das imagens.
A identificação das posições com características de intensidade do padrão de iluminação estruturado é utilizada para determinar posições 3D de pontos sobre o objeto nos quais são visíveis as características de intensidade. Isso pode ser feito diretamente, utilizando as posições de imagem de características obtidas com o padrão de iluminação estruturado final para computar as posições 3D ou indiretamente, utilizando características de intensidade de um padrão de iluminação estruturado adicional para computação das posições 3D. Neste último caso, as características de intensidade do padrão de iluminação adicional podem ser identificadas por meio de um denso conjunto de posições de características de intensidade identificadas no padrão de iluminação estruturado final para computar as posições 3D.
As etapas do método podem ser realizadas sob controle de um programa de computador conduzido por um sistema de processamento programável. Segundo um aspecto, é fornecido um produto de programa de computador tal como um disco ou memória semicondutora com esse programa. Segundo um aspecto, é fornecido um scanner de objetos 3D de acordo com a reivindicação 11.
BREVE DESCRIÇÃO DAS FIGURAS
Estes e outros objetos e aspectos vantajosos tornar-se-ão evidentes a partir de uma descrição de exemplos de realizações, utilizando as figuras a seguir: - a Fig. 1 exibe um sistema de determinação de informações da posição da superfície 3D; - a Fig. 2 exibe um fluxograma de determinação da posição da superfície 3D; e - a Fig. 3 ilustra valores de sinais de imagens ao longo de uma linha de imagem.
DESCRIÇÃO DETALHADA DE EXEMPLOS DE REALIZAÇÕES
A Fig. 1 exibe um sistema de determinação de informações da posição de superfície 3D, que compreende uma fonte de luz 10, uma câmera 12 e um sistema de processamento 14 acoplado à fonte de luz 10 e câmera 12. A fonte de luz 10 e a câmera 12 são ambas dirigidas a um objeto 16 a partir de diferentes posições.
Durante a operação, a fonte de luz 10 projeta uma série de padrões de iluminação P(n) (n = 0, 1,...) sobre o objeto 16 e a câmera 12 captura imagens IM(n) do objeto 16 quando o objeto 16 é iluminado pelos respectivos padrões. A seguir, padrões de iluminação P(n) serão caracterizados por intensidades na sua seção transversal com um plano transversal aos raios da fonte de luz 10 (da forma utilizada no presente, "transversal" é utilizado como não paralelo, tal como perpendicular). A estrutura tridimensional do padrão de iluminação segue-se dessa seção transversal e das propriedades da fonte de luz 10. No caso de fonte de luz divergente, por exemplo, o padrão de iluminação compreende uma série de raios de luz em uma continuidade de direções a partir de um ponto de fonte. Cada ponto na seção transversal corresponde a uma dessas direções e as intensidades na seção transversal correspondem às intensidades dos raios de luz nas direções correspondentes. No caso de luz em feixe paralelo, as intensidades na seção transversal correspondem às intensidades de raios de luz paralelos, em que cada um passa através de um ponto correspondente na seção transversal.
Será descrita uma realização na qual os padrões de iluminação possuem seções transversais com áreas claras e escuras. Neste caso, os padrões de iluminação serão caracterizados em termos de extremidades entre as áreas clara e escura.
A Fig. 2 exibe um fluxograma de realização de operação de determinação da posição da superfície 3D sob controle do sistema de processamento 14. Em uma primeira etapa 21, o sistema de processamento 14 seleciona um padrão de iluminação atual. Inicialmente, o sistema de processamento 14 seleciona um padrão de iluminação atual P(n) (inicialmente, com n = 0) que possui seção transversal com apenas uma extremidade reta entre uma área clara e uma área escura. Em uma segunda etapa 22, o sistema de processamento 14 controla a fonte de luz 10 para proteger o padrão de iluminação atual sobre o objeto 16. Em uma realização, pode- se utilizar iluminação sucessiva com um par de imagens complementares.
Em uma terceira etapa 23, o sistema de processamento 14 captura uma imagem IM(n) (inicialmente com n = 0) do objeto 16 da câmera 12, obtida enquanto o objeto 16 é iluminado com o padrão de iluminação atual. Opcionalmente, a imagem IM(i) pode ser uma imagem de diferença IM1(n)-IMO(n) com valores de pixel que são diferenças entre valores de pixel de uma imagem IM1 obtida enquanto o objeto 16 é iluminado com o padrão de iluminação atual P(n) e uma imagem capturada sem essa iluminação, ou com um complemento P' (n) desse padrão de iluminação (de tal forma, por exemplo, que a soma das intensidades na seção transversal dos padrões de iluminação P(n), P' (n) seja independente da posição) . Nesta realização, o sistema de processamento 14 é configurado para controlar a fonte de luz 10 para desligar a iluminação ou comutar para o padrão complementar e capturar uma imagem IM1(n) e IMO(n) sucessivamente com e sem o padrão de iluminação P(n) ou com o padrão de iluminação P(n) e seu complemento P' (n) . Opcionalmente, a imagem lM(n) pode ser obtida formando-se um binário de uma imagem de valor de intensidade ou imagem de diferença, por exemplo, comparando- se valores de intensidade com um limite. Caso a iluminação com o padrão seja seguida por iluminação com o padrão complementar, as posições das extremidades correspondem a alterações de sinais na imagem de diferença. Em uma quarta etapa 24, o sistema de processamento 14 varre a imagem capturada IM(n) ao longo de uma série de linhas de imagens paralelas que correm transversalmente à direção ao longo da extremidade, pesquisando a intensidade da imagem ao longo da linha para uma etapa ou alteração de sinal que corresponde à extremidade e determinando a posição x(i) daquela etapa ou alteração de sinal (em que o índice i marca transições ao longo da linha de imagem: idealmente para a imagem inicial IM(0) existe apenas uma extremidade de linha de imagem e i = 0) .
Na quinta etapa 25 e na sexta etapa 26, o sistema de processamento 14 associa as extremidades das linhas de imagem com extremidades de padrão de iluminação nas seções transversais do padrão de iluminação atual P(n) . Na sétima etapa 27, o sistema de processamento 14 testa se as etapas anteriores foram executadas para uma quantidade previamente determinada de padrões de iluminação. Caso contrário, o sistema de processamento 14 é repetido a partir da primeira etapa 21 com um novo padrão de iluminação.
Desta forma, o sistema de processamento 14 executa ciclos sucessivos da primeira à sétima etapa 21-27, cada qual com um padrão de iluminação diferente P(n) como padrão de iluminação atual. 0 padrão de iluminação P(n) em cada ciclo sucessivo possui um primeiro subconjunto de extremidades de padrões de iluminação mutuamente paralelas nas mesmas posições das extremidades no padrão de iluminação P(n-l) no ciclo anterior, mais um segundo subconjunto de extremidades de padrão de iluminação entre cada duas extremidades de padrão de iluminação sucessivas no primeiro subconjunto, paralelas a essas duas extremidades de padrão de iluminação sucessivas. Opcionalmente, o segundo subconjunto pode conter extremidades de padrão de iluminação além das extremidades de padrão de iluminação mais externas do primeiro subconjunto.
A Fig. 3 ilustra os padrões de iluminação em termos de intensidade de imagem idealizada ao longo de uma mesma linha de imagem em imagens sucessivas obtidas com padrões de iluminação sucessivos, que o sistema de processamento 14 pode encontrar-se na quarta etapa 24 quando o objeto 16 permanece fixo. O primeiro perfil de intensidade de imagens 31 ao longo da linha de imagem corresponde a um padrão de iluminação inicial e possui uma extremidade de linha de imagem 31a. Perfis de intensidade sucessivos 32, 33 (únicos dois exibidos) da linha de imagem em ciclos sucessivos possuem sucessivamente mais extremidades de linhas de imagem 32a-c, 32a-g etc. Os primeiro e segundo subconjuntos de extremidades de linhas de imagem podem ser diferenciados no segundo perfil de intensidade 32: um primeiro subconjunto com uma extremidade de linha de imagem 32b no mesmo local da extremidade de linha de imagem 31a do primeiro perfil de intensidade 31 e um segundo subconjunto com duas extremidades de linhas de imagem 32a, c sobre lados correspondentes da extremidade de linha de imagem 31a no primeiro subconjunto. De forma similar, dois subconjuntos de extremidades de linhas de imagem podem ser diferenciados no terceiro perfil de intensidade 33: um primeiro subconjunto com extremidades de linhas de imagem 33b, d, f que correspondem às extremidades de linhas de imagem 32a, b, c do segundo perfil de intensidade 32 e um segundo subconjunto com extremidades de linhas de imagem 33c, e entre as extremidades de linhas de imagem 33b, d, f do primeiro subconjunto e extremidades de linhas de imagem 33a, g sobre lados correspondentes das extremidades de linhas de imagem 32a, c no primeiro subconjunto. Como se pode observar, todas as extremidades de linhas de imagem no primeiro subconjunto possuem a mesma primeira polaridade (intensidade baixa a alta) e todas as extremidades de linhas de imagem no segundo subconjunto possuem uma mesma segunda polaridade (intensidade alta a baixa), oposta à primeira polaridade.
Na quinta etapa 25 e na sexta etapa 26, o sistema de processamento 14 associa as extremidades das linhas de imagem da imagem IM(n) a extremidades de padrão de iluminação nas seções transversais do padrão de iluminação atual P(n). A associação pode ser representada pelo registro das posições de extremidade de linha de imagem detectadas X(i) (em que o índice i marca transições ao longo da linha de imagem) em combinação com uma marca L(i) de uma extremidade de padrão de iluminação. Extremidades de linhas de imagens ou outras características de imagem podem ser associadas, entretanto, a características dos padrões de iluminação de qualquer forma conveniente, tal como por meio de armazenagem do valor de posição X(i) em uma tabela com linhas para diferentes características do padrão de iluminação, utilizando uma tabela com linhas correspondentes a cada uma das posições de pixel correspondentes ao longo da linha e armazenando a marca L(i) de uma característica na linha da posição de pixel X = X(i), utilizando uma tabela com linhas correspondentes a cada posição de extremidade correspondente e armazenando a marca L(i) de uma característica da linha para a posição de extremidade X(i), armazenando um conjunto de pares (X(i), L(i)), cada um dentre uma posição e uma marca etc. As marcas podem ser índices de características de iluminação em uma sequência previamente determinada de características ou apontadores para blocos de dados com informações sobre as características etc.
Na quinta etapa 25, o sistema de processamento 14 determina as extremidades de padrão de iluminação associadas L(i) para extremidades de linhas de imagens com a primeira polaridade (o primeiro subconjunto de extremidades). Para o padrão de iluminação inicial, pode-se pular a quinta etapa 25. Na sexta etapa 26, o sistema de processamento 14 determina as extremidades de padrão de iluminação associadas L(i) para extremidades de linhas de imagens com a segunda polaridade (o segundo subconjunto de extremidades).
Na quinta etapa 25, o sistema de processamento 14 utiliza as extremidades de padrão de iluminação associadas L(i) de linhas de imagem de uma ou mais imagens IM(n-l), IM(n-2)... obtidas com um ou mais padrões de iluminação anteriores P(n-l), P(n-2)... para determinar extremidades de padrão de iluminação associadas da linha de imagem da imagem IM(n) obtida com o padrão de iluminação atual P(n).
Caso seja possível considerar que todas as extremidades de padrão de iluminação nos padrões de iluminação P(n) correspondem a extremidades da linha de imagem nas posições x(i) ao longo da linha de imagem e vice- versa, o sistema de processamento 14 pode realizar a quinta etapa 25 determinando, para cada extremidade de linha de imagem da imagem IM(n-l) obtida com o padrão de iluminação anterior P(n-l), a posição x(i) da extremidade da linha de imagem mais próxima da primeira polaridade na imagem atual IM(n) obtida com o padrão de iluminação atual P(n) . Em uma realização adicional, o movimento estimado para as extremidades da primeira polaridade determinada para um padrão de iluminação estruturado anterior pode ser utilizado para ajustar as posições de imagem antes de pesquisar em busca da extremidade mais próxima. 0 movimento pode ser estimado a partir das posições de imagem de extremidades correspondentes a partir de uma série de padrões de iluminação estruturados anteriores (utilizando a extremidade relevante e/ou uma ou mais extremidades nas suas proximidades). 0 sistema de processamento 14 pode copiar a extremidade de padrão de iluminação associada L(i') da extremidade de linha de imagem da imagem IM(n-l) para associá-la à posição x(i) . De forma similar, caso possa ser utilizada essa consideração, o sistema de processamento 14 na sexta etapa 26 determina, para cada extremidade de linha de imagem da segunda polaridade na posição x(i), as extremidades de padrão de iluminação associadas L(i-l), L(i+1) das extremidades de linha de imagem adjacentes da primeira polaridade nas posições x(i-l), x(i+l). 0 sistema de processamento 14 seleciona em seguida uma extremidade de padrão de iluminação L(i) de uma transição no padrão de iluminação atual P(n) entre extremidades de padrão de iluminação L(i-l). L(i+1) associado às extremidades de linha de imagem da primeira polaridade nas posições adjacentes x(i- 1) , x(i + l) e associa a extremidade de padrão de iluminação selecionada L(i) à posição x(i) da extremidade de linha de imagem da segunda polaridade.
Com algum tipo de objeto e sob algumas condições de iluminação, o uso desse tipo de consideração pode gerar maior probabilidade de erros. Em uma realização, a probabilidade desses erros pode ser reduzida fazendo uso do conhecimento de que apenas uma extremidade de linha de imagem correta da segunda polaridade pode ocorrer entre cada par de extremidades da linha de imagem da primeira polaridade que foram associadas a extremidades de padrão de iluminação por meio de extremidades de linha de imagem da imagem iM(n-l) obtida com o padrão de iluminação anterior P(n-l). 0 sistema de processamento 14 pode ser configurado para selecionar uma extremidade da segunda polaridade caso ocorra uma série de extremidades de linha de imagem da segunda polaridade entre um par. Desta forma, em comparação com a associação de todas as extremidades de linha de imagem com extremidades de padrão de iluminação, a probabilidade de associação "falsa" é reduzida. O sistema de processamento 14 pode ser configurado para utilizar qualquer um dentre uma série de critérios para selecionar uma extremidade do segundo tipo entre extremidades de linha de imagem do primeiro tipo. Em uma realização em que a imagem é uma imagem de diferença, com alterações de sinal na posição de extremidades de linha de imagem (obtidas, por exemplo, tomando-se a diferença entre valores de imagem obtidos durante a iluminação com um padrão e o complemento daquele padrão), a posição da extremidade de linha de imagem pode ser selecionada selecionando-se um extremo local da função de sinal cumulativo (máximo se a extremidade do segundo tipo for uma extremidade decrescente e minimo se for uma extremidade crescente): F(x) = Soma S(i) em que S(i) é o valor de imagem IM(n) na linha de imagem atual e em uma posição ao longo daquela linha indexada por i e a soma é considerada sobre valores indice até a posição x naquela linha. 0 sinal S (x) pode ser um sinal com múltiplos bits (tal como um sinal com oito bits). A função F é um exemplo de função de valores de avaliação de detecção que podem ser utilizados para selecionar uma extremidade de linha de imagem detectada do segundo tipo entre posições de imagem que são associadas a extremidades de padrão de iluminação do segundo tipo.
Ao invés dessa função de sinal cumulativo, podem ser utilizados outros critérios com efeito efetivamente similar. 0 uso de uma função de sinal cumulativa elimina efetivamente as detecções de posição com base em extremidades de linha de imagem em que o sinal das alterações de sinal do valor original que se seguem após um intervalo curto por uma extremidade de retorno que, por sua vez, é seguida por um intervalo mais longo em que o sinal ao longo da linha de imagem possui o valor original (e, mais geralmente, eliminando essas extremidades de linha de imagem e extremidades de linha de imagem de retorno caso a fração de linha no valor original seja mais longa) . Pequenos erros de posição podem ainda surgir caso muitos desses pares repousem perto da extremidade correta do segundo tipo, mas esses pequenos erros de posição não necessitam afetar o resultado final. Naturalmente, pode-se aplicar um método similar caso não seja utilizada uma imagem de diferença, utilizando, por exemplo, uma diferença cumulativa entre o sinal de imagem e sua média entre o par de extremidades de linha de imagem da primeira polaridade que são associadas a extremidades de padrão de iluminação (isso pode também ser utilizado caso seja empregada uma imagem de diferença) . A posição pode ser determinada a partir de um resultado da aplicação de uma operação de filtro ao segmento de sinal entre as extremidades de linha de imagem de pares da primeira polaridade que são associadas a extremidades de padrão de iluminação. Como critério alternativo, pode ser utilizada outra avaliação de detecção. A extremidade do segundo tipo, por exemplo, pode ser selecionada com base na amplitude da extremidade como avaliação de detecção (selecionando-se, por exemplo, a extremidade com a maior amplitude) ou dependendo de uma avaliação dependente de uma distância para uma posição de extremidade mais próxima x(i) do segundo tipo que foi associada a uma extremidade de padrão de iluminação em uma linha de imagem adjacente (selecionando-se, por exemplo, a extremidade na linha de imagem atual mais próxima daquela posição de extremidade). Pode-se utilizar uma combinação desses critérios, atribuindo, por exemplo, avaliações a posições de acordo com diferentes critérios (valor de sinal cumulativo, amplitude, distância etc.) para cada extremidade combinando as avaliações de acordo com os diferentes critérios e selecionando a extremidade com a melhor avaliação combinada.
Em uma realização, o sistema de processamento 14 pode realizar a quinta etapa 25 determinando a extremidade mais próxima a partir de uma série de imagens IM(n-l), IM(n- 2) . . . Na presente realização, a quinta etapa 25 compreende a atualização das posições x(i') associadas a extremidades de padrão de iluminação L = L(i') em imagens anteriores IM(n-l), IM(n-2)... até a posição x(i) associada à mesma extremidade de padrão de iluminação L = L(i) na imagem IM(n) obtida com o padrão de iluminação atual P(n).
Além disso, na presente realização, a quinta etapa 25 compreende a determinação, para cada posição de extremidade de linha de imagem x(i) da primeira polaridade, a posição de extremidade de linha de imagem atualizada mais próxima x(i') das imagens IM(n-l), IM(n-2)... obtida com qualquer padrão de iluminação anterior P(n-l), P(n-2) e copiando a extremidade de padrão de iluminação associada L(i') daquela extremidade de linha de imagem mais próxima. Podem ser utilizados diversos refinamentos deste procedimento. 0 sistema de processamento 14, por exemplo, pode ser configurado para recorrer a uma posição de uma imagem mais antiga IM(n') para copiar uma extremidade de padrão de iluminação associada para uma imagem atual IM(n) (n'< n) somente se nenhuma posição x(i') dentro de uma distância previamente determinada d for disponível a partir de uma imagem mais jovem IM(n") (n'< n") , ou seja, se não houver posição x(i') na imagem mais jovem IM(n") com |x(i) - x(i')I < d.
Como outro exemplo, valores binários (1 ou 0) podem ser atribuídos a posições de pixel ao longo de uma linha de imagem em imagens sucessivas IM(0), IM(1)... com base na comparação de valores de imagens com um limite. Desta forma, na ausência de movimento do objeto, os valores binários para a mesma posição de N imagens diferentes IM(0), IM(1)... IM(N- 1) formam um código de N bits que pode ser utilizado como índice para a parte do padrão de iluminação que é visível na posição. 0 movimento pode ser compensado pelo movimento das posições de extremidades no sinal formado pelos valores binários ao longo da linha a cada vez, de acordo com a posição que foi encontrada para a extremidade com a mesma extremidade de padrão de iluminação associada.
Embora tenha sido descrita uma realização na qual a quinta etapa 25, com a determinação das posições de extremidades da primeira polaridade, é realizada antes da sexta etapa 26 com a determinação das posições de extremidade da segunda polaridade, dever-se-á observar que esta sequência pode ser invertida. Neste caso, as posições de imagem de extremidades da primeira polaridade determinadas para um padrão de iluminação estruturado anterior podem ser utilizadas para definir a faixa na qual a busca das posições de imagem de extremidades da segunda polaridade é determinada. Em uma realização adicional, o movimento estimado para as extremidades da primeira polaridade determinada para um padrão de iluminação estruturado anterior pode ser utilizado para ajustar as posições de imagem antes de definir a faixa. 0 movimento pode ser estimado a partir das posições de imagem de extremidades correspondentes a partir de uma série de padrões de iluminação estruturados anteriores. Em seguida, as posições de imagem de extremidades da segunda polaridade determinada para o padrão de iluminação estruturado atual podem ser utilizadas para definir a faixa na qual a busca das posições de imagem de extremidades da primeira polaridade é determinada. Na presente realização, um algoritmo de soma cumulativa similar como o da sexta etapa 26 pode ser utilizado na quinta etapa 25, em que a posição inicial para computar a soma cumulativa é determinada a partir das posições selecionadas de extremidades da segunda polaridade. Isso pode aumentar a robustez contra efeitos de movimento. O sistema de processamento 14 pode ser configurado para executar a monotonicidade durante as atualizações, por exemplo para manter uma condição x(0) < x(l) < x(2) < ... para cada imagem. 0 sistema de processamento 14, por exemplo, pode ser configurado para também atualizar a posição x(i') de uma extremidade em uma imagem mais antiga IM(n') para a qual nenhuma posição correspondente foi encontrada em uma imagem mais nova, caso, em uma atualização, uma posição inferior x(i'-l) mova aquela posição inferior para além da posição x(i'). A posição x(i') pode ser comutada pela mesma quantidade da posição x(i'-l), por exemplo, ou para uma compensação previamente determinada da posição x(i'-l).
Quando o sistema de processamento 14 determinar, na sétima etapa 27, que as etapas anteriores foram executadas para uma quantidade previamente determinada de padrões de iluminação, o sistema de processamento 14 segue para uma oitava etapa 28. Na oitava etapa 28, o sistema de processamento 14 determina coordenadas 3D dos pontos de objeto que são visíveis nas extremidades no padrão de iluminação, utilizando a posição x(i) e as informações sobre a superfície 3D que correspondem à extremidade com a extremidade de padrão de iluminação associada L(i) associada à posição. 0 sistema de processamento 14 pode utilizar o fato de que a posição x(i) e a linha de imagem sobre a qual foi detectada definem uma posição de pixel que, por sua vez, define uma linha 3D de pontos que podem ter suas imagens formadas sobre o pixel. Além disso, o sistema de processamento 14 pode utilizar o fato de que uma extremidade de padrão de iluminação corresponde a uma superfície 3D formada por raios de luz da fonte de luz 10 que passam através da extremidade na seção transversal. 0 sistema de processamento 14 pode resolver as coordenadas 3D do ponto de objeto ou a distância do ponto de objeto para a câmera, resolvendo o ponto na interseção dessa linha 3D e dessa superfície 3S.
Em uma realização alternativa, a oitava etapa 28 pode compreender o controle pelo sistema de processamento 14 da fonte de luz para iluminar o objeto com um padrão de iluminação adicional P' e o uso das extremidades de padrão de iluminação associadas L(i) obtidas por meio das imagens IM(n) para identificar características no padrão de iluminação adicional com base na relação espacial previamente determinada entre as extremidades nas seções transversais dos padrões de iluminação P(n) e as características no padrão de iluminação adicional.
Em uma realização, o sistema de processamento 14 é configurado para determinar pelo menos uma das posições de extremidade da linha de imagem x(i) com precisão abaixo de pixel, determinando as posições em que a interpolação da intensidade de imagem entre posições de pixel, ou uma quantidade derivada da intensidade de imagem, intersecciona um nível previamente determinado. Desta forma, são possíveis mais identificações confiáveis de extremidades e as posições 3D podem ser determinadas com alta precisão. O processo pode ser realizado para uma série de linhas de imagem das imagens IM(n) independentemente para diferentes linhas de imagem. Em uma realização, extremidades de padrão de iluminação associadas em linhas adjacentes podem ser utilizadas para associar extremidades de padrão de iluminação a posições sobre uma linha de imagem, caso nenhuma extremidade seja detectada. Em outra realização, podem ser detectadas extremidades utilizando operadores de imagens bidimensionais, tais como de somas de valores de pixel para pixels correspondentes em linhas de imagem adjacentes.
Conforme descrito, é utilizada uma série de padrões de iluminação, em que cada padrão de iluminação sucessivo P(n+1) possui primeiras características de intensidade, particularmente extremidades (intensidade de luz em alteração espacial), em posições que são iguais às de características de intensidade (extremidades) no padrão de iluminação anterior P(n) mais segundas características de intensidade entre as primeiras extremidades de padrão de iluminação.
Em uma realização, a oitava etapa 28 pode ser repetida utilizando imagens obtidas em diferentes momentos. Desta forma, uma identificação das extremidades utilizando etapas anteriores pode ser aplicada à determinação de posições 3D na série de momentos. Em uma realização, pode-se aplicar rastreamento do movimento para compensar o movimento das extremidades devido ao movimento do objeto entre imagens diferentes ao qual é aplicada a oitava etapa 28. Em uma realização, uma parte da série de padrões de iluminação estruturados pode ser projetada sobre o objeto antes ou depois dessa oitava etapa repetida 28 e utilizada para identificar posições de imagem correspondentes a extremidades das primeira e segunda polaridades, conforme descrito acima. Em uma realização adicional, isso é feito apenas para repetições selecionadas da oitava etapa 28, tal como quando um teste demonstrar que as identificações de extremidades existentes podem estar faltando ou não ser confiáveis, tal como ao detectar-se que as posições de imagem determinadas para a mesma extremidade em diferentes linhas diferem em um valor maior que o limite, quando o movimento temporal exceder um valor limite ou se nenhuma extremidade puder ser encontrada.
Nesta realização, o padrão de iluminação estruturado imediatamente anterior da série pode ser projetado em sucessão temporal, ou seja, padrões com sucessivamente menos extremidades. Quando, neste caso, for obtida uma imagem utilizando um padrão de iluminação estruturado da série, as posições de imagem previamente determinadas, preferencialmente com movimento compensado, de extremidades naquele padrão são utilizadas para definir a faixa de alcance para extremidades da primeira e/ou segunda polaridade. Caso a busca produza novas posições de imagens para todas as extremidades, elas são utilizadas para determinar as posições de imagens para extremidades subsequentes a padrões de iluminação estruturados da forma descrita por meio do fluxograma da Fig. 2, mas aplicadas ao padrão de iluminação estruturado recém projetado a partir da série. Apenas se as posições de imagem não forem determinadas para todas as extremidades, o padrão de iluminação estruturado imediatamente anterior para a série é projetado e utilizado para pesquisar as posições de imagem e assim por diante. Desta forma, uma parte com frequência mais alta dos padrões de iluminação estruturados da série pode ser utilizada para compensar a perda de precisão durante o rastreamento do movimento. Embora esta opção de reiluminação com apenas uma parte dos padrões de iluminação estruturados, tal como para corrigir a perda de identificação devido ao movimento, tenha sido descrita para uso com execução repetida da oitava etapa 28, dever-se-á apreciar que isso pode também ser aplicado antes da primeira execução da oitava etapa 28, por exemplo, por meio de reiluminação com um ou mais dos padrões de iluminação estruturados com menos extremidades e nova identificação de extremidades detectadas na imagem, em resposta à detecção de um resultado não confiável ou extremidade faltante nas quinta e sexta etapas 25, 26.
Embora a presente invenção tenha sido ilustrada e descrita em detalhes nas figuras e no relatório descritivo acima, essa ilustração e descrição devem ser consideradas ilustrativas ou exemplos e não restritivas; a presente invenção não se limita às realizações descritas.
Embora tenha sido descrita uma realização na qual são utilizadas extremidades no padrão de iluminação, dever- se-á apreciar que podem ser utilizadas outras características localizáveis. Podem ser utilizados, por exemplo, padrões de iluminação com linhas ou pequenas ondas com largura previamente determinada na seção transversal, em que as posições intermediárias das linhas são utilizadas no lugar das posições de extremidade. Isso pode, entretanto, tornar mais difícil diferenciar o primeiro e o segundo subconjunto com base na polaridade das extremidades.
Embora, preferencialmente, cada característica em um padrão de iluminação possua um correspondente na mesma posição no padrão de iluminação seguinte, dever-se-á apreciar que este não necessita ser sempre o caso. Desta forma, características (tais como características mais externas) podem ser utilizadas para orientar a seleção de características de padrão de iluminação associadas para uma quantidade limitada de padrões de iluminação subsequentes, sem que sejam utilizadas até o padrão de iluminação final.
Embora o processo tenha sido descrito para características de intensidade de luz e imagem em geral, dever-se-á apreciar que pode ser utilizada a intensidade de um componente de coloração ou uma combinação de componentes de coloração. A fonte de luz 10 pode ser configurada para iluminar o objeto com um padrão de luz de um componente de coloração ou um padrão de luz branca, ou uma série de diferentes padrões em diferentes componentes de coloração.
Embora tenha sido descrita uma realização na qual as características (extremidades) do segundo subconjunto são adicionadas entre cada par de características do primeiro subconjunto, dever-se-á apreciar que o segundo subconjunto pode compreender menos características. Desta forma, um padrão de iluminação P(n) pode não conter características adicionais entre um par de características sucessivas que já estavam presentes no padrão de iluminação anterior P(n-l). Como efeito, menos características podem ser características de padrão de iluminação associadas e devem ser feitas distinções entre a polaridade de características no primeiro e no segundo conjunto em diferentes áreas de imagem. Em outra realização, mais de uma característica do segundo subconjunto pode ser adicionada entre um par de características do primeiro subconjunto. Como efeito, mais características novas podem ser características de padrão de iluminação associadas e devem ser feitas distinções entre primeira e segunda características com a mesma polaridade.
Embora tenha sido descrita uma realização na qual padrões de iluminação com cada vez mais características são utilizados, dever-se-á apreciar que, alternativamente, os padrões de iluminação podem ser utilizados em ordem reversa. Neste caso, o sistema de processamento 14 pode armazenar as posições de características de linhas de imagem detectadas para as diferentes imagens e realizar as etapas de associação de características de padrão de iluminação a partir da imagem com a menor quantidade de características em seguida.
Em outra realização, os padrões de iluminação P(n) podem ser utilizados em qualquer ordem cronológica. 0 uso de padrões de iluminação com quantidade de características crescente ou decrescente ao longo do tempo, entretanto.
Embora tenha sido descrita uma realização na qual os padrões de iluminação com a menor quantidade de características possuem uma característica, dever-se-á apreciar que os padrões de iluminação com a menor quantidade de características podem possuir mais de uma característica. Desde que as características sejam suficientemente espaçadas para permitir identificação inicial de características de linha de imagem (contando, por exemplo, características a partir do início da linha de imagem) , o processo pode ser realizado com esse padrão de iluminação como ponto de partida.
Embora tenha sido descrita uma realização na qual o padrão de iluminação é essencialmente binário (liga/desliga), dever-se-á apreciar que, alternativamente, padrões de iluminação com variação da intensidade mais gradual em função da posição podem ser utilizados.
Embora tenha sido descrita uma realização na qual os padrões de iluminação possuem características em planos retos de raios, dever-se-á apreciar que, alternativamente, podem ser utilizadas características em superfícies curvas, que possuem interseções curvas com o objeto 16, mesmo se o objeto 10 for plano. Considerando uma descrição da forma 3D da superfície, o sistema de processamento 14 pode determinar as posições 3D solucionando a intersecção do raio da câmera e o formato 3D da superfície. As superfícies com características no padrão de iluminação também não necessitam ser paralelas entre si, mas prefere-se que elas não se interseccionem dentro da faixa definida pelo ângulo de visão da câmera.
Outras variações das realizações descritas podem ser compreendidas e efetuadas pelos técnicos no assunto na prática da presente invenção, a partir do estudo das figuras, do relatório descritivo e das reivindicações anexas. Nas 5 reivindicações, a expressão "que compreende" não exclui outros elementos ou etapas e o artigo indefinido "um" ou "uma" não exclui uma série. Um único processador ou outra unidade pode desempenhar as funções de vários itens indicados nas reivindicações. 0 mero fato de que certas medidas são 10 indicadas em reivindicações mutuamente dependentes diferentes não indica que uma combinação dessas medidas não possa ser utilizada com vantagens. Um programa de computador pode ser armazenado e distribuído em um meio apropriado, tal como um meio de armazenagem ótica ou meio em estado sólido, fornecido 15 em conjunto ou como parte de outro hardware, mas pode também ser distribuído em outras formas, tal como via Internet ou outros sistemas de telecomunicação com ou sem fio. Nenhum sinal de referência nas reivindicações deverá ser interpretado como limitador do escopo.

Claims (14)

1. MÉTODO DE DETERMINAÇÃO DE INFORMAÇÕES DA POSIÇÃO DE SUPERFÍCIES 3D A PARTIR DE UMA IMAGEM 2D de um objeto obtida com iluminação estruturada, caracterizado por compreender: fornecimento de uma série de padrões de iluminação estruturados, em que cada padrão de iluminação estruturado sucessivo na série compreende primeiro e segundo conjuntos de características de intensidade e cada característica de intensidade do primeiro conjunto coincide no espaço com uma das características de intensidade correspondente do primeiro ou do segundo subconjunto a partir de um padrão de iluminação estruturado anterior na série, em que cada uma das ditas características de intensidade compreende uma variação espacial de intensidade de luz; - iluminação do objeto com padrões de iluminação estruturados diferentes da mencionada série, cada qual pelo menos em um momento diferente; - captura de imagens 2D da cena, cada uma quando a cena é iluminada com um dos padrões de iluminação correspondente; detecção de posições de imagem em que as características de intensidade dos primeiro e segundo subconjuntos dos padrões de iluminação estruturados são visiveis nas imagens; para cada padrão de iluminação estruturado sucessivo: associação das características de intensidade do primeiro subconjunto com posições de imagem em que as características de intensidade do primeiro subconjunto são visiveis, com base nas características de intensidade associadas de posições de imagem detectadas com características de intensidade associadas na imagem obtida com um padrão de iluminação estruturado anterior na mencionada série do primeiro subconjunto; e - associação de características de intensidade do segundo subconjunto com posições de imagem em que as características de intensidade do segundo subconjunto são visíveis, em faixas de posição correspondentes entre pares das posições de imagem associadas a características de intensidade mutuamente adjacentes do primeiro subconjunto, em que a associação é baseada nas associações das características de intensidade mutuamente adjacentes; e uso das associações entre características de intensidade e posições de imagem em um padrão de iluminação estruturado final da série para identificar as características de intensidade do padrão de iluminação estruturado final para determinação das informações da posição de superfície 3D.
2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo objeto ser iluminado com os padrões de iluminação estruturados em sequência cronológica correspondente à sua sequência na série.
3. MÉTODO, de acordo com a reivindicação 1, caracterizado pelas características de intensidade serem extremidades entre áreas com intensidade de luz mutuamente diferente nos padrões de iluminação estruturados.
4. MÉTODO, de acordo com a reivindicação 3, caracterizado pelas características de intensidade dos primeiro e segundo subconjuntos serem extremidades em direções mutuamente opostas de alteração de intensidade ao longo de uma linha de imagem.
5. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo método compreender a seleção de uma posição de imagem em que uma característica de intensidade do segundo subconjunto é visível entre as posições de imagem de um dos pares, caso uma série de características de intensidade do segundo subconjunto seja detectada entre as posições de imagem do mencionado um dos pares e a associação da posição de imagem selecionada com as características de intensidade do segundo subconjunto entre as características de intensidade associadas ao mencionado um dos pares de posições.
6. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender: - atribuição de valores de avaliação de detecção de características para detecção de características de intensidade do segundo subconjunto a posições de imagem correspondentes; - seleção de uma posição de imagem intermediária para cada um dentre o mencionado par de posições de imagem, com base nos valores de avaliação de detecção atribuídos de uma série de posições de imagem entre as posições de imagem do par; e - associação da posição de imagem selecionada com as características de intensidade do segundo subconjunto entre as características de intensidade associadas ao par de posições.
7. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender a associação das posições de imagem detectadas das características de intensidade do primeiro subconjunto de acordo com características de intensidade associadas de características de intensidade detectadas mais próximas do padrão de iluminação estruturado imediatamente anterior da série e, caso nenhuma característica de intensidade detectada mais próxima seja encontrada no padrão de iluminação estruturado imediatamente anterior, de uma iluminação estruturada anterior adicional na série.
8. MÉTODO, de acordo com a reivindicação 5, caracterizado pela atualização das características de intensidade de posição do padrão de iluminação estruturado anterior da série para determinar as características de intensidade mais próximas de acordo com as posições encontradas para essas posições com o padrão de iluminação estruturado mais avançado da série antes do padrão de iluminação seguinte.
9. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender: - primeira associação de posições de imagens, em que as características de intensidade do segundo subconjunto são visiveis, entre pares das posições de imagem associadas a características de intensidade do primeiro subconjunto na imagem obtida com um padrão de iluminação estruturado anterior na mencionada série, com características de intensidade do segundo subconjunto entre as características de intensidade associadas ao par de posições na imagem obtida com o padrão de iluminação estruturado atual na mencionada série; _ definição de uma faixa de pesquisa entre as posições de imagem associadas a características de intensidade sucessivas do segundo subconjunto na imagem obtida com o padrão de iluminação estruturado atual na mencionada série; - pesquisa subsequente da faixa de pesquisa em busca da posição de imagem na qual a característica de intensidade do primeiro subconjunto é visivel e associação daquela posição de imagem com as características de intensidade associadas na imagem obtida com o padrão de iluminação estruturado atual na mencionada série.
10. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender: - repetição adicional da iluminação do objeto com um ou mais padrões de iluminação estruturados de apenas uma parte da série quando a associação entre posições de imagem e as características de intensidade dos primeiro e/ou segundo subconjuntos for perdida; - captura de uma ou mais imagens 2D adicionais da cena, cada qual quando a cena é iluminada com uma das mencionadas partes dos padrões de iluminação correspondente; - reassociação de características de intensidade com posições de imagem em que as características de intensidade do primeiro subconjunto são visíveis em uma ou mais imagens adicionais.
11. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender o uso das posições detectadas das características de intensidade identificadas no padrão de iluminação estruturado final da série para determinar informações da posição de superfície 3D de posições de objeto, em que as características de intensidade do padrão de iluminação estruturado final interseccionam o objeto.
12. MÉTODO, de acordo com a reivindicação 1, caracterizado por compreender: - iluminação do objeto com um padrão de iluminação estruturado adicional que possui relação espacial previamente determinada com o mencionado padrão de iluminação estruturado final; - captura de uma imagem adicional enquanto o objeto é iluminado com o padrão de iluminação estruturado adicional em um momento mais próximo do momento de iluminação do objeto com o padrão de iluminação final que do momento de iluminação do objeto com um padrão de iluminação inicial na série; - uso das características de intensidade associadas de posições obtidas com as características de intensidade do padrão de iluminação final e a relação espacial previamente determinada para identificar características de intensidade detectadas na imagem adicional; - uso das posições detectadas das características de intensidade identificadas obtidas com o padrão de iluminação estruturado final para determinar informações da posição de superfície 3D de posições de objeto, em que as características de intensidade do padrão de iluminação estruturado adicional interseccionam o objeto.
13. MÉTODO de acordo com a reivindicação 1, caracterizado pelas posições de imagem serem detectadas a partir de variações da intensidade de imagem ao longo de uma linha de imagem.
14. SCANNER DE OBJETOS 3D PARA DETERMINAÇÃO DE INFORMAÇÕES DE POSIÇÕES 3D, utilizando uma séria de padrões de iluminação estruturados, caracterizado por cada padrão de iluminação estruturado sucessivo na série compreender primeiro e segundo subconjuntos de características de intensidade, em que cada característica de intensidade do primeiro conjunto coincide no espaço com uma das características de intensidade correspondente do primeiro ou do segundo subconjunto de um padrão de iluminação estruturado anterior na série, em que cada uma das ditas características de iluminação compreende uma variação espacial de intensidade de luz, o scanner de objetos 3D compreendendo uma fonte de luz configurada para projetar luz estruturada, uma câmera e um sistema de processamento acoplado à fonte de luz e à câmera, em que o sistema de processamento é configurado para: - captura de imagens 2D da cena, cada qual quando a cena é iluminada com um dos padrões de iluminação correspondente em momentos diferentes; - detecção de posições de imagem em que as intersecções do objeto com as primeira e segunda características de intensidade dos padrões de iluminação estruturados são visiveis nas imagens; para cada padrão de iluminação estruturado sucessivo: - associação das características de intensidade do primeiro subconjunto com posições de imagem em que as características de intensidade do primeiro subconjunto são visiveis, com base nas características de intensidade associadas de posições de imagem detectadas com características de intensidade associadas na imagem obtida com um padrão de iluminação estruturado anterior na mencionada série; e - associação de características de intensidade do segundo subconjunto com posições de imagem em que as características de intensidade do segundo subconjunto são visiveis, em faixas de posição correspondentes entre pares das posições de imagem associadas a características de intensidade mutuamente adjacentes do primeiro subconjunto e a associação é baseada nas associações das características de intensidade mutuamente adjacentes do primeiro subconjunto; e - uso das marcas das características de intensidade em um padrão de iluminação estruturado final da série para identificar as características de intensidade do padrão de iluminação estruturado final para determinação das informações da posição de superficie 3D.
BR112013029691-7A 2011-05-24 2012-05-11 Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d BR112013029691B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11167285 2011-05-24
EP11167285.3 2011-05-24
PCT/IB2012/052347 WO2012160470A1 (en) 2011-05-24 2012-05-11 3d scanner using structured lighting

Publications (2)

Publication Number Publication Date
BR112013029691A2 BR112013029691A2 (pt) 2017-01-17
BR112013029691B1 true BR112013029691B1 (pt) 2020-10-06

Family

ID=46197637

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013029691-7A BR112013029691B1 (pt) 2011-05-24 2012-05-11 Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d

Country Status (7)

Country Link
US (1) US9982995B2 (pt)
EP (1) EP2715278B1 (pt)
JP (1) JP6097282B2 (pt)
CN (1) CN103562676B (pt)
AU (1) AU2012260548B2 (pt)
BR (1) BR112013029691B1 (pt)
WO (1) WO2012160470A1 (pt)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947112B2 (en) 2012-12-18 2018-04-17 Koninklijke Philips N.V. Scanning device and method for positioning a scanning device
DE102013201650A1 (de) * 2013-01-31 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und system zur erkennung einer position oder form eines leuchtelements
US9881426B2 (en) 2013-05-10 2018-01-30 Koninklijke Philips N.V. 3D patient interface device selection system and method
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US9958758B2 (en) 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
JP6512912B2 (ja) * 2015-04-10 2019-05-15 キヤノン株式会社 被計測物の形状を計測する計測装置
DE102016003512A1 (de) * 2016-03-22 2017-09-28 Rodenstock Gmbh Verfahren und Vorrichtung zur Ermittlung von 3D-Koordinaten zumindest eines vorbestimmten Punktes eines Objekts
US10973581B2 (en) * 2016-06-17 2021-04-13 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3D surface
US10122877B2 (en) 2016-12-20 2018-11-06 Kabushiki Kaisha Toshiba Image forming apparatus
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
DE102018205191A1 (de) * 2018-04-06 2019-10-10 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Anordnung zum Erfassen von Koordinaten einer Objektoberfläche mittels Triangulation
US20210196384A1 (en) * 2019-12-30 2021-07-01 Ethicon Llc Dynamic surgical visualization systems

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2256587A1 (en) * 1996-06-13 1997-12-18 Filip Pieter Defoort Method and system for acquiring a three-dimensional shape description
US6549288B1 (en) * 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
US7657083B2 (en) 2000-03-08 2010-02-02 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JPWO2002043001A1 (ja) 2000-11-24 2004-04-02 学校法人日本大学 画像処理方法
JP2004520660A (ja) 2001-05-23 2004-07-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 深度マップの計算
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
ES2313036T3 (es) * 2003-07-24 2009-03-01 Cognitens Ltd. Procedimiento y sistema para la reconstruccion de la superficie tridimensional de un objeto.
JP2006010576A (ja) 2004-06-28 2006-01-12 Chugoku Electric Power Co Inc:The 物体表面における測定対象凹部或いは凸部の幅測定方法および体積測定方法
JP4433907B2 (ja) * 2004-07-06 2010-03-17 富士ゼロックス株式会社 ３次元形状測定装置および方法
US7315241B1 (en) 2004-12-01 2008-01-01 Hrl Laboratories, Llc Enhanced perception lighting
JP2008537190A (ja) * 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7916932B2 (en) * 2005-02-16 2011-03-29 In-G Co., Ltd. Method and system of structural light-based 3D depth imaging using signal separation coding and error correction thereof
CN1285882C (zh) 2005-02-28 2006-11-22 天津大学 用图像匹配和相移干涉测试微结构三维运动的系统与方法
EP1882895A4 (en) * 2005-05-12 2012-06-27 Techno Dream 21 Co Ltd MEASURING METHOD FOR THREE-DIMENSIONAL SHAPING AND EQUIPMENT THEREFOR
JP4730836B2 (ja) * 2005-09-15 2011-07-20 Ｊｆｅスチール株式会社 面歪の測定装置及び方法
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
GB0718626D0 (en) 2007-05-16 2007-11-07 Seereal Technologies Sa Holograms
JP4931728B2 (ja) * 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
JP5094663B2 (ja) 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
JP4638550B2 (ja) 2008-09-29 2011-02-23 東京エレクトロン株式会社 マスクパターンの形成方法、微細パターンの形成方法及び成膜装置
US8717416B2 (en) 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
WO2010081094A2 (en) 2009-01-09 2010-07-15 The Johns Hopkins University A system for registration and information overlay on deformable surfaces from video data
KR20100084718A (ko) 2009-01-19 2010-07-28 삼성전자주식회사 3차원 이미지를 생성하는 휴대 단말기
CN201440274U (zh) 2009-07-22 2010-04-21 深圳泰山在线科技有限公司 一种目标检测设备及其使用的图像采集装置
US9046355B2 (en) 2009-07-29 2015-06-02 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and program
CN102042814B (zh) 2010-06-24 2012-03-07 中国人民解放军国防科学技术大学 大型堆场三维形貌的投影辅助摄像测量方法
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns
US8811767B2 (en) * 2011-03-15 2014-08-19 Mitsubishi Electric Research Laboratories, Inc. Structured light for 3D shape reconstruction subject to global illumination
KR101974651B1 (ko) * 2011-06-22 2019-05-02 성균관대학교산학협력단 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light

Also Published As

Publication number Publication date
BR112013029691A2 (pt) 2017-01-17
EP2715278B1 (en) 2019-10-16
EP2715278A1 (en) 2014-04-09
CN103562676A (zh) 2014-02-05
JP2014515485A (ja) 2014-06-30
AU2012260548B2 (en) 2015-07-09
US20150204663A1 (en) 2015-07-23
CN103562676B (zh) 2017-03-22
WO2012160470A1 (en) 2012-11-29
AU2012260548A1 (en) 2014-01-23
JP6097282B2 (ja) 2017-03-15
US9982995B2 (en) 2018-05-29

Similar Documents

Publication Publication Date Title
BR112013029691B1 (pt) Método de determinação de informações da posição de superfícies 3d a partir de uma imagem 2d, e scanner de objetos 3d para determinação de informações de posições 3d
Wu et al. High-speed three-dimensional shape measurement based on cyclic complementary Gray-code light
Zhang et al. 3-D shape measurement based on complementary Gray-code light
CN103154666B (zh) 距离测量装置以及环境地图生成装置
US9792696B2 (en) Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation
BR112018002739B1 (pt) Correção de erro de luz codificada eficiente em termos de memória
Führ et al. Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras
CN105513083A (zh) 一种ptam摄像机跟踪方法及装置
KR101086274B1 (ko) 깊이정보 추출 장치 및 추출 방법
CN112257659A (zh) 检测跟踪方法、装置以及介质
CN111238365A (zh) 基于立体视觉的地铁列车测距和定位方法及系统
JP6507843B2 (ja) 映像解析方法及び映像解析装置
JP5973767B2 (ja) 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
US6446866B1 (en) Information reproducing system
CN113988269A (zh) 一种基于改进孪生网络的回环检测及优化方法
US7002699B2 (en) Identification and labeling of beam images of a structured beam matrix
Guo et al. Fast and accurate 3D face reconstruction based on facial geometry constraints and fringe projection without phase unwrapping
Li et al. Reliability-guided phase unwrapping algorithm following noncontinuous path based on color fringe projection
CN113284176B (zh) 一种结合几何和纹理的在线匹配优化方法和三维扫描系统
CN112262411B (zh) 图像关联方法、系统和装置
Jiang et al. Stereo matching based on random speckle projection for dynamic 3D sensing
Garcia et al. Temporally-consistent phase unwrapping for a stereo-assisted structured light system
Wendel et al. Robustifying the flock of trackers
Wang et al. Enhancing Event-based Structured Light Imaging with a Single Frame
Xie et al. Geometric calibration of projector using a mobile camera for spatial augmented reality

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 11/05/2012, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 10A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2670 DE 08-03-2022 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.