BR112012032875B1 - método e sistema de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição - Google Patents

método e sistema de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição Download PDF

Info

Publication number
BR112012032875B1
BR112012032875B1 BR112012032875A BR112012032875A BR112012032875B1 BR 112012032875 B1 BR112012032875 B1 BR 112012032875B1 BR 112012032875 A BR112012032875 A BR 112012032875A BR 112012032875 A BR112012032875 A BR 112012032875A BR 112012032875 B1 BR112012032875 B1 BR 112012032875B1
Authority
BR
Brazil
Prior art keywords
measurement
image sequence
measurement object
projector
accelerations
Prior art date
Application number
BR112012032875A
Other languages
English (en)
Other versions
BR112012032875A2 (pt
Inventor
Siercks Knut
Original Assignee
Leica Geosystems Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems Ag filed Critical Leica Geosystems Ag
Publication of BR112012032875A2 publication Critical patent/BR112012032875A2/pt
Publication of BR112012032875B1 publication Critical patent/BR112012032875B1/pt

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/60—Systems using moiré fringes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/52—Combining or merging partially overlapping images to an overall image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

método de medição óptica e sistema de medição para determinar as coordenadas em 3d sobre a superfície do objeto de medição. a presente invenção refere-se a um método de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição da superfície do objeto de medição (is). para este propósito, a superfície do objeto de medição (is) está iluminada com uma sequência de padrão com vários padrões (2a, 2b) usando-se um projetor (3), uma sequência de imagem da superfície do objeto de medição (is) que está iluminada com a sequência de padrão é registrada com um sistema de câmera (4), e as coordenadas em 3d para os pontos de medição são determinadas por meio da avaliação da sequência de imagem. de acordo coma invenção, enquanto a sequência de imagem está sendo registrada, pelo menos durante os tempos de iluminação das imagens individuais da sequência de imagem, as acelerações translacionais e/ou rotacionais do projetor (3) do sistema de câmera (4) e/ou do objeto de medição (1) são medidas pelo menos em uma taxa de medição de tal modo que, durante os tempos de iluminação das imagens respectivamente individuais da sequência de imagem, em cada caso uma pluralidade de valores, em particular uma multiplicidade de valores, para as acelerações é requerida. portanto, é possível, com base nas acelerações medidas, levar algoritmicamente em consideração, durante a determinação das coordenadas em 3d, os movimentos.

Description

Relatório Descritivo da Patente de Invenção para MÉTODO E SISTEMA DE MEDIÇÃO ÓPTICA PARA DETERMINAR AS COORDENADAS EM 3D DE UMA MULTIPLICIDADE DE PONTOS DE MEDIÇÃO.
[0001] A presente invenção refere-se a um método de medição óptica para determinar as coordenadas em 3D de uma multiplicidade de pontos de medição da superfície do objeto de medição e a um sistema de medição configurado para tal propósito.
[0002] Aparelhos e métodos deste tipo são usados em particular na engenharia mecânica, engenharia automotiva, na indústria de cerâmica, na indústria de calçados, na indústria de jóias, na tecnologia odontológica e na medicina humana (ortopedia) e outras áreas, e encontram uso, por exemplo, para a medição e criação de protocolo do controle de qualidade, engenharia reversa, uma rápida formação de protótipo, uma rápida moagem ou mock-up digital.
[0003] As crescentes demandas por um controle de qualidade amplamente completo no processo de produção em andamento e pela digitalização da forma espacial de protótipos significa que o registro das topografias de superfície tornou-se uma tarefa de medição com uma frequência crescente. O objetivo aqui é determinar as coordenadas de pontos individuais das superfícies do objeto a serem medidos em um curto período de tempo.
[0004] Os sistemas de medição que usam sequências de imagem, as quais são conhecidas da técnica anterior para determinar as coordenadas em 3D dos objetos de medição, os quais podem ser configurados, por exemplo, como sistemas portáteis, manuais e/ou montados de maneira fixa, neste caso eles possuem em geral um projetor padrão para iluminar o objeto de medição com um padrão, e, portanto, às vezes eles também são referidos como scanners padrão de projeção em 3D ou scanners com estrutura de luz em 3D. O padrão
Petição 870190108144, de 24/10/2019, pág. 11/54
2/31 projetado sobre a superfície do objeto de medição é registrado por um sistema de câmera como uma parte constituinte adicional do sistema de medição.
[0005] Como parte da medição, o projetor desse modo ilumina o objeto de medição de modo sequencial com padrões diferentes (por exemplo, brilho paralelo e listras escuras com larguras diferentes, a listra padrão também pode em particular ser girada, por exemplo, em 90°). A(s) câmera(s) registra(m) a listra padrão projetada em um ângulo de observação conhecido em relação à projeção. Com cada câmera, uma imagem é registrada para cada padrão de projeção. Desse modo, uma sequência de tempo com diferentes valores de luminosidade é produzida para cada pixel de todas as câmeras.
[0006] Em adição às listras, também é possível, no entanto, para corresponder a outros padrões a serem projetados, tais como, por exemplo, padrões aleatórios, pseudocódigos etc. Padrões adequados para isso já são bastante conhecidos por uma pessoa versada na técnica a partir da técnica anterior. Pseudocódigos permitem, por exemplo, uma associação absoluta mais fácil de pontos do objeto, o que torna infinitamente difícil a projeção de listras muito finas. Para este propósito, é possível projetar primeiro um ou mais pseudocódigos em uma rápida sucessão e em seguida um com listra fina, ou então, em registros sucessivos, padrões diferentes de listra os quais tornam-se crescentemente finos na sequência, até que a precisão desejada na resolução dos pontos de medição sobre a superfície do objeto de medição seja obtida.
[0007] As coordenadas em 3D da superfície do objeto de medição podem então ser calculadas a partir da sequência de imagem registrada usando-se o processamento de imagem de acordo com os métodos conhecidos pela pessoa versada nesta técnica e a partir da fotogrametria e/ou projeção de listra. Como forma de exemplo, tais
Petição 870190108144, de 24/10/2019, pág. 12/54
3/31 métodos de medição e sistemas de medição são descritos no WO 2008/046663, DE 101 27 304 A1, DE 196 33 686 A1 ou DE 10 2008 036 710 A1.
[0008] O sistema de câmera tipicamente compreende uma ou mais câmeras digitais, as quais estão situadas em uma posição espacial conhecida, uma em relação à outra, durante a medição. De modo a garantir uma posição estável para as câmeras, uma em relação à outra, elas estão geralmente integradas de maneira fixa, com um posicionamento e alinhamento espacial conhecido, juntas em um alojamento comum, em particular as câmeras estão alinhadas de tal modo que os campos de visão das câmeras individuais se interceptem amplamente. Neste caso, duas ou três câmeras são frequentemente usadas. Neste caso, o projetor pode ser conectado de maneira fixa ao sistema de câmera (caso câmeras separadas também sejam usadas apenas em parte das câmeras disponíveis do sistema de câmera) ou pode ser posicionado completamente separado do sistema de câmera. [0009] As coordenadas tridimensionais desejadas da área de superfície no caso geral, ou seja, onde o posicionamento e o alinhamento relativo do projetor em relação ao sistema de câmera são fixos, uma em relação à outra e, portanto, não são descobertas com antecedência, são calculados em duas etapas. Em uma primeira etapa, as coordenadas do projetor são determinadas como se segue. Em um dado ponto do objeto, as coordenadas da imagem na câmera são conhecidas. O projetor corresponde a uma câmera invertida. O número de listra pode ser calculado a partir de uma sucessão de valores de luminosidade os quais foram medidos a partir da sequência de imagem de cada pixel da câmera. No caso mais simples, o mesmo é efetuado através de um código binário (por exemplo, um código de cinza), o caracteriza o número de listra como uma coordenada discreta no projetor. Desse modo é possível obter um grau mais alto de precisão a
Petição 870190108144, de 24/10/2019, pág. 13/54
4/31 qual é conhecida como o método de mudança de fase, visto que ele pode determinar uma coordenada não discreta. Isso pode ser usado na suplementação de um código de cinza ou como um método heteródino e absoluto de medição.
[00010] Depois que a posição do projetor tiver sido determinada desse modo ou no caso onde sua posição em relação ao sistema de câmera já é previamente conhecida, é possível verificar - por exemplo, com o método de interseção- coordenadas em 3D dos pontos de medição na superfície do objeto de medição como se segue. O número de listra no projetor corresponde à coordenada da imagem na câmera. O número de listra especifica um plano de luz no espaço, a coordenada da imagem especifica um feixe de luz. Com a posição da câmera e do projetor sendo conhecida, o ponto de interseção do plano e a linha reta podem ser calculados. Essa é a coordenada tridimensional desejada do ponto do objeto no sistema de coordenada do sensor. A posição geométrica de todos os raios da imagem deve ser conhecida exatamente. Os feixes são calculados usando-se exatamente a interseção como conhecido a partir da fotogrametria.
[00011] De modo a obter precisões melhores neste método de medição para o cálculo das coordenadas em 3D, as propriedades não ideais dos sistemas com lentes reais, as quais resultam em distorções da imagem, podem ser adaptadas através de uma correção da distorção e/ou uma calibração precisa de propriedades de criação de imagem pode ocorrer. Todas as propriedades de criação de imagem do projetor e das câmeras podem ser medidas ao longo dos processos de calibração conhecidos por uma pessoa versada na técnica (por exemplo, uma série de registros de calibração), e um modelo matemático para descrever essas propriedades de criação de imagem pode ser gerado a partir dos mesmos (usando-se métodos fotogramétricos - em particular um cálculo de equalização aglomerante
Petição 870190108144, de 24/10/2019, pág. 14/54
5/31
- os parâmetros que definem as propriedades de criação de imagem são determinados a partir da série de registros de calibração, por exemplo). [00012] Em suma, no método de projeção padrão ou nos scanners com estrutura de luz em 3D, a iluminação do objeto com a sequência de padrões de luz é desse modo necessária para permitir uma determinação profunda e não ambígua dos pontos de medição na região de medição com o auxílio da triangulação (interseção). Desse modo, em geral uma pluralidade de registros (ou seja, uma série de imagens) mediante iluminação do objeto de medição com projeções diferentes de padrão correspondente (ou seja, com uma série correspondente de padrões) é necessária para garantir uma precisão alta o bastante em relação ao resultado de medição. Nos sistemas manuais conhecidos a partir da técnica anterior, tais como, por exemplo, no aparelho de medição descrito no WO 2008/046663, a sequência de iluminação deve, neste caso, ocorrer tão rapidamente que um movimento feito pelo operador durante o registro de uma série de imagens não cause erros de medição. Os pixels registrados pelas câmeras da projeção individual devem ser capazes de ser designados, um em relação ao outro com precisão suficiente. Desse modo, a sequência de imagem deve ocorrer mais rápido do que a mudança de padrão ou imagem causada pelo operador. Visto que uma energia óptica emissível do projetor está limitada pelas fontes ópticas disponíveis e pelas regulações de proteção contra a radiação, isso resulta na limitação da energia detectável no sistema de câmera e desse modo em uma limitação da medição em superfícies fracamente refletoras do objeto de medição. Além disso, os projetores estão limitados em termos de velocidade da projeção (taxa de imagem). As típicas taxas de imagem máxima de tais projetores estão, por exemplo, em torno de 60 Hz.
[00013] Para a operação de medição que compreende a projeção de uma série de padrões e registros de uma sequência de imagem dos
Petição 870190108144, de 24/10/2019, pág. 15/54
6/31 respectivos padrões com o sistema de câmera, por exemplo, a duração da medição de aproximadamente 200 ms é necessária com aparelhos de medição convencionais (um exemplo: para registrar sequências a partir de 8 a 10 imagens com uma duração de exposição de 20 ms a 40 ms por imagem, por exemplo, podem resultar no tempo total de registro ou nas durações de medição entre 160 ms e 400 ms por posição de medição).
[00014] No caso de estabilidade insuficiente ou no caso de posição e estabilidade insuficientemente altas no alinhamento da composição da câmera do projetor (ou caso apropriado, de um cabeçote de medição que contém a composição da câmera e do projetor de um modo integrado) e do objeto de medição um em relação ao outro, durante a operação de medição (na posição de medição), vários efeitos indesejáveis podem ocorrer, os quais tornam a avaliação mais difícil, mais complicada e até mesmo impossível, ou os efeitos que afetam de maneira adversa pelo menos a precisão atingível.
[00015] Uma oscilação não satisfatória da composição da câmera, do projetor (ou caso apropriado, de um cabeçote de medição que contém a composição da câmera e do projetor de um modo integrado) ou do objeto de medição pode ter, neste caso, várias causas.
[00016] Em primeiro lugar, vibrações no ambiente de medição (por exemplo, se as medições forem realizadas em uma estação de produção integrada em uma linha de produção), elas podem ser transferidas para o suporte do objeto de medição ou para um braço de robô que segura o cabeçote de medição e desse modo resulta em oscilações incômodas. Portanto, medidas as quais são complicadas para o amortecimento da oscilação têm sido bastante necessárias, ou se faz necessário mudar para espaços específicos de medição, os quais, no entanto, tornam o processo de produção significativamente mais complicado (visto que a remoção do objeto de medição de dentro
Petição 870190108144, de 24/10/2019, pág. 16/54
7/31 da linha de produção e o seu transporte para o espaço de medição que foi projetado de maneira específica para o mesmo se tornam necessários).
[00017] Nos sistemas manuais, a principal causa de oscilação não satisfatória é, em particular, o tremor natural na mão do usuário.
[00018] Os efeitos negativos que serão mencionados aqui, os quais podem ser causados pela falta de estabilidade na posição e orientação da composição da câmera, do projetor e do objeto de medição um em relação ao outro, são, em primeiro lugar, borrão devido à moção e/ou balanço da câmera nas imagens individuais registradas por uma sequência de imagem.
[00019] Em segundo lugar, no entanto, inconformidades das imagens individuais de uma sequência de imagem uma em relação à outra e em relação às suas respectivas posições de registros e direções a partir do objeto de medição (ou seja, a variabilidade nas posições e direções de registro das imagens individuais dentro de uma sequência de imagem) podem ocorrer, de tal modo que a respectiva associação de pixels nas imagens individuais com pontos idênticos de medição na superfície do objeto de medição torna-se completamente impossível ou pode se tornar possível apenas com o uso de uma complexidade computacional extremamente alta e a inclusão de informações a partir de uma multiplicidade de imagens da mesma região da superfície do objeto de medição (ou seja, pode vir a ser necessário levar subsequentemente as imagens individuais para dentro de uma relação espacial de um modo computacional, o que é muito trabalhoso, e é por causa disso que até agora, parcialmente como uma medida preventiva contra este efeito, um excesso de imagens por sequência de imagem tem sido registrado, o que serve principalmente apenas para calcular a relação espacial das posições e direções de registro das imagens individuais).
Petição 870190108144, de 24/10/2019, pág. 17/54
8/31 [00020] De modo a expandir a região de medição sobre o objeto de medição (por exemplo, para medir um objeto em sua totalidade), frequentemente é necessária uma pluralidade de medições em sucessão (a partir de várias posições de medição e em diferentes ângulos de visualização das câmeras em relação ao objeto de medição), na qual os resultados de várias medições são subsequentemente ligados uns aos outros. Isso pode ocorrer, por exemplo, por meio da capturação das regiões que estão selecionadas em cada caso e de um modo sobreposto nas respectivas operações de medição e com a respectiva sobrepoção sendo usada para reunir de maneira correspondente as coordenadas em 3D, obtidas a partir de várias operações de medição (ou seja, nuvens de ponto) (ou seja, as distribuções idênticas ou similares nas nuvens de ponto, determinadas nas operações individuais de medição podem ser identificadas e consequentemente, as nuvens de ponto podem ser reunidas).
[00021] Esta operação de reunião, no entanto, é em geral extremamente intensiva em termos de cálculo e exige uma despesa que é significante e incomodamente alta em termos de tempo e energia mesmo se os melhores processadores de potência estiverem disponíveis. Quando, por exemplo, um braço de robô for usado para segurar e guiar o cabeçote de medição, a redução da despesa computacional que é necessária para a operação de reunião poderá ser desse modo obtida através da capturação das posições e direções de registro nas medições individuais com base na respectiva posição do braço de robô e usando-se as mesmas para a reunião como informação antecedente (por exemplo, como condições delimitantes).
[00022] As desvantagens neste caso é a precisão relativamente baixa com a qual a posição de medição pode ser determinada com base na posição do braço de robô, e - não obstante - na exigência que tal braço de robô esteja presente. Desse modo, a potência computacional
Petição 870190108144, de 24/10/2019, pág. 18/54
9/31 necessária para reunir os resultados de medição de uma pluralidade de operações de medição não pode ser reduzida deste modo para sistemas manuais de medição.
[00023] Outras desvantagens dos sistemas da técnica anterior que usam uma radiação óptica substancialmente coerente para a iluminação padrão são - devido aos indesejados campos com mancha, os quais ocorrem nos respectivos padrões da sequência de padrão - imprecisões de medição local ou lacunas no ponto de medição.
[00024] O objetivo técnico no qual a invenção está baseada é, portanto, a provisão de um método aprimorado de medição óptica e de um sistema de medição, usando-se sequências de imagem para determinar as coordenadas em 3D na superfície do objeto de medição, em particular, no qual uma ou mais das desvantagens mencionadas anteriormente podem ser reduzidas ou eliminadas.
[00025] Objetivos mais específicos da invenção são neste caso a possibilidade de uma determinação mais precisa sobre as coordenadas em 3D, também no caso da estabilidade de posição do projetor, do sistema de câmera e/ou do objeto de medição, ou seja, não satisfatória para os sistemas de medição conhecidos pela técnica anterior (por exemplo devido às oscilações indesejadas, vibrações ou tremores) durante a operação de medição (ou seja, durante a sequência de padrão projeção e a sequência de registro de imagem). De maneira específica, a intenção aqui é permitir a redução - em primeiro lugar - de erros ou imprecisões na determinação das coordenadas em 3D, os quais são causados pelo balanço da câmera e/ou borrão devido à moção nas imagens individuais de uma sequência de imagem. Em segundo lugar, a meta também é ser capaz de reduzir ou eliminar erros os quais são causados pela variabilidade na posição de registro e direção de registro nas imagens de uma sequência de imagem, uma em relação à outra, o que ocorre no caso de oscilação.
Petição 870190108144, de 24/10/2019, pág. 19/54
10/31 [00026] Mais um objetivo específico durante o uso de uma fonte coerente para a projeção dos padrões é a redução das lacunas de medição local ou das imprecisões de medição local, causadas pelas manchas que ocorre na superfície padrão do objeto de medição.
[00027] Mais um objetivo específico - em particular para os sistemas manuais de medição - é a simplificação da reunião dos resultados de medição (por exemplo, nuvens de ponto produzidas a partir dos mesmos) de uma pluralidade de operações de medição e/ou a possibilitação de uma redução na potência computacional necessária para tal reunião.
[00028] A invenção refere-se a um método de medição de projeção de padrão que usa sequências de imagem para determinar as coordenadas em 3D da superfície do objeto de medição e a um sistema de medição o qual está configurado para o dito propósito.
[00029] Dentro do contexto da invenção, durante a operação de medição - ou seja, durante o registro da sequência de imagem acelerações translacionais e/ou rotacionais do padrão projetor, do sistema de câmera (por exemplo, se apropriado, de um cabeçote de medição que contém a composição da câmera e o projetor de um modo integrado) e/ou do objeto de medição são medidas usando-se sensores de inércia, e as acelerações medidas são levadas em consideração na determinação das coordenadas em 3D.
[00030] Em uma descrição mais detalhada, de acordo com a invenção, durante o tempo de exposição de imagens individuais da sequência de imagem, as acelerações translacionais e/ou rotacionais são medidas durante o registro da sequência de imagem pelo menos em tal taxa de medição que durante o tempo de exposição das imagens respectivamente individuais da sequência de imagem, em cada caso uma pluralidade de valores, em particular uma multiplicidade de valores, é capturada para as acelerações. Com base nisso, de acordo com a
Petição 870190108144, de 24/10/2019, pág. 20/54
11/31 invenção, os movimentos do projetor, do sistema de câmera e/ou do objeto de medição, os quais ocorrem durante o tempo de exposição das respectivas imagens individuais da sequência de imagem e que provocam desse modo o balanço da câmera e/ou borrão devido à moção nas respectivas imagens individuais da sequência de imagem, são em seguida levados em consideração algoritmicamente com base nas acelerações medidas na determinação das coordenadas em 3D. [00031] Em particular, na independência das acelerações medidas, a compensação e/ou correção de balanço da câmera e/ou borrão devido à moção, os quais são causados pelos movimentos do projetor, do sistema de câmera e/ou do objeto de medição que ocorrem durante o tempo de exposição das respectivas imagens individuais da sequência de imagem, acontecem respectivamente nas imagens individuais da sequência de imagem.
[00032] Para este propósito, os sensores de inércia podem ser dispostos sobre o sistema de câmera, sobre o projetor e/ou sobre o objeto de medição, no qual os sensores de inércia estão configurados em particular juntos com uma unidade integrada de medição de inércia. [00033] Dependendo da variante de modalidade do sistema de câmera e do projetor, os sensores de inércia também podem estar, neste caso, integrados devidamente a um alojamento que contém componentes do sistema de câmera e/ou do projetor. O sistema de câmera (também referido como composição da câmera) pode ser configurado, por exemplo - como já é conhecido através da técnica anterior - a partir de uma, duas, três, quatro ou mais câmeras, as quais estão dispostas com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, em um alojamento comum e estão configuradas para o registro substancialmente simultâneo de imagens individuais. De maneira alternativa, as câmeras individuais da composição da câmera também podem ser configuradas para estar
Petição 870190108144, de 24/10/2019, pág. 21/54
12/31 fisicamente separadas uma da outra em cada caso com um alojamento dedicado, o qual, no entanto, em geral torna a avaliação das sequências de imagem mais difícil, visto que nesse caso a relação espacial relativa das câmeras uma em relação a uma não está predefinida (o qual em um caso normal resulta em uma despesa computacional maior para a avaliação das sequências de imagem). Além disso, no caso das câmeras fisicamente separadas dos sistemas manuais, existe a dificuldade durante o uso pelo fato de que uma pluralidade de equipamentos separados deve ser carregada e segurada. Por essas duas razões, o sistema de câmera pode ser - em particular nos sistemas manuais ou nos sistemas configurados para ser montados sobre um braço de robô - acomodado junto com o projetor tendo um posicionamento e uma orientação fixa e conhecida de um em relação ao outro e de modo físico em um cabeçote de medição comum do sistema de medição, no qual, nesse caso e de acordo com a invenção, os sensores de inércia ou a unidade de medição de inércia também pode ser disposta.
[00034] Do mesmo modo, um grupo de sensores de inércia também pode ser - de maneira alternativa ou adicional - configurado para ficar montado sobre o objeto a ser medido, grupo esse que transmite as acelerações medidas (ou os movimentos que já são derivados do mesmo ou até mesmo de posições e alinhamentos) para a unidade de avaliação do sistema de medição com o propósito de serem consideradas na determinação de coordenada em 3D.
[00035] De maneira específica, aqui os sensores de inércia estão combinados e integrados dentro de uma unidade de medição de inércia com base nos componentes baseados no MEMS (MEMS significando microssistema eletromecânico) de tal modo que a unidade de medição de inércia esteja configurada para medir todas as acelerações em seis graus de liberdade, em particular, em uma taxa de medição, por
Petição 870190108144, de 24/10/2019, pág. 22/54
13/31 exemplo, entre aproximadamente 50 e 2000 Hz.
[00036] Como é conhecido por uma pessoa versada na técnica, aqui as acelerações dos seis graus de liberdade podem ser medidas como uma regra usando-se os seguintes tipos de sensores através da combinação correspondente de uma pluralidade de sensores de inércia em uma unidade de medição de inércia (IMU):
[00037] T rês sensores de aceleração dispostos de maneira ortogonal (também referidos como sensores de translação) detectam a aceleração linear no eixo geométrico x, y ou z. Com base nisso, o movimento de translação (e a posição relativa) pode ser calculado. Três sensores de taxa de rotação, dispostos de maneira ortogonal (também referidos como sensores giroscópicos) medem a aceleração angular em torno do eixo geométrico x, y ou z. Com base nisso, o movimento rotacional (e o alinhamento relativo) pode ser calculado.
[00038] Tais unidades de medição de inércia, com base nos componentes baseados no MEMS, e as quais estão configuradas como equipamentos ou conjuntos miniaturizados, já são bastante conhecidas através da técnica anterior e têm sido produzidas por um longo período e na produção em larga escala.
[00039] As acelerações do sistema de câmera, do projetor e/ou do objeto de medição detectadas durante a operação de medição - ou de maneira adicional também entre uma pluralidade de operações de medição - podem ser usadas aqui de acordo com a invenção ao longo da avaliação (por exemplo, no decorrer da determinação das coordenadas em 3D dos pontos de medição a partir da sequência de imagem ou ao longo da reunião de resultados de medição obtidos a partir de uma pluralidade de operações efetuadas de medição, ou seja, a partir de uma pluralidade de sequências de imagem) por vários propósitos e para aprimorar vários aspectos.
[00040] Se - conforme é fornecido no contexto da invenção - durante
Petição 870190108144, de 24/10/2019, pág. 23/54
14/31 o tempo de exposição das imagens individuais de uma sequência de imagem, as acelerações estiverem com uma taxa alta o bastante (ou seja, uma taxa que forneça pelo menos poucos - por exemplo, entre 5 e 50 -valores de aceleração por duração de exposição de uma imagem individual), os movimentos do projetor, do sistema de câmera e/ou do objeto de medição durante o tempo de exposição das imagens individuais da sequência de imagem, movimentos esses que provocam o balanço da câmera e/ou borrão devido à moção, podem ser levados em consideração algoritmicamente usando-se esses valores de aceleração medida. Os valores de aceleração medida podem preferidamente ser usados - de acordo com métodos, por exemplo, conhecidos o baste a partir da fotografia - para a compensação ou correção do balanço da câmera e/ou borrão devido à moção nas imagens individuais de uma sequência de imagem.
[00041] Uma falta de estabilidade da posição e orientação do sistema de medição e objeto de medição um em relação ao outro durante o tempo de exposição das imagens pode ser causada, neste caso, por exemplo, por um usuário que segura na sua mão o projetor, o sistema de câmera e/ou o objeto de medição, em particular causada por um tremor de mão de maneira inadvertida ou por vibrações ou oscilações nos suportes do projetor do sistema de câmera e/ou do objeto de medição.
[00042] O movimento no espaço capturado de acordo com a invenção pode ser usado, desse modo, por exemplo, para corrigir o efeito borrado nos registros individuais das câmeras digitais ou nos scanners de triangulação. Além disso, é possível nos sistemas manuais de medição, eliminar ou pelo menos reduzir as limitações principais causadas pelo tremor da mão de um usuário.
[00043] As oscilações/vibrações incômodas durante as medições, as quais ocorrem frequentemente durante uma montagem estacionária do
Petição 870190108144, de 24/10/2019, pág. 24/54
15/31 sistema de medição também podem ser desse modo e de acordo com a invenção - conforme descrito acima -levadas em consideração na avaliação e na determinação das coordenadas em 3D. Como um resultado, é possível, por exemplo, dispensar as medidas de amortecimento da oscilação as quais são frequentemente muito complicadas em termos de construção (ou pelo menos, medidas que são significativamente menos complexas podem ser fornecidas), com uma melhoria simultânea simultaneous na precisão de determinação da coordenada em 3D ou pelo menos sem ter que aceitar perdas em termos de precisão. O sistema de medição de acordo com a invenção é, portanto, mais adequado para uso direto em uma linha de produção. E em geral, é possível - devido à invenção - dispensar a operação offline do sistema de medição em um espaço de medição especial, o que é - visto de um modo geral - muito complicado (e o inclui a remoção do objeto de medição de dentro da linha de produção e o transporte do mesmo para dentro do espaço de medição para o qual ele havia sido consequentemente projetado).
[00044] De acordo com um desenvolvimento, as acelerações capturadas dos componentes de sistema de medição (ou seja, da composição de câmera/projetor) e/ou do objeto de medição também podem ser usadas de acordo com a invenção para associar em cada caso uma posição de registro de imagem e a direção em relação ao objeto de medição, o qual é atual em um respectivo tempo de registro, com as respectivas imagens de uma sequência de imagem. Para este fim, as acelerações são capturadas durante toda uma operação de medição (ou seja, toda a operação de registro de uma sequência de imagem ou de uma pluralidade de sequências de imagem). Em particular, para este fim, as acelerações podem ser medidas em tal taxa de modo que uma associação exata o suficiente dos respectivos tempos de registro das imagens individuais se torne possível. Se as acelerações
Petição 870190108144, de 24/10/2019, pág. 25/54
16/31 forem capturadas em uma taxa significativamente mais alta do que a taxa na qual as imagens estão sequencialmente registradas, também é possível fazer a associação com as respectivas imagens, bem como com aquelas posições de imagem de registro e direções que resultam a partir de um cálculo de média das acelerações capturadas durante as durações de esposição das imagens individuais.
[00045] As respectivas posições de registros e direções associadas com as imagens individuais de uma sequência de imagem para uma ligação simplificada de pixels nas imagens individuais com pontos idênticos de medição na superfície do objeto de medição, também no caso onde - por exemplo, devido a um tremor - a variabilidade nas posições e direções de registro das imagens individuais ocorre dentro de uma sequência de imagem.
[00046] A despesa computacional para a avaliação de uma sequência de imagem (a qual é necessária em particular para a interseção método) pode ser desse modo e de acordo com a invenção, significativamente reduzida visto que, derivada das posições e direções de registro, é possível determinar com antecedência por quais pixels das respectivas imagens da sequência de imagem os pontos respectivamente idênticos de medição da superfície terão suas imagens geradas.
[00047] Visto que nos sistemas da técnica anterior parcialmente um excesso de imagens por sequência de imagem have tinha que ser registrado de modo a levar - antes da avaliação real - as imagens para dentro de uma relação espacial por meio do processamento de imagem, e agora é possível de acordo com a invenção reduzir a despesa computacional e/ou o número de imagens necessárias para ser registrado por sequência de imagem para a determinação comparativamente exata das coordenadas em 3D desta sequência de imagem.
Petição 870190108144, de 24/10/2019, pág. 26/54
17/31 [00048] Por outro lado, no entanto, a invenção também torna possível que as imagens de uma sequência de imagem sejam registradas em intervalos mais longos de medição, visto que a influência exercida pela oscilação dos componentes de medição durante o registro da série de imagens é, de acordo com a invenção, suficientemente bem compensável ou corrigível e não leva a falhas na medição.
[00049] Por exemplo, de modo a medir regiões maiores da superfície do objeto de medição, as quais vão além da região de visualização e projeção padrão da composição da câmera e do projetor, é necessário de acordo com a técnica anterior que uma pluralidade de operações de medição seja realizada e que os resultados (por exemplo, as nuvens de ponto) sejam reunidos (“costurados”) subsequentemente com base nas regiões parciais, as quais são medidas de um modo sobreposto.
[00050] De acordo com a invenção, agora também é possível, por exemplo, realizar uma operação de medição relativamente longa (por exemplo, de até 1-5 segundos ou mais longa com registro de imagens continuamente sequencial), no qual o projetor e o sistema de câmera são deliberadamente movidos de tal modo que por fiman toda a região de medição seja coberta (por exemplo, todo o objeto de medição por todos os lados). A velocidade de movimento e a sucessão dos padrões projetados e da frequência do registro de imagem devem ser neste caso adaptadas e configuradas de tal modo que todas as regiões parciais fiquem iluminadas com padrões que variam suficientemente para avaliação, e de modo que um número suficiente de imagens seja registrado nas mesmas.
[00051] Ao invés de uma pluralidade de operações individuais de medição com uma posição e estabilidade no alinhamento da composição da câmera e do projetor que está tão parado quanto o possível, durante as respectivas medições individuais cujos resultados de medição são subsequentemente ligados de um modo
Petição 870190108144, de 24/10/2019, pág. 27/54
18/31 computacionalmente intensivo, é, portanto, possível de acordo com a invenção que uma operação contínua de medição seja efetuada de um modo deslizante, e leve as imagens individuais em relação à suas respectivas posições de registros e direções - para avaliação da sequência de imagem - dentro de uma relação espacial, uma em relação à outra, com base nas acelerações medidas de acordo, no entanto, com a invenção.
[00052] Em uma modalidade adicional da invenção, contudo, também é possível que as operações individuais de medição sejam realizadas, cujos resultados de medição (por exemplo, as nuvens de ponto) possam ser reunidos (“costurados”) de acordo com a invenção usando-se as acelerações medidas - com uma despesa computacional reduzida. Neste caso, é totalmente desnecessário que as regiões parciais específicas sejam medidas de um modo sobreposto para permitir a princípio a reunião dos resultados correspondentes da medição. A medição sobreposta pode ser, no entanto e não obstante realizada desse modo para aumentar ainda mais a confiabilidade e a precisão do cruzamento dos resultados individuais de medição também no contexto da invenção. As posições de medição e direções - as quais podem ser derivadas com base nas acelerações - nas respectivas operações individuais de medição também podem ser usadas, por exemplo, de modo a fornecer um valor inicial aprimorado para a conexão computacional das nuvens de ponto, se as mesmas se referirem a pontos idênticos (pontos de controle) ou padrões/geometrias idênticas (nas regiões com sobreposição).
[00053] De acordo com um aspecto adicional da invenção, as posições e direções de registro associadas com as respectivas imagens, posições de registros e direções essas que são derivadas das acelerações medidas, também podem ser usadas para densificar a região de medição (de tal modo que as coordenadas em 3D sejam
Petição 870190108144, de 24/10/2019, pág. 28/54
19/31 determinadas dentro de uma região específica de medição para um número maior de pontos de medição). Para este fim, é possível, por exemplo, com um leve movimento deliberado do projetor, da composição da câmera e/ou do objeto de medição (por exemplo, causado pelo tremor natural da mão de um usuário) que uma série de padrões seja projetada sobre a região de superfície e que uma série de imagens seja registrada na mesma (ou que uma pluralidade de série da mesma região de medição esteja conectada), e - como forma de acelerações - para que as imagens sejam dispostas em uma relação espacial umas com as outras de um modo altamente preciso, de tal modo que como um resultado, as coordenadas em 3D possam ser determinadas dentro da região de medição com uma densidade mais alta do ponto de medição. Em particular, é possível como um resultado, que as coordenadas em 3D dos pontos de medição sejam determinadas na superfície do objeto de medição, por exemplo, também na região de subpixel das imagens individuais.
[00054] De um modo similar também torna-se possível de acordo com a invenção para os sistemas, os quais usam substancialmente uma radiação óptica coerente para a iluminação padrão, reduzir a influência negativa, causada pela ocorrência inadvertida de campos com mancha nos respectivos padrões da sequência de padrão, sobre os resultados de medição (por exemplo, imprecisões de medição local ou lacunas no ponto de medição). Se, por exemplo, o projetor, a composição da câmera e/ou o objeto de medição forem levemente movidos de maneira eliberada durante a operação de medição (por exemplo, em função do tremor natural da mão de um usuário), os campos com mancha nos padrões projetados sobre a superfície do objeto de medição também mudarão. Como um resultado, é, portanto, possível que os campos com mancha nas respectivas imagens não apareçam sempre em locais idênticos na superfície do objeto de medição. Portanto, no contexto de
Petição 870190108144, de 24/10/2019, pág. 29/54
20/31 uma sequência de imagem o qual é registrado deste modo, pouco ou nenhum local deve existir sem formação de imagem em pelo menos algumas das imagens da sequência de imagem de um modo iluminado com um padrão substancialmente livre de mancha. Atrevés da justaposição das imagens da sequência de imagem (na qual as imagens são novamente dispostas em relação espacial umas com as outras de acordo com a invenção e usando-se as acelerações medidas aqui) é, portanto, possível reduzir a influência negativa causada pela mancha no caso da projeção padrão com uma radiação óptica coerente.
[00055] Em suma, é, portanto, possível de acordo com a invenção mover deliberadamente e com vários propósitos durante a operação de medição (a sequência de padrão-projeção e a sequência de registro de imagem) o objeto de medição, o sistema de câmera e/ou o projetor (ou reduzir ou eliminar a influência negativa causada por um movimento de fato indesejado). Para este fim, as acelerações do projetor, da composição da câmera e/ou do objeto de medição são medidas usandose os sensores de inércia e levadas em consideração na avaliação das imagens individuais da sequência de imagem.
[00056] Em particular, é possível de acordo com a invenção que a compensação ou correção de influências causadas por movimentos durante o tempo de exposição de imagens individuais (balanço da câmera/borrão devido à moção) na imagem seja realizada para cada imagem separadamente usando-se as acelerações medidas.
[00057] De maneira adicional ou alternativa, também é, no entanto, possível que uma posição e direção de registro respectivamente atual e derivada das acelerações (caso seja apropriado calculada em média), em relação ao objeto de medição (e caso seja apropriado, a respectiva posição e direção de projeção padrão atual) seja associada com cada imagem e desse modo leve as imagens para dentro de uma relação espacial em avanço para a determinação das coordenadas em 3D que
Petição 870190108144, de 24/10/2019, pág. 30/54
21/31 resultam da sequência de imagem. É possível, por exemplo, nesse caso que um movimento deliberado do objeto de medição, do sistema de câmera e/ou do projetor seja efetuado:
- para ampliar a região de medição na superfície do objeto de medição,
- para densificar a região de medição e desse modo aumentar uma densidade no ponto de medição na superfície do objeto de medição e/ou
- para mudar os campos com mancha, os quais aparecem de maneira inadvertida no caso de iluminação com radiação óptica substancialmente coerente, nos respectivos padrões da sequência de padrão e desse modo para diminuir as imprecisões de medição local ou lacunas no ponto de medição, causadas por tais campos com mancha. [00058] De maneira específica é possível neste que o movimento efetuado com esses propósitos seja causado por um usuário que segura em sua mão o objeto de medição e/ou o sistema de câmera, e/ou um suporte o qual está projetado para o mesmo e é controlado manualmente ou de um modo automaticamente preprogramado - em particular um braço de robô - para o projetor, o sistema de câmera e/ou o objeto de medição.
[00059] Novamente, de maneira adicional ou alternativa, é possível durante a execução sucessiva de uma pluralidade de operações individuais de medição, no entanto, que a posição de medição e alinhamento (da composição da câmera, do projetor e do objeto de medição um em relação ao outro) seja associada com cada operação de medição e desse modo que a reunião dos resultados de uma pluralidade de operações individuais de medição seja simplificada ou possibilitada em primeiro lugar.
[00060] O método de acordo com a invenção e o aparelho de acordo com a invenção serão descritos em mais detalhes abaixo com referência
Petição 870190108144, de 24/10/2019, pág. 31/54
22/31 às modalidades exemplares e concretas ilustradas de maneira esquemática nos desenhos de um modo puramente exemplar, no qual vantagens adicionais da invenção também serão mencionadas. Nas figuras:
A figura 1 mostra um sistema de medição óptica para determinar as coordenadas em 3D, no qual uma unidade de medição de inércia (IMU) está integrada de acordo com a invenção dentro do cabeçote manual de medição;
a figura 2 mostra um sistema de medição óptica de acordo com a invenção com um cabeçote manual de medição que possui uma IMU, um projetor e três câmeras, no qual uma porta de carro como o objeto de medição está iluminada com um padrão no decorrer da determinação da coordenada em 3D;
as figuras 3 e 4 mostram um sistema de medição óptica de acordo com a invenção com um cabeçote manual de medição que possui uma IMU, um projetor e uma câmera, no qual uma porta de carro como o objeto de medição está iluminada sucessivamente com padrões que possuem diferentes graus de qualidade;
as figuras 5 e 6 mostram um sistema de medição óptica de acordo com a invenção com um cabeçote de medição preso por um braço de robô, no qual uma porta de carro como o objeto de medição está iluminada sucessivamente com padrões de listra que possuem diferentes graus de qualidade;
a figura 7 mostra um sistema de medição óptica de acordo com a invenção com um cabeçote manual de medição, no qual a oscilação causada por um tremor de mão durante a medição é ilustrada;
a figura 8 mostra um sistema de medição óptica de acordo com a invenção com uma IMU disposta sobre o objeto de medição, no qual o objeto de medição está disposto em posições
Petição 870190108144, de 24/10/2019, pág. 32/54
23/31 diferentes para ampliar a região de medição e as imagens registradas nas posições diferentes são cruzadas com base nas acelerações medidas;
a figura 9 mostra um sistema de medição óptica de acordo com a invenção com um cabeçote manual de medição que possui uma IMU, no qual o cabeçote de medição está disposto em posições diferentes para ampliar a região de medição as imagens registradas nas posições diferentes são cruzadas com base nas acelerações medidas; e a figura 10 mostra um sistema de medição óptica de acordo com a invenção e em uso em uma linha de produção, no qual as vibrações, as quais afetam as medições o sistema de medição de acordo com a invenção e as quais são transferidas a partir de uma estação vizinha de produção, são compensadas com base nas acelerações medidas.
[00061] O sistema de medição óptica 7 mostrado na figura 1 para determinar as coordenadas em 3D de uma multiplicidade de pontos de medição da superfície do objeto de medição 1s possui, de acordo com a invenção, um projetor 3, um sistema de câmera 4, uma unidade de avaliação 6 e sensores de inércia 5a integrados em uma unidade de medição de inércia (IMU).
[00062] O projetor 3 está, neste caso, configurado para a iluminação da superfície do objeto de medição 1s com a sequência de padrão tendo diferentes padrões ópticos 2a. Por exemplo, o padrão projetor 3 pode ser configurado de maneira similar ao princípio de um projetor de slides. No entanto, também é possível que outras técnicas de projeção sejam usadas para gerar os padrões de luz 2a, por exemplo, projetores programáveis de LCD, slides móveis de vidro com diferentes estruturas de grades em um projetor, a combinação de uma grade comutável eletricamente e um dispositivo mecânico móvel ou uma projeção de
Petição 870190108144, de 24/10/2019, pág. 33/54
24/31 grades individuais com base nos slides de vidro.
[00063] O sistema de câmera 4 está configurado para o registro de uma sequência de imagem da superfície do objeto de medição 1s iluminada com a sequência de padrão e pode ter, neste caso, pelo menos uma câmera, em particular no entanto duas,três ou quatro câmeras 4a, 4b, 4c, as quais podem ser dispostas, por exemplo, com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, e estão configuradas de maneira específica para o registro substancialmente simultâneo de imagens individuais.
[00064] Como é conhecido por uma pessoa versada na técnica, é possível usar para o registro de imagem, por exemplo, câmeras 4a, 4b, 4c com sensor eletrônico de imagem, por exemplo, sensores CCD ou CMOS, os quais fornecem informações sobre a imagem na forma de uma matriz de imagem para um processamento adicional. É possível, neste caso, que tanto câmeras monocromáticas quanto câmeras coloridas sejam usadas.
[00065] A unidade de avaliação 6 está configurada para a determinação das coordenadas em 3D dos pontos de medição a partir da sequência de imagem, em particular, e durante a verificarção de uma sucessão de valores de luminosidade para pontos idênticos de medição da superfície do objeto de medição 1s nas respectivas imagens da sequência de imagem registrada.
[00066] O projetor 3 e o sistema de câmera 4 estão acomodados fisicamente de acordo com uma modalidade exemplar com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, em um cabeçote de medição comum 8 do sistema de medição 7, em particular no qual o cabeçote de medição 8 está configurado para ser capaz de ficar preso pela mão do usuário e/ou de ser fixado a um braço de robô.
[00067] De acordo com a invenção, a IMU, que possui os sensores
Petição 870190108144, de 24/10/2019, pág. 34/54
25/31 de inércia 5a, também está integrada dentro do cabeçote de medição 8, no qual os sensores de inércia 5a são configurados desse modo para a medição das acelerações translacional e rotacional do cabeçote de medição 8 (ou seja, do projetor 3 e do sistema de câmera 4) durante o registro da sequência de imagem. Os sensores de inércia 5a estão configurados, neste caso, para a medição das acelerações em pelo menos tal taxa de medição, a qual durante o tempo de exposição das respectivas imagens individuais da sequência de imagem, em cada caso uma pluralidade de valores, em particular uma multiplicidade de valores para as acelerações é capturável.
[00068] A unidade de avaliação 6 está configurada, neste caso, de tal modo que com ela o controle sincronizado dos sensores de inércia 5a e do sistema de câmera 4 é efetuado de tal modo que durante o registro da sequência de imagem em cada caso, uma pluralidade de valores para as acelerações seja capturada pelo menos durante o tempo de exposição de imagens individuais da sequência de imagem. [00069] Portanto, é possível por fim e de acordo com a invenção que usa a unidade de avaliação 6 para levar algoritmicamente em consideração os movimentos do projetor 3, do sistema de câmera 4 e/ou do objeto de medição 1 os quais provocam o balanço da câmera e/ou borrão devido à moção nas respectivas imagens individuais da sequência de imagem, com base nas acelerações medidas pelos sensores de inércia 5a para a determinação das coordenadas em 3D. [00070] Neste caso em particular é possível, com base nas acelerações medidas para a compensação ou correção de efeitos causados por movimentos durante o tempo de exposição das imagens individuais (balanço da câmera/borrão devido à moção) na imagem, ocorrem para cada imagem separadamente.
[00071] Para este fim, a unidade de avaliação 6 pode ser configurada de tal modo que na independência das acelerações medidas, ocorre a
Petição 870190108144, de 24/10/2019, pág. 35/54
26/31 compensação e/ou correção de balanço da câmera e/ou borrão devido à moção - causados por movimentos do projetor 3, do sistema de câmera 4 e/ou do objeto de medição 1 e que acontecem durante o tempo de exposição das respectivas imagens individuais da sequência de imagem - em cada caso nas imagens individuais da sequência de imagem.
[00072] Em suma, as acelerações são capturadas durante o tempo de exposição das imagens individuais de uma sequência de imagem a uma taxa alta o suficientemente (ou seja, a uma taxa que fornece pelo menos alguns - por exemplo, entre 5 e 50 -valores de aceleração por duração de exposição de uma individual imagem), e com base nisto é possível em seguida levar em consideração algoritmicamente os movimentos do projetor, do sistema de câmera e/ou do objeto de medição durante o tempo de exposição das imagens individuais da sequência de imagem, movimentos esses que provocam o balanço da câmera e/ou borrão devido à moção na imagem, com base nesses valores de aceleração medida. Os valores de aceleração medida podem ser de maneira preferida e de acordo com os métodos que são bastante conhecidos, por exemplo, na fotografia, usados para compensar ou corrigir o balanço da câmera e/ou borrão devido à moção nas imagens individuais de uma sequência de imagem.
[00073] Os sensores de inércia 5a da unidade de medição de inércia podem aqui em particular ser com base nos componentes baseados no MEMS e ser combinados e integrados dentro de uma IMU de tal modo que está configurado para a medição de acelerações todas em seis graus de liberdade, em particular em uma taxa de medição aproximadamente entre 50 and 2000 Hz.
[00074] Desse modo, é possível que o sistema ilustrado de medição óptica 7, em particular controlado automaticamente pela unidade de avaliação 6 e de um modo programado, seja configurado e projetado
Petição 870190108144, de 24/10/2019, pág. 36/54
27/31 para realizar o método de medição óptica de acordo com a invenção conforme já descrito acima.
[00075] A modalidade exemplar de um sistema de medição óptica 7 mostrada na figura 2 e de acordo com a invenção possui um cabeçote manual de medição 8 que compreende uma IMU (com sensores de inércia 5a), um projetor 3 e três câmeras 4a, 4b, 4c (por exemplo, integradas em um alojamento portátil com alça e, portanto, configuradas como um scanner portátil em 3D com estrutura de luz), no qual uma porta de carro como o objeto de medição 1 está iluminada com um padrão 2a (como parte da sequência de padrão) usando-se o projetor 3 no decorrer da determinação das coordenadas em 3D.
[00076] As três câmeras 4a, 4b, 4c do sistema de câmera 4, as quais estão dispostas aqui como forma de exemplo com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, estão configuradas para registrar uma sequência de imagem da superfície da porta do carro que está iluminada com a sequência de padrão. As câmeras 4a, 4b, 4c podem ser neste caso configuradas para o registro substancialmente simultâneo de imagens individuais.
[00077] Além disso, uma unidade de medição de inércia (com sensores de inércia 5a) está vovamente integrada dentro do cabeçote de medição 8, como um resultado do qual a compensação de erros de medição de acordo com a invenção causados, por exemplo, pela oscilação relacionada aos tremores de mão pode ser realizada no decorrer da avaliação da sequência de imagem e da derivação das coordenadas em 3D. Em particular, controlado automaticamente pela unidade de avaliação e de um modo programado, é possível que o sistema de medição óptica ilustrado 7 seja configurado e projetado para realizar o método de medição óptica de acordo com a invenção conforme descrito acima.
[00078] As figuras 3 e 4 ilustram um sistema de medição óptica 7 de
Petição 870190108144, de 24/10/2019, pág. 37/54
28/31 acordo com a invenção com um cabeçote manual de medição 8 que possui uma IMU (com sensores de inércia 5a), um projetor 3 e uma câmera 4a (por exemplo, integrada em um alojamento portátil com alça e, portanto, configurada como um scanner portátil em 3D com estrutura de luz), no qual uma porta de carro como o objeto de medição 1 é iluminada sucessivamente com padrões 2a, 2b que possuem diferentes graus de qualidade como parte da sequência de padrão (figura 3: padrão mais rústico 2a; e figura 4: com padrão 2b finamente estruturado).
[00079] Como é conhecido a partir da técnica anterior, o objeto (por exemplo, porta de carro) é iluminado desse modo com uma sequência de padrões de luz 2a, 2b com estrutura de qualidade diferente de modo a obter uma determinação não ambígua da profundidade dos pontos de medição na região de medição com o auxílio da triangulação (interseção). Neste caso uma pluralidade de imagens também é registrada (ou seja, uma série de imagens) por meio da iluminação do objeto de medição 1 com os padrões diferentes correspondentes 2a, 2b (ou seja, com uma série de padrões).
[00080] De acordo com a invenção, mais uma vez uma unidade de medição de inércia (com sensores de inércia 5a) está integrada dentro do cabeçote de medição 8 do scanner em 3D ilustrado nas figuras 3 e 4, como um resultado do qual a compensação de, por exemplo, erros de medição causados pela oscilação relacionada aos tremores de mão pode ser efetuada de acordo com a invenção no decorrer da avaliação da sequência de imagem e da derivação das coordenadas em 3D. Em particular, controlado automaticamente pela unidade de avaliação e de um modo programado, o sistema de medição óptica ilustrado 7 pode ser configurado e projetado para realizar uma modalidade individual ou uma pluralidade de modalidades descritas acima do método de medição óptica de acordo com a invenção.
Petição 870190108144, de 24/10/2019, pág. 38/54
29/31 [00081] As figuras 5 e 6 ilustram um sistema de medição óptica 7 de acordo com a invenção e similar ao sistema das figuras 3 e 4, exceto neste caso pelo fato de que o cabeçote de medição 8 está configurado como um cabeçote de medição 8 preso por um braço de robô e o projetor 3 está configurado para a projeção sucessiva dos padrões com listras 2a, 2b os quais possuem diferentes qualidades como uma sequência de padrão.
[00082] De acordo com a invenção, o cabeçote de medição 8 ilustrado nas figuras 3 e 4 também possui uma unidade de medição de inércia IMU (com sensores de inércia 5a), como um resultado do qual a compensação de erros de medição de acordo com a invenção, os quais são causados, por exemplo, pelas vibrações transferidas para o braço de robô a partir do ambiente da região de medição, pode ser efetuada no decorrer da avaliação da sequência de imagem e da derivação das coordenadas em 3D. De maneira alternativa ou adicional, as acelerações medidas também podem ser usadas para reunir espacialmente (“costurar”) de imagens individuais capturadas a partir de posições diferentes do braço de robô (como parte de uma ou mais sequências de imagem), de tal modo que - dependendo da escolha das posições diferentes de registros, os quais podem ser adaptos por uma pessoa versada na técnica de acordo com as exigências - a região de medição pode ser desse modo ampliada e/ou densificada, ou uma mudança de campo com manchas as quais ocorrem de maneira inadvertida no caso da iluminação com uma radiação óptica substancialmente coerente nos respectivos padrões 2a, 2b da sequência de padrão e desse modo a redução de imprecisões na medição local ou lacunas no ponto de medição, causadas por tais campos com manchas pode ser efetuada.
[00083] As figuras 7 e 9 mostram um sistema de medição similar 7 como na figura 1 e ilustram aqui uma oscilação/movimento do cabeçote
Petição 870190108144, de 24/10/2019, pág. 39/54
30/31 de medição 8 (causada de maneira inadvertida por tremor de mão ou por exemplo, com o propósito de densificação ou ampliação da região de medição - deliberadamente) durante a medição. As acelerações medidas que usam a IMU (com sensores de inércia 5a) podem ser usadas então para reunir espacialmente (“costurar”) as imagens individuais capturadas a partir de diferentes posições manuais (como parte de uma ou mais sequências de imagem).
[00084] Além disso, é possível neste caso que um balanço da câmera com projeções individuais padrão 2a, 2b (da sequência de padrão) ocorra sobre o objeto de medição 1 e que um balanço da câmera com registros individuais de imagem (de uma sequência de imagem) também ocorra, onde os erros causados pelo balanço da câmera na imagem podem ser corrigidos ou compensados do mesmo modo, ou levados em consideração de acordo com a invenção no decorrer da determinação das coordenadas em 3D usando-se as acelerações medidas pela IMU integrada dentro do cabeçote de medição 8.
[00085] A figura 8 ilustra um sistema de medição óptica 7 de acordo com a invenção que possui uma IMU (com sensores de inércia 5b) disposta sobre o objeto de medição 1, no qual o objeto de medição 1 pode ser disposto em posições diferentes para ampliar a região de medição e - de acordo com a invenção - as posições diferentes do objeto de medição 1 registrado nas imagens individuais (da sequência de imagem) podem ser cruzadas com base nas acelerações medidas pela IMU e dispostas em uma relação espacial uma com as outras.
[00086] Em adição à IMU (com sensores de inércia 5b) sobre o objeto de medição 1, também é igualmente possível que uma IMU (com sensores de inércia 5a) seja integrada dentro do cabeçote de medição
8. Como um resultado, é possível - conforme descrito acima - além disso, que os movimentos do cabeçote de medição 8 que ocorrem
Petição 870190108144, de 24/10/2019, pág. 40/54
31/31 durante a medição também sejam levados em consideração de acordo com a invenção durante a determinação das informações sobre profundidade e das coordenadas em 3D.
[00087] A figura 10 mostra um sistema de medição óptica em uso 7 de acordo com a invenção em uma linha de produção, no qual as vibrações que afetam as medições com o sistema de medição 7 de acordo com a invenção, vibrações essas que são transferidas da estação vizinha de produção, são compensadas com base nas acelerações medidas.
[00088] Para este fim, em cada caso uma IMU (com sensores de inércia 5a e/ou 5b) pode ser disposta de acordo com a invenção, como também descrita, por exemplo, acima em conjunto com a figura 8 tanto sobre o objeto de medição 1 quanto integrada dentro do cabeçote de medição 8 (o qual, neste caso, possui duas câmeras puramente como forma de exemplo), como um resultado do qual a compensação de erros de medição de acordo com a invenção, os quais são causados, por exemplo, por vibrações transferidas para o braço de robô a partir da região do ambiente de medição e pela oscilação do cabeçote de medição 8, pode ser efetuada no decorrer da avaliação da sequência de imagem e da derivação das coordenadas em 3D.
[00089] Pode ser compreendido que essas figuras ilustradas ilustram de maneira esquemática apenas as modalidades exemplares possíveis. As abordagens diferentes podem ser combinadas do mesmo modo umas com as outras e com métodos da técnica anterior.

Claims (14)

1/7
REIVINDICAÇÕES
1. Método de medição óptica para determinar as coordenadas em 3D de uma multiplicidade de pontos de medição da superfície do objeto de medição (1s), que compreende as etapas de,
- iluminar a superfície do objeto de medição (1s) com a sequência de padrão de padrões diferentes (2a, 2b) usando-se um projetor (3),
- registrar uma sequência de imagem de uma pluralidade de imagens individuais da superfície do objeto de medição (1s), a qual é iluminada com a sequência de padrão, usando-se um sistema de câmera (4), e
- determinar as coordenadas em 3D dos pontos de medição por meio da avaliação da sequência de imagem, em particular no qual uma sucessão de valores de luminosidade é verificada quanto aos pontos idênticos de medição da superfície do objeto de medição (1s) nas respectivas imagens da sequência de imagem, caracterizado pelo fato de que,
- durante o registro da sequência de imagem pelo menos durante o tempo de exposição de imagens individuais da sequência de imagem, as acelerações translacionais e/ou rotacionais:
- do projetor (3),
- do sistema de câmera (4) e/ou
- do objeto de medição (1) são medidas em pelo menos tal taxa de medição que durante o tempo de exposição das imagens respectivamente individuais da sequência de imagem, em cada caso uma pluralidade de valores, em particular uma multiplicidade de valores, para as acelerações é capturada,
- os movimentos do projetor (3), do sistema de câmera (4)
Petição 870190108144, de 24/10/2019, pág. 42/54
2/7 e/ou do objeto de medição (1), os quais provocam o balanço da câmera e/ou borrão devido à moção nas respectivas imagens individuais da sequência de imagem e ocorrem durante o tempo de exposição das respectivas imagens individuais da sequência de imagem, são algoritmicamente levados em consideração na determinação das coordenadas em 3D com base nas acelerações medidas, e
- durante toda a operação de registro da sequência de imagem ou de uma pluralidade de sequências de imagem, as acelerações são medidas e as informações obtidas pela avaliação das imagens individuais em relação às coordenadas em 3D dos pontos de medição são reunidas de um modo computacional usando-se as acelerações medidas,
2. Método de medição óptica de acordo com a reivindicação 1, caracterizado pelo fato de que as acelerações do projetor (3) do sistema de câmera (4) e/ou do objeto de medição (1) são medidas todas em seis graus de liberdade e as acelerações são medidas de maneira contínua em uma taxa de medição específica, em particular entre aproximadamente 50 e 2000 Hz, de maneira específica durante toda a operação de registro da sequência de imagem.
3. Método de medição óptica de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que, na independência das acelerações medidas, a compensação e/ou correção de balanço da câmera e/ou borrão devido à moção, o que é causado pelos movimentos do projetor (3), do sistema de câmera (4) e/ou do objeto de medição (1) os quais ocorrem durante o tempo de exposição das respectivas imagens individuais da sequência de imagem, acontece respectivamente nas imagens individuais da sequência de imagem, no qual de maneira específica os movimentos são causados:
- por um usuário que segura em sua mão o projetor (3), o sistema de câmera (4) e/ou o objeto de medição (1), em particular,
Petição 870190108144, de 24/10/2019, pág. 43/54
3/7 causados por um tremor de mão e de maneira inadvertida, ou
- pelas vibrações ou oscilações nos suportes do projetor (3), do sistema de câmera (4) e/ou do objeto de medição (1).
4. Método de medição óptica de acordo com qualquer uma das reivindicações de 1 a 3, caracterizado pelo fato de que durante a operação de registro,
- para ampliar a região de medição na superfície do objeto de medição (1s),
- para densificar a região de medição e desse modo aumentar uma densidade no ponto de medição na superfície do objeto de medição (1s) e/ou
- para mudar os campos com mancha, o que ocorre de maneira inadvertida no caso da iluminação com radiação óptica substancialmente coerente, nos respectivos padrões (2a, 2b) da sequência de padrão e desse modo diminuir as imprecisões de medição local ou lacunas no ponto de medição causadas por tais campos com mancha, o objeto de medição (1), o sistema de câmera (4) e/ou o projetor (3) é movido de maneira específica no qual o movimento que é efetuado para este propósito é efetuado por
- um usuário que segura em sua mão o objeto de medição (1) e/ou o sistema de câmera (4), e/ou:
- um suporte que está projetado para o mesmo e que é controlado manualmente ou de um modo automaticamente préprogramado - em particular um braço de robô - para o projetor (3), o sistema de câmera (4) e/ou o objeto de medição (1).
5. Método de medição óptica de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a junção computacional das relações espaciais entre as imagens individuais registradas, uma em relação à outra e referentes às suas posições de
Petição 870190108144, de 24/10/2019, pág. 44/54
4/7 registros e direções em relação ao objeto de medição (1), relações essas que são derivadas das acelerações medidas, é usada como condições iniciais de tal modo que a junção computacional per se exija uma despesa computacional reduzida - em relação a um método onde tais condições iniciais não são usadas.
6. Método de medição óptica de acordo com qualquer uma das reivindicações de 1 a 5, caracterizado pelo fato de que as coordenadas em 3D dos pontos de medição são determinadas através de fotogramas de acordo com o princípio da triangulação a partir da sequência de imagem e com o conhecimento do padrão da sequência de padrão capturado nas respectivas imagens da sequência de imagem, em particular usando-se interseção.
7. Método de medição óptica de acordo com qualquer uma das reivindicações de 1 a 6, caracterizado pelo fato de que a iluminação e o registro das posições que são conhecidas entre si são efetuados a partir dos alinhamentos que são conhecidos entre si, em particular no qual o registro é efetuado com uma pluralidade de câmeras (4a, 4b, 4c) como parte do sistema de câmera (4) a partir de posições diferentes.
8. Método de medição óptica de acordo com qualquer uma das reivindicações de 1 a 7, caracterizado pelo fato de que a superfície do objeto de medição (1s) está iluminada sucessivamente com:
- padrões de listra com diferentes graus de qualidade,
- pseudocódigos e/ou
- padrões aleatórios como os padrões diferentes da sequência de padrão, em particular no qual a iluminação é efetuada com os padrões individuais (2a, 2b) substancialmente na sucessão temporal e direta com uma duração de projeção de aproximadamente100 e 300 ms, de maneira específica aproximadamente 200 ms, e o registro da sequência de imagem ocorre com uma duração de exposição por imagem em cada
Petição 870190108144, de 24/10/2019, pág. 45/54
5/7 caso de aproximadamente 100 ms e 300 ms, de maneira específica aproximadamente 200 ms.
9. Sistema de medição óptica (7) para determinar as coordenadas em 3D de uma multiplicidade de pontos de medição da superfície do objeto de medição (1s), que compreende,
- um projetor (3) para iluminar a superfície do objeto de medição (1s) com a sequência de padrão de diferentes padrões ópticos (2a, 2b),
- um sistema de câmera (4) para registrar uma sequência de imagem de uma pluralidade de imagens individuais da superfície do objeto de medição (1s) que está iluminada com a sequência de padrão, e
- uma unidade de avaliação para determinar as coordenadas em 3D e determinar a partir da sequência de imagem em particular e ao mesmo tempo verificar uma sucessão de valores de luminosidade para pontos idênticos de medição da superfície do objeto de medição (1s) nas respectivas imagens da sequência de imagem, caracterizado pelo fato de que os sensores de inércia (5a, 5b) estão dispostos:
- sobre o projetor (3),
- sobre o sistema de câmera (4) e/ou
- sobre o objeto de medição (1) para medir as acelerações translacional e rotacional do projetor (3), do sistema de câmera (4) e/ou do objeto de medição (1) em pelo menos tal taxa de medição, a qual durante o tempo de exposição das respectivas imagens individuais da sequência de imagem, em particular uma multiplicidade de valores, para as acelerações pode ser capturada, e de modo que a unidade de avaliação (6) seja configurada
- para controlar de maneira sincronizada os sensores de inércia (5a, 5b) e o sistema de câmera (4) de tal modo que durante o
Petição 870190108144, de 24/10/2019, pág. 46/54
6/7 registro da sequência de imagem em cada caso uma pluralidade de valores para as acelerações seja capturada pelo menos durante o tempo de exposição de imagens individuais da sequência de imagem,
- para levar em consideração algoritmamente os movimentos do projetor (3), do sistema de câmera (4) e/ou do objeto de medição (1) - os quais provocam o balanço da câmera e/ou borrão devido à moção nas respectivas imagens individuais da sequência de imagem - com base nas acelerações medidas pelos sensores de inércia (5a, 5b) para a determinação das coordenadas em 3D, e sendo que durante toda a operação de registro da sequência de imagem ou de uma pluralidade de sequências de imagem, as acelerações são medidas e as informações obtidas pela avaliação das imagens individuais em relação às coordenadas em 3D dos pontos de medição são reunidas de um modo computacional usando-se as acelerações medidas.
10. Sistema de medição óptica (7) de acordo com a reivindicação 9, caracterizado pelo fato de que os sensores de inércia (5a, 5b) estão combinados e integrados dentro de uma unidade de medição de inércia - em particular com base nos componentes baseados no MEMS - de tal modo que a unidade de medição de inércia está configurada para medir todas as acelerações em seis graus de liberdade, em particular em uma taxa de medição de aproximadamente de 50 a 2000 Hz.
11. Sistema de medição óptica (7) de acordo com a reivindicação 9 ou 10, caracterizado pelo fato de que a unidade de avaliação (6) está configurada de tal modo que, na independência das acelerações medidas, a compensação e/ou correção de balanço da câmera e/ou borrão devido à moção - o que é causado pelos movimentos do projetor (3), do sistema de câmera (4) e/ou do objeto de medição (1) que ocorre durante o tempo de exposição das respectivas
Petição 870190108144, de 24/10/2019, pág. 47/54
7/7 imagens individuais da sequência de imagem - acontece respectivamente nas imagens individuais da sequência de imagem.
12. Sistema de medição óptica (7) de acordo com qualquer uma das reivindicações de 9 a 11, caracterizado pelo fato de que o projetor (3) e o sistema de câmera (4) estão acomodados com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, fisicamente em um cabeçote de medição comum (8) do sistema de medição, no qual os sensores de inércia (5a, 5b) também estão dispostos, em particular e no qual o cabeçote de medição (8) está configurado para ser capaz de ficar preso pela mão do usuário e/ou para ser fixado a um braço de robô.
13. Sistema de medição óptica (7) de acordo com qualquer uma das reivindicações de 9 a 12, caracterizado pelo fato de que o sistema de câmera (4) possui pelo menos uma câmera (4a, 4b, 4c), em particular no qual o sistema de câmera (4) contém duas, três ou quatro câmeras (4a, 4b, 4c), as quais estão dispostas com um posicionamento e uma orientação fixa e conhecida, uma em relação à outra, e estão configuradas para o registro substancialmente simultâneo de imagens individuais.
14. Sistema de medição óptica (7) de acordo com qualquer uma das reivindicações de 9 a 13, caracterizado pelo fato de que o dito sistema de medição está configurado e projetado para realizar o método de medição óptica como definido em qualquer uma das reivindicações de 1 a 8.
BR112012032875A 2010-06-21 2011-06-09 método e sistema de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição BR112012032875B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10166672A EP2400261A1 (de) 2010-06-21 2010-06-21 Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
PCT/EP2011/059641 WO2011160962A1 (de) 2010-06-21 2011-06-09 Optisches messverfahren und messsystem zum bestimmen von 3d-koordinaten auf einer messobjekt-oberfläche

Publications (2)

Publication Number Publication Date
BR112012032875A2 BR112012032875A2 (pt) 2016-11-08
BR112012032875B1 true BR112012032875B1 (pt) 2020-02-04

Family

ID=42697642

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112012032875A BR112012032875B1 (pt) 2010-06-21 2011-06-09 método e sistema de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição

Country Status (9)

Country Link
US (1) US9683837B2 (pt)
EP (2) EP2400261A1 (pt)
JP (1) JP5680196B2 (pt)
KR (1) KR101458991B1 (pt)
CN (1) CN102947670B (pt)
AU (1) AU2011269189B2 (pt)
BR (1) BR112012032875B1 (pt)
CA (1) CA2801595C (pt)
WO (1) WO2011160962A1 (pt)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006031580A1 (de) 2006-07-03 2008-01-17 Faro Technologies, Inc., Lake Mary Verfahren und Vorrichtung zum dreidimensionalen Erfassen eines Raumbereichs
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
DE102009015920B4 (de) 2009-03-25 2014-11-20 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9551575B2 (en) 2009-03-25 2017-01-24 Faro Technologies, Inc. Laser scanner having a multi-color light source and real-time color receiver
DE102009057101A1 (de) 2009-11-20 2011-05-26 Faro Technologies, Inc., Lake Mary Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US8630314B2 (en) 2010-01-11 2014-01-14 Faro Technologies, Inc. Method and apparatus for synchronizing measurements taken by multiple metrology devices
US9879976B2 (en) 2010-01-20 2018-01-30 Faro Technologies, Inc. Articulated arm coordinate measurement machine that uses a 2D camera to determine 3D coordinates of smoothly continuous edge features
US8898919B2 (en) 2010-01-20 2014-12-02 Faro Technologies, Inc. Coordinate measurement machine with distance meter used to establish frame of reference
US8615893B2 (en) 2010-01-20 2013-12-31 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine having integrated software controls
US8875409B2 (en) 2010-01-20 2014-11-04 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US9628775B2 (en) 2010-01-20 2017-04-18 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
GB2489346B (en) 2010-01-20 2013-07-17 Faro Tech Inc Counter balance for coordinate measurement device
US8677643B2 (en) 2010-01-20 2014-03-25 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
GB2490631B (en) 2010-01-20 2016-11-02 Faro Tech Inc Portable articulated arm coordinate measuring machine with multi-bus arm technology
US8832954B2 (en) 2010-01-20 2014-09-16 Faro Technologies, Inc. Coordinate measurement machines with removable accessories
US9607239B2 (en) 2010-01-20 2017-03-28 Faro Technologies, Inc. Articulated arm coordinate measurement machine having a 2D camera and method of obtaining 3D representations
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP2013539541A (ja) 2010-09-08 2013-10-24 ファロ テクノロジーズ インコーポレーテッド プロジェクタを有するレーザスキャナまたはレーザ追跡装置
US9168654B2 (en) 2010-11-16 2015-10-27 Faro Technologies, Inc. Coordinate measuring machines with dual layer arm
US8607536B2 (en) 2011-01-14 2013-12-17 Faro Technologies, Inc. Case for a device
JP5797282B2 (ja) 2011-03-03 2015-10-21 ファロ テクノロジーズ インコーポレーテッド ターゲット装置及び方法
EP2511659A1 (de) * 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Geodätisches Markierungssystem zur Markierung von Zielpunkten
EP2511656A1 (de) 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
EP2527784A1 (de) 2011-05-19 2012-11-28 Hexagon Technology Center GmbH Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8922647B2 (en) * 2011-08-03 2014-12-30 The Boeing Company Projection aided feature measurement using uncalibrated camera
DE102011114674C5 (de) * 2011-09-30 2020-05-28 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zum Bestimmen der 3D-Koordinaten eines Objekts
US8934010B2 (en) * 2011-11-21 2015-01-13 Shenzhen China Star Optoelectronics Technology Co., Ltd. Method for smear measurement of display device and device for smear measurement of display device
DE102012100609A1 (de) 2012-01-25 2013-07-25 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
JP6099675B2 (ja) 2012-01-27 2017-03-22 ファロ テクノロジーズ インコーポレーテッド バーコード識別による検査方法
DE102012100953B4 (de) * 2012-02-06 2020-01-09 A.Tron3D Gmbh Vorrichtung zum Erfassen der dreidimensionalen Geometrie von Objekten und Verfahren zum Betreiben derselben
JP2013234951A (ja) * 2012-05-10 2013-11-21 Mitsutoyo Corp 三次元測定装置
GB2517621A (en) * 2012-06-07 2015-02-25 Faro Tech Inc Coordinate measurement machines with removable accessories
US8937657B2 (en) * 2012-07-15 2015-01-20 Erik Klass Portable three-dimensional metrology with data displayed on the measured surface
US8997362B2 (en) 2012-07-17 2015-04-07 Faro Technologies, Inc. Portable articulated arm coordinate measuring machine with optical communications bus
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9513107B2 (en) 2012-10-05 2016-12-06 Faro Technologies, Inc. Registration calculation between three-dimensional (3D) scans based on two-dimensional (2D) scan data from a 3D scanner
WO2014074003A1 (ru) * 2012-11-07 2014-05-15 Артек Европа С.А.Р.Л. Способ контроля линейных размеров трехмерных объектов
DE102012112321B4 (de) 2012-12-14 2015-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE202012104890U1 (de) 2012-12-14 2013-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
DE102012112322B4 (de) 2012-12-14 2015-11-05 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
FR3021784B1 (fr) * 2014-05-27 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de projection de donnees virtuelles et dispositif permettant cette projection
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
DE102014216390A1 (de) * 2014-08-19 2016-02-25 Siemens Aktiengesellschaft Projektor
DE102014019670B3 (de) * 2014-12-30 2016-06-30 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einer 3D-Messvorrichtung und Autokalibrierung mittels Redundanzen
RU2573053C1 (ru) * 2014-09-10 2016-01-20 Самсунг Электроникс Ко., Лтд. Лазерные спекл-интерферометрические системы и способы для мобильных устройств
DE102014019053A1 (de) * 2014-12-18 2016-06-23 Testo Ag Verfahren und Vorrichtung zur Bestimmung einer Abmessung eines Objektes
KR101947935B1 (ko) * 2014-12-22 2019-02-13 사이버옵틱스 코포레이션 3차원 측정 시스템의 갱신 보정 방법
WO2016103541A1 (ja) * 2014-12-25 2016-06-30 パナソニックＩｐマネジメント株式会社 投影装置
EP3158731B1 (en) 2014-12-31 2020-11-25 SZ DJI Technology Co., Ltd. System and method for adjusting a baseline of an imaging system with microlens array
US20180018025A1 (en) * 2015-02-02 2018-01-18 OCR Systems Inc. Optical terminal device and scan program
DE102015204474B4 (de) * 2015-03-12 2016-10-13 Hans-Günter Vosseler Vorrichtung und Verfahren zum berührungslosen dreidimensionalen Vermessen von Bauteilen
USD754130S1 (en) * 2015-03-19 2016-04-19 Faro Technologies, Inc. Optical scanner
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
KR101687307B1 (ko) * 2015-12-29 2016-12-16 인천대학교 산학협력단 프로젝터-투사면-카메라 기반 무선 디지털 광통신 방법
DE102016002398B4 (de) * 2016-02-26 2019-04-25 Gerd Häusler Optischer 3D-Sensor zur schnellen und dichten Formerfassung
AU2016401548B2 (en) * 2016-04-08 2019-09-26 Shining 3D Tech Co., Ltd. Multi-measurement-mode three-dimensional measurement system and measurement method
US10659764B2 (en) * 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
KR102268151B1 (ko) * 2016-06-20 2021-06-23 코그넥스코오포레이션 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
KR102255017B1 (ko) 2016-06-20 2021-05-24 코그넥스코오포레이션 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
US10609359B2 (en) 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US11060853B2 (en) 2016-09-14 2021-07-13 Scantech (Hangzhou) Co., Ltd. Three-dimensional sensor system and three-dimensional data acquisition method
CN106403845B (zh) * 2016-09-14 2017-10-03 杭州思看科技有限公司 三维传感器系统及三维数据获取方法
DK3367053T3 (da) * 2017-02-27 2021-05-10 Kulzer & Co Gmbh 3d-scanner med gyroskopsensor
CN107202554B (zh) * 2017-07-06 2018-07-06 杭州思看科技有限公司 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen
WO2019116401A1 (en) * 2017-12-15 2019-06-20 Camoga S.P.A. Three-dimensional mapping machine for leather or similar material covered objects
KR102068309B1 (ko) * 2017-12-26 2020-01-20 경북대학교 산학협력단 3차원 스캐닝 장치 및 3차원 스캐닝 방법
JP6888580B2 (ja) * 2018-04-05 2021-06-16 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7124424B2 (ja) * 2018-05-02 2022-08-24 オムロン株式会社 ３次元形状計測システム及び計測時間設定方法
US10477180B1 (en) * 2018-05-22 2019-11-12 Faro Technologies, Inc. Photogrammetry system and method of operation
KR20200005332A (ko) 2018-07-06 2020-01-15 삼성전자주식회사 캘리브레이션 장치 및 그것의 동작 방법
JP7346775B2 (ja) * 2018-12-25 2023-09-20 株式会社Xtia 光学測定機器及びそのデータ生成方法
JP7206127B2 (ja) * 2019-02-20 2023-01-17 株式会社Ｉｈｉエアロスペース 画像センサの情報補正方法及び移動体
DE102019110508A1 (de) * 2019-04-23 2020-10-29 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Steuern eines Koordinatenmessgerätes und Koordinatenmessgerät
CN112348948B (zh) * 2019-08-08 2024-04-30 中国石油天然气股份有限公司 三维地质模型的构建方法、装置及存储介质
TWI714221B (zh) * 2019-08-19 2020-12-21 國立中央大學 基於穿透式光線的抖動辨識方法及其系統
TWI721533B (zh) * 2019-08-19 2021-03-11 國立中央大學 抖動辨識方法及其系統
WO2021038276A1 (en) 2019-08-28 2021-03-04 Elasizer S.R.L. Method and system for an automatic selection of items of equipment
US20230099779A1 (en) * 2019-10-11 2023-03-30 Leica Geosystems Ag Metrology system
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
CN111383332B (zh) * 2020-03-26 2023-10-13 深圳市菲森科技有限公司 一种三维扫描和重建系统、计算机设备和可读存储介质
CN111409109B (zh) * 2020-04-01 2022-11-04 伯朗特机器人股份有限公司 工业机器人稳定性的测量和评估方法
CN114485479B (zh) * 2022-01-17 2022-12-30 吉林大学 基于双目相机和惯性导航的结构光扫描测量方法及系统
CN115002429B (zh) * 2022-05-07 2023-03-24 深圳市和天创科技有限公司 一种基于摄像头计算自动校准投影位置的投影仪

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2292605B (en) * 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
DE19633686C2 (de) 1996-08-12 1998-08-20 Fraunhofer Ges Forschung Vorrichtung und Verfahren zur Vermessung von Entfernungen und/oder räumlichen Koordinaten von Gegenständen und/oder deren zeitlicher Änderung
US6992700B1 (en) 1998-09-08 2006-01-31 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
JP4010753B2 (ja) * 2000-08-08 2007-11-21 株式会社リコー 形状計測システムと撮像装置と形状計測方法及び記録媒体
DE10127304C5 (de) 2001-06-06 2007-07-19 Technische Universität Carolo-Wilhelmina Zu Braunschweig Verfahren und Vorrichtung zur Bestimmung der dreidimensionalen Kontur einer spiegelnden Oberfläche eines Objektes
WO2004085956A2 (en) 2003-03-24 2004-10-07 D3D, L.P. Laser digitizer system for dental applications
JP4480488B2 (ja) * 2003-08-28 2010-06-16 富士通株式会社 計測装置、コンピュータ数値制御装置及びプログラム
US8239162B2 (en) * 2006-04-13 2012-08-07 Tanenhaus & Associates, Inc. Miniaturized inertial measurement unit and associated methods
JP4800163B2 (ja) 2006-09-29 2011-10-26 株式会社トプコン 位置測定装置及びその方法
DE102006049695A1 (de) 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum berührungslosen Erfassen einer dreidimensionalen Kontur
EP2026034B1 (de) * 2007-08-16 2020-04-29 Carl Zeiss Optotechnik GmbH Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
DE102007060263A1 (de) * 2007-08-16 2009-02-26 Steinbichler Optotechnik Gmbh Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
AT506110B1 (de) * 2007-12-12 2011-08-15 Nextsense Mess Und Pruefsysteme Gmbh Vorrichtung und verfahren zur erfassung von körpermassdaten und konturdaten
DE102008036710A1 (de) 2008-08-07 2010-02-11 GOM - Gesellschaft für Optische Meßtechnik mbH Messsystem und Verfahren zum dreidimensionalen optischen Vermessen von Objekten
DE102008047816B4 (de) * 2008-09-18 2011-08-25 Steinbichler Optotechnik GmbH, 83115 Vorrichtung zur Ermittlung der 3D-Koordinaten eines Objekts, insbesondere eines Zahns
CA2957077C (en) * 2009-06-01 2019-07-02 Gerd Hausler Method and device for three-dimensional surface detection with a dynamic reference frame
CN101697233B (zh) 2009-10-16 2012-06-06 长春理工大学 一种基于结构光的三维物体表面重建方法

Also Published As

Publication number Publication date
AU2011269189B2 (en) 2013-09-26
CN102947670B (zh) 2015-11-25
EP2583055A1 (de) 2013-04-24
CN102947670A (zh) 2013-02-27
WO2011160962A1 (de) 2011-12-29
JP5680196B2 (ja) 2015-03-04
EP2583055B1 (de) 2020-09-23
JP2013531237A (ja) 2013-08-01
CA2801595A1 (en) 2011-12-29
US9683837B2 (en) 2017-06-20
KR101458991B1 (ko) 2014-11-12
US20130100282A1 (en) 2013-04-25
CA2801595C (en) 2015-10-27
KR20130032351A (ko) 2013-04-01
BR112012032875A2 (pt) 2016-11-08
AU2011269189A1 (en) 2012-11-22
EP2400261A1 (de) 2011-12-28

Similar Documents

Publication Publication Date Title
BR112012032875B1 (pt) método e sistema de medição óptica para determinar as coordenadas em 3d de uma multiplicidade de pontos de medição
US10907955B2 (en) Three-dimensional imager
US9628779B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
US9563954B2 (en) Method for capturing the three-dimensional surface geometry of objects
US20150116691A1 (en) Indoor surveying apparatus and method
ES2894935T3 (es) Aparato de medición de distancias tridimensionales y procedimiento para el mismo
KR102255017B1 (ko) 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
JPH07286837A (ja) 球体の回転量測定装置及び測定方法
JP2017034576A (ja) 画像撮影システム、撮影装置、および画像処理装置
CN111091599A (zh) 一种基于球体标定物的多相机-投影仪系统标定方法
JP2022505166A (ja) 対向配置チャネルを有する三次元センサ
Hsung et al. Recording of natural head position using stereophotogrammetry: a new technique and reliability study
JP2017528714A (ja) ３次元座標の光学測定のための方法および３次元測定デバイスの制御
JP2008145209A (ja) 三次元形状計測装置及び三次元形状計測方法
JP2008145139A (ja) 形状計測装置
EP3232153A1 (en) Precision hand-held scanner
US10832441B2 (en) Global positioning of a sensor with respect to different tiles for a global three-dimensional surface reconstruction
JP4797109B2 (ja) 三次元形状計測装置及び三次元形状計測方法
JP2009253715A (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
JP2006170688A (ja) ステレオ画像作成方法及び３次元データ作成装置
JP2010175554A (ja) 三次元形状計測装置及び三次元形状計測方法
KR101165340B1 (ko) 카메라를 이용한 프로젝터 교정 시스템 및 이를 이용한 교정 방법
JP2004347488A (ja) 現場作業支援装置
US20220414922A1 (en) Method of compensating data and system for compensating data using same
Tao et al. An accurate three-dimensional scanning system with a new phase error compensation method

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 09/06/2011, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 10A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2623 DE 13-04-2021 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.