BRPI0514755B1 - Method for automated 3d image formation - Google Patents
Method for automated 3d image formation Download PDFInfo
- Publication number
- BRPI0514755B1 BRPI0514755B1 BRPI0514755-7A BRPI0514755A BRPI0514755B1 BR PI0514755 B1 BRPI0514755 B1 BR PI0514755B1 BR PI0514755 A BRPI0514755 A BR PI0514755A BR PI0514755 B1 BRPI0514755 B1 BR PI0514755B1
- Authority
- BR
- Brazil
- Prior art keywords
- image
- data
- dimensional
- sensor
- image data
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
método para formação de imagem 3d automatizado trata-se de um método para a construção automatizada de imagens 3d, em que um dispositivo de medição de intervalo deve iniciar e controlar o processamento de imagens 2d de modo a produzir uma imagem 3d. o dispositivo de medição de intervalo pode ser integrado a um sensor de imagem, par exemplo, o sensor de intervalo de uma câmera digital, ou pode ser um dispositivo separado. os dados que indicam a distância até um item específico obtidos a partir do sensor de imagem, podem ser usados para controlar e automatizar a construção da imagem 3d.
Description
Relatório Descritivo da Patente de Invenção para "MÉTODO PARA FORMAÇÃO DE IMAGEM 3D AUTOMATIZADO".
Campo Técnico [001] A presente invenção refere-se à construção automatizada de dados de imagem de superfície 3D a partir de imagens digitais. Técnica Anterior [002] A caracterização do formato da superfície de um objeto (a topografia da superfície do objeto) é requerida para realizar muitas tarefas. Muitos métodos para a obtenção de informações que descrevam o formato da superfície de um objeto são conhecidos. Por exemplo, o formato da superfície do objeto pode ser medido com o uso de um meio fotogramétrico ou com o uso de um dispositivo de medição a laser escaneado. Em muitos casos, dados adicionais que caracterizem a natureza visual da superfície ou outras propriedades da superfície também são necessários. Muitos métodos para a obtenção de informações que descrevam as características visuais da superfície de um objeto também são conhecidos.
[003] Usando um meio fotogramétrico, os dados espaciais tridimensionais podem ser adquiridos a partir de duas ou mais imagens bidimensionais. A técnica anterior requer que a posição e a orientação das linhas de visão das câmeras ou, nos casos onde uma câmera é usada, a posição e a linha de visão da câmera em cada local de formação de imagem, sejam conhecidas.
[004] De acordo com as técnicas da técnica anterior, a construção de uma imagem tridimensional a partir de duas ou mais imagens bidimensionais requer a determinação de pontos de correspondência em ambas as imagens e a aplicação de fórmulas matemáticas bem-conhecidas para usar o conhecimento das posições de correspondência para estimar a posição espacial absoluta ou relativa de pontos para os quais são determinadas as correspondências.
[005] Este processo requer que poder significativo de processamento seja empregado. O processamento é realizado para determinar correspondência única ou múltiplas dentro de imagens de uma cena. Uma busca "global" por correspondências tem que ser realizada e pode produzir muitas correspondências, algumas das quais serão falsas ou podem não ser únicas.
[006] É um objetivo da presente invenção proporcionar um processo aperfeiçoado para a construção de imagens de superfície tridimensional a partir de dados de sensor onde os dados do sensor podem ser duas ou mais imagens.
Sumário da Invenção [007] Em uma forma ampla, a presente invenção utiliza a distância ou as distâncias percebidas até um item ou itens conhecidos em uma imagem para iniciar e controlar o processamento de dados de imagem bidimensional para produzir dados de superfície tridimensional.
[008] De acordo com um aspecto, a presente invenção proporciona um método para o processamento de conjuntos de dados de imagem bidimensional obtidos de pelo menos uma primeira e uma segunda imagem bidimensional de um objeto, adquiridos com o uso de um ou mais sensores de imagem localizados em uma primeira e uma segunda posição de modo a produzir dados de superfície tridimensional, sendo que o método inclui pelo menos as etapas de: (a) Adquirir dados de intervalo indicativos da distância a partir do sensor de imagem até pelo menos um item conhecido em cada imagem bidimensional; (b) Determinar o deslocamento relativo do sensor de imagem na primeira e na segunda posição; (c) Processar os dados de imagem bidimensional usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os dados de imagem bidimensional de modo a produzir dados de imagem processada; e (d) Integrar os dados de imagem processada para produzir dados de superfície tridimensional.
[009] De preferência, mas não necessariamente, os dados de imagem bidimensional podem ser adicionalmente integrados com dados que definem as características visuais ou outras características da superfície, tais como reflectância ou emissão, em outras faixas do espectro eletromagnético.
[0010] Os dados de superfície tridimensional consistem nos dados espaciais que definem o formato de um objeto (ou objetos), opcionalmente integrados com os dados visuais ou outros dados que tenham o formato de uma imagem visual, tais como dados espectrais de regiões espectrais outras que não aquelas de comprimentos de ondas visuais que definem a natureza reflexiva ou emissiva do objeto.
[0011] Os dados de intervalo podem ser adquiridos diretamente do sensor de imagem, ou um sensor separado, e podem requerer a integração com dados sobre a orientação e posição da câmera.
[0012] De acordo com uma implementação da presente invenção, um dispositivo de medição de intervalo ou a projeção de um padrão de luz é usado para controlar o início de processamento para extrair dados espaciais tridimensionais e, conforme requerido, construir uma imagem tridimensional a partir de duas imagens.
[0013] Uma imagem tridimensional é a descrição integrada de uma superfície combinando dados espaciais e dados tais como dados visuais. Os dados de medição de intervalo permitem que o processador determine mais imediatamente uma correspondência ou múltiplas correspondências dentro de imagens de uma cena. Sem conhecimento da distância até um item que esteja presente nas imagens que estão sendo processadas, como na técnica anterior, uma busca "global" por correspondências tem que ser realizada mesmo quando a posição e a orientação das câmeras é conhecida. Tal busca pode produzir muitas correspondências, algumas das quais serão falsas ou podem não ser únicas.
[0014] O conhecimento da distância até um ponto, ou pontos, conhecidos, combinado com o conhecimento da orientação e posição relativa das câmeras (orientação e posição relativas podem ser derivadas matematicamente ou podem ser determinadas a partir de um conhecimento da posição e orientação absoluta) e o dispositivo de medição de intervalo ou dispositivo de projeção de luz podem ser usados para controlar a busca por correspondências, desde que a posição (relativa ou absoluta) no espaço de um item em uma imagem seja conhecida, a posição do dito item em uma segunda imagem seja conhecida. Este conhecimento é usado então para controlar e automatizar o processamento que determina as correspondências necessárias para criar uma imagem tridimensional.
[0015] De acordo com a presente invenção, o uso do conhecimento da distância ou distâncias até um item ou itens conhecidos em uma imagem, pode ser obtido pela projeção de um padrão de luz conhecido no espaço em que a imagem 3D deve ser criada. Neste método, a localização da imagem do padrão de luz é usada para então determinar a distância ou distâncias até um item ou um conjunto de itens em uma imagem bidimensional usando métodos conhecidos na técnica anterior e o processo descrito para uso com medição direta de intervalo até os ditos itens pode então ser aplicado.
[0016] A presente invenção abrange adicionalmente um aparelho e sistema para a produção de dados de superfície tridimensional e um produto de software operativamente adaptado para realizar o método inventivo.
[0017] Será entendido que o termo objeto, conforme usado em re- lação ao sujeito de uma imagem, tem significado amplo e pode abranger itens geográficos e terreno, assim como objetos específicos e itens em imagens. O termo dados de superfície tridimensional é usado am-plamente querendo significar dados que caracterizem o formato e, opcionalmente, outras características da superfície de um objeto.
Breve Descrição dos Desenhos [0018] A presente invenção será descrita agora com referência aos desenhos anexos, em que: A Figura 1 é uma representação de um típico sistema de formação de imagem tridimensional (sensor) conforme ele pode ser implementado usando um único sensor; A Figura 2 é uma representação de um sistema de formação de imagem 3D (sensor) que utiliza dois sensores, por exemplo, duas câmeras, conforme usado em um sensor de formação de imagem estéreo, em que o campo de visão do sensor 3D é definido pela sobreposição do campo de visão dos sensores individuais; e A Figura 3 é uma representação de um sistema de formação de imagem 3D (sensor) que utiliza duas câmeras usadas em dois locais ou uma câmera usada em dois locais; e A Figura 4 é um diagrama de bloco de um sistema adequado de acordo com uma modalidade. A Figura 5 é uma imagem de uma implementação de um sistema de formação de imagem 3D automatizado que usa duas câmeras e um visor de intervalo a laser (centro). A Figura 6 é uma representação de computador de uma imagem 3D criada pela implementação de um sistema de formação de imagem 3D automatizado, conforme é mostrado na Figura 5. A Figura 7 é uma representação do componente de dados 3D de uma imagem 3D como uma nuvem de pontos espaciais, isto é, uma visualização da localização espacial de cada ponto da superfície da imagem 3D.
Descrição Detalhada [0019] Embora a operação da invenção seja descrita com referência a algumas implementações particulares, será apreciado que muitas implementações alternativas são possíveis.
[0020] Na aplicação convencional de técnicas de fotogrametria, as posições e orientações relativas das câmeras quando duas ou mais câmeras são usadas ou as posições e orientações da câmera, quando apenas uma câmera é usada, são determinadas e faz-se amostra das imagens de acordo com a geometria epipolar determinada pelas posições e orientações relativas das câmeras ou a câmera quando uma câmera é usada e um mapa de disparidade é criado. O mapa de disparidade é usado para extrair dados espaciais tridimensionais usando as posições e orientações relativas das câmeras.
[0021] Na aplicação convencional, a busca por correspondências é iniciada por uma série de meios e é realizada por muitos métodos. A busca por correspondências é computacionalmente intensiva, Para reduzir a computação, a busca pode ser restringida pela geometria das câmeras, em que as câmeras são usadas em uma relação geométrica conhecida fixada ou a busca pode ser iniciada sob o controle de um ser humano, [0022] Convencional mente, as informações de intervalo não são adquiridas e não são usadas para controlar o processo de construção de um mapa de disparidade. O mapa de disparidade é gerado por todos os pontos comuns a ambas as imagens após nova amostragem das imagens de acordo com a geometria epipolar, Uma vez que o mapa de disparidade tenha sido gerado, dados espaciais tridimensionais são gerados a partir do mapa de disparidade.
[0023] Na presente invenção, a medição de intervalo e as posições e orientações relativas das câmeras são usadas para iniciar e controlar o processo de busca que produz as informações de disparidade. O uso deste controle permite a geração automatizada de uma imagem tridimensional.
[0024] Será entendido que, embora a presente invenção seja um aperfeiçoamento de técnicas convencionais, os princípios e técnicas gerais de sistemas conhecidos são relevantes e formam parte da implementação prática da presente invenção.
[0025] A fotogrametria é efetivamente um sistema de triangulação que requer que existam dois ou mais componentes do sensor que permitam a determinação da direção em três dimensões até um ponto no espaço objeto. A posição e orientação de cada componente do sensor são conhecidas e, como para cada componente do sensor, a direção angular até o ponto é conhecida, a posição no espaço do ponto é imediatamente determinada, fornecendo assim uma imagem tridimensional. A triangulação pode ser subdividida em técnicas: triangulação passiva e triangulação ativa.
[0026] A triangulação passiva abrange técnicas tais como fotogrametria aérea ou terrestre onde os componentes do sistema de medição são duas ou mais câmeras ou uma câmera captando duas ou mais imagens. Os pontos em cada imagem são correspondidos e a partir da posição em cada imagem dos pontos correspondidos, a posição espacial é determinada. Sistemas rápidos que utilizam duas câmeras de televisão e sistemas de processamento de imagem são classificados às vezes como estereovisão.
[0027] A triangulação ativa abrangia técnicas tais como formação de imagem com luz estruturada, onde uma risca de luz é projetada em um espaço de objeto e visualizada por uma câmera ou sensor similar a partir de uma outra posição. Em alguns casos, duas câmeras são usadas. O conhecimento da direção de projeção da risca de luz e da posição e orientação da câmera ou câmeras permite o cálculo da posição no espaço de qualquer ponto que reflita a luz. Uma outra forma de triangulação ativa envolve o uso de luz escaneada sobre o espaço objeto.
[0028] Aqueles que são versados na técnica estarão conscientes destas e de outras técnicas alternativas de formação de imagem 3D, as quais podem ser empregadas para implementar a presente invenção. Elas são discutidas, por exemplo, em Best. PJ. Active Ootical Range Imagina Sensors: Machine Vision and Applications Vol. 1 1988.
[0029] As possíveis implementações da presente invenção serão descritas agora com mais detalhes. Enfatiza-se que, a não ser pelo dispositivo de determinação de intervalo, o restante do sistema é convencional e pode ser implementado com o uso de abordagens bem-conhecidas.
[0030] A Figura 1 é uma vista esquemática que mostra o campo de visão típico para uma implementação de dispositivo simples da presente invenção, por exemplo, usando um visor de intervalo a laser. Tal dispositivo fornece inerentemente informação de posição tridimensional sobre as superfícies percebidas.
[0031] A Figura 2 mostra um sistema de formação de imagem que utiliza dois sensores, tais como câmeras digitais usadas em uma configuração de formação de imagem estéreo. O campo de visão dos sensores combinados, isto é, onde se sobrepõem, define a zona de sensoriamento 3D, Neste caso, a informação de intervalo é fornecida pelo mecanismo de determinação de intervalo automatizado de cada câmera, junto com informações sobre o alinhamento e a posição de cada sensor sobre a plataforma.
[0032] A Figura 3 mostra um outro arranjo, usando uma câmera em dois locais ou duas câmeras em locais diferentes. Um dispositivo de medição de intervalo é colocado com a câmera em cada local. Novamente, o campo de visão do sensor 3D é definido pela sobreposição entre os campos de visão das câmeras.
[0033] Dois métodos para a criação automatizada de imagens tridimensionais serão descritos abaixo: a) Usar um sensor de formação de imagem 3D que combine um dispositivo de medição de intervalo e um sensor que seja capaz de produzir uma representação visual ou outra representação, por exemplo, uma representação espectral, usando comprimentos de onda outros que não a luz visual de uma cena. Um exemplo de tal sensor é um sensor de formação de imagem bidimensional como em uma câmera digital, e o dispositivo de medição de intervalo na câmera pode fornecer a medição de intervalo. Os dados de intervalo e de imagem permitem que a imagem 3D seja construída automaticamente. b) Usar um sensor de formação de imagem 3D que combine um mecanismo para projetar um padrão conhecido de luz no espaço em que uma imagem tridimensional seja construída e um sensor que seja capaz de produzir uma representação visual ou outra representação, por exemplo, uma representação espectral, usando comprimentos de onda outros que não a luz visual de uma cena tal como um sensor de formação de imagem bidimensional, como em uma câmera digital, é usado para adquirir dados a partir dos quais a imagem 3D é automaticamente construída.
[0034] Na modalidade preferida, o processo de criação de uma imagem 3D é empreendido conforme a seguir, quando é usado um dispositivo de medição de intervalo. Na descrição fornecida, o uso de duas imagens é assumido, o processo pode, obviamente, ser prontamente estendido para o uso de mais de duas imagens. 1. É usado um sensor para adquirir uma imagem bidimensional de uma cena. 2. É usado um sensor para adquirir uma segunda imagem bidimensional de uma seção de sobreposição da cena. 3. Um dispositivo de medição de intervalo, que pode ser colocado com o sensor ou pode ser posicionado em uma posição conhecida com relação ao sensor, determina a distância até um item ou itens na cena. O conhecimento da relação espacial é usado então para prever a posição do item até onde o intervalo foi medido em ambas as imagens. 4. Um processador localiza estes itens nas imagens bidimensionais usando o conhecimento da distância até estes itens obtida pela medição, usando o visor de intervalo. 5. O processador usa o conhecimento da posição destes itens em ambas as imagens para controlar o processo de dados de imagem para localizar as correspondências nas duas imagens, que são usadas para criar uma imagem tridimensional. 6. O processador determina todas as possíveis correspondências entre as duas imagens. 7. As correspondências são usadas com os dados que definem a posição e a orientação dos sensores para criar uma imagem tridimensional.
[0035] Uma implementação prática preferida da presente invenção requer os seguintes componentes: [0036] Primeiro, um meio para a aquisição de imagens digitais bidimensionais é requerido. Um dispositivo adequado é uma câmera digital, com uma interface de dados apropriada, para produzir dados de imagem.
[0037] Um meio para medir a distância até um objeto a partir de uma câmera em uma direção relativa à câmera que seja conhecido e esteja alinhado à câmera é requerido. Isso pode ser feito usando o dispositivo de medição de intervalo existente na maioria das câmeras digitais. Tais dispositivos são usados para proporcionar autofoco em muitas câmeras e podem ser um sistema de medição de intervalo ul- tra-sônico ou pode utilizar um algoritmo de processamento de imagem que determine quando a câmera está apropriadamente focada e infere o intervalo do ajuste do foco.
[0038] Uma alternativa é usar um dispositivo que projete um padrão conhecido de luz (ou outra radiação) no espaço da cena, sendo que o intervalo é determinado pela luz refletida percebida pelo dispositivo em resposta à saída conhecida.
[0039] Um processador adequado é requerido. A natureza do processador é, até certo ponto, dependente do tamanho do campo de operação e do volume de dados que está sendo processado. Para o processamento de imagens relativamente pequenas, um processador de sinal digital embutido pode ser usado em equipamento local. Para grandes imagens, um computador, tal como um computador pessoal, pode ser necessário.
[0040] Um meio para o armazenamento de dados adquiridos pelo sistema de formação de imagem e de outros dados é requerido, com uma capacidade e velocidade compatíveis com a aplicação requerida.
[0041] A construção da imagem 3D automatizada é realizada por um algoritmo adequado a ser executado pelo processador. Tais algoritmos são conhecidos na técnica anterior e são incorporados em sistemas da seguinte forma: 1. O algoritmo estima a disparidade entre as duas imagens ao realizar a correlação de itens similares nas imagens; 2. A disparidade entre as duas imagens é usada com conhecimento da relação espacial entre as câmeras para determinar a posição no espaço com relação às câmeras dos itens nas imagens para as quais a disparidade foi estimada.
[0042] Uma modalidade do sistema é mostrada na Figura 4.
[0043] Na modalidade preferida, o processo de criação de uma imagem 3D é empreendido conforme a seguir, quando um mecanismo para projetar padrão de luz no espaço em que uma imagem tridimensional deve ser construída, é usado: 1. É usado um sensor para adquirir uma imagem bidimensional de uma cena que possa incluir um padrão de luz projetado; 2. É usado um sensor para adquirir uma segunda imagem bidimensional de uma seção sobreposta da cena que possa incluir um padrão de luz projetada; 3. Um processador localiza itens nas imagens que correspondam ao padrão de luz projetada e determina a distância até estes itens, conforme é bem-conhecido na técnica anterior (por exemplo, Close Range Photogrammetry and Machine Vision, editado por K. B. Atkinson). 4. O processador usa o conhecimento da posição destes itens em ambas as imagens para controlar o processo de dados de imagem para localizar correspondências nas duas imagens, que são usadas para criar uma imagem tridimensional; 5. O processador determina todas as possíveis correspondências entre as duas imagens; 6. As correspondências são usadas com os dados que definem a posição e a orientação dos sensores para criar uma imagem tridimensional.
[0044] A Figura 5 é uma fotografia que ilustra uma implementação prática de um aparelho de sensoriamento de imagem 3D de acordo com a presente invenção. O sensor de intervalo é mostrado no centro. Os dispositivos à esquerda e à direita são câmeras digitais. Será entendido que a relação entre as câmeras e o sensor de imagem é conhecida e pode ser controlada até um alto nível de precisão. Como conseqüência, a relação geométrica entre os três componentes de sensoriamento é conhecida e pode ser decomposta no processamento de imagem.
[0045] A Figura 6 ilustra uma imagem 3D produzida pelo sistema da Figura 5. A Figura 7 mostra os mesmos dados da imagem 3D, representados como uma nuvem de pontos espaciais.
[0046] Um processo geral para criar uma imagem 3D utilizando duas imagens sobrepostas, de acordo com uma implementação da presente invenção, é: 1. O sistema sensor adquire duas imagens digitais sobrepostas da cena a partir da qual a imagem 3D deve ser criada; 2. O sistema de processamento corrige cada imagem para remover ou minimizar os efeitos de distorção de lente. 3. O sistema sensor adquire uma ou mais medições de intervalo até objetos na cena. Para uma medição simples, isso será usualmente até qualquer objeto que esteja no centro do campo de visão. 4. O sistema de processamento utiliza o conhecimento da posição e orientação relativas das câmeras para determinar o grau de sobreposição horizontal das imagens digitais. Por exemplo, se a distância até objetos na cena for grande em comparação com a separação das câmeras e as linhas de visão das câmeras forem paralelas (ou quase), a sobreposição se aproximará de 100 por cento da largura da imagem. 5. O sistema de processamento utiliza o conhecimento da posição e a orientação relativas das câmeras para determinar o grau de sobreposição vertical das imagens digitais. Conforme é bem-conhecido na técnica anterior se as linhas de visão relativas das câmeras forem conhecidas, o alinhamento vertical dos planos de imagem é determinado pela geometria epipolar. 6. Usando o conhecimento da sobreposição horizontal e vertical da área de cada imagem que deve ser processada para determinar a disparidade estéreo, é determinada pelo sistema de proces- sarnento. 7. O sistema de processamento, deste modo, busca a área de processamento em cada imagem e identifica a disparidade entre pontos correspondentes em cada imagem. 8. Usando o conhecimento da posição e da orientação relativa das linhas de visão das câmeras, o sistema de processamento converte a informação de disparidade em uma localização espacial relativa às câmeras e, deste modo, cria uma imagem 3D.
[0047] Será entendido que a presente invenção pode ser implementada usando construções alternativas e características adicionais àquelas descritas especificamente, mas que a presente invenção abranje tais alternativas.
REIVINDICAÇÕES
Claims (12)
1. Método para processar conjuntos de dados de imagem bidimensionais obtidos a partir de pelo menos uma primeira e uma segunda imagem bidimensional de um objeto adquirido usando um ou mais sensores de imagem localizados em uma primeira e uma segunda posição de modo a produzir dados de superfície tridimensional compreendendo as etapas de: (a) adquirir dados de intervalo indicativos da distância a partir do sensor de imagem até pelo menos um item conhecido em cada imagem bidimensional; (b) determinar o deslocamento relativo do sensor de imagem na primeira e na segunda posição; (c) processar os dados de imagem bidimensionais para produzir dados de imagem processada; e (d) integrar os dados de imagem processada para produzir dados de superfície tridimensional; caracterizado pelo fato de que a etapa (c) compreende processar os dados de imagem bidimensionais usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os dados de imagem bidimensional de modo a produzir dados de imagem processada.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que processar os dados de imagem bidimensional inclui a construção de um mapa de disparidade que define o deslocamento de itens da imagem entre as duas imagens.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que processar os dados de imagem bidimensional compreende usar o deslocamento relativo e os dados de intervalo para controlar o término do processamento usado para criar o mapa de disparidade.
4. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que as primeira e segunda imagens são adquiridas com o uso do um sensor de imagem movido para uma primeira e uma segunda posição.
5. Método para gerar automaticamente dados de superfície tridimensional de um objeto usando sensores de formação de imagem bidimensional compreendendo as etapas de: (a) obter uma primeira imagem do objeto a partir de uma primeira posição usando um primeiro sensor de imagem; (b) obter uma segunda imagem do objeto a partir de uma segunda posição usando um segundo sensor de imagem; (c) obter uma medição de distância a partir do primeiro sensor de imagem até um ponto no campo de visão da primeira imagem; (d) determinar o deslocamento relativo das primeira e segunda posições; caracterizado pelo fato de que o método ainda compreende as etapas de: usar pelo menos a medição de distância a partir da primeira imagem e o deslocamento relativo das primeira e segunda posições para guiar o início de uma busca por correspondências entre as imagens para iniciar a construção de um mapa de disparidade que define o deslocamento de itens de imagem entre as duas imagens; e usar o deslocamento relativo entre os sensores de imagem e a medição ou medições de distância para controlar o processamento usado para criar o mapa de disparidade; usar o deslocamento relativo entre os sensores de imagem e a medição ou medições de imagem para controlar o término do processamento usado para criar o mapa de disparidade; e deste modo, construir dados de superfície tridimensional.
6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que são usadas mais de duas imagens.
7. Método, de acordo com a reivindicação 5 ou 6, caracterizado pelo fato de que é obtida mais de uma medição de distância.
8. Método, de acordo com qualquer uma das reivindicações 5 a 7, caracterizado pelo fato de que uma ou mais medições de distância também são feitas a partir de pelo menos o segundo sensor de imagem até um ponto no campo de visão da segunda imagem.
9. Método, de acordo com qualquer uma das reivindicações 5 a 8, caracterizado pelo fato de que o segundo sensor de imagem é o primeiro sensor de imagem movido para a segunda posição.
10. Aparelho para construir dados de superfície tridimensional a partir de conjuntos de dados de imagem bidimensional compreendendo: pelo menos dois sensores de imagem bidimensional e um sensor de intervalo, os sensores sendo dispostos de modo a manter operativamente uma relação física específica, um meio de processamento adaptado para receber dados a partir de cada um dos sensores de imagem e do sensor de intervalo, os dados compreendendo um conjunto de dados de imagem bidimensional a partir de cada sensor de imagem, os dados de intervalo indicativos da distância a partir do sensor de intervalo até pelo menos um item conhecido em cada imagem bidimensional, e o deslocamento relativo de pelo menos dois dos sensores de imagem; o processador sendo adaptado para processar os dados de imagem bidimensional para produzir dados de imagem processados; o processador sendo ainda adaptado para integrar os dados de imagem processados para produzir dados de superfície tridimensional. caracterizado pelo fato de que o processador é adaptado para processar os dados de imagem bidimensional usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os conjuntos de dados de imagem bidimensional para produzir dados de imagem processados.
11. Aparelho, de acordo com a reivindicação 10, caracterizado pelo fato de que pelo menos dois sensores de imagem são proporcionados por um único sensor de imagem que é movido entre duas ou mais posições.
12. Produto caracterizado pelo fato de que é capaz de implementar o método conforme definido em qualquer uma das reivindicações 1 a 9.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2004904912 | 2004-08-30 | ||
AU2004904912A AU2004904912A0 (en) | 2004-08-30 | A Method for Automated 3D Imaging | |
PCT/AU2005/001316 WO2006024091A1 (en) | 2004-08-30 | 2005-08-30 | A method for automated 3d imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
BRPI0514755A BRPI0514755A (pt) | 2008-06-24 |
BRPI0514755B1 true BRPI0514755B1 (pt) | 2017-10-17 |
Family
ID=35999632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BRPI0514755-7A BRPI0514755B1 (pt) | 2004-08-30 | 2005-08-30 | Method for automated 3d image formation |
Country Status (9)
Country | Link |
---|---|
US (2) | US20090196491A1 (pt) |
EP (1) | EP1792282B1 (pt) |
CN (1) | CN101065785B (pt) |
AT (1) | ATE475152T1 (pt) |
BR (1) | BRPI0514755B1 (pt) |
CA (1) | CA2577840C (pt) |
DE (1) | DE602005022460D1 (pt) |
WO (1) | WO2006024091A1 (pt) |
ZA (1) | ZA200701544B (pt) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010510558A (ja) * | 2006-10-11 | 2010-04-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 三次元グラフィックスのデータの作成 |
CN101663559A (zh) * | 2007-04-03 | 2010-03-03 | 六边形度量衡股份公司 | 用于物体的精确测量的方法和设备 |
GB0813320D0 (en) * | 2008-07-21 | 2008-08-27 | Autotrakker Ltd | Cargo measurement |
JP5567908B2 (ja) * | 2009-06-24 | 2014-08-06 | キヤノン株式会社 | 3次元計測装置、その計測方法及びプログラム |
US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
KR101685343B1 (ko) * | 2010-06-01 | 2016-12-12 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
CN101916036B (zh) * | 2010-07-20 | 2012-05-16 | 厦门三维视通电子科技有限公司 | 带灯光及水平旋转台的电脑可控实物三维自动成像装置 |
US20120150573A1 (en) * | 2010-12-13 | 2012-06-14 | Omar Soubra | Real-time site monitoring design |
US8837813B2 (en) | 2011-07-01 | 2014-09-16 | Sharp Laboratories Of America, Inc. | Mobile three dimensional imaging system |
US9251562B1 (en) | 2011-08-04 | 2016-02-02 | Amazon Technologies, Inc. | Registration of low contrast images |
JP5787695B2 (ja) | 2011-09-28 | 2015-09-30 | 株式会社トプコン | 画像取得装置 |
US10401144B2 (en) | 2011-12-06 | 2019-09-03 | Hexagon Technology Center Gmbh | Coordinate measuring machine having a camera |
CN107806826B (zh) * | 2012-03-26 | 2021-10-26 | 螳螂慧视科技有限公司 | 三维照相机及其投影仪 |
CN102914262B (zh) * | 2012-09-29 | 2015-02-11 | 北京控制工程研究所 | 一种基于附加视距的非合作目标贴近测量方法 |
DE102013009288B4 (de) * | 2013-06-04 | 2016-02-04 | Testo Ag | 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung |
CN104570574A (zh) * | 2013-10-18 | 2015-04-29 | 宁夏先锋软件有限公司 | 一种利用2d图像自动成像的3d成像仪 |
JP2015152338A (ja) * | 2014-02-12 | 2015-08-24 | トヨタ自動車株式会社 | 距離情報取得方法、距離情報取得装置及びロボット |
CN103983982A (zh) * | 2014-05-27 | 2014-08-13 | 哈尔滨工业大学 | 车用红外/可见光双摄像头激光雷达 |
DE102017103660B4 (de) * | 2017-02-22 | 2021-11-11 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera |
US10706505B2 (en) * | 2018-01-24 | 2020-07-07 | GM Global Technology Operations LLC | Method and system for generating a range image using sparse depth data |
US11450018B1 (en) * | 2019-12-24 | 2022-09-20 | X Development Llc | Fusing multiple depth sensing modalities |
US20220284221A1 (en) * | 2021-03-02 | 2022-09-08 | GM Global Technology Operations LLC | Deep learning based parametrizable surround vision |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3153784A (en) * | 1959-12-24 | 1964-10-20 | Us Industries Inc | Photo radar ground contour mapping system |
US4654872A (en) * | 1983-07-25 | 1987-03-31 | Omron Tateisi Electronics Co. | System for recognizing three-dimensional objects |
US5148209A (en) * | 1990-07-12 | 1992-09-15 | The Research Foundation Of State University Of New York | Passive ranging and rapid autofocusing |
US5309522A (en) * | 1992-06-30 | 1994-05-03 | Environmental Research Institute Of Michigan | Stereoscopic determination of terrain elevation |
JP3054002B2 (ja) * | 1993-09-01 | 2000-06-19 | キヤノン株式会社 | 複眼撮像装置 |
EP0684585B1 (en) * | 1994-04-22 | 2003-02-05 | Canon Kabushiki Kaisha | Image forming method and apparatus |
US5473364A (en) * | 1994-06-03 | 1995-12-05 | David Sarnoff Research Center, Inc. | Video technique for indicating moving objects from a movable platform |
US6028672A (en) * | 1996-09-30 | 2000-02-22 | Zheng J. Geng | High speed three dimensional imaging method |
US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
IL113496A (en) * | 1995-04-25 | 1999-09-22 | Cognitens Ltd | Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof |
US6526352B1 (en) * | 2001-07-19 | 2003-02-25 | Intelligent Technologies International, Inc. | Method and arrangement for mapping a road |
US6535210B1 (en) * | 1995-06-07 | 2003-03-18 | Geovector Corp. | Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time |
US5764807A (en) * | 1995-09-14 | 1998-06-09 | Primacomp, Inc. | Data compression using set partitioning in hierarchical trees |
NO301999B1 (no) * | 1995-10-12 | 1998-01-05 | Metronor As | Kombinasjon av laser tracker og kamerabasert koordinatmåling |
US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
US5841441A (en) * | 1996-01-19 | 1998-11-24 | Virtus Corporation | High-speed three-dimensional texture mapping systems and methods |
US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US5926581A (en) * | 1996-04-25 | 1999-07-20 | Lockheed Martin Corporation | System for topographic mapping from remotely sensed images |
AUPP299498A0 (en) * | 1998-04-15 | 1998-05-07 | Commonwealth Scientific And Industrial Research Organisation | Method of tracking and sensing position of objects |
DE19916978C1 (de) * | 1999-04-15 | 2001-04-26 | Bock Orthopaed Ind | Verfahren zum Vermessen eines Körperbereichs |
JP3798922B2 (ja) * | 1999-06-24 | 2006-07-19 | ペンタックス株式会社 | 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 |
JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
US6771818B1 (en) * | 2000-04-04 | 2004-08-03 | Microsoft Corporation | System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions |
CA2306515A1 (en) * | 2000-04-25 | 2001-10-25 | Inspeck Inc. | Internet stereo vision, 3d digitizing, and motion capture camera |
JP2001317915A (ja) * | 2000-05-08 | 2001-11-16 | Minolta Co Ltd | 3次元計測装置 |
JP4672175B2 (ja) * | 2000-05-26 | 2011-04-20 | 本田技研工業株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
JP2001346226A (ja) * | 2000-06-02 | 2001-12-14 | Canon Inc | 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体 |
US6961459B2 (en) * | 2000-09-12 | 2005-11-01 | Sony Corporation | Three-dimensional data processing device, three-dimensional data processing method, and program providing medium |
US6792140B2 (en) * | 2001-04-26 | 2004-09-14 | Mitsubish Electric Research Laboratories, Inc. | Image-based 3D digitizer |
US6961458B2 (en) * | 2001-04-27 | 2005-11-01 | International Business Machines Corporation | Method and apparatus for presenting 3-dimensional objects to visually impaired users |
US20020164067A1 (en) * | 2001-05-02 | 2002-11-07 | Synapix | Nearest neighbor edge selection from feature tracking |
WO2003002935A1 (en) * | 2001-06-29 | 2003-01-09 | Square D Company | Overhead dimensioning system and method |
JP2003075137A (ja) * | 2001-09-04 | 2003-03-12 | Minolta Co Ltd | 撮影システム並びにそれに用いられる撮像装置および3次元計測用補助ユニット |
US6816629B2 (en) * | 2001-09-07 | 2004-11-09 | Realty Mapping Llc | Method and system for 3-D content creation |
US6862024B2 (en) * | 2002-04-17 | 2005-03-01 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing textured range images using a 2D editor |
JP4115801B2 (ja) * | 2002-10-10 | 2008-07-09 | オリンパス株式会社 | 3次元撮影装置 |
US7231087B2 (en) * | 2002-10-30 | 2007-06-12 | Metrica, Inc. | Matching binary templates against range map derived silhouettes for object pose estimation |
KR100443552B1 (ko) * | 2002-11-18 | 2004-08-09 | 한국전자통신연구원 | 가상 현실 구현 시스템 및 방법 |
US7103212B2 (en) * | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
IL155525A0 (en) * | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
EP1766552A2 (en) * | 2004-06-23 | 2007-03-28 | Strider Labs, Inc. | System and method for 3d object recognition using range and intensity |
EP1779295A4 (en) * | 2004-07-26 | 2012-07-04 | Automotive Systems Lab | SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION |
US20090009592A1 (en) * | 2004-10-01 | 2009-01-08 | Sharp Kabushiki Kaisha | Three-Dimensional Image Forming System |
-
2005
- 2005-08-30 DE DE602005022460T patent/DE602005022460D1/de active Active
- 2005-08-30 AT AT05777944T patent/ATE475152T1/de not_active IP Right Cessation
- 2005-08-30 EP EP05777944A patent/EP1792282B1/en active Active
- 2005-08-30 WO PCT/AU2005/001316 patent/WO2006024091A1/en active Application Filing
- 2005-08-30 CA CA2577840A patent/CA2577840C/en active Active
- 2005-08-30 US US11/665,255 patent/US20090196491A1/en not_active Abandoned
- 2005-08-30 BR BRPI0514755-7A patent/BRPI0514755B1/pt active IP Right Grant
- 2005-08-30 CN CN2005800333367A patent/CN101065785B/zh active Active
-
2007
- 2007-02-21 ZA ZA200701544A patent/ZA200701544B/xx unknown
-
2012
- 2012-07-10 US US13/545,888 patent/US20120275688A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20120275688A1 (en) | 2012-11-01 |
US20090196491A1 (en) | 2009-08-06 |
CA2577840A1 (en) | 2006-03-09 |
EP1792282A1 (en) | 2007-06-06 |
EP1792282B1 (en) | 2010-07-21 |
CN101065785B (zh) | 2013-01-23 |
CA2577840C (en) | 2015-03-10 |
BRPI0514755A (pt) | 2008-06-24 |
EP1792282A4 (en) | 2007-09-05 |
ZA200701544B (en) | 2008-08-27 |
DE602005022460D1 (de) | 2010-09-02 |
WO2006024091A8 (en) | 2007-06-07 |
CN101065785A (zh) | 2007-10-31 |
ATE475152T1 (de) | 2010-08-15 |
WO2006024091A1 (en) | 2006-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BRPI0514755B1 (pt) | Method for automated 3d image formation | |
Liang et al. | Forest data collection using terrestrial image-based point clouds from a handheld camera compared to terrestrial and personal laser scanning | |
US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
KR101194936B1 (ko) | 3차원 계측 장치 및 그 방법 | |
KR100647807B1 (ko) | 그림자 분석을 통한 3차원 건물정보 추출방법 | |
US8031933B2 (en) | Method and apparatus for producing an enhanced 3D model of an environment or an object | |
WO2019015154A1 (zh) | 基于单目三维扫描系统的三维重构方法和装置 | |
WO2021140886A1 (ja) | 三次元モデル生成方法、情報処理装置およびプログラム | |
US8417021B2 (en) | Image processing methods and apparatus | |
US20130054187A1 (en) | Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning | |
WO2018227576A1 (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
JP6251142B2 (ja) | 測定対象物の非接触検知方法及びその装置 | |
CN113008195B (zh) | 一种基于空间点云的三维曲面距离测量方法及系统 | |
WO2022078442A1 (zh) | 一种基于光扫描和智能视觉融合的3d信息采集方法 | |
CN110375675A (zh) | 基于空间相位展开的双目光栅投影测量方法 | |
US20220414925A1 (en) | Tracking with reference to a world coordinate system | |
CN114663486A (zh) | 一种基于双目视觉的建筑物测高方法及系统 | |
Espinosa et al. | Towards fast 3D reconstruction of urban areas from aerial nadir images for a near real-time remote sensing system | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
AU2005279700B2 (en) | A method for automated 3D imaging | |
KR20020037778A (ko) | 3차원 형상 측정방법 | |
JP7448029B2 (ja) | 処理装置、処理システム、処理方法及びプログラム | |
WO2024129995A1 (en) | Method and apparatus for fusion of depth data from multiple sources |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B07A | Application suspended after technical examination (opinion) [chapter 7.1 patent gazette] | ||
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |