BRPI0514755B1 - Method for automated 3d image formation - Google Patents

Method for automated 3d image formation Download PDF

Info

Publication number
BRPI0514755B1
BRPI0514755B1 BRPI0514755-7A BRPI0514755A BRPI0514755B1 BR PI0514755 B1 BRPI0514755 B1 BR PI0514755B1 BR PI0514755 A BRPI0514755 A BR PI0514755A BR PI0514755 B1 BRPI0514755 B1 BR PI0514755B1
Authority
BR
Brazil
Prior art keywords
image
data
dimensional
sensor
image data
Prior art date
Application number
BRPI0514755-7A
Other languages
English (en)
Inventor
Leslie Stainlay Maxwell
Vladimir Poropat George
Original Assignee
Commonwealth Scientific And Industrial Research Organisation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=35999632&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI0514755(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2004904912A external-priority patent/AU2004904912A0/en
Application filed by Commonwealth Scientific And Industrial Research Organisation filed Critical Commonwealth Scientific And Industrial Research Organisation
Publication of BRPI0514755A publication Critical patent/BRPI0514755A/pt
Publication of BRPI0514755B1 publication Critical patent/BRPI0514755B1/pt

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

método para formação de imagem 3d automatizado trata-se de um método para a construção automatizada de imagens 3d, em que um dispositivo de medição de intervalo deve iniciar e controlar o processamento de imagens 2d de modo a produzir uma imagem 3d. o dispositivo de medição de intervalo pode ser integrado a um sensor de imagem, par exemplo, o sensor de intervalo de uma câmera digital, ou pode ser um dispositivo separado. os dados que indicam a distância até um item específico obtidos a partir do sensor de imagem, podem ser usados para controlar e automatizar a construção da imagem 3d.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO PARA FORMAÇÃO DE IMAGEM 3D AUTOMATIZADO".
Campo Técnico [001] A presente invenção refere-se à construção automatizada de dados de imagem de superfície 3D a partir de imagens digitais. Técnica Anterior [002] A caracterização do formato da superfície de um objeto (a topografia da superfície do objeto) é requerida para realizar muitas tarefas. Muitos métodos para a obtenção de informações que descrevam o formato da superfície de um objeto são conhecidos. Por exemplo, o formato da superfície do objeto pode ser medido com o uso de um meio fotogramétrico ou com o uso de um dispositivo de medição a laser escaneado. Em muitos casos, dados adicionais que caracterizem a natureza visual da superfície ou outras propriedades da superfície também são necessários. Muitos métodos para a obtenção de informações que descrevam as características visuais da superfície de um objeto também são conhecidos.
[003] Usando um meio fotogramétrico, os dados espaciais tridimensionais podem ser adquiridos a partir de duas ou mais imagens bidimensionais. A técnica anterior requer que a posição e a orientação das linhas de visão das câmeras ou, nos casos onde uma câmera é usada, a posição e a linha de visão da câmera em cada local de formação de imagem, sejam conhecidas.
[004] De acordo com as técnicas da técnica anterior, a construção de uma imagem tridimensional a partir de duas ou mais imagens bidimensionais requer a determinação de pontos de correspondência em ambas as imagens e a aplicação de fórmulas matemáticas bem-conhecidas para usar o conhecimento das posições de correspondência para estimar a posição espacial absoluta ou relativa de pontos para os quais são determinadas as correspondências.
[005] Este processo requer que poder significativo de processamento seja empregado. O processamento é realizado para determinar correspondência única ou múltiplas dentro de imagens de uma cena. Uma busca "global" por correspondências tem que ser realizada e pode produzir muitas correspondências, algumas das quais serão falsas ou podem não ser únicas.
[006] É um objetivo da presente invenção proporcionar um processo aperfeiçoado para a construção de imagens de superfície tridimensional a partir de dados de sensor onde os dados do sensor podem ser duas ou mais imagens.
Sumário da Invenção [007] Em uma forma ampla, a presente invenção utiliza a distância ou as distâncias percebidas até um item ou itens conhecidos em uma imagem para iniciar e controlar o processamento de dados de imagem bidimensional para produzir dados de superfície tridimensional.
[008] De acordo com um aspecto, a presente invenção proporciona um método para o processamento de conjuntos de dados de imagem bidimensional obtidos de pelo menos uma primeira e uma segunda imagem bidimensional de um objeto, adquiridos com o uso de um ou mais sensores de imagem localizados em uma primeira e uma segunda posição de modo a produzir dados de superfície tridimensional, sendo que o método inclui pelo menos as etapas de: (a) Adquirir dados de intervalo indicativos da distância a partir do sensor de imagem até pelo menos um item conhecido em cada imagem bidimensional; (b) Determinar o deslocamento relativo do sensor de imagem na primeira e na segunda posição; (c) Processar os dados de imagem bidimensional usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os dados de imagem bidimensional de modo a produzir dados de imagem processada; e (d) Integrar os dados de imagem processada para produzir dados de superfície tridimensional.
[009] De preferência, mas não necessariamente, os dados de imagem bidimensional podem ser adicionalmente integrados com dados que definem as características visuais ou outras características da superfície, tais como reflectância ou emissão, em outras faixas do espectro eletromagnético.
[0010] Os dados de superfície tridimensional consistem nos dados espaciais que definem o formato de um objeto (ou objetos), opcionalmente integrados com os dados visuais ou outros dados que tenham o formato de uma imagem visual, tais como dados espectrais de regiões espectrais outras que não aquelas de comprimentos de ondas visuais que definem a natureza reflexiva ou emissiva do objeto.
[0011] Os dados de intervalo podem ser adquiridos diretamente do sensor de imagem, ou um sensor separado, e podem requerer a integração com dados sobre a orientação e posição da câmera.
[0012] De acordo com uma implementação da presente invenção, um dispositivo de medição de intervalo ou a projeção de um padrão de luz é usado para controlar o início de processamento para extrair dados espaciais tridimensionais e, conforme requerido, construir uma imagem tridimensional a partir de duas imagens.
[0013] Uma imagem tridimensional é a descrição integrada de uma superfície combinando dados espaciais e dados tais como dados visuais. Os dados de medição de intervalo permitem que o processador determine mais imediatamente uma correspondência ou múltiplas correspondências dentro de imagens de uma cena. Sem conhecimento da distância até um item que esteja presente nas imagens que estão sendo processadas, como na técnica anterior, uma busca "global" por correspondências tem que ser realizada mesmo quando a posição e a orientação das câmeras é conhecida. Tal busca pode produzir muitas correspondências, algumas das quais serão falsas ou podem não ser únicas.
[0014] O conhecimento da distância até um ponto, ou pontos, conhecidos, combinado com o conhecimento da orientação e posição relativa das câmeras (orientação e posição relativas podem ser derivadas matematicamente ou podem ser determinadas a partir de um conhecimento da posição e orientação absoluta) e o dispositivo de medição de intervalo ou dispositivo de projeção de luz podem ser usados para controlar a busca por correspondências, desde que a posição (relativa ou absoluta) no espaço de um item em uma imagem seja conhecida, a posição do dito item em uma segunda imagem seja conhecida. Este conhecimento é usado então para controlar e automatizar o processamento que determina as correspondências necessárias para criar uma imagem tridimensional.
[0015] De acordo com a presente invenção, o uso do conhecimento da distância ou distâncias até um item ou itens conhecidos em uma imagem, pode ser obtido pela projeção de um padrão de luz conhecido no espaço em que a imagem 3D deve ser criada. Neste método, a localização da imagem do padrão de luz é usada para então determinar a distância ou distâncias até um item ou um conjunto de itens em uma imagem bidimensional usando métodos conhecidos na técnica anterior e o processo descrito para uso com medição direta de intervalo até os ditos itens pode então ser aplicado.
[0016] A presente invenção abrange adicionalmente um aparelho e sistema para a produção de dados de superfície tridimensional e um produto de software operativamente adaptado para realizar o método inventivo.
[0017] Será entendido que o termo objeto, conforme usado em re- lação ao sujeito de uma imagem, tem significado amplo e pode abranger itens geográficos e terreno, assim como objetos específicos e itens em imagens. O termo dados de superfície tridimensional é usado am-plamente querendo significar dados que caracterizem o formato e, opcionalmente, outras características da superfície de um objeto.
Breve Descrição dos Desenhos [0018] A presente invenção será descrita agora com referência aos desenhos anexos, em que: A Figura 1 é uma representação de um típico sistema de formação de imagem tridimensional (sensor) conforme ele pode ser implementado usando um único sensor; A Figura 2 é uma representação de um sistema de formação de imagem 3D (sensor) que utiliza dois sensores, por exemplo, duas câmeras, conforme usado em um sensor de formação de imagem estéreo, em que o campo de visão do sensor 3D é definido pela sobreposição do campo de visão dos sensores individuais; e A Figura 3 é uma representação de um sistema de formação de imagem 3D (sensor) que utiliza duas câmeras usadas em dois locais ou uma câmera usada em dois locais; e A Figura 4 é um diagrama de bloco de um sistema adequado de acordo com uma modalidade. A Figura 5 é uma imagem de uma implementação de um sistema de formação de imagem 3D automatizado que usa duas câmeras e um visor de intervalo a laser (centro). A Figura 6 é uma representação de computador de uma imagem 3D criada pela implementação de um sistema de formação de imagem 3D automatizado, conforme é mostrado na Figura 5. A Figura 7 é uma representação do componente de dados 3D de uma imagem 3D como uma nuvem de pontos espaciais, isto é, uma visualização da localização espacial de cada ponto da superfície da imagem 3D.
Descrição Detalhada [0019] Embora a operação da invenção seja descrita com referência a algumas implementações particulares, será apreciado que muitas implementações alternativas são possíveis.
[0020] Na aplicação convencional de técnicas de fotogrametria, as posições e orientações relativas das câmeras quando duas ou mais câmeras são usadas ou as posições e orientações da câmera, quando apenas uma câmera é usada, são determinadas e faz-se amostra das imagens de acordo com a geometria epipolar determinada pelas posições e orientações relativas das câmeras ou a câmera quando uma câmera é usada e um mapa de disparidade é criado. O mapa de disparidade é usado para extrair dados espaciais tridimensionais usando as posições e orientações relativas das câmeras.
[0021] Na aplicação convencional, a busca por correspondências é iniciada por uma série de meios e é realizada por muitos métodos. A busca por correspondências é computacionalmente intensiva, Para reduzir a computação, a busca pode ser restringida pela geometria das câmeras, em que as câmeras são usadas em uma relação geométrica conhecida fixada ou a busca pode ser iniciada sob o controle de um ser humano, [0022] Convencional mente, as informações de intervalo não são adquiridas e não são usadas para controlar o processo de construção de um mapa de disparidade. O mapa de disparidade é gerado por todos os pontos comuns a ambas as imagens após nova amostragem das imagens de acordo com a geometria epipolar, Uma vez que o mapa de disparidade tenha sido gerado, dados espaciais tridimensionais são gerados a partir do mapa de disparidade.
[0023] Na presente invenção, a medição de intervalo e as posições e orientações relativas das câmeras são usadas para iniciar e controlar o processo de busca que produz as informações de disparidade. O uso deste controle permite a geração automatizada de uma imagem tridimensional.
[0024] Será entendido que, embora a presente invenção seja um aperfeiçoamento de técnicas convencionais, os princípios e técnicas gerais de sistemas conhecidos são relevantes e formam parte da implementação prática da presente invenção.
[0025] A fotogrametria é efetivamente um sistema de triangulação que requer que existam dois ou mais componentes do sensor que permitam a determinação da direção em três dimensões até um ponto no espaço objeto. A posição e orientação de cada componente do sensor são conhecidas e, como para cada componente do sensor, a direção angular até o ponto é conhecida, a posição no espaço do ponto é imediatamente determinada, fornecendo assim uma imagem tridimensional. A triangulação pode ser subdividida em técnicas: triangulação passiva e triangulação ativa.
[0026] A triangulação passiva abrange técnicas tais como fotogrametria aérea ou terrestre onde os componentes do sistema de medição são duas ou mais câmeras ou uma câmera captando duas ou mais imagens. Os pontos em cada imagem são correspondidos e a partir da posição em cada imagem dos pontos correspondidos, a posição espacial é determinada. Sistemas rápidos que utilizam duas câmeras de televisão e sistemas de processamento de imagem são classificados às vezes como estereovisão.
[0027] A triangulação ativa abrangia técnicas tais como formação de imagem com luz estruturada, onde uma risca de luz é projetada em um espaço de objeto e visualizada por uma câmera ou sensor similar a partir de uma outra posição. Em alguns casos, duas câmeras são usadas. O conhecimento da direção de projeção da risca de luz e da posição e orientação da câmera ou câmeras permite o cálculo da posição no espaço de qualquer ponto que reflita a luz. Uma outra forma de triangulação ativa envolve o uso de luz escaneada sobre o espaço objeto.
[0028] Aqueles que são versados na técnica estarão conscientes destas e de outras técnicas alternativas de formação de imagem 3D, as quais podem ser empregadas para implementar a presente invenção. Elas são discutidas, por exemplo, em Best. PJ. Active Ootical Range Imagina Sensors: Machine Vision and Applications Vol. 1 1988.
[0029] As possíveis implementações da presente invenção serão descritas agora com mais detalhes. Enfatiza-se que, a não ser pelo dispositivo de determinação de intervalo, o restante do sistema é convencional e pode ser implementado com o uso de abordagens bem-conhecidas.
[0030] A Figura 1 é uma vista esquemática que mostra o campo de visão típico para uma implementação de dispositivo simples da presente invenção, por exemplo, usando um visor de intervalo a laser. Tal dispositivo fornece inerentemente informação de posição tridimensional sobre as superfícies percebidas.
[0031] A Figura 2 mostra um sistema de formação de imagem que utiliza dois sensores, tais como câmeras digitais usadas em uma configuração de formação de imagem estéreo. O campo de visão dos sensores combinados, isto é, onde se sobrepõem, define a zona de sensoriamento 3D, Neste caso, a informação de intervalo é fornecida pelo mecanismo de determinação de intervalo automatizado de cada câmera, junto com informações sobre o alinhamento e a posição de cada sensor sobre a plataforma.
[0032] A Figura 3 mostra um outro arranjo, usando uma câmera em dois locais ou duas câmeras em locais diferentes. Um dispositivo de medição de intervalo é colocado com a câmera em cada local. Novamente, o campo de visão do sensor 3D é definido pela sobreposição entre os campos de visão das câmeras.
[0033] Dois métodos para a criação automatizada de imagens tridimensionais serão descritos abaixo: a) Usar um sensor de formação de imagem 3D que combine um dispositivo de medição de intervalo e um sensor que seja capaz de produzir uma representação visual ou outra representação, por exemplo, uma representação espectral, usando comprimentos de onda outros que não a luz visual de uma cena. Um exemplo de tal sensor é um sensor de formação de imagem bidimensional como em uma câmera digital, e o dispositivo de medição de intervalo na câmera pode fornecer a medição de intervalo. Os dados de intervalo e de imagem permitem que a imagem 3D seja construída automaticamente. b) Usar um sensor de formação de imagem 3D que combine um mecanismo para projetar um padrão conhecido de luz no espaço em que uma imagem tridimensional seja construída e um sensor que seja capaz de produzir uma representação visual ou outra representação, por exemplo, uma representação espectral, usando comprimentos de onda outros que não a luz visual de uma cena tal como um sensor de formação de imagem bidimensional, como em uma câmera digital, é usado para adquirir dados a partir dos quais a imagem 3D é automaticamente construída.
[0034] Na modalidade preferida, o processo de criação de uma imagem 3D é empreendido conforme a seguir, quando é usado um dispositivo de medição de intervalo. Na descrição fornecida, o uso de duas imagens é assumido, o processo pode, obviamente, ser prontamente estendido para o uso de mais de duas imagens. 1. É usado um sensor para adquirir uma imagem bidimensional de uma cena. 2. É usado um sensor para adquirir uma segunda imagem bidimensional de uma seção de sobreposição da cena. 3. Um dispositivo de medição de intervalo, que pode ser colocado com o sensor ou pode ser posicionado em uma posição conhecida com relação ao sensor, determina a distância até um item ou itens na cena. O conhecimento da relação espacial é usado então para prever a posição do item até onde o intervalo foi medido em ambas as imagens. 4. Um processador localiza estes itens nas imagens bidimensionais usando o conhecimento da distância até estes itens obtida pela medição, usando o visor de intervalo. 5. O processador usa o conhecimento da posição destes itens em ambas as imagens para controlar o processo de dados de imagem para localizar as correspondências nas duas imagens, que são usadas para criar uma imagem tridimensional. 6. O processador determina todas as possíveis correspondências entre as duas imagens. 7. As correspondências são usadas com os dados que definem a posição e a orientação dos sensores para criar uma imagem tridimensional.
[0035] Uma implementação prática preferida da presente invenção requer os seguintes componentes: [0036] Primeiro, um meio para a aquisição de imagens digitais bidimensionais é requerido. Um dispositivo adequado é uma câmera digital, com uma interface de dados apropriada, para produzir dados de imagem.
[0037] Um meio para medir a distância até um objeto a partir de uma câmera em uma direção relativa à câmera que seja conhecido e esteja alinhado à câmera é requerido. Isso pode ser feito usando o dispositivo de medição de intervalo existente na maioria das câmeras digitais. Tais dispositivos são usados para proporcionar autofoco em muitas câmeras e podem ser um sistema de medição de intervalo ul- tra-sônico ou pode utilizar um algoritmo de processamento de imagem que determine quando a câmera está apropriadamente focada e infere o intervalo do ajuste do foco.
[0038] Uma alternativa é usar um dispositivo que projete um padrão conhecido de luz (ou outra radiação) no espaço da cena, sendo que o intervalo é determinado pela luz refletida percebida pelo dispositivo em resposta à saída conhecida.
[0039] Um processador adequado é requerido. A natureza do processador é, até certo ponto, dependente do tamanho do campo de operação e do volume de dados que está sendo processado. Para o processamento de imagens relativamente pequenas, um processador de sinal digital embutido pode ser usado em equipamento local. Para grandes imagens, um computador, tal como um computador pessoal, pode ser necessário.
[0040] Um meio para o armazenamento de dados adquiridos pelo sistema de formação de imagem e de outros dados é requerido, com uma capacidade e velocidade compatíveis com a aplicação requerida.
[0041] A construção da imagem 3D automatizada é realizada por um algoritmo adequado a ser executado pelo processador. Tais algoritmos são conhecidos na técnica anterior e são incorporados em sistemas da seguinte forma: 1. O algoritmo estima a disparidade entre as duas imagens ao realizar a correlação de itens similares nas imagens; 2. A disparidade entre as duas imagens é usada com conhecimento da relação espacial entre as câmeras para determinar a posição no espaço com relação às câmeras dos itens nas imagens para as quais a disparidade foi estimada.
[0042] Uma modalidade do sistema é mostrada na Figura 4.
[0043] Na modalidade preferida, o processo de criação de uma imagem 3D é empreendido conforme a seguir, quando um mecanismo para projetar padrão de luz no espaço em que uma imagem tridimensional deve ser construída, é usado: 1. É usado um sensor para adquirir uma imagem bidimensional de uma cena que possa incluir um padrão de luz projetado; 2. É usado um sensor para adquirir uma segunda imagem bidimensional de uma seção sobreposta da cena que possa incluir um padrão de luz projetada; 3. Um processador localiza itens nas imagens que correspondam ao padrão de luz projetada e determina a distância até estes itens, conforme é bem-conhecido na técnica anterior (por exemplo, Close Range Photogrammetry and Machine Vision, editado por K. B. Atkinson). 4. O processador usa o conhecimento da posição destes itens em ambas as imagens para controlar o processo de dados de imagem para localizar correspondências nas duas imagens, que são usadas para criar uma imagem tridimensional; 5. O processador determina todas as possíveis correspondências entre as duas imagens; 6. As correspondências são usadas com os dados que definem a posição e a orientação dos sensores para criar uma imagem tridimensional.
[0044] A Figura 5 é uma fotografia que ilustra uma implementação prática de um aparelho de sensoriamento de imagem 3D de acordo com a presente invenção. O sensor de intervalo é mostrado no centro. Os dispositivos à esquerda e à direita são câmeras digitais. Será entendido que a relação entre as câmeras e o sensor de imagem é conhecida e pode ser controlada até um alto nível de precisão. Como conseqüência, a relação geométrica entre os três componentes de sensoriamento é conhecida e pode ser decomposta no processamento de imagem.
[0045] A Figura 6 ilustra uma imagem 3D produzida pelo sistema da Figura 5. A Figura 7 mostra os mesmos dados da imagem 3D, representados como uma nuvem de pontos espaciais.
[0046] Um processo geral para criar uma imagem 3D utilizando duas imagens sobrepostas, de acordo com uma implementação da presente invenção, é: 1. O sistema sensor adquire duas imagens digitais sobrepostas da cena a partir da qual a imagem 3D deve ser criada; 2. O sistema de processamento corrige cada imagem para remover ou minimizar os efeitos de distorção de lente. 3. O sistema sensor adquire uma ou mais medições de intervalo até objetos na cena. Para uma medição simples, isso será usualmente até qualquer objeto que esteja no centro do campo de visão. 4. O sistema de processamento utiliza o conhecimento da posição e orientação relativas das câmeras para determinar o grau de sobreposição horizontal das imagens digitais. Por exemplo, se a distância até objetos na cena for grande em comparação com a separação das câmeras e as linhas de visão das câmeras forem paralelas (ou quase), a sobreposição se aproximará de 100 por cento da largura da imagem. 5. O sistema de processamento utiliza o conhecimento da posição e a orientação relativas das câmeras para determinar o grau de sobreposição vertical das imagens digitais. Conforme é bem-conhecido na técnica anterior se as linhas de visão relativas das câmeras forem conhecidas, o alinhamento vertical dos planos de imagem é determinado pela geometria epipolar. 6. Usando o conhecimento da sobreposição horizontal e vertical da área de cada imagem que deve ser processada para determinar a disparidade estéreo, é determinada pelo sistema de proces- sarnento. 7. O sistema de processamento, deste modo, busca a área de processamento em cada imagem e identifica a disparidade entre pontos correspondentes em cada imagem. 8. Usando o conhecimento da posição e da orientação relativa das linhas de visão das câmeras, o sistema de processamento converte a informação de disparidade em uma localização espacial relativa às câmeras e, deste modo, cria uma imagem 3D.
[0047] Será entendido que a presente invenção pode ser implementada usando construções alternativas e características adicionais àquelas descritas especificamente, mas que a presente invenção abranje tais alternativas.
REIVINDICAÇÕES

Claims (12)

1. Método para processar conjuntos de dados de imagem bidimensionais obtidos a partir de pelo menos uma primeira e uma segunda imagem bidimensional de um objeto adquirido usando um ou mais sensores de imagem localizados em uma primeira e uma segunda posição de modo a produzir dados de superfície tridimensional compreendendo as etapas de: (a) adquirir dados de intervalo indicativos da distância a partir do sensor de imagem até pelo menos um item conhecido em cada imagem bidimensional; (b) determinar o deslocamento relativo do sensor de imagem na primeira e na segunda posição; (c) processar os dados de imagem bidimensionais para produzir dados de imagem processada; e (d) integrar os dados de imagem processada para produzir dados de superfície tridimensional; caracterizado pelo fato de que a etapa (c) compreende processar os dados de imagem bidimensionais usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os dados de imagem bidimensional de modo a produzir dados de imagem processada.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que processar os dados de imagem bidimensional inclui a construção de um mapa de disparidade que define o deslocamento de itens da imagem entre as duas imagens.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que processar os dados de imagem bidimensional compreende usar o deslocamento relativo e os dados de intervalo para controlar o término do processamento usado para criar o mapa de disparidade.
4. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que as primeira e segunda imagens são adquiridas com o uso do um sensor de imagem movido para uma primeira e uma segunda posição.
5. Método para gerar automaticamente dados de superfície tridimensional de um objeto usando sensores de formação de imagem bidimensional compreendendo as etapas de: (a) obter uma primeira imagem do objeto a partir de uma primeira posição usando um primeiro sensor de imagem; (b) obter uma segunda imagem do objeto a partir de uma segunda posição usando um segundo sensor de imagem; (c) obter uma medição de distância a partir do primeiro sensor de imagem até um ponto no campo de visão da primeira imagem; (d) determinar o deslocamento relativo das primeira e segunda posições; caracterizado pelo fato de que o método ainda compreende as etapas de: usar pelo menos a medição de distância a partir da primeira imagem e o deslocamento relativo das primeira e segunda posições para guiar o início de uma busca por correspondências entre as imagens para iniciar a construção de um mapa de disparidade que define o deslocamento de itens de imagem entre as duas imagens; e usar o deslocamento relativo entre os sensores de imagem e a medição ou medições de distância para controlar o processamento usado para criar o mapa de disparidade; usar o deslocamento relativo entre os sensores de imagem e a medição ou medições de imagem para controlar o término do processamento usado para criar o mapa de disparidade; e deste modo, construir dados de superfície tridimensional.
6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que são usadas mais de duas imagens.
7. Método, de acordo com a reivindicação 5 ou 6, caracterizado pelo fato de que é obtida mais de uma medição de distância.
8. Método, de acordo com qualquer uma das reivindicações 5 a 7, caracterizado pelo fato de que uma ou mais medições de distância também são feitas a partir de pelo menos o segundo sensor de imagem até um ponto no campo de visão da segunda imagem.
9. Método, de acordo com qualquer uma das reivindicações 5 a 8, caracterizado pelo fato de que o segundo sensor de imagem é o primeiro sensor de imagem movido para a segunda posição.
10. Aparelho para construir dados de superfície tridimensional a partir de conjuntos de dados de imagem bidimensional compreendendo: pelo menos dois sensores de imagem bidimensional e um sensor de intervalo, os sensores sendo dispostos de modo a manter operativamente uma relação física específica, um meio de processamento adaptado para receber dados a partir de cada um dos sensores de imagem e do sensor de intervalo, os dados compreendendo um conjunto de dados de imagem bidimensional a partir de cada sensor de imagem, os dados de intervalo indicativos da distância a partir do sensor de intervalo até pelo menos um item conhecido em cada imagem bidimensional, e o deslocamento relativo de pelo menos dois dos sensores de imagem; o processador sendo adaptado para processar os dados de imagem bidimensional para produzir dados de imagem processados; o processador sendo ainda adaptado para integrar os dados de imagem processados para produzir dados de superfície tridimensional. caracterizado pelo fato de que o processador é adaptado para processar os dados de imagem bidimensional usando os dados de intervalo e o deslocamento relativo para iniciar e controlar a determinação de correspondências entre os conjuntos de dados de imagem bidimensional para produzir dados de imagem processados.
11. Aparelho, de acordo com a reivindicação 10, caracterizado pelo fato de que pelo menos dois sensores de imagem são proporcionados por um único sensor de imagem que é movido entre duas ou mais posições.
12. Produto caracterizado pelo fato de que é capaz de implementar o método conforme definido em qualquer uma das reivindicações 1 a 9.
BRPI0514755-7A 2004-08-30 2005-08-30 Method for automated 3d image formation BRPI0514755B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2004904912 2004-08-30
AU2004904912A AU2004904912A0 (en) 2004-08-30 A Method for Automated 3D Imaging
PCT/AU2005/001316 WO2006024091A1 (en) 2004-08-30 2005-08-30 A method for automated 3d imaging

Publications (2)

Publication Number Publication Date
BRPI0514755A BRPI0514755A (pt) 2008-06-24
BRPI0514755B1 true BRPI0514755B1 (pt) 2017-10-17

Family

ID=35999632

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0514755-7A BRPI0514755B1 (pt) 2004-08-30 2005-08-30 Method for automated 3d image formation

Country Status (9)

Country Link
US (2) US20090196491A1 (pt)
EP (1) EP1792282B1 (pt)
CN (1) CN101065785B (pt)
AT (1) ATE475152T1 (pt)
BR (1) BRPI0514755B1 (pt)
CA (1) CA2577840C (pt)
DE (1) DE602005022460D1 (pt)
WO (1) WO2006024091A1 (pt)
ZA (1) ZA200701544B (pt)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510558A (ja) * 2006-10-11 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元グラフィックスのデータの作成
CN101663559A (zh) * 2007-04-03 2010-03-03 六边形度量衡股份公司 用于物体的精确测量的方法和设备
GB0813320D0 (en) * 2008-07-21 2008-08-27 Autotrakker Ltd Cargo measurement
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 3次元計測装置、その計測方法及びプログラム
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
KR101685343B1 (ko) * 2010-06-01 2016-12-12 엘지전자 주식회사 영상표시장치 및 그 동작방법
CN101916036B (zh) * 2010-07-20 2012-05-16 厦门三维视通电子科技有限公司 带灯光及水平旋转台的电脑可控实物三维自动成像装置
US20120150573A1 (en) * 2010-12-13 2012-06-14 Omar Soubra Real-time site monitoring design
US8837813B2 (en) 2011-07-01 2014-09-16 Sharp Laboratories Of America, Inc. Mobile three dimensional imaging system
US9251562B1 (en) 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
JP5787695B2 (ja) 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
US10401144B2 (en) 2011-12-06 2019-09-03 Hexagon Technology Center Gmbh Coordinate measuring machine having a camera
CN107806826B (zh) * 2012-03-26 2021-10-26 螳螂慧视科技有限公司 三维照相机及其投影仪
CN102914262B (zh) * 2012-09-29 2015-02-11 北京控制工程研究所 一种基于附加视距的非合作目标贴近测量方法
DE102013009288B4 (de) * 2013-06-04 2016-02-04 Testo Ag 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung
CN104570574A (zh) * 2013-10-18 2015-04-29 宁夏先锋软件有限公司 一种利用2d图像自动成像的3d成像仪
JP2015152338A (ja) * 2014-02-12 2015-08-24 トヨタ自動車株式会社 距離情報取得方法、距離情報取得装置及びロボット
CN103983982A (zh) * 2014-05-27 2014-08-13 哈尔滨工业大学 车用红外/可见光双摄像头激光雷达
DE102017103660B4 (de) * 2017-02-22 2021-11-11 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
US20220284221A1 (en) * 2021-03-02 2022-09-08 GM Global Technology Operations LLC Deep learning based parametrizable surround vision

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3153784A (en) * 1959-12-24 1964-10-20 Us Industries Inc Photo radar ground contour mapping system
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US5148209A (en) * 1990-07-12 1992-09-15 The Research Foundation Of State University Of New York Passive ranging and rapid autofocusing
US5309522A (en) * 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
EP0684585B1 (en) * 1994-04-22 2003-02-05 Canon Kabushiki Kaisha Image forming method and apparatus
US5473364A (en) * 1994-06-03 1995-12-05 David Sarnoff Research Center, Inc. Video technique for indicating moving objects from a movable platform
US6028672A (en) * 1996-09-30 2000-02-22 Zheng J. Geng High speed three dimensional imaging method
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
IL113496A (en) * 1995-04-25 1999-09-22 Cognitens Ltd Apparatus and method for recreating and manipulating a 3d object based on a 2d projection thereof
US6526352B1 (en) * 2001-07-19 2003-02-25 Intelligent Technologies International, Inc. Method and arrangement for mapping a road
US6535210B1 (en) * 1995-06-07 2003-03-18 Geovector Corp. Vision system computer modeling apparatus including interaction with real scenes with respect to perspective and spatial relationship as measured in real-time
US5764807A (en) * 1995-09-14 1998-06-09 Primacomp, Inc. Data compression using set partitioning in hierarchical trees
NO301999B1 (no) * 1995-10-12 1998-01-05 Metronor As Kombinasjon av laser tracker og kamerabasert koordinatmåling
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5841441A (en) * 1996-01-19 1998-11-24 Virtus Corporation High-speed three-dimensional texture mapping systems and methods
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US5926581A (en) * 1996-04-25 1999-07-20 Lockheed Martin Corporation System for topographic mapping from remotely sensed images
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
DE19916978C1 (de) * 1999-04-15 2001-04-26 Bock Orthopaed Ind Verfahren zum Vermessen eines Körperbereichs
JP3798922B2 (ja) * 1999-06-24 2006-07-19 ペンタックス株式会社 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2001317915A (ja) * 2000-05-08 2001-11-16 Minolta Co Ltd 3次元計測装置
JP4672175B2 (ja) * 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP2001346226A (ja) * 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
US6961459B2 (en) * 2000-09-12 2005-11-01 Sony Corporation Three-dimensional data processing device, three-dimensional data processing method, and program providing medium
US6792140B2 (en) * 2001-04-26 2004-09-14 Mitsubish Electric Research Laboratories, Inc. Image-based 3D digitizer
US6961458B2 (en) * 2001-04-27 2005-11-01 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
US20020164067A1 (en) * 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
WO2003002935A1 (en) * 2001-06-29 2003-01-09 Square D Company Overhead dimensioning system and method
JP2003075137A (ja) * 2001-09-04 2003-03-12 Minolta Co Ltd 撮影システム並びにそれに用いられる撮像装置および3次元計測用補助ユニット
US6816629B2 (en) * 2001-09-07 2004-11-09 Realty Mapping Llc Method and system for 3-D content creation
US6862024B2 (en) * 2002-04-17 2005-03-01 Mitsubishi Electric Research Laboratories, Inc. Enhancing textured range images using a 2D editor
JP4115801B2 (ja) * 2002-10-10 2008-07-09 オリンパス株式会社 3次元撮影装置
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
KR100443552B1 (ko) * 2002-11-18 2004-08-09 한국전자통신연구원 가상 현실 구현 시스템 및 방법
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
IL155525A0 (en) * 2003-04-21 2009-02-11 Yaron Mayer System and method for 3d photography and/or analysis of 3d images and/or display of 3d images
EP1766552A2 (en) * 2004-06-23 2007-03-28 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
EP1779295A4 (en) * 2004-07-26 2012-07-04 Automotive Systems Lab SYSTEM FOR PROTECTING USERS OF THE ROAD IN A DANGER SITUATION
US20090009592A1 (en) * 2004-10-01 2009-01-08 Sharp Kabushiki Kaisha Three-Dimensional Image Forming System

Also Published As

Publication number Publication date
US20120275688A1 (en) 2012-11-01
US20090196491A1 (en) 2009-08-06
CA2577840A1 (en) 2006-03-09
EP1792282A1 (en) 2007-06-06
EP1792282B1 (en) 2010-07-21
CN101065785B (zh) 2013-01-23
CA2577840C (en) 2015-03-10
BRPI0514755A (pt) 2008-06-24
EP1792282A4 (en) 2007-09-05
ZA200701544B (en) 2008-08-27
DE602005022460D1 (de) 2010-09-02
WO2006024091A8 (en) 2007-06-07
CN101065785A (zh) 2007-10-31
ATE475152T1 (de) 2010-08-15
WO2006024091A1 (en) 2006-03-09

Similar Documents

Publication Publication Date Title
BRPI0514755B1 (pt) Method for automated 3d image formation
Liang et al. Forest data collection using terrestrial image-based point clouds from a handheld camera compared to terrestrial and personal laser scanning
US10237532B2 (en) Scan colorization with an uncalibrated camera
US8718326B2 (en) System and method for extracting three-dimensional coordinates
KR101194936B1 (ko) 3차원 계측 장치 및 그 방법
KR100647807B1 (ko) 그림자 분석을 통한 3차원 건물정보 추출방법
US8031933B2 (en) Method and apparatus for producing an enhanced 3D model of an environment or an object
WO2019015154A1 (zh) 基于单目三维扫描系统的三维重构方法和装置
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
US8417021B2 (en) Image processing methods and apparatus
US20130054187A1 (en) Adaptive mechanism control and scanner positioning for improved three-dimensional laser scanning
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
JP6251142B2 (ja) 測定対象物の非接触検知方法及びその装置
CN113008195B (zh) 一种基于空间点云的三维曲面距离测量方法及系统
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
CN110375675A (zh) 基于空间相位展开的双目光栅投影测量方法
US20220414925A1 (en) Tracking with reference to a world coordinate system
CN114663486A (zh) 一种基于双目视觉的建筑物测高方法及系统
Espinosa et al. Towards fast 3D reconstruction of urban areas from aerial nadir images for a near real-time remote sensing system
JP5409451B2 (ja) 3次元変化検出装置
JP3525712B2 (ja) 三次元画像撮像方法及び三次元画像撮像装置
AU2005279700B2 (en) A method for automated 3D imaging
KR20020037778A (ko) 3차원 형상 측정방법
JP7448029B2 (ja) 処理装置、処理システム、処理方法及びプログラム
WO2024129995A1 (en) Method and apparatus for fusion of depth data from multiple sources

Legal Events

Date Code Title Description
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]