BRPI0712464A2

BRPI0712464A2 - calibraÇço paramÉtrica para sistemas de cÂmera panorÂmica

Info

Publication number: BRPI0712464A2
Application number: BRPI0712464-3A
Authority: BR
Inventors: Ross G Cutler
Original assignee: Microsoft Corp
Priority date: 2006-06-30
Filing date: 2007-02-21
Publication date: 2012-07-31
Also published as: EP2036335A1; US20080002023A1; CA2652013C; EP2036335B1; EP2036335A4; KR101330373B1; RU2008152339A; CA2652013A1; KR20090023635A; WO2008005066A1; US7697839B2; CN101480041A

Abstract

CALIBRAÇçO PARAMÉTRICA PARA SISTEMAS DE CÂMERA PANORÂMICA. Arquitetura para calibrar espacialmente uma câmera panorâmica de múltiplos sensores. Um modelo de calibração de distorção panorâmica e fabricando dados de calibração é CARACTERIZADO em um modelo paramétrico que é armazenado na câmera e utilizado para a calibração de câmera. As técnicas de calibração podem empregar combinações de homografia intra-câmera, homografia inter-câmera, e distorções polinomiais, que corrigem o modelo de calibração de distorção de panorama espacial livre de erros. A configuração do sistema de calibração pode incluir um sistema de câmera estacionário para testar o padrão espacial de cada câmera e um sistema de câmera rotacional para rotacionar uma câmera panorâmica de múltiplos sensores através de um único padrão espacial.

Description

"CALIBRAÇÃO PARAMÉTRICA PARA SISTEMAS DE CÂMERA PANORÂMICA"

Fundamentos da Invenção

A internet tem facilitado um ambiente de negócios mais disperso permitindo que empregados, vendedores, e consumidores se comuniquem e conduzam negócios via correio eletrônico e/ou via técnicas de áudio (conferência por telefone). Entretanto, tais mecanismos de troca de informação carecem do benefício do contato frente a frente mais pessoal que pode fornecer um ambiente mais efetivo e produtivo.

Os sistemas de vídeo conferência existentes fornecem uma visão limitada de um ambiente de trabalho do participante e são ainda menos efetivos quando a reunião requer desenhos ou esboços em um quadro branco, por exemplo. Além disso, com o crescimento do número de usuários em linha que passam grandes arquivos associados com conteúdo multimídia, a banda larga disponível de redes existentes está se tornando ainda mais sobrecarregada. Conseqüentemente, os negócios estão procurando continuamente meios mais efetivos para as comunicações de vídeo.

As câmeras panorâmicas para visualização mais ampla encontram aplicação não somente para o lazer, mas também para razões pessoais, segurança domiciliar, viagem, aplicativos de jogos, reuniões de negócios. Com relação às reuniões de negócios, as câmeras panorâmicas podem ser utilizadas para gravar e transmitir reuniões gravando não somente as imagens de vídeo do ambiente da reunião, mas também fornecendo um arranjo de microfones para gravar a entrada de áudio para que os observadores possam ver e ouvir mais do que está acontecendo.

Os sistemas de câmera panorâmica (ou em todas as direções) de múltiplas câmeras exigem que a calibração, essencialmente, seja capaz de unir as imagens individuais juntas para produzir uma imagem panorâmica inteira. Uma técnica convencional usa uma abordagem de força bruta estudando uma imagem distorcida arbitrária a partir das câmeras para a imagem panorâmica. Embora muito genérica, essa técnica de calibração é de difícil configuração, inclui um arquivo não paramétrico que é muito grande (na ordem de megabytes), e afeta a produção de fabricação levando um tempo relativamente longo (por exemplo, uma hora ou mais) para completar, enquanto fornecendo um pequeno retorno ou quase nenhum ao fabricante de mecanismos de câmera (por exemplo, alinhamento de lente/espelho).

Sumário da Invenção

O seguinte apresenta um sumário simplificado de modo a fornecer um entendimento básico de alguns aspectos da inovação descrita. Este sumário não é uma visão geral extensiva, e pretende identificar elementos chaves/cruciais ou delinear o escopo desses. Sua única proposta é apresentar alguns conceitos de uma forma simplificada como um prelúdio para a descrição mais detalhada que é apresentada a seguir. A arquitetura descrita fornece técnicas para caracterizar e calibra parametricamente uma câmera panorâmica e/ou sistema de câmera multi-panorâmica. Um modelo de distorção espacial descreve como mapear os pixels do sensor de imagem no panorama. Um modelo paramétrico então descreve isso em somente uns poucos parâmetros, desse modo fornecendo uma forma de compressão de dados resultando em um arquivo muito menor para processamento e armazenamento. Ao incluir ambos o modelo de distorção de panorama ideal e os dados de calibração de fabricação em um modelo paramétrico, a calibração considera os erros de fabricação também (por exemplo, alinhamento de lente, alinhamento de espelho, distância focai, etc.). O modelo paramétrico é armazenado na memória do cabeçote da câmera para acesso pelos processos de calibração. As técnicas de calibração podem incluir o processamento do modelo de distorção de panorama ideal (Z) (por exemplo, um modelo Zemax) em combinação com um ou mais dos seguintes modelos de correção paramétrica: homografia intra-câmera, homografia inter-câmera, e paralelo inter-câmera. Incluindo o modelo paramétrico no cabeçote da câmera, a calibração e a configuração podem ser executadas de forma mais rápida pelo fabricante, e também fornecem dados úteis ao fabricante que o auxilia a melhorar a qualidade e a produção.

Uma abordagem de calibração híbrida alternativa utiliza uma calibração de sub- pixel em uma região de união dos padrões de teste e do modelo paramétrico, em outro lugar. A abordagem híbrida usa polinômios próximos à união, mas ainda usa a homografia (H) e modelo de fabricação Z (para H+Z) em outras regiões. Essa é uma abordagem paramétrica, visto que os polinômios são paramétricos. Em outras palavras, é uma abordagem paramétrica dupla que melhora a precisão da modelagem, mas ainda mantém as vantagens da modelagem paramétrica.

Uma distorção polinomial de ordem baixa pode ser empregada em lugar da homografia. Alternativamente, os valores de borda medidos em grandes tamanhos de grade podem ser utilizados ao invés de uma distorção polinomial.

A configuração do sistema de calibração pode incluir um sistema de câmera fixa para testar o padrão espacial para cada câmera e uma configuração de sistema de calibração rotacional para rotacionar um sistema de múltiplas câmeras através de um único padrão espacial.

Em uma implementação, os parâmetros de calibração modelados consistem de aproximadamente quarenta valores totalizando aproximadamente 160 bytes. Assim, o tamanho reduzido no modelo de calibração permite que os parâmetros sejam armazenados no cabeçote da câmera na memória não volátil barata. Isto permite que o fabricante da câmera crie os dados de calibração e de câmera independentes sem exigir que os arquivos de calibração sejam armazenados em memória externa à câmera (por exemplo, em um sub- sistema de estabilização base). Adicionalmente, isso simplifica a montagem do sistema e reduz o custo total. Além disso, se a substituição da câmera é exigida, a substituição e a operação da câmera são promovidos de uma forma otimizada, visto que o arquivo de calibração correto é sempre mantido com a câmera.

Em suporte dessa, a arquitetura descrita e reivindicada aqui compreende um sistema que facilita a calibração de câmeras panorâmicas. Um componente modelo é fornecido para gerar um modelo paramétrico de dados associados com uma câmera. Um componente de armazenamento facilita o armazenamento do modelo paramétrico em conjunto com a câmera, e um componente de calibração emprega o modelo paramétrico para calibração espacial da câmera.

Para alcançar os objetivos anteriores relacionados, certos aspectos ilustrativos da inovação descrita são descritos aqui em conjunto com a seguinte descrição e com os desenhos em anexo. Esses aspectos são indicativos, entretanto, de não mais do que poucas das várias formas nas quais os princípios descritos aqui podem ser empregados e pretendem incluir todos os tais aspectos e seus equivalentes. Outras vantagens e novas características se tornarão aparentes a partir da seguinte descrição detalhada quando considerada em conjunto com os desenhos.

Breve Descrição dos Desenhos

A FIG. 1 ilustra um sistema que facilita a calibração de câmeras panorâmicas pelo fabricante.

A FIG. 2 ilustra um sistema de câmera que facilita a calibração da câmera.

A FIG. 3 ilustra uma metodologia para calibrar um sistema de câmera.

A FIG. 4 ilustra um sistema de câmera multi-panorâmica montado em cooperação com um sub-sistema de estabilização de base para processamento de vídeo em todas as direções.

A FIG. 5 ilustra um número de métodos de calibração que podem ser empregados para a calibração de câmera paramétrica.

A FIG. 6 ilustra o processo de homografia intra-câmera que primeiro distorce uma imagem para deixá-la retilínea como parte do mapeamento da imagem para o espaço panorâmico.

A FIG. 7 ilustra uma metodologia para calibração de acordo com a homografia intra- câmera.

A FIG. 8 ilustra uma metodologia de calibração paramétrica intra-câmera executando a homografia na imagem inicial para obter a imagem retilínea.

A FIG. 9 ilustra uma visão exagerada de três imagens de câmera contínuas unidas com homografias.

A FIG. 10 ilustra uma metodologia de calibrar uma câmera com múltiplos sensores usando duas homografias. A FIG. 11 ilustra uma configuração de sistema de calibração exemplificada para um único sistema de calibração de câmera panorâmica.

A FIG. 12 ilustra uma configuração de sistema de calibração exemplificada para calibração de câmera com múltiplos sensores usando múltiplos padrões de teste e uma mesa de rotação.

A FIG. 13 ilustra uma configuração de calibração alternativa para um sistema de cinco câmeras arranjado em uma orientação cilíndrica usando somente dois padrões de calibração.

A FIG. 14 ilustra um padrão exemplificado para calibração espacial.

A FIG. 15 ilustra um diagrama de bloco de uma câmera de vídeo panorâmica exemplificada para calibração e utilização de acordo com a arquitetura descrita.

Descrição Detalhada da Invenção

A inovação é agora descrita com relação aos desenhos, onde números de referência similares são usados para se referir a elementos similares. Na descrição seguinte, para propósitos de explicação, numerosos detalhes específicos são apresentados de modo a fornecer um entendimento total desta. Pode ser evidente, entretanto, que a inovação pode ser praticada sem esses detalhes específicos. Em outros casos, estruturas e dispositivos bem conhecidos são mostrados na forma de diagrama de bloco de modo a facilitar a descrição desses.

A arquitetura descrita fornece técnicas para parametricamente caracterizar e calibrar uma câmera panorâmica e/ou sistema de câmera multi-panorâmica. Um modelo paramétrico é gerado, o qual inclui um modelo de distorção de panorama ideal (ou Z), que é um conjunto de dados comuns para todas as câmeras (por exemplo, via fabricação), e de dados que são específicos a cada câmera fabricada (dados de correção de fabricação), desse modo abordando problemas de fabricação relacionados à fabricação de no mínimo essa câmera específica. Então, o modelo paramétrico é armazenado na memória do cabeçote da câmera para acesso pelos processos de calibração na fabricação ou em qualquer momento posterior.

Referindo-se inicialmente aos desenhos, a FIG. 1 ilustra um sistema 100 que facilita a calibração de câmeras panorâmicas no fabricante. Um componente modelo 102 é fornecido para gerar um modelo paramétrico 104 de dados de fabricação 106 associados com um sistema de câmera panorâmica 108 (por exemplo, uma ou mais câmeras panorâmicas). Um componente de armazenamento 110 facilita o armazenamento do modelo paramétrico 104 em associação com o sistema de câmera 108, e um componente de calibração 112 emprega o modelo paramétrico 104 para calibração espacial do sistema de câmera 108.

O componente modelo 102 pode receber e processar o modelo de distorção panorâmica ideal desenvolvido pelo fabricante e, facilitar a geração de um ou mais modelos de correção (por exemplo, homografia inter-câmera, homografia intra-câmera, e modelos afins), o processamento combinado de um ou mais com o modelo de dados de fabricação 106 fornece o modelo paramétrico 104 para calibração paramétrica do sistema de câmera 108 pelo componente de calibração 112. O modelo paramétrico 104 pode então ser armazenado no componente de armazenamento 110 (por exemplo, memória não volátil) no cabeçote da câmera como um arquivo significativamente menor em tamanho do que o modelo de dados do fabricante 106. Assim, essa informação do modelo paramétrico de calibração fica com a câmera a toda hora para acesso rápido e fácil a quaisquer processos desejados após a fase de fabricação (por exemplo, por um usuário final).

A FIG. 2 ilustra um sistema de câmera mais detalhado 200 que facilita a calibração de câmera. O sistema 200 inclui uma câmera panorâmica 202 que tem um componente de armazenamento de câmera 204 (por exemplo, memória não volátil tal como EEPROM ou memória rápida) para armazenar um modelo paramétrico 206 que, em parte, inclui o modelo de distorção de panorama ideal e informação de calibração de fabricação associada à fabricação da câmera 202. A câmera 202 pode também incluir um ou mais sensores 208 para capturar as imagens e opcionalmente, captar outra informação desejada (por exemplo, áudio, iluminação,...). Um sistema de câmera base 210 inclui o armazenamento de memória base 212 para armazenar os dados de fabricação (indicado por Z), e código para gerar uma tabela de união não paramétrica a partir da combinação Z+H. Opcionalmente, a câmera 202 pode incluir um componente de calibração 214 que acessa o componente de armazenamento 204 para restaurar e processar o modelo paramétrico 206 por no mínimo os processos de calibração espacial (por exemplo, usando padrões de união vertical).

A câmera 202 pode ser uma câmera panorâmica de imagens estáticas para capturar múltiplas imagens separadas e facilitar a geração de uma vista panorâmica.

Incluindo o modelo paramétrico 206 no componente de armazenamento 204 do cabeçote da câmera, a calibração e a configuração podem ser executadas de forma mais rápida pelo fabricante e também fornecem dados úteis ao fabricante que o ajudam a melhorar a qualidade e a produção.

Em uma implementação, os parâmetros de calibração modelados incluem aproximadamente quarenta valores totalizando aproximadamente 160 bytes, ao invés de aplicações convencionais que exigem números de 330K (totalizando aproximadamente 1,3 MB). Assim, o tamanho reduzido dos parâmetros de calibração permite que os parâmetros sejam armazenados no cabeçote da câmera na memória não volátil barata (por exemplo, EEPROM, ou memória rápida). Isso permite que o fabricante da câmera crie os dados de calibração e de câmera independentes sem exigir que os arquivos de calibração sejam armazenados em memória externa à câmera (por exemplo, em um sub-sistema de estabilização base). Isto simplifica adicionalmente a montagem do sistema e reduz o custo total. Adicionalmente, se a substituição da câmera é exigida, a substituição e a operação da câmera são promovidos de uma forma otimizada, visto que o arquivo de calibração correto é sempre mantido com a câmera.

O componente de calibração 208 de cada câmera pode ser configurado para auto- iniciar a calibração na inicialização, por exemplo, e/ou periodicamente durante a operação da câmera. Alternativamente, o componente de calibração de cada câmera pode receber um ou mais comandos a partir de um componente de controle central (não mostrado) que inicia a calibração para essa particular câmera. Esses são somente alguns poucos exemplos de controle de calibração que podem ser empregados, e não são construídos como Iimitantes de qualquer forma.

A FIG. 3 ilustra uma metodologia de calibração de um sistema de câmera. Enquanto, para propósitos de simplicidade de explicação, uma ou mais metodologias mostradas aqui, por exemplo, na forma de um fluxograma ou diagrama de fluxo, são mostradas e descritas como uma série de ações, entende-se e aprecia-se que a inovação em questão não está limitada pela ordem das ações, à medida que algumas ações podem, de acordo com essa, ocorrer em uma ordem diferente e/ou ao mesmo tempo com outras ações daquelas mostradas e descritas aqui. Por exemplo, aqueles versados na técnica entenderão e apreciarão que uma metodologia poderia alternativamente ser representada como uma série de situações ou eventos inter-relacionados, tal como em um diagrama de situação. Além disso, nem todas as ações ilustradas podem ser exigidas para implementar uma metodologia de acordo com a inovação.

Em 300, o modelo de distorção de panorama conhecido (que inclui os dados de mapeamento espacial com erro de fabricação) associado com uma câmera panorâmica é recebido. Em 302, o modelo paramétrico de ambos o modelo de câmera e o modelo de correção para corrigir o erro de fabricação é gerado. Em 304, o modelo paramétrico é armazenado na memória no cabeçote de memória. Em 306, a câmera é calibrada espacialmente acessando o modelo paramétrico da memória e processando o modelo paramétrico.

A FIG. 4 ilustra um sistema de câmera multi-panorâmica 400 (por exemplo, um sistema de 2 câmeras) montado em cooperação com um sub-sistema de estabilização base 402 para processamento de vídeo em todas as direções, o sub-sistema base 402 também inclui uma memória 404 para armazenar o modelo de câmera de erros dos dados de fabricação. Aqui, uma primeira câmera 406 inclui um primeiro componente de armazenamento 408 para armazenar um primeiro modelo paramétrico 410 que modela parametricamente no mínimo a câmera, e dados de fabricação para essa primeira câmera 406, e múltiplos sensores 412. Similarmente, uma segunda câmera 414 inclui um segundo componente de armazenamento 416 para armazenar um segundo modelo paramétrico 418 que modela parametricamente no mínimo a câmera, e dados de fabricação para essa segunda câmera 414 (e que pode ser acessado para execução durante de uma fase de calibração), e múltiplos sensores 420.

Nesta implementação particular, as câmeras (406 e 414) podem passar por calibração simultânea ou separadamente. Aprecia-se que o controle de calibração pode ser configurado de qualquer forma desejada.

A FIG. 5 ilustra um número de métodos de calibração 500 que podem ser empregados calibração paramétrica de câmera. Em um método, a homografia é utilizada. Uma homografia é um mapeamento plano entre dois pontos de visão da câmera da mesma cena. Em outras palavras, no contexto de processamento de vídeo, um objetivo é encontrar a homografia entre quaisquer duas imagens em uma seqüência de vídeo, e as correspondências de ponto entre quadros consecutivos podem ser usadas para definir essas transformações. O processo da geração de correspondência de ponto pode ser completamente automatizado.

Um primeiro método 502 é a homografia intra-câmera primeiro distorcendo uma imagem em uma representação retilínea que usa o modelo de distorção de panorama. Um segundo método 504 é uma variação do primeiro método 502 de homografia intra-câmera executando a homografia antes da distorção da imagem. Um terceiro método 506 é uma homografia inter-câmera estimando as homografias que minimizam o erro de união de todas as câmeras ao mesmo tempo. Um quarto método 508 é a modelagem paralela intra-câmera, onde uma transformação paralela é uma transformação que preserva as linhas e o paralelismo (por exemplo, mapeia as linhas paralelas para linhas paralelas).

Um quinto método 510 é a calibração de sub-pixel (por exemplo, 0,1 de um pixel) próxima das uniões que usam distorção genérica (não paramétrica). Esse método fornece calibração de sub-pixel próxima às uniões se o modelo Z mais a correção por homografia é um modelo preciso para a câmera real. O sexto método 512 é uma aproximação híbrida que utiliza a distorção genérica não paramétrica (por exemplo, quadriláteros a retângulos) nas uniões ou próximo a elas e a modelagem paramétrica em outro lugar. Esta abordagem híbrida possui todas as vantagens do modelo paramétrico, mas é muito robusta para as distorções de lente ou outros desvios do modelo de câmera. O sexto método pode também ser paramétrico usando os polinômios horizontais e verticais, onde as interseções são os pontos de canto no alvo. Outras metodologias podem ser empregadas, as quais não são descritas aqui.

Uma distorção polinomial de ordem baixa (por exemplo, de 3a ordem, 5a ordem) pode ser utilizada ao invés de uma homografia. Esse é outro método paramétrico. Adicionalmente, quando os grandes tamanhos de grade são empregados, os valores medidos (ou suavizados) nas bordas podem ser utilizados.

O primeiro método 502 da primeira homografia intra-câmera primeiro distorce uma imagem em uma representação retilínea. Neste primeiro método, o processo de calibração determina uma função de mapeamento Mc que mapeia os pontos imagem qci (para uma câmera c e ponto i) para pontos panorâmicos pc>/, como representado pelas três relações seguintes.

<formula>formula see original document page 9</formula>

A FIG. 6 ilustra o processo de homografia intra-câmera que primeiro distorce uma imagem para torná-la retilínea como parte do mapeamento da imagem para o espaço panorâmico. Como ilustrado, uma imagem inicial 600 Mc pode ser aproximada por uma primeira distorção da imagem 600 em uma imagem retilínea 602 via uma operação de transformação Z, e então distorcendo adicionalmente a imagem retilínea 602 em uma imagem panorâmica 604 usando uma homografia (Hc). O mapeamento retilíneo é Z e pode ser fornecido por uma ferramenta de modelagem para o modelo óptico (por exemplo, Corporação de Desenvolvimento ZEMAX por ZEMAX) da câmera. A homografia Hc considera os erros de fabricação e mal alinhamentos, por exemplo. O novo mapeamento é representado na igualdade (1):

<formula>formula see original document page 9</formula>

onde P(c,i) é o equivalente homogêneo de Pc,i.

Ao fazer <formula>formula see original document page 9</formula> ser o equivalente homogêneo à Z(qc,i):

<formula>formula see original document page 9</formula>

Assim,

<formula>formula see original document page 9</formula>

Ao fazer Hc ser uma coluna dos vetores linha:

<formula>formula see original document page 9</formula> A solução para Hc em (1) é dada por:

<formula>formula see original document page 10</formula>

que pode ser escrita como:

<formula>formula see original document page 10</formula>

A solução para h ser o vetor próprio que corresponde ao menor valor próprio pode ser determinada através da decomposição do valor singular (SVD) de Ac. SVD é um conjunto de técnicas que lida com conjuntos de equações ou matrizes que são ou singulares, ou numericamente muito próximas do singular, e permite o diagnóstico de problemas em uma dada matriz e fornece uma resposta numérica também. A chave para resolver isso é que a maioria dos pontos ρ está sobre a união, tal que a solução minimiza o erro de modelagem próximo à união, que resulta em um panorama mais inteiro.

A FIG. 7 ilustra uma metodologia de calibração de acordo com a homografia intra- câmera. Em 700, a calibração paramétrica por homografia intra-câmera é iniciada. Em 702, a computação de uma função de mapeamento Mc é iniciada. Em 704, uma imagem inicial é distorcida em uma imagem retilínea. Em 706, a imagem retilínea é adicionalmente distorcida em uma imagem panorâmica que usa a homografia. Em 708, a computação da função de mapeamento Me da calibração paramétrica é completada.

Nota-se que este primeiro método 502 poderia ter revertido a ordem da homografia e da distorção para chegar ao segundo método 504:

<formula>formula see original document page 10</formula>

Este segundo método 502 tem uma vantagem que a homografia pode agora modelar melhor uma rotação ou inclinação no espelho da câmera, antes que a lente distorça a imagem. Entretanto, ele pode ser mais difícil de resolver, como Z não é linear, e métodos iterativos deveriam ser agora aplicados ao invés dos métodos lineares de forma fechada. Conseqüentemente, a FIG. 8 ilustra uma metodologia de calibração paramétrica intra- câmera executando a homografia na imagem inicial para obter a imagem retilínea. Em 800, a calibração paramétrica através da homografia intra-câmera é iniciada. Em 802, a computação de uma função de mapeamento Mc é iniciada. Em 804, a homografia H é empregada para transformar a imagem inicial na imagem retilínea. Em 806, a imagem retilínea é adicionalmente distorcida na imagem panorâmica que usa a transformação Z. Em 808, a computação da função de mapeamento Me da calibração paramétrica é completada.

Para gerar um novo arquivo de calibração usando a homografia, encontra-se qci

para pontos da grade P(c,i):

<formula>formula see original document page 10</formula> <formula>formula see original document page 11</formula>

Os métodos intra-câmera descritos acima otimizam a homografia para cada câmera independentemente. Um método alternativo é o terceiro método 506 da FIG. 5 para estimar homografias que minimizam o erro de união para todas as câmeras simultaneamente. Esse é um problema mais difícil de resolver, visto que ao invés de cinco problemas de 8 dimensões, existe agora um problema de 40 dimensões. Entretanto, o método é mais provável de fornecer melhores resultados contanto que o erro de união é considerado.

A restrição básica entre duas câmeras pode ser definida como:

<formula>formula see original document page 11</formula>

Essa pode ser expandida nos seguintes:

<formula>formula see original document page 11</formula>

Esse é um problema de otimização não linear e técnicas iterativas podem ser usadas. A FIG. 9 ilustra uma visualização exagerada de três imagens de câmera contíguas unidas com as homografias.

A calibração com este terceiro método 506 da FIG. 5 pode ser executada automaticamente sem quaisquer padrões de teste. Esse terceiro método 506 maximiza a correlação da imagem na região de sobreposição para determinar os parâmetros de calibração. Entretanto, a homografia estudada usará implicitamente a distância de objeto, então objetos de fundo (por exemplo, paredes) não deveriam ser usados. Os objetos que podem ser ideais para usar na calibração são as pessoas em torno da mesa de conferência, que podem ser verificadas com a MPD (detecção de múltiplas pessoas). Usando esse método, a calibração poderia ser continuamente atualizada para otimizar os vários tamanhos de mesas nas quais o sistema de câmera será posicionado.

Uma correção mais simples do que a homografia é o modelo paralelo (ou quarto método 508 da FIG. 5), que preserva as linhas paralelas. A solução para a matriz paralela Ac pode ser dada abaixo.

<formula>formula see original document page 11</formula> <formula>formula see original document page 12</formula>

Muitos programas diferentes podem ser empregados para resolver Ac. Nota-se que se existe uma inclinação sistemática nas coordenadas y, esta pode ser corrigida se a homografia for usada.

Uma aplicação muito útil do modelo paralelo é diagnosticar a fabricação da câmera. Especificamente, a matriz Ac é composta de rotação, de escalonamento não isotrópico, e de translação, representado como segue:

<formula>formula see original document page 12</formula>

Para esta câmera:

<formula>formula see original document page 12</formula>

A matriz de rotação pode ser analisada usando a SVD para decompor a rotação e o escalonamento. Para esta câmera, θ = 0,26 graus, sx = 1,0710, e Sy = 0,9948. A translação é tx = -42,8032 e ty = 3,5586 pixels.

Uma configuração de calibração usa os padrões de calibração J para calibrar um sistema de câmera J, onde J é um inteiro positivo. Por exemplo, cinco padrões seriam exigidos para um sistema de calibração de câmera de vídeo de cinco câmeras em todas as direções (ver FIG. 12). Além disso, tal sistema pode exigir uma área de cobertura maior para configuração.

As configurações do sistema de calibração podem incluir um sistema de câmera fixo para teste de padrão espacial para cada câmera e uma configuração de sistema de calibração rotacional para rotacionar câmeras de único panorama e de múltiplos panoramas através de um único padrão espacial ou de múltiplos padrões de teste.

A FIG. 10 ilustra uma metodologia de calibrar câmera com múltiplos sensores usando duas homografias. Em 1000, o modelo Z de distorção de panorama é recebido. Em 1002, as homografias H1 e H2 são combinadas com Z parametricamente para calibração dessa forma: p = Hi(Z (H2(q))). Isto é denotado o modelo H1H-Z + H2.

A FIG. 11 ilustra uma configuração de sistema de calibração exemplificado 1100 para um sistema de calibração de única câmera panorâmica. Aqui, a única câmera panorâmica (indicada por C) é montada sobre uma posição fixa. Um padrão de teste espacial é adequadamente posicionado em uma distância dA em frente da câmera para facilitar a calibração. Essa distância copia a distância normalmente experimentada entre a câmera e um objeto em um ambiente de trabalho. A FIG. 12 ilustra uma configuração de sistema de calibração exemplificada 1200 para uma câmera de múltiplos sensores que usam múltiplos padrões de teste e uma mesa de rotação. Aqui, a única câmera panorâmica (indicada por C) é montada em uma mesa de rotação (indicada por RT) que tem dois padrões de teste adequadamente posicionados para imitar as distâncias quando localizadas em um ambiente de trabalho (por exemplo, uma sala de conferência). Um primeiro padrão de calibração (indicado por A) é localizado em uma distância aproximada dA ( por exemplo, um metro) da câmera C (esta pode ser o centro de câmera, se desejado). Um segundo padrão de calibração (indicado por B) é posicionado em um ângulo a partir de uma linha imaginária atravessando a distância entre a câmera Ceo primeiro de padrão de calibração A, que é adequado para apresentar o segundo padrão de calibração B em uma distância aproximada dB (por exemplo, meio metro) da câmera C. Embora os dois padrões de teste (A e B) sejam mostrados, somente um pode ser exigido.

Em operação, a mesa de rotação pode ser rotacionada sob controle de um sistema servo digital (não mostrado), por exemplo, ou outro dispositivo mecânico similarmente preciso que fornece rotação angular precisa da câmera para as posições desejadas para capturar os padrões de teste.

Em uma implementação padrão de múltiplos testes, quando não se está usando uma mesa de rotação, esta configuração poderia exigir duas vezes o diâmetro da distância mais longa dA (por exemplo, dois metros) na configuração de calibração de múltiplas câmeras, desse modo obtendo mais espaço na fabricação do que é necessário. Entretanto, a área de cobertura e a configuração exigidas para a implementação sem RT podem ser simuladas e reduzidas usando uma mesa de rotação, rotacionado a câmera através do processo de captura do alvo para padrões A e B.

Conseqüentemente, em uma implementação, o sistema de câmera é rotacionado na mesa de rotação RT tal que em um sistema de única câmera, a câmera é rotacionada em uma primeira posição para capturar o padrão de calibração A, e então rotacionada em uma segunda posição para capturar o segundo padrão de calibração B, ou vice-versa.

A FIG. 13 ilustra uma configuração de calibração alternativa para um sistema de cinco câmeras arranjado em uma orientação cilíndrica usando somente dois padrões de calibração. Aqui, o sistema de câmera é posicionado na mesa de rotação (RT) em torno da qual são localizadas de forma eqüidistante e de ângulos similares cinco padrões de calibração A e B. Um conjunto de padrões (A e B) é deslocado do outro conjunto de padrões (B ou A) tal que uma leve rotação do sistema de câmera move cada câmera em posição para capturar o respectivo padrão de calibração. Por exemplo, em uma primeira posição onde cinco câmeras são orientadas para capturar os padrões de calibração A, todas as câmeras são então ativadas para capturar o padrão A ao mesmo tempo.

Alternativamente, cada câmera pode ser sinalizada para capturar seu padrão correspondente A seqüencialmente. Ainda em outra implementação, menos de cinco câmeras, mas mais de uma das câmeras, são disparadas para capturar o padrão de calibração correspondente A. A seguir, a RT é rotacionada em uma segunda posição tal que o processo de captura pode ser repetido para o segundo padrão de calibração B, como pode ser executado em uma ou mais dos cenários de sinalização ou de disparo mencionados acima.

A FIG. 14 ilustra um padrão exemplificado 1400 para calibração espacial. O padrão 1400 inclui uma faixa quadriculada de duas larguras e uma linha paralela que se estende ao longo do comprimento da faixa. Este padrão pode ser utilizado para um modelo H+z. Em uma implementação de calibração para este padrão, a câmera é controlada para olhar para cima em aproximadamente 29,5 graus ao longo da faixa vertical e para baixo em aproximadamente 20 graus para propósitos de calibração. Em implementação alternativa, um padrão de 14 colunas pode ser utilizado por um modelo paramétrico duplo (ou P+H+Z).

A FIG. 15 ilustra um diagrama de bloco de uma câmera de vídeo panorâmica exemplificada 1400 para calibração e utilização de acordo com a arquitetura descrita. A câmera 1500 pode incluir um sub-conjunto óptico 1502 para receber opticamente os dados de imagem a partir das cenas. A energia externa pode ser fornecida via um subconjunto I/O 1504 que fornece a interface por fio e portas para a energia bem como os dados e sinalização para a câmera 1500. Adicionalmente, o sub-conjunto I/O 1504 pode também incluir a capacidade de comunicações sem fio para sinais de comunicação e/ou dados entre a câmera 1500 e sistemas externos. O subconjunto I/O 1504 pode adicionalmente empregar um barramento paralelo de alta velocidade ao sub-sistema de estabilização base para comunicações modernas com os sistemas externos (por exemplo, um computador).

A câmera 1500 também inclui um sub-conjunto de sensor 1506 (por exemplo, refletor, dispositivo de acoplamento carregado com CCD) para captar e capturar as imagens de cena acopladas através do sub-conjunto óptico 1504. O sub-conjunto de sensor 1506 pode armazenar os dados capturados em uma memória de sensor dedicada 1508 (por exemplo, uma memória não volátil rápida). Uma memória 1510 pode ser empregada para armazenar um ou mais modelos (por exemplo, homografia, paralelo,...) em suporte aos processos de calibração; entretanto, essas memórias (1508 e 1510) podem estar em uma única unidade.

A memória 1510 pode ser empregada para armazenar uma ou mais homografias 1512 para propósitos de calibração. Adicionalmente, a memória pode armazenar um ou mais programas 1514, por exemplo, código que facilita as comunicações I/O, dados ópticos e gerenciamento de memória, por exemplo.

O sistema base de câmera 210 inclui o armazenamento de memória base 212 para armazenar os dados de fabricação (indicados por Z), e código para gerar a tabela de união não paramétrica a partir da combinação Z+H.

Nota-se que como usado nesta aplicação, os termos "componente" e "sistema" são pretendidos para referir-se a uma entidade relacionada a computador, ou hardware, uma combinação de hardware e software, software, ou software em execução. Por exemplo, um componente pode ser, mas não é limitado a ser, um processo em execução em um processador, um processador, uma unidade de disco rígido, unidades de armazenamento múltiplo (meio de armazenamento magnético e/ou óptico), um objeto, um executável, um processo de execução, um programa, uma câmera, uma sub-montagem de câmera, um sub-sistema de câmera, e/ou um computador. A título de ilustração, ambos um aplicativo executando em uma câmera e a câmera podem ser um componente. Um ou mais componentes podem residir em um processo e/ou processo de execução, e um componente pode estar localizado em um computador e/ou distribuído entre dois ou mais computadores.

O que foi descrito acima inclui exemplos da inovação discutida. É claro, não é possível descrever cada combinação concebível de componentes e/ou metodologias, mas um versado na técnica pode reconhecer que muitas combinações e permutas adicionais são possíveis. Conseqüentemente, a inovação pretende abranger todas tais alterações, modificações e variações que estão dentro do espírito e escopo das reivindicações em anexo. Ademais, no caso em que o termo "inclui" é usado ou na descrição detalhada ou nas reivindicações, tal termo pretende ser inclusivo de uma forma similar ao termo "compreende" à medida que "compreendendo" é interpretado quando empregado como uma palavra transitória em uma reivindicação.

Claims

1. Sistema (100) que facilita a calibração espacial de uma câmera panorâmica de múltiplos sensores (108), CARACTERIZADO pelo fato de que compreende: um componente modelo (102) para gerar um modelo paramétrico de dados associado com a câmera; um componente de armazenamento (110) para armazenar o modelo paramétrico em associação com a câmera; e Um componente de calibração (112) para empregar o modelo paramétrico para calibração espacial da câmera.

2. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modelo paramétrico é específico à câmera e corrige os erros de fabricação.

3. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modelo paramétrico é armazenado na câmera.

4. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modelo paramétrico inclui um polinômio ou homografia.

5. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a calibração emprega um modelo não paramétrico em combinação com o modelo paramétrico para calibração espacial da câmera.

6. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o modelo paramétrico gerado pelo componente modelo inclui um processo de homografia e um processo de distorção que são empregados para a calibração espacial.

7. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o componente de calibração emprega uma abordagem paramétrica dupla associada com uma região de união de múltiplas imagens de calibração aplicando um processo de distorção para a região de união e o modelo paramétrico longe da região de união.

8. Sistema, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que o processo de distorção é definido por uma equação polinomial.

9. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o componente de calibração emprega uma homografia intra-câmera que otimiza a homografia de cada sensor independentemente.

10. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o componente de calibração emprega uma homografia intra-câmera que estima homografias que minimizam o erro de união para todos os sensores substancialmente simultaneamente.

11. Sistema, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o componente de calibração emprega múltiplas homografias para corrigir os erros de fabricação em um modelo de câmera.

12. Sistema, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de que compreende uma configuração de sistema de calibração para calibrar um sistema de câmera de múltiplos sensores, o sistema de múltiplos sensores montado em uma posição fixa na configuração do sistema, e cada sensor processa um único padrão de calibração espacial.

13. Sistema, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de que compreende uma configuração de sistema de calibração para calibrar um sistema de múltiplos sensores de câmeras panorâmicas, o sistema de múltiplos sensores montados em uma mesa de rotação na configuração do sistema, e cada sensor é rotacionado a um único padrão de calibração espacial.

14. Método de calibrar um sistema de câmera panorâmica de múltiplos sensores, CARACTERIZADO pelo fato de que compreende: gerar um modelo paramétrico de uma câmera panorâmica, o modelo incluindo pelo menos um de diagnósticos e dados de fabricação (302); armazenar o modelo paramétrico em uma memória não volátil da câmera (304); e calibrar a câmera espacialmente através do processamento de um padrão de calibração espacial através da câmera usando o modelo paramétrico (306).

15. Método, de acordo com a reivindicação 14, CARACTERIZADO adicionalmente pelo fato de que compreende calibrar o sistema de múltiplos sensores de acordo com a homografia intra-câmera mapeando os pontes imagem padrão para pontos panorâmicos.

16. Método, de acordo com a reivindicação 14, CARACTERIZADO adicionalmente pelo fato de que compreende calibrar o sistema de múltiplos sensores estimando as homografias que minimizam o erro de união para cada uma das câmeras panorâmicas do sistema de múltiplos sensores substancialmente simultaneamente.

17. Método, de acordo com a reivindicação 14, CARACTERIZADO adicionalmente pelo fato de que compreende: calibrar o sistema de múltiplos sensores independente de um padrão de teste empregando um processo de detecção de múltiplas pessoas; e atualizar continuamente os parâmetros de calibração com base nas condições de mudança no sistema de múltiplos sensores.

18. Método, de acordo com a reivindicação 14, CARACTERIZADO adicionalmente pelo fato de que compreende resolver por homografia H com pontos localizados no mínimo em uma região de sobreposição e principalmente na região de sobreposição.

19. Método, de acordo com a reivindicação 14, CARACTERIZADO adicionalmente pelo fato de que compreende executar calibração de sub-pixel em uma união de duas ou mais imagens padrão de teste usando uma função de distorção genérica.

20. Sistema executável por computador para calibração de câmera panorâmica, CARACTERIZADO pelo fato de que compreende: dispositivos implementados por computador (106) para receber dados de fabricação que definem um modelo de fabricação associados com a fabricação de uma câmera panorâmica; dispositivos implementados por computador (104) para corrigir o modelo de fabricação usando as funções de homografia e distorção contra padrões de teste espaciais considerando no mínimo um dos dados de diagnósticos e fabricação; e dispositivos implementados por computador (110) para armazenar o modelo de fabricação modificado como um modelo paramétrico em uma memória não volátil da câmera.