BRPI1106473B1 - Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado - Google Patents

Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado Download PDF

Info

Publication number
BRPI1106473B1
BRPI1106473B1 BRPI1106473-0A BRPI1106473A BRPI1106473B1 BR PI1106473 B1 BRPI1106473 B1 BR PI1106473B1 BR PI1106473 A BRPI1106473 A BR PI1106473A BR PI1106473 B1 BRPI1106473 B1 BR PI1106473B1
Authority
BR
Brazil
Prior art keywords
images
cameras
capture
display
homographs
Prior art date
Application number
BRPI1106473-0A
Other languages
English (en)
Inventor
Luiz Carlos Pacheco Rodrigues Velho
Bruno Eduardo Madeira
Original Assignee
Associação Instituto Nacional De Matemática Pura E Aplicada
Instituto Militar De Engenharia - Ime
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Associação Instituto Nacional De Matemática Pura E Aplicada, Instituto Militar De Engenharia - Ime filed Critical Associação Instituto Nacional De Matemática Pura E Aplicada
Priority to BRPI1106473A priority Critical patent/BRPI1106473B8/pt
Priority to PCT/BR2012/000432 priority patent/WO2013067610A1/pt
Publication of BRPI1106473A2 publication Critical patent/BRPI1106473A2/pt
Publication of BRPI1106473B1 publication Critical patent/BRPI1106473B1/pt
Publication of BRPI1106473B8 publication Critical patent/BRPI1106473B8/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PROCESSO PARA CAPTURA E EXIBIÇÃO DE IMAGENS ESTEREOSCÓPICAS, APLICAÇÃO E USO RELACIONADO A presente invenção se refere a um processo para captura e exibição de imagens estereoscópicas. Mais especificamente, este processo visa a captura e exibição da imagem na horizontal e em tempo real. O processo ora descrito é composto por duas partes, ou seja, por um sistema de captura e por um sistema de exibição, sendo operado em duas fases distintas, quais sejam, a fase de calibração e a fase de uso.

Description

Campo da Invenção
A presente invenção se refere a um processo para captura e exibição de imagens estereoscópicas. Mais especificamente, este processo visa a captura e exibição da imagem na horizontal e em tempo real. O processo ora descrito é composto por duas partes, ou seja, um sistema de captura e um sistema de exibição, sendo operado em duas fases distintas, quais sejam, a fase de calibração e a fase de uso.
Antecedentes da Invenção
O conceito de estereoscopia data do século XIX, mas pelo fato desta tecnologia, nos dias de hoje, estar se mostrando cada vez mais comum, a mesma está cada vez mais acessível ao público em geral devido ao baixo custo de produção e manutenção.
Sabe-se que a maioria das aplicações passíveis de utilizarem métodos estereoscópicos usam adaptações simples de conceitos não-estereoscópicos, as quais têm o intuito de gerar no observador a sensação de profundidade. Isso, por exemplo, é verdade no caso de filmes em 3D (ou tridimensionais), onde duas versões são geralmente disponibilizadas, ou seja, uma em 3D e outra não-3D, a primeira para ser assistida em um cinema estereoscópico (3D) e a segunda para ser vista em um cinema normal.
Embora sejam conhecidas algumas tecnologias relacionadas à tecnologia estereoscópica, os presentes inventores desconhecem a existência de um processo para captura e exibição de imagens estereoscópicas na horizontal e que se dê em tempo real.
A título exemplificative os inventores destacam que na literatura patentária foram encontrados alguns documentos que se relacionam com a tecnologia estereoscópica e os dispositivos que a utilizam, sem contudo antecipar ou sugerir o escopo da presente invenção, quais sejam: o pedido de patente brasileiro PI 9905217-2 A2, de titularidade de “Douglas Ursi”, intitulada “Sistema para exibição individual de vídeo em ambiente fechado com imagens em terceira dimensão”; o pedido de patente brasileiro PI0503880-4 A2, de titularidade de “Minoru Inaba”, intitulada “Câmera estéreo digital/câmera de vídeo estéreo digital, exibidor tridimensional, projetor tridimensional, impressora, e, visualizador estéreo”; o pedido de patente brasileiro PI0318657- 1 A2, de titularidade de “Enrique de Font-Réaulx-Rojas”, intitulada “Sistema de visão estereoscópica de imagens em tempo real ou estáticas”; a patente norte americana US 6,614,427 B1, intitulada Process for making stereoscopic images which are congruent with viewer space; a patente norte americana US 7,907,167 B2, de titularidade da Infinite Z., Inc., intitulada Three dimensional horizontal perspective workstation.
Os filmes 3D, atualmente disponibilizados pelas empresas de entretenimento mundiais, não geram no observador o chamado “senso de realidade”, já que apresentam as seguintes deficiências: - a tela é limitada, assim, a informação de profundidade apresenta uma descontinuidade na borda da tela; - os objetos apresentados em um filme normalmente flutam no espaço, porque a cena não se passa no chão do mundo real; - muitas cenas geralmente apresentam uma gama muito grande de profundidade, o que não pode ser exibido pela tecnologia estereoscópica atual; e - o parâmetro de zoom da câmera é normalmente escolhido de forma a captar a cena da mesma forma como um filme regular, mas consequentemente gera porções aumentadas da cena.
As deficiências descritas acima tornam difícil para o observador acreditar que o conteúdo, embora apresentado em 3D, seja real. Para ser fisicamente plausível, o conteúdo apresentado na tela precisa fazer sentido quando visualisado como parte do ambiente que o rodeia.
A fim de minimizar os inconvenientes apresentados pelos filmes 3Ds conhecidos, a presente invenção apresenta quatro mudanças para o sistema estereoscópico atual, quais sejam: - apresentar o conteúdo 3D estéreo em um suporte horizontal; - restringir a escala da cena a uma base referencial física; - limitar a profundidade máxima da cena exibida; e - eliminar a descontinuidade de profundidade na borda da tela de exibição.
A solução proposta pela invenção, ou seja, o deslocamento da tela estereoscópica para uma posição horizontal, estabelece um vínculo de apoio entre objetos virtuais e a tela. Tal vínculo produz resultados mais convincentes quando comparados com os objetos virtuais flutuantes exibidos na tela vertical, do cinema ou da TV.
Sumário da Invenção
É um objeto da presente invenção proporcionar um sistema para captura e exibição de imagens estereoscópicas composto por um teletransportador virtual capaz de capturar imagens e reproduzi-las em posição horizontal e em tempo real.
Em um aspecto da presente invenção o sistema proposto é composto por duas partes, ou seja, um sistema de captura e um sistema de exibição.
Ainda, em um outro aspecto da invenção, o sistema é operado em duas fases distintas, ou seja, a fase de calibração e a fase de uso. Em um outro aspecto da invenção, são descritas algumas aplicações e usos do sistema ora proposto.
Estes e outros objetos da invenção serão valorizados e melhor compreendidos a partir da descrição detalhada da invenção.
Descrição das Figuras
Figura 1 - Mostra uma visão lateral do volume de visão de uma câmera apontada de forma oblíqua em relação ao plano horizontal. Tem-se que a projeção p1 no plano da imagem e a projeção p2 sobre o plano são relacionadas por uma homografia.
Figura 2 - Mostra em (a) a fixação das câmeras em uma estrutura no alto de um campo de futebol, e em (b) mostra uma variação em que as câmeras são fixadas em balões.
Figura 3 - Mostra em (a) um protótipo de sistema de exibição em que o usuário utiliza um óculos 3D para ver a versão em escala do jogo de futebol, e em (b) um protótipo em que os óculos 3D são fixados em uma estrutura na posição apropriada para visualização.
Figura 4 - Mostra um teatro em que foram fixadas duas câmeras na parte superior apontadas para o palco. A estimação das homografias feitas com o tabuleiro sobre o palco permite que as câmeras possam ser ajustadas com bastante liberdade.
Figura 5 - Mostra em (a) um sistema de captura em que o par de câmeras é fixado ao plano de apoio, sobre o qual foi colocado um tênis para ter sua aparência 3D capturada, em (b) mostra o sistema de exibição apresentando a versão virtual do tênis cuja aparência 3D foi capturada.
Figura 6 - Mostra um exemplo de protótipo de sistema bidirecional. Nela são apresentados dois usuários, que observam um cubo e uma bola dispostos sobre a tela do sistema de exibição. O par de câmeras do sistema de captura é apontado para sua respectiva tela, que funciona como plano de apoio. Na letra (a) o cubo é real e a bola é virtual; já na letra (b) ocorre o oposto, o cubo é virtual e a bola real. A sensação proporcionada aos usuários é a de uma mesa que permite o compartilhamento visual de objetos colocados sobre ela.
Descrição Detalhada da Invenção
A presente invenção proporciona alternativas para superar as limitações do estado da arte em relação à tecnologia estereoscópica e aos dispositivos que a utilizam.
A presente invenção visa explorar o uso da tecnologia estereoscópica, mas procurando mudar o paradigma atual que dá ao observador o “sendo de profundidade” para um novo paradigma, o qual passará a dar ao observador o “senso de realidade”. O “senso de realidade” pode ser definido como algo que além de dar uma sensação de profundidade à imagem, apresenta uma configuração tal que seja compatível com objetos reais no mundo real. A solução proposta pela invenção, de deslocar a tela estereoscópica para uma posição horizontal, acaba por estabelecer um vínculo entre objetos virtuais e a tela. Assim, os resultados produzidos são mais convincentes que aqueles objetos virtuais flutuantes exibidos na tela vertical, do cinema ou da TV.
A diferença fundamental entre criar pares de imagens estereoscópicas visualizáveis na horizontal e pares visualizáveis na forma convencional, feita com telas verticais, é a aplicação de uma transformação geométrica que deforma a projeção. Esta transformação deve ser tal que faça com que o objeto visto do ponto de vista do observador seja equivalente à imagem proveniente de um objeto sobre a superfície.
Assim, no intuito de minimizar os inconvenientes apresentados pelo estado da técnica, a presente invenção apresenta quatro mudanças para o sistema estereoscópico atual, quais sejam: - apresentar o conteúdo 3D estéreo em um suporte horizontal - O objetivo desta mediada é criar um vínculo de apoio entre os objetos virtuais que são apresentados com o suporte, que é um objeto real. Este vínculo favorece a aceitação cognitiva do objeto virtual e elimina o problema da flutuação do mesmo; - restringir a escala da cena a uma base referencial física - Este fato é atingido através de uma modificação da técnica cinematográfica empregada na produção do vídeo apresentado. Tem-se, por exemplo, no cinema 3D atual, que o uso de técnicas de enquadramento provenientes do cinema 2D fazem com que os elementos da cena apareçam a cada momento com um tamanho diferente. Este tipo de adaptação do cinema 2D para o 3D compromete o senso de realidade. Para que o vídeo possa corresponder a uma versão em escala do mundo real faz-se necessária a manutenção dos parâmetros da câmera intalterados por longos períodos de tempo. Para os casos onde a região de interesse é fixa e limitada, como, por exemplo, jogos de futebol, peças de teatro e etc, os parâmetros podem ser mantidos inalterados durante toda a captura; - limitar a profundidade máxima da cena exibida - Na filmagem 3D convencional, pelo fato do par de câmeras ser geralmente posicionado paralelo ao solo, costumam estar presentes no vídeo elementos do horizonte, ou que se encontram muito longe da região de interesse da filmagem. Por outro lado, no caso de tomadas para exibição 3D horizontal a captação das imagens é feita de forma obliqua em relação ao solo, isto naturalmente limita significativamente a profundidade máxima da cena filmada, o que favorece a exibição por tecnologias estereoscópicas; e - eliminar a descontinuidade de profundidade na borda da tela de exibição - Além das vantagens mencionadas acima, tem-se ainda que, para o caso de filmagens de atividades que ocorram em regiões limitadas sobre superfícies planas, como peças de teatro, jogos de futebol, tênis e etc, não ocorrerá descontinuidade de profundidade na borda da tela de exibição horizontal, pois a representação do plano de apoio estará nivelada com esta. Este tipo de descontinuidade prejudica o senso de realidade no cinema 3D convencional, tendo em vista a não adequação da informação tridimensional exibida na tela com o resto do mundo real ao redor.
Para o bom desempenho da presente invenção é importante saber: (i) como utilizar a câmera de filmagem para obter um par estereoscópico horizontal de imagens, e (ii) como processar o referido par estereoscópico, capturado por duas câmeras, e deformá-lo de forma que possa ser mostrado em uma tela horizontal.
O sistema proposto pela invenção, o qual envolve um teletransportador virtual que consiste na captura de imagens e reprodução das mesmas em posição horizontal, em tempo real, pode ser descrito da seguinte forma:
Composição do sistema
O sistema é composto por duas partes: (i) um sistema de captura e (ii) um sistema de exibição. O sistema de captura é formado: (a) por um par de câmeras de vídeo, que podem ter sua posição e orientação ajustáveis, ou que podem ser fixadas em alguma estrutura mantendo a posição e orientação imutáveis; (b) por um computador com placa de captura de vídeo; e (c) por um objeto calibrador utilizado para estimar as homografias associadas ao par de câmeras, por exemplo, um tabuleiro de xadrez (este objeto pode ser usado apenas na fase de composição do sistema caso as câmeras estejam fixadas a uma estrutura).
Além disso, o sistema de captura faz uso de uma superfície plana, que pode ser parte integrante dele ou pode ser uma superfície plana externa, como por exemplo, uma mesa, um palco de teatro, um campo utilizado para prática de esporte, etc. Este plano, denominado “plano de apoio”, é que apóia os objetos cuja aparência estereoscópica é capturada e posteriormente exibida.
O sistema de exibição, por sua vez, é formado por uma tela capaz de exibir pares de imagens estereoscópicas posicionadas na horizontal. A tecnologia empregada na exibição estereoscópica pode variar. Pode-se utilizar, por exemplo, mas não exclusivamente, tecnologias baseadas em óculos que alternam a opacidade das lentes em sincronismo com a exibição, tecnologias baseadas em anaglifos e tecnologia estereoscópica lenticular.
O sistema de captura e o sistema de exibição podem ser combinados em um único elemento para formação de um sistema bidirecional, como será descrito posteriormente.
Operação do Sistema
O sistema proposto opera em duas fases distintas: (i) a fase de calibração e (ii) a fase de uso.
A fase de calibração precisa ser realizada toda vez que alguma das câmeras que integram o sistema de captura mudar de lugar ou passar a apontar para outra direção. No caso de câmeras posicionadas de forma fixa em uma estrutura, em que não ocorra mudança de posição ou orientação em relação ao plano de apoio, por exemplo, para protótipos compactos como ilustrados na Figura 6-a, a calibração do equipamento pode ser feita durante o processo de fabricação.
Os passos executados durante a fase de calibração são: (a) posicionamento das câmeras de forma que elas apontem para a região de captura sobre o plano de apoio; (b) posicionamento do objeto calibrador na região de captura; (c) obtenção de imagens do objeto calibrador feito pelo par de câmeras do sistema de captura; e (d) cálculo, feito por um programa de computador, das homografias que relacionam as coordenadas das imagens, captadas por cada câmera, com as coordenadas de um sistema de coordenadas definido sobre o plano de apoio, sobre o qual está o objeto calibrador. Considerando-se a Figura 1, tem-se que a homografia deve ser tal que mapeie bijetivamente a projeção p1, feita no plano da imagem de cada câmera, com a projeção p2, feita sobre o plano de apoio. Estas homografias podem ser calculadas a partir de correspondência entre coordenadas de pontos especialmente marcados sobre o objeto calibrador e de sua projeção nas imagens captadas pelas câmeras no passo anterior. As homografias obtidas são armazenadas pelo sistema para que as imagens captadas pelas câmeras possam ser processadas de forma a serem apresentadas pelo sistema de exibição. O cálculo das homografias pode ser feito como descrito em Hartley 2000.
Destaca-se que nesta fase as câmeras podem ser fixadas com bastante liberdade sobre o plano de apoio, tendo em vista que o processo de estimação de homografias determina adequadamente a deformação necessária a ser aplicada nas imagens captadas pelas câmeras, as quais são exibidas na forma de pares estereoscópicos horizontais.
A fase de uso é a fase em que o usuário final faz uso da tecnologia. Os usuários poderão observar conteúdos tais como: peças de teatro, jogos de futebol e basquete, bem como qualquer outro tipo de evento que ocorra em uma região plana limitada, como se fosse um modelo em escala da realidade.
A fase de uso ocorre após a fase de calibração, pois utiliza as homografias estimadas como descrito no item (d). O processamento principal, executado na fase de uso, consiste na deformação das imagens captadas pelo sistema de captura, através da aplicação das homografias calculadas durante a fase de calibração.
Ressalte-se que como as coordenadas sobre o plano de apoio, definidas pelo objeto calibrador, são medidas em unidades de cumprimento (por ex: cm), tem-se que não é possível aplicar diretamente as homografias para deformar as imagens captadas pelas câmeras, pois estas são medidas em ‘pixels’. Esse problema pode ser facilmente contornado pelo reescalamento da imagem deformada pela relação ‘pixel/unidade de comprimento’, que representa quantos pixels do sistema de exibição correspondem a cada unidade de comprimento usada para definir os marcadores do objeto calibrador. Uma translação pode também ser aplicada sobre as imagens para melhor ajustar o conteúdo a ser exibido com a tela de exibição e com o posicionamento esperado do observador.
A porção do plano de apoio filmada por cada uma das câmeras é um quadrilátero. Estes quadriláteros podem ter formatos e posições diferentes. Apenas os pontos do plano de apoio que pertencem à interseção destes quadriláteros é que podem ser captados pelas duas câmeras. É conveniente que toda a região da imagem fora desta interseção seja descartada, do contrário, o sistema de exibição vai exibir pontos que serão captados por um dos olhos do usuário, mas cujo correspondente do outro olho não será exibido, já que não pode ser filmado.
Se não for feito o descarte supracitado, pode ocorrer um prejuízo para o senso de realidade do usuário, já que a informação estereoscópica ficará incompleta para uma parte da imagem exibida.
A restrição das imagens captadas pelas câmeras a interseções dos quadriláteros produz como resultado uma imagem cuja borda é um polígono de até oito lados. Como esta imagem não é adequada para exibição em telas retangulares, pode-se limitar a porção a ser exibida a uma região retangular tomada em seu interior.
A fase de uso pode ocorrer seguindo três modalidades distintas, quais sejam: (a) pode captar e exibir imagens em tempo real de forma unidirecional; (b) pode captar, gravar imagens e exibi-las posteriormente; ou (c) pode captar e exibir imagens em tempo real de forma bidirecional. A descrição de cada uma das modalidades citadas vem a seguir: (a) Captando e exibindo imagens em tempo real de forma unidirecional
As câmeras do sistema de captura fazem a captação de um par de vídeos em tempo real, cujos quadros são processados pela aplicação das homografias obtidas na fase de calibração e pela eliminação de pontos do plano de projeção, sem correspondentes estereoscópicos. As imagens captadas por esses vídeos processados são, então, enviadas para o sistema de exibição onde são apresentadas utilizando uma tecnologia estereoscópica. (b) Captando, gravando imagens e exibindo posteriormente
Esta modalidade é semelhante à descrita anteriormente, a diferença é que o sistema de captura faz a captura das imagens exibidas pelos vídeos, e estes não são processados e exibidos em tempo real para o sistema de exibição. As imagens são processadas e armazenadas com o objetivo de serem exibidas futuramente, por algum sistema de exibição a qualquer tempo. (c) Captando e exibindo imagens em tempo real de forma bidirecional
Nesta modalidade dois usuários conseguem compartilhar a percepção estereoscópica de objetos sobre um plano de apoio, de forma bidirecional, através do uso de dois sistemas de captura e de dois sistemas de exibição.
Cada um dos usuários deve ter necessariamente na sua frente um sistema de captura e um sistema de exibição, que funcionem simultaneamente como plano de apoio para seu sistema de captura e como plataforma de exibição para as imagens captadas pelo sistema de captura do outro usuário.
É necessário que a imagem apresentada pelo sistema de exibição não seja captada pelo sistema de captura que o utiliza como plano de apoio. Caso o sistema de exibição utilize uma tecnologia LCD para produzir as imagens, este exibirá imagens polarizadas. Neste caso, a fim de impedir a captação indevida das imagens, pode-se utilizar um filtro polarizador na frente de cada câmera do sistema de captura, o qual deve ser disposto de forma a bloquear a imagem exibida. Já para o caso do sistema de exibição trabalhar com um projetor, a fim de eliminar o problema, basta colocar um filtro polarizador também na frente do projetor, de forma que a imagem seja bloqueada pelos filtros polarizadores das câmeras. Ainda, para casos de exibição feita por outro tipo de tecnologia, o problema pode ser eliminado colocando-se um grande filtro polarizador sobre a tela de forma que a imagem seja bloqueada pelos filtros das câmeras.
A captura e exibição de imagens em tempo real pode ocorrer em um modo de conferência entre dois ou mais usuários, bastando que os pares de imagens captados em cada um dos sistemas de captura sejam enviados para todos os demais sistemas de exibição dos outros usuários.
Ajuste de Escala
Pode-se controlar a escala de exibição dos objetos e a distância que a tela do sistema de exibição deve ficar do observador utilizando uma simples preservação de proporções definida pela relação entre a distância das câmeras do sistema de captura e a distância entre os olhos do usuário do sistema de exibição. Por exemplo: considerando que a distância entre os olhos de um adulto seja de aproximadamente 6,5 cm; que a distância entre os dois centros de projeção das câmeras seja de 65 cm; que a distância das câmeras ao objeto capturado seja quatro vezes isso, ou seja 260 cm. Então, o usuário deve ficar posicionado a uma distância de quatro vezes 6,5 cm, que é 26 cm, e o objeto exibido será dez vezes menor que o objeto real. A fim de ilustrar o sistema ora descrito, são a seguir apresentados protótipos que facilitam a compreensão da invenção.
1. O primeiro protótipo é composto por duas câmeras que são instaladas no alto de um campo de futebol (Figura 2), podendo a fixação das câmeras ser feita em estrutura fixa ou suspensa por balões. As próprias marcações do campo podem ser utilizadas como objeto calibrador, para calcular as homografias utilizadas para deformar as imagens, como descrito em “F. Szenberg, 2001”. Durante a fase de uso, as câmeras passam a filmar continuamente a região de interesse, sendo que o vídeo é processado como já descrito anteriormente. Este vídeo é então exibido, em tempo real ou não, por sistemas de exibição, que podem ser de vários tipos, por exemplo: a) baseados em tecnologia auto-estereoscópica, onde usuários podem assistir ao vídeo transmitido sem necessidade de óculos estereoscópicos, ou b) baseados em tecnologia de óculos 3D, onde os usuários utilizam óculos 3D para assistirem ao vídeo (Figura 3-a), podendo estes óculos estarem fixados a uma estrutura, como ilustrado na Figura 3-b.
2. O segundo protótipo utiliza um par de câmeras fixadas em uma estrutura no alto de um teatro. Neste caso, utiliza-se um tabuleiro de xadrez para calcular as homografias associadas a cada câmera (Figura 4), pelo processo descrito em “Hartley, 2000”. A exibição dos vídeos captados pode ser feita da mesma forma que no protótipo descrito no item 1.
3. O terceitro protótipo pode ser utilizado como mostruário de produtos, como tênis, bolsas, jóias, automóveis, e qualquer outro tipo de equipamento em que a forma tridimensional seja importante na seleção de mercadorias (Figura 5). Neste caso, cada item pode ter tido sua aparência estereoscópica capturada previamente, ou pode existir um sistema de captura na área de estoque da loja, para que a captura seja feita em tempo real. Este tipo de solução evita que itens que estejam no estoque tenham que ser trazidos para que o cliente possa escolher, ou permite a criação de lojas com mostruários menores.
4. O quarto protótipo é um dispositivo de captura e exibição simultânea, que implementa a modalidade da fase de uso em que a captura e a exibição são feitas em tempo real de forma bidirecional (Figura 6). Dois usuários têm diante de si uma tela LCD, que funciona simultaneamente como plano de apoio para seu sistema de captura e como plataforma de exibição para as imagens captadas pelo sistema de captura do outro usuário. Um par de câmeras posicionado à frente dos usuários faz a captação do par estereoscópico.
5 Os versados na arte, portanto, valorizarão imediatamente os importantes benefícios decorrentes do uso da presente invenção. Variações na forma de concretizar o conceito inventivo aqui exemplificado devem ser compreendidas como dentro do espírito da invenção e das reivindicações anexas.

Claims (12)

1. Processo de captura e exibição de imagens estereoscópicas aplicável para exibição em telas dispostas horizontalmente em tempo real caracterizado pelo fato de ser operado em duas fases distintas: (i) uma fase de calibração e (ii) uma fase de uso; capturar imagens e reproduzi-las em 3D estéreo em um suporte horizontal e em tempo real através de um sistema de captura e um sistema de exibição doravante denominados por teletransportador virtual, mediante aplicação de homografias estimadas na etapa de calibração, sendo o processo de estimação de homografias utilizado para determinar adequadamente a deformação necessária a ser aplicada nas imagens captadas que são exibidas na forma de pares estereoscópicos horizontais; adicionalmente na fase de calibração, as câmeras serem fixadas com bastante liberdade sobre o plano de apoio e pelo fato de serem utilizadas marcações pré-existentes no plano de apoio para fazer a estimação das homografias, cada uma relacionando coordenadas de marcações feitas sobre a superfície de suporte horizontal com suas respectivas projeções nas imagens; manter os parâmetros das câmeras inalterados; captar as imagens de forma oblíqua em relação ao solo; e nivelar a representação do plano de apoio com a borda da tela de exibição.
2. Processo, de acordo com a reivindicação 1, caracterizado pelo fato do sistema de captura ser formado: (a) por um par de câmeras de vídeo; (b) por um computador com placa de captura de vídeo; e (c) por um objeto calibrador utilizado para estimar as homografias associadas ao par de câmeras, por exemplo, um tabuleiro de xadrez.
3. Processo, de acordo com a reivindicação 1, caracterizado pelo fato da fase de calibração precisar ser realizada toda vez que alguma das câmeras que integram o sistema de captura mudar de lugar ou passar a apontar para outra direção.
4. Processo, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato da fase de calibração exigir a execução dos seguintes passos: (a) posicionamento das câmeras de forma que elas apontem para a região de captura sobre o plano de apoio; (b) posicionamento do objeto calibrador na região de captura; (c) obtenção de imagens do objeto calibrador feito pelo par de câmeras do sistema de captura; e (d) cálculo, feito por um programa de computador, das homografias associadas a cada câmera.
5. Processo, de acordo com a reivindicação 1, caracterizado pelo fato da fase de uso ocorrer seguindo três modalidades distintas: (a) captação e exibição de imagens em tempo real de forma unidirecional; (b) captação, gravação de imagens e exibição das mesmas posteriormente; ou (c) captação e exibição de imagens em tempo real de forma bidirecional.
6. Processo, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de poder ser aplicado em um protótipo móvel ou fixo.
7. Aplicação do processo para captura e exibição de imagens estereoscópicas como descrito nas reivindicações 1 a 6, caracterizada pelo fato de se dar através de um primeiro protótipo composto por: - duas câmeras, que podem ser fixadas em estrutura fixa ou suspensa por balões; - marcações pré-existentes, as quais são utilizadas como objeto calibrador, para calcular as homografias utilizadas para deformar as imagens; e - sistemas de exibição, que são baseados em tecnologia autoestereoscópica ou em tecnologia de óculos 3D.
8. Aplicação, de acordo com a reivindicação 7, caracterizada pelo fato de se dar através de um segundo protótipo composto por um par de câmeras fixas e um tabuleiro de xadrez que é usado para calcular as homografias.
9. Aplicação, de acordo com a reivindicação 7, caracterizada pelo fato de se dar através de um terceiro protótipo que é usado como mostruário e é composto por qualquer produto que tenha formato tridimensional.
10. Aplicação, de acordo com a reivindicação 7, caracterizada pelo fato de um quarto protótipo ser composto por duas superfícies planas, uma para captura das imagens e outra para visualização.
11. Aplicação, de acordo com a reivindicação 10, caracterizada pelo fato de o quarto protótipo ser uma modalidade da fase de uso em que a captura e a exibição de imagens são feitas em tempo real e de forma bidirecional.
12. Aplicação, de acordo com qualquer uma das reivindicações 7 a 11, caracterizada pelo fato das imagens poderem ser gravadas previamente para exibição posterior.
BRPI1106473A 2011-11-08 2011-11-08 Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado BRPI1106473B8 (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
BRPI1106473A BRPI1106473B8 (pt) 2011-11-08 2011-11-08 Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado
PCT/BR2012/000432 WO2013067610A1 (pt) 2011-11-08 2012-11-08 Processo para captura e exibição de imagens estereoscópicas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BRPI1106473A BRPI1106473B8 (pt) 2011-11-08 2011-11-08 Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado

Publications (3)

Publication Number Publication Date
BRPI1106473A2 BRPI1106473A2 (pt) 2013-10-08
BRPI1106473B1 true BRPI1106473B1 (pt) 2022-03-15
BRPI1106473B8 BRPI1106473B8 (pt) 2022-03-22

Family

ID=48288393

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1106473A BRPI1106473B8 (pt) 2011-11-08 2011-11-08 Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado

Country Status (2)

Country Link
BR (1) BRPI1106473B8 (pt)
WO (1) WO2013067610A1 (pt)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614427B1 (en) * 1999-02-01 2003-09-02 Steve Aubrey Process for making stereoscopic images which are congruent with viewer space
BR0318657A (pt) * 2003-12-19 2006-11-28 Enrique De Font-Reaulx-Rojas sistema de visão estereoscópica de imagens em tempo real ou estáticas
US20060250391A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Three dimensional horizontal perspective workstation
US8355601B2 (en) * 2010-01-15 2013-01-15 Seiko Epson Corporation Real-time geometry aware projection and fast re-calibration
GB2479932A (en) * 2010-04-30 2011-11-02 Sony Corp Stereoscopic camera system with two cameras having synchronised control functions

Also Published As

Publication number Publication date
BRPI1106473B8 (pt) 2022-03-22
BRPI1106473A2 (pt) 2013-10-08
WO2013067610A1 (pt) 2013-05-16

Similar Documents

Publication Publication Date Title
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US10430994B1 (en) Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
US10225545B2 (en) Automated 3D photo booth
US8355019B2 (en) 3D optical illusions from off-axis displays
US9357206B2 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3D display
JP2019511024A (ja) パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング
Devernay et al. Stereoscopic cinema
EP3607530B1 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
US20110187827A1 (en) Method and apparatus for creating a stereoscopic image
WO2012136002A1 (zh) 调节立体图像的方法、装置、系统、电视机及立体眼镜
Bourke Synthetic stereoscopic panoramic images
Park et al. 48.2: Light field rendering of multi‐view contents for high density light field 3D display
BRPI1106473B1 (pt) Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado
WO2008059086A1 (es) Sistema y metodo para la visualizacion de una imagen aumentada aplicando tecnicas de realidad aumentada
CN103400339B (zh) 3d地贴的制作方法
Louis et al. Rendering stereoscopic augmented reality scenes with occlusions using depth from stereo and texture mapping
US10701345B2 (en) System and method for generating a stereo pair of images of virtual objects
Kang Wei et al. Three-dimensional scene navigation through anaglyphic panorama visualization
Madeira et al. Virtual Table--Teleporter: Image Processing and Rendering for Horizontal Stereoscopic Display
US9875526B1 (en) Display of three-dimensional images using a two-dimensional display
Shin et al. Implementation of 3d object reconstruction using multiple kinect cameras
Couture et al. Perception of blending in stereo motion panoramas
Rastogi et al. StereoCam3D (An Android App. That Lets You Capture Realtime 3D Pics And Videos)
Rocamora Camera Models and algorithms for 3D video content creation

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 7A ANUIDADE.

B08G Application fees: restoration [chapter 8.7 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 9A ANUIDADE.

B08G Application fees: restoration [chapter 8.7 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B03H Publication of an application: rectification [chapter 3.8 patent gazette]

Free format text: REFERENTE AO CODIGO 3.1 PUBLICADO NA RPI2231 DE 08/10/2013 RELATIVO AO CAMPO INID (71) DEPOSITANTE. CONSIDEREM-SE OS DADOS ATUAIS.

B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 08/11/2011, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO.