BR102019006465A2 - Sistema e método de captação e projeção de imagem, e, uso do sistema. - Google Patents

Sistema e método de captação e projeção de imagem, e, uso do sistema. Download PDF

Info

Publication number
BR102019006465A2
BR102019006465A2 BR102019006465-0A BR102019006465A BR102019006465A2 BR 102019006465 A2 BR102019006465 A2 BR 102019006465A2 BR 102019006465 A BR102019006465 A BR 102019006465A BR 102019006465 A2 BR102019006465 A2 BR 102019006465A2
Authority
BR
Brazil
Prior art keywords
image capture
projection system
cameras
image
capture
Prior art date
Application number
BR102019006465-0A
Other languages
English (en)
Inventor
Alexandre Thadeu Da Costa Marques Arrabal
Rodolpho Barcelos Xavier Filho
Original Assignee
Globo Comunicação E Participações S.a.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Globo Comunicação E Participações S.a. filed Critical Globo Comunicação E Participações S.a.
Priority to BR102019006465-0A priority Critical patent/BR102019006465A2/pt
Priority to US17/598,696 priority patent/US12101573B2/en
Priority to PCT/BR2020/000006 priority patent/WO2020198823A1/pt
Priority to JP2021560355A priority patent/JP2022529417A/ja
Priority to CN202080024813.8A priority patent/CN113692734A/zh
Priority to EP20782473.1A priority patent/EP3952267A4/en
Priority to CA3134758A priority patent/CA3134758A1/en
Priority to KR1020217034872A priority patent/KR20210142722A/ko
Priority to MX2021011873A priority patent/MX2021011873A/es
Publication of BR102019006465A2 publication Critical patent/BR102019006465A2/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)

Abstract

a invenção se refere a um sistema e método de captação e projeção de imagem para uso em estúdio integrado que engloba uma localização real e painéis que tornam este local parcialmente virtual, utilizando imagens geradas do lado de fora para, através da emissão das imagens, criar uma imagem parcialmente real e parcialmente virtual.

Description

SISTEMA E MÉTODO DE CAPTAÇÃO E PROJEÇÃO DE IMAGEM, E, USO DO SISTEMA. CAMPO DA INVENÇÃO
[001] A invenção refere-se ao campo de produção televisiva, mais específicamente a sistemas e métodos de captação e projeção de imagem, e uso dos mesmos em estúdio de TV, e a extensão das imagens através de projeções virtuais.
ESTADO DA TÉCNICA
[002] Atualmente, o mercado de TV e cinema utiliza a técnica de extensão de cenário, onde uma parte do estúdio é montada fisicamente e outra parte é criada através de grafismos.
[003] As duas principais formas de implementar a expansão de cenários hoje é através de chroma-keying ou através do uso de telões de projeção.
[004] A extensão de cenários com Chroma-keying é uma das técnicas mais usadas atualmente. Neste caso, o cenário é composto por pisos e paredes de cor homogênea, geralmente verde ou azul, e pode ou não conter mobília adicional. O processo de substituição da imagem na parede é feito por programa de computador. Desta forma, tudo que a câmera visualizar na tonalidade será trocado por uma imagem, vídeo ou grafismo virtual.
[005] A patente US 6,201,579 descreve um dispositivo de detecção de posição de um objeto com estúdio virtual, que compreende fornecer um objeto com um dispositivo de emissão e usando o dispositivo em conjunto com um plano ou plano de fundo chroma-key em padrão para fornecer a posição exata de uma câmera de TV ou sozinho para fornecer uma posição para outro objeto ou pessoa.
[006] Já o pedido de patente WO1997028654 descreve um sistema de vídeo que cria uma sombra virtual de um objeto filmado em frente de uma tela azul com uma câmera de vídeo principal. A sombra virtual é criada usando uma segunda câmera localizada como uma fonte de luz virtual. este sistema utiliza o sistema de cor chroma-key.
[007] Já a extensão de cenários com telões de projeção consiste de uma técnica mais simples e de fácil aplicação, embora bastante restritiva. Neste caso, um painel ou telão é colocado como uma imagem, vídeo ou grafismo virtual, através do apresentador que se encontra dentro do estúdio. Esta técnica, no entanto, limita os movimentos da câmera e, qualquer movimento mais amplo pode mostrar os limites do painel e prejudicar a composição da imagem. Nesta técnica, o uso é restrito às câmeras paradas ou com mínimos movimentos.
[008] A presente invenção apresenta um sistema que permite uma imagem virtual integrada a uma imagem real, executada em tempo real.
DESENHOS
[009] A Figura 1 mostra a extensão de cenário utilizando painéis de LED.
[010] A Figura 2 mostra uma vista em perspectiva dos elementos cenográficos tais como fundo de vidro e painéis de LED.
[011] A Figura 3 mostra uma vista superior do estúdio e a conformação dos painéis e elementos cenográficos.
[012] A Figura 4 mostra infográficos e personagem virtual animado inseridos no vídeo pelos servidores de grafismo.
[013] A Figura 5 mostra a disposição física do estúdio, com os pontos de ancoragem dos painéis.
[014] A Figura 6 mostra uma configuração da técnica de projeção de frustrum assimétrico.
[015] A Figura 7 mostra as distorções de frustrum assimétrico.
DESCRIÇÃO DETALHADA DA INVENÇÃO
[016] A presente invenção resolve os problemas citados de tamanho de estúdio e movimentação das câmeras oferecendo uma abordagem mais completa e robusta, entregando uma imagem final onde o telespectador é incapaz de perceber o que é real ou virtual e executando tudo em tempo real, isto é, permissível em programas ao vivo.
[017] Desta forma, a solução apresentada amplia a percepção de espaço no estúdio através do conceito de extensão de cenários, fazendo uso de telões de LED, fundo de vidro com vista para um ambiente real, câmeras com sensores de rastreamento de movimentos e softwares responsáveis por controlar as imagens exibidas nos telões.
Telões de LED
[018] Telões de LED são dispostos lateralmente, perpendiculares ao piso e rotacionados em relação à janela de fundo formando um ângulo de 120 graus. Este ângulo pode variar, entretanto deve ser maior do que 90 graus.
[019] A tecnologia de LED foi escolhida por conta da alta resolução mediante as outras tecnologias existentes. Essa resolução é maior não somente na quantidade de pixels como na intensidade das cores. Há uma importância adicional na intensidade das cores por conta da incidência dessa iluminação sobre o ambiente real. Este efeito contribuirá para a percepção de inserção do apresentador no ambiente virtual.
Fundo de Vidro
[020] O fundo é importante para reforçar o efeito de inserção do estúdio em um ambiente real.
[021] Junto ao fundo de vidro e escondidas atrás dos painéis laterais de LED estão duas câmeras estáticas que capturam as imagens complementares àquelas visualizadas através do fundo de vidro. Estas imagens complementares são enviadas para servidores que a distorcem conforme a perspectiva da câmera do estúdio e as encaminham para exibição nos painéis laterais. Quando visto através da câmera do estúdio, as imagens nos painéis estendem a vista oferecida pelo fundo de vidro. No entanto, se vista de qualquer outro ponto de vista que não o da câmera, parecem distorcidas e fora de contexto.
Câmeras com sensores de movimento
[022] Duas câmeras com sensores de movimento são posicionadas dentro do estúdio. Elas possuem as características de não só rastrear os movimentos, mas também promover alterações na lente (zoom e foco, por exemplo). Estes dados são capturados e enviados para o servidor de grafismos que os interpreta e, assim, deforma as imagens capturadas pelas câmeras estáticas junto ao fundo de vidro para serem exibidas nos telões segundo a perspectiva das câmeras posicionadas dentro do estúdio.
[023] Os sensores e os sistemas de rastreamento são comumente conhecidos na técnica.
Softwares são usados para gerar e fornecer grafismo para projeções nos telões de LED.
Uma modalidade da invenção permite a composição de um estúdio inteiramente virtual, composto por painéis de LED nas paredes, teto e piso.
O termo “Inserções virtuais” pode ser entendido como toda computação gráfica inserida por cima da imagem como: placares, cartelas, objetos, personagens e elementos gráficos em geral.
[024] O estúdio físico é composto por uma parede frontal inteira de vidro, e as demais paredes opacas, comportando-se de forma transparente. O efeito procurado seria de recriar um estúdio de 180 graus (Panorâmico) e, para isso, as paredes laterais deveriam ser de vidro, ou invisíveis.
[025] O estúdio físico pode ter qualquer dimensão desejada, e os painéis de LED são então posicionados em cada lateral, rotacionados de aproximadamente 30 graus, sendo o painel a hipotenusa do triângulo formado entre o mesmo, o vidro e a parede, com o referido ângulo formado entre a parede e o painel.
[026] A inclinação dos painéis evita aberrações na imagem por conta do ângulo de emissão de luz dos LEDs, ao serem observados pela câmera, caso contrário poderiam sofrer efeito de reflexão total internamente e aparecerem escuros, além de criar uma área escondida para posicionar entre o painel e parede uma câmera estática com lente grande angular (170 graus) colada no vidro para captar o exterior em processo (chamado de stitching).
[027] O piso feito em placas de LED permite a alteração de gráficos, para exibição de imagens ou completação do próprio chão atual.
[028] Aplicação de filtros e películas é realizada para chegar a níveis de luminância no vidro compatíveis com a equalização das imagens geradas no LED e as imagens recebidas através do vidro da parede frontal.
[029] Ainda como parte integrante da montagem interna do estúdio, foi utilizada uma grua sensorizada, para finalidade de trackeamento de câmera.
[030] O processo para o efeito final é composto pelas seguintes etapas:
  • - Captação das imagens a complementar o cenário através de 1 ou 2 ou mais câmeras com lente(s) grande(s) angular(es);
  • - As imagens dessas câmeras passam por um processo chamado stitching, que consiste em criar uma única imagem sobrepondo as zonas comuns entre as 2 câmeras, tendo como resultado uma imagem panorâmica filmada;
  • - a imagem panorâmica sendo enviada ao sistema de computação gráfica, o qual projeta a mesma em um plano virtual que é afastado e escalado para sobrepor e casar artisticamente com a imagem real;
  • - são adicionados sensores de trackeamento de câmera e lente, de forma que, em tempo real, as câmeras utilizadas para transmissão tenham seus dados intrínsecos e extrínsecos, sendo informado ao sistema de computação gráfica;
  • - Para cada câmera de transmissão, é necessário um sistema de computação gráfica recebendo todas as informações mencionadas acima;
  • - Cada sistema de computação gráfica calcula a distorção projetiva da imagem panorâmica, que é projetada nos painéis de LED ilustrando sempre o ponto de vista da câmera atual. Dessa maneira a imagem dos LEDs se funde com a imagem real da janela;
  • - Todos os sinais de vídeos precisam ser ajustados pelos sistemas de TV de forma que tenham o delay calculado, para que os vídeos sejam exibidos sem atraso e na ordem certa.
[031] O sistema de computação gráfica é instalado em servidores que estão situados na central técnica e, recebe os dados de tracking de câmera e lente por uma conexão, como p.ex. ethernet.
[032] O estúdio pode ser composto por dois painéis de LEDs laterais, opcionalmente um painel de LED no piso e uma janela de vidro ao fundo.
[033] Os painéis laterais estão perpendiculares ao piso e rotacionados em relação a janela de fundo formando um ângulo de 120 graus (para o funcionamento correto, o ângulo deve ser superior a 90 graus).
[034] Por trás de cada painel lateral está uma ou mais câmeras estáticas com uma ou mais lentes grandes angulares com ângulo de visão próximo a 180 graus, apontando para fora do estúdio através da janela de vidro. O vídeo capturado por cada uma destas câmeras é inserido em um processador e enviado para o painel lateral correspondente. Este processador, além do vídeo da câmera de trás do painel lateral, também recebe os dados de posição e lente da câmera principal do estúdio.
[035] Em uma modalidade alternativa, pode ser usada apenas uma câmera estática para captação da imagem externa.
[036] Em uma modalidade alternativa, a câmera estática pode ter uma ou mais lentes grandes angulares.
[037] O Processo de distorção projetiva é realizado pela técnica de projeção de frustrum assimétrico, disponível e implementado em todos softwares e frameworks de programação para computação gráfica em tempo real já conhecidos na técnica.
[038] A distorção de frustrum para assimétrico também é implementada por software disponível no mercado, sendo representado pela função descrita abaixo.
[039] Uma vez que o sistema recebe dados de posição de câmera em relação ao estúdio, isto é, geolocalizando a câmera no estúdio, uma câmera virtual é criada com as mesmas características e alterações de lente, câmera e posição ocorrendo em tempo real, esses dados são duplicados e alimentam simultaneamente dois sistemas virtuais. O primeiro sistema (sistema 1) processa tudo relacionado as distorções para os telões de LED. O Segundo sistema (sistema 2) aplica elementos de realidade aumentada.
[040] O painel de LED possui um tempo de processamento para exibir as imagens, portanto, uma vez o sistema 2, responsável pelas inserções virtuais, precisa ser atrasado para que o sistema 1 projete no LED a imagem complementar ao vidro, antes do Sistema 2 Capturar a imagem do estúdio para fazer as inserções virtuais. O atraso, denominado como “delay”, é variável, ficando na faixa de 3 frames no pior dos casos.
[041] Para viabilizar o cálculo da distorção projetiva e os demais recursos, os servidores na central técnica, onde os sistemas estão instalados, são alimentados com dados de tracking da câmera e da lente, como por exemplo via ethernet ou qualquer outro meio compatível, e com vídeo, como por exemplo, via cabos de vídeo. O sistema é dividido em módulos: a distorção projetiva da imagem panorâmica é calculada por uma parte do sistema que é um software disponível no mercado; e os elementos 3D inseridos no estúdio são gerados por sistemas que não serão descritos aqui.
[042] A percepção de janela virtual, deve-se ao fato de sempre existir a coerência temporal entre a imagem real vista através do vidro e a complementação do estúdio pelos painéis de LED. O efeito conforme descrito, gera uma percepção de um cenário real, muito maior do que o espaço físico disponível com intervenções de grafismo de maneira fluida.
[043] A partir do descrito, será observado que numerosas modificações e variações podem ser efetuadas sem se afastar do verdadeiro espírito e escopo dos novos conceitos da presente invenção. Deve ser compreendido que nenhuma limitação com relação às modalidades específicas ilustradas é pretendida ou deve ser inferida. A descrição destinase a cobrir todas as ditas modificações que caiam dentro do escopo da invenção.

Claims (21)

  1. Sistema de captação e projeção de imagem, caracterizado por compreender painéis de LED, fundo de vidro com vista para um ambiente real, câmeras com sensores de rastreamento de movimentos, câmeras estáticas de captação de imagem e softwares operando em conjunto.
  2. Sistema de captação e projeção de imagem, de acordo com a reivindicação 1, caracterizado por os painéis de LED serem dispostos lateralmente com relação ao fundo de vidro, perpendiculares ao piso e rotacionados em relação à janela de fundo.
  3. Sistema de captação e projeção de imagem, de acordo com a reivindicação 2, caracterizado por os painéis de LED formarem um ângulo maior do que 90 graus, preferencialmente, 120 graus.
  4. Sistema de captação e projeção de imagem, de acordo com a reivindicação 1, caracterizado por os painéis de LED serem rotacionados de cerca de 30 graus.
  5. Sistema de captação e projeção de imagem, de acordo com a reivindicação 1, caracterizado por compreender uma, duas ou mais câmeras estáticas atrás dos painéis laterais de LED.
  6. Sistema de captação e projeção de imagem, de acordo com a reivindicação 5, caracterizado por as câmeras estáticas enviarem imagens complementares a servidores que a distorcem conforme a perspectiva da câmera com sensor de movimento e encaminham para exibição nos painéis laterais de LED.
  7. Sistema de captação e projeção de imagem, de acordo com a reivindicação 5, caracterizado por as câmeras estáticas capturarem imagens que são deformadas e exibidas nos telões de LED de acordo com a perspectiva das câmeras com sensor de movimento posicionadas dentro do estúdio.
  8. Sistema de captação e projeção de imagem, de acordo com a reivindicação 5, caracterizado por as câmeras estáticas possuírem, preferencialmente, lente(s) grande(s) angular(es) que captam imagens que complementam o cenário interno.
  9. Sistema de captação e projeção de imagem, de acordo com a reivindicação 5, caracterizado por as imagens das câmeras estáticas externas sofrerem ‘stitching’, criando uma única imagem sobrepondo as zonas comuns entre as duas câmeras.
  10. Sistema de captação e projeção de imagem, de acordo com a reivindicação 5, caracterizado por as câmeras estáticas criarem uma imagem panorâmica que é enviada a um sistema de computação gráfica, que projeta tal imagem em um plano virtual afastado e escalado para sobrepor e casar artisticamente com a imagem real.
  11. Sistema de captação e projeção de imagem, de acordo com a reivindicação 1, caracterizado por compreender duas ou mais câmeras com sensores de movimento posicionadas dentro de um estúdio.
  12. Sistema de captação e projeção de imagem, de acordo com a reivindicação 11, caracterizado por as câmeras com sensores de movimento serem capazes de rastrear os movimentos e promover alterações na lente conforme o movimento.
  13. Sistema de captação e projeção de imagem, de acordo com as reivindicações 11, caracterizado por as câmeras com sensor de movimento capturarem informações que são enviadas ao servidor de grafismo e interpretadas.
  14. Sistema de captação e projeção de imagem, de acordo com a reivindicação 11, caracterizado por um sistema de computação gráfico receber os dados de tracking das câmeras com sensor de movimento e lente por conexão.
  15. Sistema de captação e projeção de imagem, de acordo com a reivindicação 11, caracterizado por as câmeras com sensor de movimento compreenderem ainda sensores de trackeamento de câmera e lente.
  16. Sistema de captação e projeção de imagem, de acordo com qualquer uma das reivindicações anteriores, caracterizado por cada sistema de computação gráfica calcular a distorção projetiva da imagem panorâmica.
  17. Sistema de captação e projeção de imagem, de acordo com qualquer uma das reivindicações anteriores, caracterizado por os sinais de vídeo serem ajustados pelos sistemas de TV tendo o delay calculado, onde os vídeos são exibidos sem atraso e na ordem correta.
  18. Uso do sistema de captação e projeção de imagem, como definido em qualquer uma das reivindicações anteriores, caracterizado por ser em um estúdio físico.
  19. Uso do sistema de captação e projeção de imagem, de acordo com a reivindicação 18, caracterizado por o estúdio compreender uma parede frontal inteira de vidro e as demais paredes opacas.
  20. Uso do sistema de captação e projeção de imagem, de acordo com a reivindicação 18, caracterizado por a parede frontal inteira de vidro incluir aplicação de filtros e películas, que equalizam as imagens geradas no LED com as imagens recebidas através do vidro da parede frontal.
  21. Método de captação e projeção de imagem utilizando o sistema como definido nas reivindicações 1 a 17, caracterizado por compreender as etapas de:
    • - captação da imagens complementares ao cenário real através de uma, duas ou mais câmeras estáticas com lentes grandes angulares;
    • - envio da imagem panorâmica ao sistema de computação gráfica e projeção da mesma em um plano virtual afastado e escalado para sobrepor e casar artisticamente com a imagem real;
    • - adição de sensores de trackeamento de câmera e lente, sendo as câmeras utilizadas para transmissão em tempo real tendo dados intrínsecos e extrínsecos informados aos sistema de computação gráfica;
    • - cálculo da distorção projetiva da imagem panorâmica pelo sistema de computação gráfica;
    • - ajuste dos sinais de vídeo pelos sistemas de TV, que calculam o delay;
    • - exibição dos vídeos sem atraso e na ordem correta.
BR102019006465-0A 2019-03-29 2019-03-29 Sistema e método de captação e projeção de imagem, e, uso do sistema. BR102019006465A2 (pt)

Priority Applications (9)

Application Number Priority Date Filing Date Title
BR102019006465-0A BR102019006465A2 (pt) 2019-03-29 2019-03-29 Sistema e método de captação e projeção de imagem, e, uso do sistema.
US17/598,696 US12101573B2 (en) 2019-03-29 2020-02-07 System for capturing and projecting images, use of the system and method for capturing, projecting and inserting images
PCT/BR2020/000006 WO2020198823A1 (pt) 2019-03-29 2020-02-07 Sistema e método de captação e projeção de imagem, e, uso do sistema
JP2021560355A JP2022529417A (ja) 2019-03-29 2020-02-07 画像取得投影システム、該システムの使用及び画像取得投影挿入方法
CN202080024813.8A CN113692734A (zh) 2019-03-29 2020-02-07 用于采集和投影图像的系统和方法，以及该系统的应用
EP20782473.1A EP3952267A4 (en) 2019-03-29 2020-02-07 IMAGE CAPTURE AND PROJECTION SYSTEM AND METHOD, AND USE THEREOF
CA3134758A CA3134758A1 (en) 2019-03-29 2020-02-07 System for capturing and projecting images, use of the system, and method for capturing, projecting and inserting images
KR1020217034872A KR20210142722A (ko) 2019-03-29 2020-02-07 이미지 캡쳐 및 투영을 위한 시스템, 시스템의 사용, 그리고 이미지 캡쳐, 투영 및 삽입 방법
MX2021011873A MX2021011873A (es) 2019-03-29 2020-02-07 Sistema y metodo de captacion y proyeccion de imagenes y uso del sistema.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
BR102019006465-0A BR102019006465A2 (pt) 2019-03-29 2019-03-29 Sistema e método de captação e projeção de imagem, e, uso do sistema.

Publications (1)

Publication Number Publication Date
BR102019006465A2 true BR102019006465A2 (pt) 2020-10-13

Family

ID=72664365

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102019006465-0A BR102019006465A2 (pt) 2019-03-29 2019-03-29 Sistema e método de captação e projeção de imagem, e, uso do sistema.

Country Status (8)

Country Link
EP (1) EP3952267A4 (pt)
JP (1) JP2022529417A (pt)
KR (1) KR20210142722A (pt)
CN (1) CN113692734A (pt)
BR (1) BR102019006465A2 (pt)
CA (1) CA3134758A1 (pt)
MX (1) MX2021011873A (pt)
WO (1) WO2020198823A1 (pt)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023094872A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display
DE102022131909B3 (de) 2022-12-01 2024-03-28 Gero Steffen Mobiles Bildaufnahmestudio

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69736638T2 (de) * 1996-02-01 2007-10-04 Vi[Z]Rt.Ltd Farbstanzen-Studiosystem
US5886747A (en) * 1996-02-01 1999-03-23 Rt-Set Prompting guide for chroma keying
GB9702636D0 (en) * 1997-02-01 1997-04-02 Orad Hi Tech Systems Limited Virtual studio position sensing system
GB2329292A (en) * 1997-09-12 1999-03-17 Orad Hi Tec Systems Ltd Camera position sensing system
JPH11134821A (ja) 1997-10-31 1999-05-21 Fujitsu Ltd 記憶装置
US7468778B2 (en) * 2002-03-15 2008-12-23 British Broadcasting Corp Virtual studio system
CN1731832A (zh) * 2005-08-04 2006-02-08 西安宏源视讯设备有限责任公司 虚拟演播室系统中前景景深识别装置及方法
GB0821996D0 (en) * 2008-12-02 2009-01-07 Musion Ip Ltd Mobile studio
GB0910117D0 (en) * 2008-07-14 2009-07-29 Holicom Film Ltd Method and system for filming
US8587682B2 (en) * 2010-02-12 2013-11-19 Nvidia Corporation Display system, method, and computer program product for capturing images using multiple integrated image sensors
EP2408191A1 (en) * 2010-07-16 2012-01-18 MediaScreen Bildkommunikation GmbH A staging system and a method for providing television viewers with a moving perspective effect
KR101270780B1 (ko) * 2011-02-14 2013-06-07 김영대 가상 강의실 강의 방법 및 장치
WO2013006170A1 (en) * 2011-07-06 2013-01-10 Hewlett-Packard Development Company, L.P. Telepresence portal system
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
WO2016041953A1 (en) * 2014-09-15 2016-03-24 Dmitry Gorilovsky A system comprising multiple digital cameras viewing a large scene
KR102583929B1 (ko) * 2017-02-24 2023-10-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108134890B (zh) * 2018-02-05 2023-12-19 广东佳码影视传媒有限公司 一种虚拟演播装置

Also Published As

Publication number Publication date
JP2022529417A (ja) 2022-06-22
MX2021011873A (es) 2022-01-04
CA3134758A1 (en) 2020-10-08
KR20210142722A (ko) 2021-11-25
WO2020198823A1 (pt) 2020-10-08
CN113692734A (zh) 2021-11-23
US20220150386A1 (en) 2022-05-12
EP3952267A4 (en) 2022-11-30
EP3952267A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
KR102235591B1 (ko) 정밀 멀티-뷰 디스플레이
US10375382B2 (en) System comprising multiple digital cameras viewing a large scene
US20180205936A1 (en) Stereoscopic 3d camera for virtual reality experience
US20200092536A1 (en) Systems and Methods for Creating an Immersive Video Content Environment
US9143724B2 (en) Telepresence portal system
CN105008995B (zh) 全立体成像
US9848184B2 (en) Stereoscopic display system using light field type data
CN103543596B (zh) 一种多面投影系统
JP2017505565A (ja) 多面映像の生成方法及びシステム
JP2016504819A (ja) 物理的オブジェクトから仮想的シーン内の仮想的オブジェクトをリアルタイムで取得して挿入する方法
KR20070103347A (ko) 360도 파노라마 카메라의 영상컨텐츠를 이용한 고해상도광시야각 대형 디스플레이 방법
WO2020198823A1 (pt) Sistema e método de captação e projeção de imagem, e, uso do sistema
CN105137705A (zh) 一种虚拟球幕的创建方法和装置
TWI746466B (zh) 沉浸式顯示器外殼
CN105787920A (zh) 球幕标定方法、标定系统及控制设备
CN109521576A (zh) 一种立体投影装置
US20160037148A1 (en) 3d-mapped video projection based on on-set camera positioning
JP2007323093A (ja) 仮想環境体験表示装置
US12101573B2 (en) System for capturing and projecting images, use of the system and method for capturing, projecting and inserting images
CN104038748A (zh) 多通道数据融合矫正方法
CN109727315B (zh) 一对多集群渲染方法、装置、设备及存储介质
TW201818142A (zh) 360度多視點投影成像裝置
WO2019146426A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
CN110400277A (zh) 一种球幕几何校正系统
Grogorick et al. Icg real-time stereo dome projection system

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]