BRPI0015403B1

BRPI0015403B1 - Método e aparelho para a inserção em tempo real de imagens em vídeo

Info

Publication number: BRPI0015403B1
Application number: BRPI0015403-2A
Authority: BR
Inventors: J. Overton Kenneth; S. Muench Mark; H. Hayden Charles; Jr.; S. Carmichael Norman
Original assignee: Vistas Unlimited, Inc.
Priority date: 1999-11-08
Filing date: 2000-11-07
Publication date: 2018-02-27
Also published as: CA2393803C; AU780494B2; MXPA02004712A; EP1250803A1; CA2393803A1; EP1250803B1; WO2001035641A9; JP2003514454A; IL149543A0; ATE401739T1; DE60039534D1; EP1981268B1; IL149543A; EP1981268A3; WO2001035641A1; EP1981268A2; AU1588101A; BR0015403A; ES2307538T3; JP4668500B2

Abstract

"método e aparelho para a inserção em tempo real de imagens em vídeo". a presente invenção compreende um sistema de inserção de imagem em tempo real para vídeo que utiliza um modelo tridimensional de ao menos uma área de alvo dentro de um local para identificar a área do alvo dentro de uma imagem de vídeo original do local, e produzir uma imagem do alvo e introduzir a mesma na área do alvo da imagem de vídeo. a área do alvo pode ser uma superfície real, existente do local ou uma superfície imaginária definida somente no modelo. o modelo é produzido a partir da posição e do ângulo de uma câmera que gera a imagem de vídeo. usando um modelo tridimensional do local para gerar a imagem do alvo, a imagem resultante com o material do alvo introduzido parece mais realística.

Description

(54) Título: MÉTODO E APARELHO PARA A INSERÇÃO EM TEMPO REAL DE IMAGENS EM VÍDEO (51) Int.CI.: H04N 5/272 (30) Prioridade Unionista: 08/11/1999 US 60/164,313 (73) Titular(es): VISTAS UNLIMITED, INC.

(72) Inventor(es): KENNETH J. OVERTON; MARK S. MUENCH; CHARLES H. HAYDEN, JR.; NORMAN S. CARMICHAEL tf·*

->♦· · · tf·· * « · ♦ ·

•. · .· ·· · · · ·

Relatório Descritivo da Faténié cfè Ibvençãa para MÉTODO E APARELHO PARA A INSERÇÃO EM TEMPO REAL DE IMAGENS EM VÍDEO

PEDIDOS RELACIONADOS

O presente pedido reivindica o benefício do Pedido de Patente Provisório dos Estados Unidos N^s 60/164.313 entitulado METHOD AND APPARATUS FOR REAL TIME INSERTION OF IMAGES INTO VIDEO, depositado em 8 de novembro de 1999.

CAMPO TÉCNICO DA INVENÇÃO

Esta invenção refere-se em geral ao campo da inserção de imagens em fluxos de imagens de vídeo em tempo real de modo que as imagens pareçam ser parte do fluxo de imagem de vídeo original.

FUNDAMENTO DA INVENÇÃO

Vários sistemas e métodos têm sido propostos para introduzir imagens estáticas e dinâmicas, tal como propaganda, em vídeo em tempo real. Uma referência, FR-A-2 730 837, expedida para Sciamma Dominique, requer um subsistema de câmara equipado com um sistema de controle de movimento acionando o subsistema de câmara. Este movimento caracteriza matematicamente os movimentos da câmara e o estado do sistema óptico e a distância dos objetos em uma cena. Desde que o sistema de controle de movimento direciona o movimento da câmara, é conhecido, em tempo real, o estado de cada câmara que ele controla e a posição da câmara no espaço deve ser conhecida antes que o evento aconteça. A inserção de imagem em tempo real em vídeo, levando em conta as oclusões, é um processo complexo que requer medidas e respostas em tempo real precisas durante os eventos tal como eventos de esporte, onde oclusões dos jogadores dos painéis alteram-se constantemente por todo o evento. Infelizmente, Sciamma Dominique não ensina ou sugere quaisquer detalhes necessários para entender e fazer sua invenção reivindicada. Em adição, a presente invenção não requer que a câmara seja controlada por um sistema de controle de movimento com o movimento acionado pelo mesmo. Ao invés disso, a presente invenção monitora os movimentos reais causados por um operador de câ2 • ···

V * · mara humano. Outra referência, WÕ*Ã-97iQ^82á((n:petlícfo ORAD), requer que seu aparelho adicionalmente inclua uma unidade de chroma-key operativa para detectar pelo menos uma cor chroma-key e na qual as cores chroma-key são ajustáveis para conformarem-se com a cor da superfície do chroma-key. Esta técnica é conhecida como colocação em tela azul e em vários casos, é imprecisa ao processar as oclusões demandando em tempo real presentes pelos eventos, tal como eventos de esporte, onde tal iluminação não é controlada. Estes sistemas e métodos da técnica anterior sofrem de várias desvantagens e problemas, vários dos quais são detalhados na Patente dos Estados Unidos N⁹ 5.892.554 para DiCicco, et al.

Sistemas e métodos mais atuais incluindo o revelado por DiCicco, et al., contam com técnicas de reconhecimento de padrão para identificar marcos divisórios dentro de uma imagem. As relações espaciais entre as marcas divisórias dentro da imagem de vídeo são utilizadas para localizar, dimensionar e orientar uma imagem introduzida. Esta maneira de se abordar possui vários problemas. Primeiro, ela é relativamente computacionalmente intensiva e portanto tende a requerer equipamento relativamente dispendioso. Segundo, ela não escala bem, significando que a inserção de várias imagens simultaneamente na mesma estrutura não é facilmente realizada. Terceiro, ela conta com informação bidimensional, reunida da imagem, para guia a inserção de uma imagem em uma cena tridimensional. O processo e criar uma imagem bidimensional a partir de um mundo tridimensional perde informação relacionando-se com a estrutura física do mundo. Por conseqüência, o material introduzido pode não parecer realístico.

SUMÁRIO DA INVENÇÃO

Um objetivo da presente invenção são métodos e aparelhos aperfeiçoados para introduzir imagens estáticas e dinâmicas em tempo real em fluxos de imagem de vídeo, os quais superem um ou mais problemas com os métodos e aparelhos da técnica anterior.

Um sistema de inserção de imagem para vídeo de acordo com a invenção utiliza um modelo tridimensional de pelo menos uma área do alvo dentro de um local. O modelo é produzido a partir da posição e do ângulo de uma câmara gerando uma imagemMe dehtrôíclà qàaíuma imagem é para ser introduzida. O modelo produzido é utilizado para identificar uma área do alvo dentro de uma imagem de vídeo original do local, produzir uma imagem de fundo esperada e produzir uma imagem, referida aqui dentro como uma imagem do alvo para inserção na área do alvo. A área do alvo pode ser uma superfície real existente do local, tal como, por exemplo, um guarda-lama em um rinque de hóquei. A área do alvo também pode ser uma superfície imaginária dentro do local definido e existente somente no modelo, por exemplo uma anúncio (virtual) pendurado no teto de uma arena. Por utilizar um modelo tridimensional do local para gerar a imagem do alvo, a imagem sintetizada resultante irá parecer mais realística.

Em uma modalidade preferida da invenção, um modelo tridimensional das áreas do alvo selecionadas dentro de um local é definido e produzido utilizando um software de projeto auxiliado por computador (CAD), baseado na posição e na perspectiva de uma câmara que gera o vídeo. Por manter o modelo simples, a produção não precisa ser computacionalmente intensa. As imagens do alvo a ser introduzido são colocadas no modelo, por exemplo, como mapas de textura de superfície. Informação suficiente para definir as perspectiva da câmara é coletada para cada estrutura dentro do vídeo. Produzir o modelo inclui a imagem de fundo esperada e a imagem do alvo que será introduzida. Uma máscara é facilmente gerada a partir da produção para remover a parte original da imagem dentro da área do alvo e para introduzir a imagem do alvo nesta área. A informação em relação à perspectiva de uma câmara pode ser coletada utilizando-se sensores na câmara ou na montagem da câmara e sincronamente codificada no sinal de vídeo. A inserção da imagem portanto pode acontecer a jusante, por exemplo, em uma local afiliado de uma rede de televisão que está recebendo uma alimentação de vídeo para um evento que está sendo difundido. O sistema a jusante teria que ser proporcionado com somente o modelo do local e poderia ter uma base de dados de imagens do alvo diferentes adicionadas ao modelo. Portanto, a propaganda introduzida pode ser construída junto a uma audiência local. Em adição, desde que a informação em relação à perspecti4 va da câmara seja codificada no sinalidè â/ide^.e.pôlSácfto.èstá disponível quando quer e onde quer que o sinal de vídeo esteja disponível, imagens do alvo diferentes podem ser introduzidas quando o sinal de vídeo é novamente difundido em momentos posteriores. Portanto, a inserção da propaganda pode ser construída na hora da difusão, ou da nova difusão.

Estes e objetivos e vantagens adicionais da invenção serão aparentes a partir da descrição seguinte de uma modalidade preferida da invenção, feita com referência aos desenhos anexos.

BREVE DESCRIÇÃO DOS DESENHOS

Para um entendimento mais completo da presente invenção, os objetivos e vantagens da mesma, agora é feita referência às descrições seguintes feitas em conexão com os desenhos acompanhantes, nos quais:

A FIGURA 1 é uma representação esquemática de um sistema de inserção de imagem em tempo real para vídeo.

A FIGURA 2 é um fluxograma de um processo para introduzir em tempo real imagens em vídeo gerado por uma câmara.

A FIGURA 3 é um diagrama de fluxo de um processo para uma etapa de processamento de oclusão no processo da FIGURA 2.

A FIGURA 4 é um exemplo de uma imagem de vídeo gerada por uma câmara de vídeo antes da inserção de uma imagem do alvo.

A FIGURA 5 é uma produção de um modelo de um local no qual a imagem de vídeo da FIGURA 4 foi pega, no qual é definida uma área contendo uma imagem de referência.

A FIGURA 6 é uma produção do modelo do local da FIGURA 5 com uma imagem alvo introduzida na área do alvo predefinida.

A FIGURA 7 é uma imagem contendo uma produção do modelo do local com a imagem de referência, produzida a partir da mesma posição e ângulo da câmara gerando a imagem e vídeo da FIGURA 4.

A FIGURA 8 é uma imagem contendo uma produção do modelo do local com a imagem do alvo, produzida a partir da mesma posição e ângulo da câmara gerando a imagem de vídeo da FIGURA 4.

A FIGURA 9 é uma máscara de processamento da área do alvo

1ΐ± gerada a partir da imagem da FIGURA ?. : j .·. ·/ “··?

A FIGURA 10 é uma imagem de referência mascarada gerada por se aplicar a máscara da FIGURA 9 para a imagem da FIGURA 7.

A FIGURA 11 é uma imagem de fundo mascarada gerada por se aplicar a máscara da área do alvo da FIGURA 9 para a imagem de vídeo original da FIGURA 4.

A FIGURA 12 é uma imagem da área do alvo mascarada gerada por se aplicar a máscara da área do alvo da FIGURA 9 para a imagem de vídeo original da FIGURA 4.

A FIGURA 13 é uma imagem do alvo mascarada gerada por se aplicar a máscara da área do alvo da FIGURA 9 para a imagem do alvo da

FIGURA 8.

A FIGURA 14 é uma imagem de oclusão gerada por se comparar a imagem da área do alvo mascarada da FIGURA 12 com a imagem de referência mascarada da FIGURA 10.

A FIGURA 15 é uma imagem que é gerada pela combinação da imagem do alvo mascarada da FIGURA 13 com a imagem de fundo mascarada da FIGURA 11.

A FIGURA 16 é uma imagem composta final, contendo uma imagem do alvo introduzida, que é gerada pela combinação da imagem de oclusão da FIGURA 14 com a imagem da FIGURA 15.

A FIGURA 17 é um processo para inserção em tempo real de imagens em vídeo à jusante de um primeiro processo de inserção de imagem.

DESCRIÇÃO DETALHADA DOS DESENHOS

Números iguais referem-se a elementos iguais na descrição seguinte.

Uma aplicação para um sistema de inserção de imagem em tempo real para vídeo de acordo com a presente invenção é em uma difusão ao vivo de um evento de esporte ou de entretenimento ou semelhante a partir de um estádio, arena, trilha, curso ou de outra jurisdição de esportes ou de entretenimento. Portanto, tal sistema é descrito abaixo em conexão com ·· · · .: :·· : ·’· ’*· este pedido. Apesar deste sistema dá iisi.áái;jãi>. ete Imâgeoí ter vantagens particulares quando utilizado nesta aplicação, ele também pode ser utilizado em outras aplicações.

Referindo-se à FIGURA 1, um sistema de inserção de imagem em tempo real 100 para vídeo é esquematicamente representado por seus componentes funcionais primários. Estes componentes são implementados como uma combinação de hardware e software e não são pretendidos de representar componentes de hardware ou de software separados ou como sendo limitados a qualquer implementação particular a não ser que de outro modo citado. O sistema de inserção de imagem 100 recebe um sinal de vídeo a partir de um sistema de produção de vídeo 102. O sistema de produção e vídeo 102 seleciona um sinal de vídeo a partir do sistema de câmara de vídeo 104 ou de um de uma pluralidade de outros sistemas de câmara 106. O sinal de vídeo selecionado será então proporcionado para o sistema de inserção 100 para inserção de imagens, tal como propaganda. O sistema de inserção de imagem pode estar localizado com o sistema de produção de vídeo, por exemplo, em uma instalação de produção móvel. Ele pode também estar remotamente em uma instalação de produção central ou mesmo adicionalmente à jusante, tal como em uma estação de televisão local ou operador de cabo. Altemativamente, a inserção de imagem pode acontecer antes da seleção de um sinal de vídeo, por exemplo, pela inserção de imagens no sinal de vídeo a partir de cada sistema de câmara antes de ele ser proporcionado para o sistema de produção.

A operação do sistema de inserção de imagem 100 será adicionalmente descrita em conjunto com o fluxograma da FIGURA 2, que representa um processo de inserção de imagem que pode acontecer, por exemplo, no sistema de inserção de imagem 100.

Referindo-se agora às FIGS. 1 e 2, o sistema de câmara 104 gera, na etapa 202, um sinal de vídeo codificado com os dados de telemetria indicando pelo menos onde a câmara está apontado em relação a uma estrutura tridimensional conhecida ou predefinida de referência de um local. O sistema de câmara inclui uma câmara de vídeo convencional 108 conectada • > * ; i ' - ^Λ * -> ·„ com uma montagem da câmara 11õ.*ATnoritqgçjp inclui sensores que geram informação indicando o azimute e a elevação, ou algumas outras coordenadas definindo a direção do eixo focal da câmara 108. Esta informação de telemetria é proporcionada para o processador e codificador de telemetria 112. A câmara 108 ou alguns outros sensores ligados também proporciona para o processador e codificador de telemetria informação de telemetria adicional indicando o comprimento e abertura focal da lente da câmara. O comprimento focal irá variar com o grau de aproximação da lente. A abertura irá variar com a alteração nas condições de luz. Opcíonalmente, um sistema e posicionamento de satélite global 114 pode também proporcionar informação para o processamento e codificador de telemetria indicando a posição da câmara em termos de sua longitude, latitude e elevação. A posição da câmara pode ser facilmente determinada e pode ser permitida de mover-se ao invés do que permanecer fixa em uma localização predefinida. Utilizando um sinal de sincronização de vídeo proporcionado pela câmara, o processador e codificador de telemetria gera um sinal de dados que pode ser sincronizado com a imagem de vídeo gerada pela câmara. Este sinal de dado codifica a informação de telemetria para cada estrutura do sinal de vídeo gerado pela câmara. Um combinador de vídeo/telemetria 116, que pode ser parte do processador de telemetria, então combina o sinal de dados com o sinal de vídeo. Com a informação de telemetria sincronamente codificada no sinal de vídeo, é proporcionada informação suficiente para permitir que imagens sejam introduzidas no sinal em qualquer ponto à jusante do sistema de câmara.

Uma vez que o sistema de inserção de vídeo 100 recebe um sinal de vídeo codificado, um separador de vídeo/telemetria 118 extrai, como indicado pela etapa 204, os dados de telemetria para uma imagem particular dentro do sinal de vídeo. O sinal de vídeo é adicionalmente codificado por um decodificador/buffer de vídeo 119 para extrair e armazenar uma imagem de vídeo de cada estrutura do sinal de vídeo. Um exemplo de uma imagem de vídeo gerada por uma câmara é ilustrado como a imagem de vídeo 400 na FIGURA 4. Este exemplo particular é de um jogo de hóquei no gelo. Ele

inclui um guarda-lama 402, um prir&êirõ jogàçfof.de 4Ê)4 e um segundo jogador de hóquei 406. A operação do sistema de inserção de imagem 100 e do processo de inserção de imagem da FIGURA 2 será descrita abaixo com referência à imagem 400. Entretanto, o processo de inserção de imagem será repetido para uma imagem de vídeo em cada estrutura sucessiva, pelo menos até a extensão das alterações da imagem entre as estruturas.

O controlador 120 representa uma entidade de software e de hardware, ou uma coleção de entidades, que coordenam os processos ocorrendo dentro dos componentes funcionais do sistema de inserção de imagem 100. Utilizando os dados de telemetria e outras informações descrevendo um evento ocorrendo no local, por exemplo, o número de turno de um jogo e beisebol, o placar ou outra informação no fluxo de um jogo de esportes, o controlador 120 acessa na etapa 206 as regras de imagem predefinidas na base de dados 122 para determinar, baseado pelo menos em parte em um identificador de câmara embutido nos dados de telemetria, que imagem ou imagens - referidas aqui dentro como imagens do alvo - são para serem introduzidas em uma imagem de vídeo particular na estrutura de um sinal de vídeo. A imagem do alvo pode ser, por exemplo, propaganda que será introduzida em uma superfície pré-selecionada - real ou imaginária dentro da imagem de vídeo original. A área do local, no qual a imagem do alvo é para ser introduzida, quer seja uma superfície de um objeto real ou definida como uma superfície ou objeto imaginário, é referida como uma área do alvo. Tendo as regras predefinidas permite-se que uma imagem do alvo pré-selecionada seja introduzida automaticamente dependendo de critérios predefinidos. Por exemplo, uma imagem do alvo pode alterar-se em tempos ou períodos predefinidos, ou baseado na condição do evento sendo teledifundido. Um diretor de propaganda, por exemplo, também pode monitorar e controlar os processos de inserção durante um evento utilizando um console do diretor 123. O console irá incluir o software e o hardware para informar os comandos e dados para o controlador 120. Por exemplo, o diretor pode proporcionar ao sistema com informação com respeito ao estado do · · V V · · · · * evento no local, se tal informação nãct.èsiivêc ÉJê ©ufro :Q5Qcéo disponível a ⁵ · ········ ····· partir de uma base de dados. O diretor também pode anular as regras de jnserção de imagem na base de dados 122 e manualmente selecionar o material do alvo para inserção, ou pode modificar as regras dinamicamente. O diretor de propaganda também pode configurar e manter bases de dado que mantém as imagens do alvo. O console do diretor de propaganda irá incluir monitores de modo que o diretor pode monitorar o vídeo antes da inserção das imagens do alvo. O console do diretor também pode permitir ao diretor modificar as bases de dados armazenando os modelos CAD para as imagens de referência e para as imagens do alvo, que são descritas abaixo e para monitorar e ajustar etapas do processo de inserção do alvo, incluindo a produção da imagem do alvo e da imagem de vídeo final, como descrito abaixo.

Na etapa 208 do processo da FIGURA 2, para cada área do alvo dentro da imagem de vídeo, uma imagem de referência dentro de uma área do alvo predefinida no local e uma imagem do alvo são produzidas baseado em um modelo de referência predefinido da área do alvo do local. Mais do que uma área do alvo pode ser definida e aparecer em qualquer dada imagem e vídeo. O modelo é, de preferência, um modelo de projeto assistido por computador (CAD) que define superfícies (reais ou imaginárias) das áreas do alvo matematicamente, permitindo ao modelo ser produzido em uma imagem a partir de qualquer ângulo. Os dados de telemetria extraídos a partir do sinal de vídeo permitem ao modelo ser produzido a partir de um ponto de vista que é substancialmente o mesmo que a vista da câmara gerando a imagem de vídeo. Esta produção, que é de fato uma imagem sintetizada das áreas do alvo do local que está alinhada com a imagem de vídeo, é então utilizada para guiar a inserção das imagens do alvo nas áreas do alvo da imagem de vídeo. Se a posição da câmara se alterar entre as estruturas, esta produção acontece para cada estrutura. Entretanto, se ela não se alterar entre as estruturas, as produções para a estrutura anterior podem ser utilizadas.

Referindo-se resumidamente também às FIGS. 4, 5 e 6, a ima10 qem 502 da FIGURA 5 é um exemplo ctè úrrB:prôdtiçao3de:Ltm’fnodelo pre ····'«··*······· • · » ····· ·· · definido do local, no qual a imagem de vídeo apresentada na FIGURA 4 foi pega. Um sistema de projeto assistido por computador (CAD), que pode ser um software CAD padrão, comercialmente disponível, executando em um computador, gera a produção do modelo predefinido. Observe que a produção não é feita a partir da mesma posição e ângulo da câmara como a imagem de vídeo da FIGURA 4. A área do alvo neste exemplo é uma área predefinida 504 da superfície do guarda-lama 402. O modelo também poderia ter superfícies imaginárias definidas como áreas do alvo. Por exemplo, o modelo poderia ter definido a posição de um anúncio imaginário pendurado a partir do teto da arena de hóquei. Uma superfície da área do alvo, real ou imaginária, não necessita ser plana. Nesta figura, a área do alvo foi produzida com uma imagem de referência. Uma imagem de referência é a aparência de uma superfície da área do alvo dentro do local real que será utilizada para o processamento de oclusão. A imagem de referência pode ser armazenada, por exemplo, como uma imagem de mapa de bits que é introduzida dentro do modelo produzido. Neste exemplo particular, ela é uma parede branca em branco. Entretanto, ela poderia ser uma propaganda afixada junto à superfície da área do alvo. O modelo de referência do local com as imagens de referência para cada área do alvo é armazenado em um primeiro arquivo CAD 124 apresentado na FIGURA 1. O sistema de inserção de imagem 100 também armazena o modelo com as imagens do alvo embutidas nas áreas do alvo em um segundo arquivo CAD 126, também apresentado na FIGURA 1. A imagem 602 da FIGURA 6 é uma produção do mesmo modelo que o da FIGURA 5, mas com uma imagem do alvo 604 introduzida na área do alvo 504.

Referindo-se novamente às FIGS. 1 e 2, o produtor de modelo CAD 128 produz uma imagem de linha base do modelo CAD armazenado no arquivo CAD 124, baseado nos dados de telemetria a partir da câmara para a imagem de vídeo 400 apresentada na FIGURA 4. A imagem de linha base 700 da FIGURA 7 inclui a imagem de referência da área do alvo 506 introduzida na área do alvo 504. Como anteriormente descrito, os dados de tele11 ίχγ metria indica os parâmetros de interésrfiçaçãpj :ângçrio;.çltsiância focal e • · · ····· ·· · abertura da câmara pegando a imagem de vídeo. Eles também podem, se a localização da câmara não for fixa, indicar a posição da câmara. De forma similar, utilizando os mesmos dados de telemetria, o produtor de modelo CAD 130 gera uma imagem 800, apresentada na FIGURA 8, contendo uma produção do modelo CAD armazenado no arquivo 126. Esta imagem inclui o material do alvo 604 introduzido na área do alvo 502. Os produtores de modelo CAD 128 e 130 não são componentes separados, mas representam processo ou instâncias de produção de imagem diferentes do mesmo mecanismo de produção 132. Estes processos podem ocorrer seqüencialmente, em nenhuma ordem particular, ou concorrentemente. Entretanto, os produtores podem ser implementados utilizando mecanismo e produção CAD separados ou o mesmo ou em computadores diferentes, se desejado.

A etapa 208 do processo de inserção de imagem apresentado na FIGURA 2 também inclui gerar uma máscara da área do alvo. A FIGURA 9 ilustra a imagem da máscara 900 para a imagem de vídeo ilustrativa 400 da FIGURA 4. A máscara da área do alvo é gerada por um construtor de máscara 134 utilizando a imagem de referência gerada pelo produtor de modelo 128. Para gerar a máscara, todos os pixels dentro das áreas do alvo são estabelecidos para um valor predefinido e todos os pixels fora da área do alvo estabelecidos para outro valor predefinido. Na imagem de máscara 900, uma área em branco envolve uma área branca que define a área do alvo 502.

A máscara da área do alvo é utilizada para vários propósitos em conexão com a etapa do processamento de oclusão 210 da FIGURA 2, cujos detalhes são ilustrados pelo fluxograma da FIGURA 3. Referindo-se agora às FIGS. 1 e 3, a máscara do alvo é utilizada na etapa 302 pelo separador de imagem de referência da área de fundo/alvo 138 para separar ou máscarar cada imagem de referência da área do alvo dentro da imagem de linha base gerada pelo produtor de modelo 128. No exemplo ilustrado na FIGURA 7, a máscara será utilizada para separar a imagem de referência da área do alvo 506 dentro da imagem de linha base 700 do resto da imagem, resultan12 ·· · · · · ··· · · ··· do em uma imagem de linha base mascâraiJá ?(3Cía’ápreáerfafcla jia FIGURA · ···*··*······· • · · ····* · · ·

10. A máscara do alvo é utilizada na etapa 304 para localizar e separar dentro da imagem de vídeo original as áreas do alvo do resto das áreas que não são do alvo da imagem, as quais serão referidas como fundo. Esta função é executada pelo separador de área de fundo/do alvo 136. A FIGURA 11 e a FIGURA 12 ilustram as duas imagens que resultam da separação do fundo da área do alvo na imagem de vídeo original 400 apresentada na FIGURA 4. A FIGURA 11 é uma imagem de fundo mascarada 400a, a qual inclui toda a imagem de vídeo original, exceto esta parte dentro da área do alvo 502, que está em branco. A FIGURA 12 é uma imagem da área do alvo mascarada 400b, a qual inclui uma parte 1200 da imagem original 400 que cai dentro da área do alvo 502. A máscara também é utilizada pelo separador de fundo/alvo 140 para separar as imagens do alvo dentro da imagem produzida pelo produtor de modelo 130. No exemplo ilustrado na FIGURA 8, a imagem do alvo 604 será separada do restante da imagem 800, resultando em uma produção de imagem do alvo mascarada 800a apresentada na FIGURA 13 contendo a imagem do alvo 802. Os separadores de imagem 136, 138 e 140 podem ser implementados utilizando um único sistema de separação de imagem 142.

As etapas 306 e 308 são realizadas pelo separador de oclusão 144. No exemplo de imagem de vídeo 400 da FIGURA 4, parte do primeiro jogador de hóquei está cobrindo uma parte do guarda-lama 402 onde o material do alvo é para ser introduzido. De modo a introduzir o material do alvo, a parte do jogador de hóquei dentro da área do alvo, que é referida como uma oclusão, deve ser separada do resto da área do alvo da imagem original e então sobreposta na imagem do alvo uma vez que a imagem do alvo é introduzida na imagem de vídeo. Para fazer esta separação, o separador de oclusão 144 compara na etapa 306 a imagem da área do alvo mascarada com a imagem de referência mascarada. Quaisquer diferenças são presumidas como sendo oclusões, isto é, imagens de objetos entre a câmara e a superfície definida da área do alvo na qual a imagem será introduzida. Pequenas diferenças entre a imagem de referência mascarada e a imagem do alvo mascarada introduzidas por ruídò^: e3efroriico’:nè. <sârwa\podem ser • Λ ΛΛΛΛΛΛΛΛ Λ Λ Λ Λ Λ ⁹ acomodadas utilizando uma série de técnicas normalmente praticadas no campo de processamento de imagem, por exemplo, a supressão de região pequena. O posicionamento impreciso da área do alvo devido a erros no sistema de medida de telemetria pode ser acomodado pela filtragem dos dados de telemetria utilizando técnicas de rastreamento do alvo normalmente praticadas, por exemplo, a filtragem Kalman. No exemplo ilustrado, a imagem da área do alvo mascarada 400b, apresentada na FIGURA 12, é comparada com a imagem de linha base mascarada 700a, apresentada na FIGURA 10. A imagem de oclusão resultante 400c apresentada na FIGURA 14 inclui somente a oclusão, que são as partes do jogador de hóquei 404 caindo dentro da área do alvo. O resto da imagem é branca. O separador de oclusão também cria uma máscara de oclusão na etapa 308. A máscara de oclusão identifica as partes dentro da imagem original que constituem as oclusões. No exemplo, a máscara de oclusão é gerada a partir da imagem de oclusão 400c da FIGURA 14.

Referindo-se agora somente às FIGS. 1 e 2, a imagem de fundo mascarada, a imagem do alvo mascarada e a imagem de oclusão são combinadas na etapa 212 pelo combinador de imagem 146 para formar uma imagem composta na qual o material do alvo foi introduzido na imagem original. No exemplo ilustrado, a imagem de fundo mascarada 400a, apresentada na FIGURA 11 e a imagem do alvo mascarada 800a, apresentada na FIGURA 13, são primeiro combinadas para gerar a imagem 400d, apresentada na FIGURA 15. A imagem de oclusão 400c é então combinada com a imagem 400d para produzir a imagem final 400e, apresentada na FIGURA

16. A imagem final inclui a imagem do alvo 604 introduzida na área do alvo

502.

Na etapa 214 do processo de inserção de imagem da FIGURA 2, a imagem final é introduzida em uma estrutura de um sinal de vídeo pelo buffer e codificador de vídeo 148. O sinal de vídeo também é codificado com a máscara de oclusão que foi gerada pelo separador de oclusão, a telemetria descrevendo a posição e o ângulo da câmara originalmente gerando o vídeo e opcionalmente, outras informações â.txjridj^ão do jogo.

• · ♦ · ··· · · · ·

Isto permite que um sistema de inserção de imagem localizado à jusante separar mais facilmente as oclusões dentro da imagem para substituir as imagens do alvo introduzidas à montante com imagens do alvo diferentes. Por exemplo, se a imagem do alvo for propaganda, um afiliado local pode introduzir propaganda direcionada para o mercado local em particular em vez da propaganda original. A informação de telemetria para a imagem de vídeo particular também é sincronamente codificada dentro do sinal para permitir a inserção da imagem à jusante. A informação introduzida pode ser criptografada para impedir seu uso para outros diferentes dos propósitos pretendidos.

A FIGURA 17 ilustra um processo de inserção de uma imagem à jusante. Um sistema de inserção de imagem utilizado em uma localização à jusante é substancialmente similar a este apresentado na FIGURA 1. O processamento de inserção de imagem à jusante, se desejado, começa na etapa 1702 com a extração de uma estrutura de um sinal de vídeo, uma imagem de vídeo e a informação de telemetria sincronizada para a imagem. Esta etapa é executada de uma maneira similar a esta da etapa 204 na FIGURA 2. Na etapa 1704, a máscara de oclusão é extraída da estrutura. Na etapa 1706, regras de inserção locais são acessadas baseado na identificação da câmara contida nos dados de telemetria. Esta etapa é executada de uma maneira similar a esta da etapa 206 da FIGURA 2. Da mesma maneira que o processo da etapa 208 da FIGURA 2, o sistema de inserção de imagem local produz na etapa 1708 uma imagem do local contendo a imagem do alvo baseado em um modelo predefinido do local contendo a imagem. Este é o mesmo modelo básico do local que é utilizado à montante. Entretanto, imagens do alvo diferentes podem ser embutidas no mesmo. Uma máscara da área do alvo também é então gerada. Na etapa 1710, o processamento de oclusão e a combinação de imagem acontece. Eles são similares em vários aspectos às etapas do processamento de oclusão 210 e 212 da FIGURA 2. Uma imagem de fundo mascarada da imagem de vídeo recebida é gerada utilizando a máscara da área do alvo. Uma imagem de oclu15 são também é gerada a partir da imaegért Mdeo^eèÃtHariJtilizando a • · ···· · ·· ····· • · · · ··· · · · · máscara de oclusão extraída. Diferente do processo da FIGURA 2, nenhuma imagem de referência mascarada necessita ser gerada para criar uma imagem de oclusão. A imagem de fundo mascarada e a imagem do alvo masca5 rada são combinadas e então a imagem de oclusão é combinada com esta imagem para gerar uma imagem composta final. A imagem composta é então introduzida em uma estrutura em um sinal de vídeo para transmissão na etapa 1712.

A descrição anterior é feita com referência às modalidades ilus10 trativas da invenção. Entretanto, uma modalidade pode ser modificada ou alterada sem sair do escopo da invenção, escopo este que é definido somente pelas reivindicações anexas.

1/3

Claims

REIVINDICAÇÕES

1. Método para introduzir uma imagem do alvo em um fluxo de imagem de um local real tomado por uma câmara (108), caracterizado por compreender:

5 receber um fluxo de imagens originais tomadas por uma câmara (108) de um local real;

para cada imagem original no fluxo de imagem, identificar uma área de fundo (402) dentro da imagem original (400) de pelo menos uma área do alvo (502, 504) na qual uma imagem do 10 alvo (604) será introduzida;

calcular a posição e direção de apontamento de uma câmara; produzir, para cada pelo menos uma área do alvo (504), uma imagem do alvo (604) baseado em pelo menos um modelo tridimensional predefinido de pelo menos uma área do alvo dentro do local e a posição e a

15 direção de câmara calculadas;

identificar oclusões (400c) dentro da pelo menos uma área do alvo (504) da imagem original (400); e combinar o fundo da imagem original, a pelo menos uma imagem do alvo (604) e a imagem das oclusões (400c) em uma imagem de 20 saída (400e).
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que identificar uma área de fundo (402) dentro da imagem original (400) inclui identificar pelo menos uma área do alvo (504) dentro da imagem (400) baseado em um modelo predefinido de superfícies selecionadas do

25 local e da posição e da direção de indicação da câmara.
3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de que a identificação de pelo menos uma área do alvo (502, 504) dentro da imagem (400) compreende:

receber parâmetros da câmara, os parâmetros da câmara 30 incluindo parâmetros indicando a direção de indicação da câmara (108);

produzir o modelo predefinido a partir da posição da câmara, baseado nos parâmetros da câmara; e

Petição 870170032350, de 16/05/2017, pág. 4/9

2/3 gerar a partir da etapa de produção uma máscara (900) para definir a área do alvo (502, 504) dentro da imagem (400).
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que os parâmetros da câmara incluem parâmetros indicando a
5 posição da câmara dentro do local.

5. Método, de acordo com a reivindicação 3, caracterizado pelo fato de que a posição da câmara é predefinida dentro do modelo.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a produção, para pelo menos uma área do alvo (502, 504), de

10 uma imagem do alvo (604) compreende:

receber parâmetros da câmara, os parâmetros da câmara incluindo parâmetros indicando a direção de indicação da câmara (108); e produzir um modelo predefinido baseado pelo menos em parte nos parâmetros da câmara.

15
7. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que a posição da câmara é predefinida dentro do modelo.
8. Método, de acordo com a reivindicação 6, caracterizado pelo fato de que os parâmetros da câmara incluem parâmetros indicando a posição da câmara dentro do local.

20
9. Método, de acordo com a reivindicação 8, caracterizado pelo fato de que os parâmetros da câmara são codificados em um sinal de vídeo gerado pela câmara (108).
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que identificar as oclusões (400c) dentro da imagem (400) da

25 área do alvo (502, 504) inclui:

produzir o modelo predefinido do local com uma imagem de referência (506) introduzida em cada uma da pelo menos uma das área de pelo menos um alvo (502, 504); e comparar a imagem de referência (506) com a área do alvo

30 (502, 504) dentro da imagem original (400).
11. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que adicionalmente inclui codificar a imagem de saída e os

Petição 870170032350, de 16/05/2017, pág. 5/9

3/3 parâmetros da câmara em um sinal de vídeo de saída, os parâmetros da câmara incluindo parâmetros indicando a direção de indicação da câmara (108).
12. Aparelho para introduzir uma imagem do alvo em vídeo de um local real tomado por uma câmara (108), caracterizado por compreender:

um produtor de modelo (130) para gerar uma imagem sintética baseado em um modelo de referência tridimensional predefinido de uma área do alvo dentro de um local de uma posição calculada de uma câmara (108), a imagem sintética possuindo uma imagem do alvo (604) introduzida na área do alvo (502, 504);

um separador de imagem (136, 138, 140) para máscarar a partir de uma imagem de vídeo contida dentro de uma estrutura de um sinal de vídeo gerado pela câmara (108), a área do alvo (502, 504) para criar uma imagem de fundo mascarada (400a); e um combinador de imagem (146) para combinar a uma imagem de fundo mascarada (400a) com a imagem do alvo (604).
13. Aparelho, de acordo com a reivindicação 12, caracterizado pelo fato de que adicionalmente compreende:

um segundo produtor de modelo (128) para gerar uma segunda imagem sintética baseado no modelo de referência predefinido do local, a segunda imagem sintética possuindo uma imagem de referência (506) introduzida na área do alvo (502, 504); e um separador de oclusão (144) para comparar a imagem de referência (506) da segunda imagem sintética com a área do alvo (502, 504) da imagem de vídeo (400) e gerar uma imagem das oclusões (400c) dentro da área do alvo (502, 504) da imagem de vídeo (400);

onde o combinador (146) adicionalmente combina a imagem das oclusões (400c) com a imagem de fundo mascarada (400a) e com a imagem do alvo (604).

de 16/05/2017, pág. 6/9

1/6 [^104 • «ί β * υ· w a- V V ü · -j ·· · · £ C · ···

106 ^Outras câmaras

102

Z

Sistema de produção

112

Combinador de vídeo / telemetria

Processador codificador de / telemetria

Câmarar ¹⁰⁸

110

Montagem da

--sâmaia.

GPS

114

Separação de vídeo / telemetria Regras predefinidas

118

122

120123 z

Console do diretor

Controlador

Modelo CAD de referência para jurisdição r

Telemetria¹

Decodificador / buffer de vídeo ~~r

119

Produtor de modelo CAD com imagem de referência

130-x M28

134

Construtor de máscara

Separador de área de fundo / do alvo

136

Separador de imagem de referência de área de fundo / do alvo

138 ’V

142

F

Modelo CAD para jurisdição com imagem do alvo •—

Produtor de modelo CAD com imagem do alvo 'V

132

Separador de imagem de fundo / do alvo

140

126

Separador de oclusão v

144

146

Combinador de imagem

148

Buffer / codificador de vídeo