BR112016003927B1 - Método e sistema para realizar uma produção de vídeo - Google Patents

Método e sistema para realizar uma produção de vídeo Download PDF

Info

Publication number
BR112016003927B1
BR112016003927B1 BR112016003927-0A BR112016003927A BR112016003927B1 BR 112016003927 B1 BR112016003927 B1 BR 112016003927B1 BR 112016003927 A BR112016003927 A BR 112016003927A BR 112016003927 B1 BR112016003927 B1 BR 112016003927B1
Authority
BR
Brazil
Prior art keywords
component
image frame
frames
image
panoramic
Prior art date
Application number
BR112016003927-0A
Other languages
English (en)
Other versions
BR112016003927A2 (pt
Inventor
Sagas Sergi
Bennassar Joan
Valverde Antoine
Torrent Gerard
Original Assignee
Mediaproduccion, S.L.U
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mediaproduccion, S.L.U filed Critical Mediaproduccion, S.L.U
Publication of BR112016003927A2 publication Critical patent/BR112016003927A2/pt
Publication of BR112016003927B1 publication Critical patent/BR112016003927B1/pt

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

MÉTODO E SISTEMA PARA REALIZAR UMA PRODUÇÃO DE VÍDEO. Trata-se de um método e de um sistema para gerar uma produção de vídeo de um evento, que podem ser implantados automaticamente em tempo real e com mínima intervenção do operador, sendo que o método compreende: receber uma pluralidade de sinais de vídeo de um evento, em que cada sinal de vídeo compreende uma pluralidade de quadros de imagem, cada quadro de imagem corresponde a uma vista do evento; receber pelo menos uma condição predefinida associada ao evento; selecionar uma seção de pelo menos um dentre a pluralidade de quadros de imagem com base na pelo menos uma condição predefinida para gerar pelo menos um quadro de imagem de saída; e gerar uma produção de vídeo a partir do pelo menos um quadro de imagem de saída.

Description

[001] A presente invenção refere-se a um método e a um sistema para gerar uma produção de vídeo.
[002] Nas modalidades, a presente invenção se refere, particularmente, a um método e a um sistema para gerar um vídeo panorâmico para uso a fim de gerar uma produção de vídeo de um evento de interesse público com mínima ou nenhuma intervenção de operador e/ou em tempo real à medida que um evento ocorre
[003] A cobertura de televisão de muitos eventos de interesse público, incluindo eventos esportivos, tais como, partidas de futebol, exige tipicamente muitas câmeras de vídeo e muitos operadores de câmera. No exemplo de uma partida de futebol, cada operador de câmera que opera uma câmera segue a ação dentro e fora do campo de jogo, tanto através do movimento panorâmico ou da ampliação por uma câmera de vídeo para acompanhar a bola, os jogadores ou os espectadores à medida que se movem dentro e fora do campo de jogo. Então, os sinais de vídeo das imagens capturadas são transmitidos a um centro de controle, em que um diretor pode visualizar as imagens de cada sinal de vídeo. O diretor também pode se comunicar com o operador de câmera para fornecer instruções sobre como uma câmera particular deve ser operada, e pode selecionar ou combinar os sinais de vídeo a fim de produzir uma apresentação para difusão. Tal operação de difusão exige necessariamente uma grande quantidade de mão-de-obra, equipamento e assistência técnica; sendo que tudo isso soma ao custo final de produção da difusão. Em particular, um equipamento, tal como, óptica grande-angular usadas para capturar um amplo campo de visão de um evento, pode ser proibitivamente dispendioso.
[004] Para eventos de grande escala com apoio financeiro suficiente, a grande quantidade de recursos exigidos para produzir uma difusão de vídeo não uma grande preocupação. No entanto, para eventos de pequena escala com apoio financeiro limitado, os custos proibitivamente altos de produção de difusão significam, tipicamente, que o evento não é coberto, portanto, não televisionado.
[005] Para os organizadores de eventos de pequena escala ou de eventos que não dispõem de grande popularidade, poder televisionar um evento pode aumentar, em muitos casos, a exposição do evento ou dos organizadores. Por sua vez, a exposição aumentada atrai interesse público, o que pode servir para levantar o perfil do evento e, subsequentemente, pode ser utilizado para atrair patrocinadores e financiamento.
[006] Portanto, há uma necessidade de um método e sistema aprimorados para reduzir os custos e recursos necessários para realizar uma produção de vídeo de um evento adequado para difusão.
[007] De acordo com outro aspecto da presente invenção, é fornecido um método para gerar uma produção de vídeo de um evento, sendo que o método compreende: receber uma pluralidade de sinais de vídeo de componente de um evento, sendo que cada sinal de vídeo de componente compreende uma pluralidade de quadros de imagem de componente, em que cada quadro de imagem de componente corresponde a uma seção de uma vista panorâmica do evento; costurar entre si os quadros de imagem de componente temporariamente correspondentes de cada sinal de vídeo para gerar uma pluralidade de quadros de imagem panorâmica; selecionar uma seção de cada quadro de imagem panorâmica com base na pelo menos uma condição predefinida associada ao evento para gerar uma pluralidade de quadros de imagem de saída; gerar uma produção de vídeo a partir da pluralidade de quadros de imagem de saída.
[008] Portanto, a presente invenção fornece um método que gera quadros de imagem de amplo campo de visualização sem a necessidade de uma óptica grande- angular dispendiosa. O método também possibilita que uma produção de vídeo seja produzida com mínima ou nenhuma intervenção de operador e pode ser implantada automaticamente em tempo real para capturar imagens de vídeo de uma ampla variedade de eventos.
[009] Nas modalidades, uma dentre as condições predefinidas é selecionar uma seção de cada quadro de imagem panorâmica que contêm uma área de interesse associada ao evento.
[010] Alternativa ou adicionalmente, a etapa de seleção inclui adicionalmente identificar pelo menos um objeto de imagem no pelo menos um quadro de imagem, e em que a seção do pelo menos um quadro de imagem panorâmica que contém o pelo menos um objeto de imagem. Em particular, para mais de um objeto de imagem identificado em pelo menos um quadro de imagem panorâmica, a etapa de seleção inclui adicionalmente: determinar as posições dos objetos de imagem no pelo menos um quadro de imagem panorâmica; identificar a distribuição das posições durante o pelo menos um quadro de imagem panorâmica; e determinar um desvio da distribuição identificada a partir de uma distribuição esperada associada ao evento; em que uma dentre as condições predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica que tem um desvio mínimo. Através da seleção de uma seção que inclui o objeto de imagem, o método dessas modalidades pode simular o efeito de movimento panorâmico de uma câmera de vídeo. Adicional ou alternativamente, o método compreende adicionalmente extrair dados de um segundo plano de pelo menos um dentre os quadros de imagem panorâmica, em que a etapa de identificação se baseia pelo menos nos dados em segundo plano extraídos. O método pode também compreende adicionalmente determinar um mapa de densidade de pelo menos um dos quadros de imagem panorâmica para indicar uma área do quadro de imagem panorâmica em que vários objetos de imagem estão muito próximos um do outro, em que a etapa de identificação se baseia pelo menos no mapa de densidade. As provisões de extração de dados em segundo plano e de mapeamento de densidade facilita a etapa de identificação de objetos de imagem contra os traços em segundo plano.
[011] De preferência, o tamanho da seção selecionada varia de um quadro de imagem panorâmica para outro. Alternativa ou adicionalmente, a posição da seção selecionada em relação ao quadro de imagem panorâmica correspondente varia de um quadro de imagem panorâmica para outro. A variação do tamanho e da posição da seção selecionada facilita adicionalmente a simulação do efeito ampliação e de movimento panorâmico de uma câmera de vídeo.
[012] Em outras modalidades, a etapa de costura compreende adicionalmente informações de cor de correção dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos outro sinal de vídeo de componente. A etapa de costura pode compreender adicionalmente calibrar os níveis de brilho dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos outro sinal de vídeo de componente. As provisões possibilitam que quadros de imagem sejam costurados entre si ininterruptamente.
[013] Em algumas outras modalidades, o método compreende adicionalmente: gerar metadados associados ao evento; produzir um elemento visual correspondente aos metadados; e incorporar o elemento visual à produção de vídeo. Alternativa ou adicionalmente, o método compreende adicionalmente: receber pelo menos um sinal de áudio; combinar o pelo menos um sinal de áudio com a produção de vídeo; e gerar uma produção de áudio-vídeo. Essas provisões aprimoram a produção de vídeo através do fornecimento ao telespectador de informações adicionais associadas ao evento.
[014] De acordo com outro aspecto da presente invenção, é fornecido um sistema para gerar uma produção de vídeo de um evento, sendo que o sistema compreende: um módulo de captura operável para receber uma pluralidade de sinais de vídeo de componente de um evento, sendo que cada sinal de vídeo de componente compreende uma pluralidade de quadros de imagem de componente, em que cada quadro de imagem de componente corresponde a uma seção de uma vista panorâmica de um evento; um módulo de costura operável para costurar entre si os quadros de imagem temporariamente correspondentes de cada sinal de vídeo a fim de gerar uma pluralidade de quadros de imagem panorâmica; um módulo de seleção operável para selecionar uma seção de cada quadro de imagem panorâmica com base na pelo menos uma condição predefinida associada ao evento para gerar uma pluralidade de quadros de imagem de saída; um módulo de produção operável para gerar uma produção de vídeo a partir da pluralidade de quadros de imagem de saída.
[015] Nas modalidades, uma dentre as condições predefinidas é selecionar uma seção de cada quadro de imagem panorâmica que contêm uma área de interesse associada ao evento.
[016] Alternativa ou adicionalmente, o módulo de seleção é operável para identificar pelo menos um objeto de imagem em pelo menos um quadro de imagem panorâmica, e em que uma dentre as condições predefinidas é selecionar todo um quadro de imagem, ou uma seção do mesmo, que contém o pelo menos um objeto de imagem. Em particular, para mais de um objeto de imagem identificado em pelo menos um quadro de imagem panorâmica, o módulo de seleção é operável para: determinar as posições dos objetos de imagem no pelo menos um quadro de imagem panorâmica; identificar a distribuição das posições dentro do pelo menos um quadro de imagem panorâmica; e determinar um desvio da distribuição identificada a partir de uma distribuição esperada; em que uma dentre as condições predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica que tem um desvio mínimo. Adicional ou alternativamente, o sistema compreende adicionalmente um módulo de extração operável para extrair dados em segundo plano de pelo menos um dentre os quadros de imagem panorâmica, em que o módulo de seleção é operável para avaliar os dados em segundo plano para identificar o pelo menos um objeto de imagem. O sistema também pode compreender adicionalmente um módulo de mapeamento operável para determinar um mapa de densidade de pelo menos um dentre os quadros de imagem panorâmica de modo a indicar uma área do quadro de imagem panorâmica em que vários objetos de imagem estão muito próximos um do outro, em que o módulo de seleção é operável para avaliar o mapa de densidade de modo a identificar o pelo menos um objeto.
[017] De preferência, o tamanho da seção selecionada varia de um quadro de imagem panorâmica para outro. Alternativa ou adicionalmente, a posição da seção selecionada em relação ao quadro de imagem panorâmica correspondente varia de um quadro de imagem panorâmica para outro.
[018] Em outras modalidades, o módulo de costura é operável para corrigir informações de cor dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos outro sinal de vídeo de componente. O módulo de costura também pode ser operável para calibrar os níveis de brilho dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação a pelo menos outro sinal de vídeo de componente.
[019] Em algumas outras modalidades, o módulo de captura é operável para gerar metadados associados ao evento; e o módulo de produção é operável para produzir um elemento visual com base nos metadados e para incorporar o elemento visual à produção de vídeo. Alternativa ou adicionalmente, o módulo de produção é operável para: receber pelo menos um sinal de áudio; combinar o pelo menos um sinal de áudio com a apresentação; e gerar uma produção de áudio-vídeo.
[020] De acordo com outro aspecto da presente invenção, é fornecido um método para gerar uma produção de vídeo de um evento, sendo que o método compreende: receber uma pluralidade de sinais de vídeo de um evento, sendo que cada sinal de vídeo compreende uma pluralidade de quadros de imagem, em que cada quadro de imagem corresponde a uma vista do evento; identificar automaticamente pelo menos um objeto de imagem em pelo menos um quadro de imagem; selecionar automaticamente o pelo menos um quadro de imagem que contém o pelo menos um objeto de imagem para gerar uma pluralidade de quadros de imagem de saída; e gerar automaticamente uma produção de vídeo a partir da pluralidade de quadros de imagem de saída.
[021] De acordo com outro aspecto da presente invenção, é fornecido um sistema para gerar uma produção de vídeo de um evento, sendo que o sistema compreende: um módulo de captura operável para receber uma pluralidade de sinais de vídeo de um evento, sendo que cada sinal de vídeo compreende uma pluralidade de quadros de imagem, em que cada quadro de imagem corresponde a uma vista do evento; a um módulo de seleção operável para identificar automaticamente pelo menos um objeto de imagem em pelo menos um quadro de imagem e para selecionar automaticamente o pelo menos um quadro de imagem que contém o pelo menos um objeto de imagem para gerar uma pluralidade de quadros de imagem de saída; um módulo de produção operável para gerar automaticamente uma produção de vídeo a partir da pluralidade de quadros de imagem de saída.
[022] As modalidades da presente invenção serão descritas a seguir, a título de exemplo apenas, com referências aos desenhos anexos, nos quais: • A Figura 1 é uma ilustração de duas instalações alternativas de câmera de vídeo; • A Figura 2 é um diagrama esquemático de um sistema para gerar a produção de vídeo; • A Figura 3 é uma ilustração esquemática dos quadros de imagem de um sinal de vídeo que é costurado aos quadros de imagem de outro sinal de vídeo; • A Figura 4 é uma ilustração esquemática da seleção de uma seção dos quadros de imagens panorâmicas; • A Figura 5 é uma ilustração esquemática de um sinal de vídeo de saída; e • A Figura 6a à Figura 6c são ilustrações esquemáticas de produções de vídeo.
[023] Um sistema para gerar a produção de vídeo de um evento em conformidade com uma modalidade da presente invenção é mostrado na Figura 2. Em geral, as modalidades do sistema da presente invenção compreendem vários módulos que estão em comunicação com um com o outro e podem ser implantados em um hardware ou um software de computador. Os módulos também podem ser implantados como módulos individuais ou como submódulos de um módulo maior. O sistema é disposto de modo a receber correntes de sinal de vídeo capturadas por várias câmeras de vídeo localizadas na localização geográfica onde ocorre um evento, tal como, uma partida de futebol.
[024] As câmeras de vídeo podem ser operadas remota ou localmente com intervenção mínima de modo a possibilitar que o sistema produza uma produção de vídeo desejada automaticamente em tempo real. De fato, uma vez que o sistema é instalado, o mesmo pode ser operar conforme será descrito abaixo ser mais intervenções do operador. Em algumas modalidades, as correntes de sinal de vídeo podem ser pré-gravadas e recebidas pelo sistema subsequente à ocorrência do evento. Em particular, conforme ilustrado na Figura 1, duas câmeras de vídeo podem ser colocadas muito próximas uma da outra, tanto lado a lado, tal como, as câmeras C1 e C2 como em tandem, tal como, as câmeras C3 e C4, de modo que o campo de visão de uma câmera C1 (C3) se sobreponha, em parte, ao campo de visão da outra câmera C2 (C4). Os fluxos de vídeo individuais podem ser, então, combinados para gerar um único fluxo de vídeo com um amplo campo de visão. De modo mais geral, várias câmeras podem ser desenvolvidas de maneira semelhante de modo que um fluxo de vídeo com amplo campo de visão gerado cubra todo o campo de interesse, tal como, o campo de jogo de uma partida de futebol.
[025] Subsequentemente, o fluxo de vídeo com amplo campo de visão pode ser manipulado. Por exemplo, para uma determinada porção do fluxo de vídeo, a fluxo de vídeo pode ser manipulada selecionando-se uma seção do campo de visão e manipulada adicionalmente para deslocar a seção selecionada de um quadro de imagem para outro a fim de simular o efeito de movimento panorâmico de uma câmera de vídeo com o mesmo campo de visão dessa porção. Alternativamente, ou para outra porção, a fluxo de vídeo pode ser manipulada selecionando-se seção, o tamanho que varia de quadro de imagem para quadro de imagem para simular o efeito de ampliação. As seções selecionadas podem ser, então, cortadas e unidas para gerar uma produção de vídeo para armazenamento e/ou difusão.
[026] Portanto, será observado que o fluxo de vídeo com amplo campo de visão pode fornecer grande flexibilidade e possibilita uma variedade de produções de vídeo a ser produzida a partir desse fluxo de vídeo. A realização da produção de vídeo ocorre automaticamente uma vez que o sistema é instalado de modo que o custo significativo e as complexidades de sistemas convencionais descritos acima possam ser evitados.
[027] Agora com referência à Figura 2, o sistema 10 de uma modalidade da presente invenção compreende um módulo de captura 100, um módulo de costura 200, um módulo de seleção 300 e um módulo de produção 400. Conforme mostrado nessa Figura, cada módulo é retratado como entidades individuais. No entanto, será observado que alguns módulos podem ser submódulos de um módulo maior. Por exemplo, em algumas modalidades, o módulo de costura 200 e o módulo de seleção 300 podem ser submódulos de um módulo de câmera virtual 202. Será observado também que os módulos e os submódulos podem ser implantados em um hardware ou em um software.
[028] Quando um evento, tal como, uma partida de futebol ocorre, várias câmeras de vídeo podem ser empregadas da maneira descrita acima para capturar o evento. Na modalidade mostrada na Figura 2, o módulo de captura 100 é configurado para receber um ou mais sinais de vídeo 120 capturados pelas câmeras de vídeo, tanto em tempo real diretamente das câmeras de vídeo acopladas comunicativamente ao módulo de captura 100 ou por meio da pré-gravação e do armazenamento dos sinais de vídeo capturados. Em algumas modalidades, o módulo de captura 100 também é configurado para converter os sinais de vídeo recebidos 120 em um formato apropriado adequado para uso pelo sistema 10.
[029] Conforme será observado por uma pessoa versada na técnica, um sinal de vídeo pode ser analógico ou digital e compreende uma série de quadros de imagem. Será também observado por uma pessoa versada na técnica que os quadros de imagem de um sinal de vídeo têm, cada um, um ângulo/campo de visão que depende das características dos componentes ópticos da câmera de vídeo, tal como, o comprimento focal da lente ou o tamanho do sensor de imageamento.
[030] Em geral, os sinais de vídeo 120 recebidos pelo módulo de captura 100 compreendem, cada um, vários quadros de imagem, em que cada imagem corresponde a uma vista do evento que está sendo capturado. Alguns dos sinais de vídeo 120 recebidos pelo módulo de captura 100, tal como, os sinais de vídeo de componente 122-1... 122-n mostrados na Figura 2, podem ser associados a um campo de visão panorâmico. Isto é, os quadros de imagem de um sinal de vídeo recebidos pelo módulo de captura 100 podem ser unidos ou costurado aos quadros de imagem temporariamente correspondentes de outro sinal de vídeo a fim de gerar um sinal de vídeo panorâmico, em que os quadros de imagem do sinal de vídeo panorâmico têm um campo de visão que é mais amplo que o campo de visão dos quadros de imagem de cada um dentre os sinais de vídeo individuais. Os sinais de vídeo de componente 122-1. 122-n podem ser obtidos de várias câmeras de vídeo colocadas lado a lado, adjacentes uma à outra, ou em tandem, uma acima da outra, e alinhadas de modo que uma borda do campo de visão de uma câmera corresponda a uma borda do campo de visão da câmera adjacente ou de modo que o campo de visão de uma câmera se sobreponha parcialmente ao campo de visão da câmera adjacente.
[031] Conforme mostrado na Figura 2, o módulo de captura 100 está disposto de modo a ser operável para receber um ou mais sinais de vídeo de componente 1221... 122-n, em que cada um é associado a um campo de visão panorâmico. Uma vez recebidos, os sinais de vídeo de componente 122-1. 122-n podem se submeter, em algumas modalidades, a uma ou mais etapas de processamento, tais como, correção de cor e calibração para igualar a o tom de cor e os níveis de brilho de cada sinal de vídeo. Após isso, os sinais de vídeo de componente 122-1... 122-n são passados para o módulo de costura 200, que deve ser disposto de modo a ser operável para combinar os quadros de imagem correspondentes dos sinais de vídeo de componente 122-1... 122-n a fim de gerar um sinal de vídeo panorâmico. Por exemplo, em algumas modalidades, o módulo de costura 200 recebe os sinais de vídeo de componente 122-1... 122-n e é operável de modo a costurar entre si os quadros de imagem de um sinal de vídeo de componente com os quadros de imagem temporariamente correspondentes dos outros sinais de vídeo de componente através de qualquer método adequado, tal como, com o uso de homografia ou da técnica de paralaxe zero, para gerar quadros de imagem panorâmica para o sinal de vídeo panorâmico 220. A Figura 3 ilustra esquematicamente a costura entre si de dois quadros de imagem temporariamente correspondentes.
[032] Na Figura 3, um exemplo de dois sinais de vídeo componente, o sinal de vídeo componente 122-1 feito de quadros de imagem componente 122-11. 122-1n e o sinal de vídeo de componente 122-2 feito de quadros de imagem de componente 122-21. 122-2n são mostrados esquematicamente. Nesses exemplos, os quadros de imagem de componente 122-1a. 122-1n cobrem um campo de visão particular e os quadros de imagem de componente 122-21. 122-n cobrem um campo de visão que se sobrepõe ao campo de visão de quadros de imagem 122-11... 122-1n em uma pequena porção. No processo de costura, os quadros de imagem de componente de sinal de vídeo de componente 122-1 são unidos aos quadros de imagem de componente temporariamente correspondentes de sinal de vídeo de componente 122-2 e à porção em sobreposição a fim de gerar quadros de imagem panorâmica 220-1. 220-n para um sinal de vídeo panorâmico 220. Como uma ilustração, a Figura 3 mostra o quadro de imagem de componente 122-11 que retrata uma cena em um período de tempo particular e o quadro de imagem de componente 122-21 que retrata outra cena no mesmo momento do período de tempo do quadro de imagem de componente 122-21, que se sobrepõem na porção 122’. No processo de costura, o quadro de imagem de componente 122-11 e o quadro de imagem de componente 122-21 são costurados entre si na porção em sobreposição 122’ para gerar um quadro de imagem panorâmica 220-1 do sinal de vídeo panorâmico 220. Então, os outros quadros de imagem panorâmica 220-2.220-n do sinal de vídeo panorâmico 220 são gerados de maneira semelhante.
[033] Em algumas modalidades, o sinal de vídeo de componente 122-1 e o sinal de vídeo de componente 122-2 podem se submeter a uma ou mais etapas de pré- processo. Por exemplo, as definições de exposição da câmera usadas para capturar o sinal de vídeo de componente 122-1 podem diferir em uma pequena quantidade daquela da câmera de vídeo usada para capturar o sinal de vídeo de componente 122-2. Em tal caso, será desejável ajustar as imagens retratadas nos respectivos sinais de vídeo, um em relação ao outro, de modo a possibilitar que os quadros de imagem sejam unidos entre si ininterruptamente. Correspondentemente, nessas modalidades, o módulo de costura 200 está disposto de modo a ser operável para corrigir as informações de cor dos quadros de imagem de componente dos sinais de vídeo de componente que devem ser costurados entre si. Adicional ou alternativamente, o módulo de costura 200 também deve ser disposto de modo a ser operável para calibrar os níveis de brilho dos quadros de imagem de componente dos sinais de vídeo que devem ser costurados entre si. Desse modo, a correção das informações de cor e a calibração dos níveis de brilho antes da costura dos quadros de imagem entre si garante que as cores e os níveis de brilho em um lado do quadro de imagem panorâmica correspondente àqueles no outro lado do quadro de imagem panorâmica de modo que a sutura em que os quadros de imagem são unidos seja o mais imperceptível possível.
[034] Será observado que, embora apenas dois sinais de vídeo de componente 122-1, 122-2 sejam mostrados na Figura 3, qualquer número de sinais de vídeo de componente alinhados adequadamente 122-1... 122-n podem ser costurados entre si para gerar o sinal de vídeo panorâmico 220. Será observado também que mais um sinal de vídeo panorâmico pode ser gerado da mesma maneira.
[035] De volta com referência à Figura 2, uma vez que o sinal de vídeo panorâmico 220 é gerado, o mesmo é passado para o módulo de seleção 300. O módulo de seleção 300 é disposto de modo a manipular os sinais de vídeo que recebe de acordo com regras e condições predefinidas que são associadas a um evento. Por exemplo, os quadros de imagem panorâmica 220-1. 220-n podem retratar as ações de uma partida de futebol, e as regras e condições predefinidas podem ser uma exigência para simular um efeito de acompanhamento do movimento de uma bola de futebol retratada nos quadros de imagem panorâmica 220-1. 220-n por um determinado período de tempo.
[036] Como uma ilustração, a Figura 4 mostra os quadros de imagem panorâmica 220-1. 220n que retratam uma cena que tem uma bola de futebol que muda de posição de quadro a quadro. O módulo de seleção 300 é operável de modo a analisar os quadros de imagem panorâmica 220-1. 220-n com o uso de qualquer análise de imagem adequada e métodos de acompanhamento para identificar a bola de futebol como um objeto em movimento de determina a posição da mesma dentro de cada quadro de imagem. Com base na posição, o módulo de seleção 300 pode determinar, então, a trajetória da bola de futebol. Em seguida, definindo-se uma dentre as condições predefinidas de modo a selecionar uma seção do quadro de imagem para incluir a bola de futebol, o módulo de seleção 300 pode simular o efeito de acompanhamento da bola de futebol através da seleção de uma seção que inclui a bola de futebol localizada em uma posição relativa particular em cada seção. Em geral, com base na pelo menos uma condição predefinida associada ao evento que está sendo capturado, o módulo de seleção 300 é operável para selecionar qualquer número de quadros de imagem inteiros, ou uma seção dos mesmos, de sinais de vídeo que recebe para gerar um número correspondente de quadros de imagem de saída. Conforme uma ilustração mostrada na Figura 4, o módulo de seleção 300 em algumas modalidades é operável de modo a identificar a bola de futebol no quadro de imagem panorâmica 220-1, a selecionar a seção 222-1 para incluir a bola de futebol e a extrair a seção 222-1 para gerar um quadro de imagem de saída separado 320-1. De modo semelhante, o mesmo procedimento pode ser aplicado a outros quadros de imagem panorâmica para gerar quadros de imagem de saída 3202... 320-n de modo a formar um sinal de vídeo de saída 320.
[037] Embora apenas um objeto de imagem seja mostrado na Figura 4, será observado que as regras e condições predefinidas não são limitadas ao acompanhamento de um objeto de imagem em movimento e que o módulo de seleção 300 pode ser operável de modo a acompanhar mais que um objeto de imagem. Será observado também que o módulo de seleção 300 pode ser operável de modo a acompanhar qualquer número de objetos de imagem ou uma área de interesse. Além disso, o módulo de seleção 300 de algumas modalidades também pode ser operável de modo a determinar as posições dos objetos de imagem nos quadros de imagem panorâmica e a identificar como esses objetos de imagem são distribuídos ao longo do quadro de imagem panorâmica. Então, para os eventos em que os objetos de imagem têm uma distribuição esperada, o módulo de seleção é operável para determinar o desvio da distribuição das posições dos objetos de imagem da distribuição esperada. Uma dentre as condições predefinidas podem ser, então, definidas de modo a selecionar a seção em que o desvio ocorre minimamente. Por exemplo, o módulo de seleção 300 pode ter capacidade para identificar o movimento de espectadores em um estádio de futebol como objetos em movimento e para identificar que a distribuição do movimento de espectadores corresponde ao movimento de uma onda mexicana (ola) que percorre o estádio. Em tal exemplo, o método de seleção 300 é operável de modo a selecionar as seções dos quadros de imagem panorâmica para acompanhar o movimento da onda mexicana (ola).
[038] Será observado que através da seleção de uma seção 221-1... 222-n dos quadros de imagem panorâmica 220-1. 220-n de modo a incluir um objeto em movimento, o efeito que será observado nos quadros de imagem de saída 320-1. 320-n é equivalente às imagens de vídeo capturadas através do movimento panorâmico de uma câmera de vídeo que tem o mesmo campo de visão dos quadros de imagem de saída 320-1. 320-n. Em algumas modalidades, o módulo de seleção 300 pode ser disposto adicionalmente para variar o tamanho da seção selecionada de modo a simular o efeito de ampliação. Por exemplo, o módulo de seleção 300 pode ser disposto de modo a selecionar uma seção progressivamente menor para criar o efeito de ampliação ou seções progressivamente maiores para criar o efeito de afastamento.
[039] De volta com referência à Figura 2, a fim de facilitar a tarefa de identificar os objetos ou área de interesse nos quadros de imagem panorâmica 220-1. 220-n recebidos pelo módulo de seleção 300, o sistema 10 de algumas modalidades inclui adicionalmente um módulo de extração 500 e um módulo de mapeamento 600.
[040] O módulo de extração 500 é disposto de modo a ser operável para identificar os traços tanto nos quadros de imagem do 220 como nos sinais de vídeo de componente 122-1. 122-n que são associados ao segundo plano e para extrair os dados de imagem 520 que representam esses traços. Os dados de imagem em segundo plano 520 são, em seguida, comunicados ao módulo de seleção 300 para avaliação de modo a facilitar que o módulo de seleção 300 distinga entre os objetos de imagem nos traços em primeiro plano e em segundo plano.
[041] O módulo de mapeamento 600 está disposto de modo a ser operável para analisar tanto os quadros de imagem do sinal de imagem panorâmico 220 como os sinais de vídeo de componente 122-1. 122-n a fim de identificar um ou mais objetos de imagem que são de interesse. Uma vez que os objetos de imagem são identificados, o módulo de mapeamento 600 determina as posições dos objetos de imagem, gera um mapa de densidade 620 e atribui um indicador no mapa de densidade 620, tal como, uma cor para indicar uma área do quadro de imagem em que vários objetos de imagem estão muito próximos um do outro. De modo semelhante, o módulo de mapeamento 600 também pode atribuir um indicador no mapa de densidade 620 para indicar uma área do quadro de imagem em que há poucos ou nenhum objeto de imagem. O mapa de densidade 620 completo é, então, comunicado ao módulo de seleção 300 para avaliação de modo a facilitar que o módulo de seleção 300 distinga entre os objetos de imagem nos traços em primeiro plano e em segundo plano e para facilitar que o módulo de seleção 300 determine como os objetos de imagem são distribuídos ao longo dos quadros de imagem.
[042] Será observado que o módulo de extração 500 pode ser implantado em combinação com o módulo de mapeamento 600. Será observado também que o módulo de extração 500 pode ser implantado como uma alternativa ao módulo de mapeamento e vice-versa.
[043] Ainda com referência à Figura 2, uma vez que o sinal de vídeo de saída 320 é gerado, é passado para o módulo de produção 400 para edição. Por exemplo, pode ser indesejável incluir toda extensão do sinal de vídeo de saída 320 para difusão. Em tal exemplo, pode ser desejável incluir apenas uma porção, ou algumas porções do sinal de vídeo de saída 320. Correspondentemente, o módulo de produção 400 está disposto de modo a ser operável para selecionar alguns ou todos os quadros de imagem de saída 320-1... 320-n para gerar uma produção de vídeo 420. Nas modalidades, conforme ilustrado na Figura 5, o módulo de produção 400 é operável para selecionar os quadros de imagem de saída de diferentes segmentos do sinal de vídeo de saída 320 e combinar os segmentos para realizar a produção de vídeo 420. Conforme mostrado na Figura 5, o sinal de vídeo de saída 320 inclui segmentos desejável 322, 324, 326, 328 separados por segmentos indesejáveis. O módulo de produção 400 é operável para extrair os quadros de imagem de saída desses segmentos e para combinar os mesmos a fim de realizar a produção de vídeo 420, conforme mostrado na Figura 6a.
[044] Em algumas modalidades, pode ser desejável ter um ou mais segmentos repetidos tanto imediatamente como em um tempo subsequente. Pode ser desejável também repetir um segmento em câmera lenta. Correspondentemente, em algumas modalidades ilustradas na Figura 6b e na Figura 6c, o módulo de produção é operável para gerar uma produção de vídeo com um ou mais segmentos 322 repetidos como um segmento em câmera lenta 322-SloMo, ou um segmento 322 repetido subsequente a um ou mais segmentos diferentes.
[045] De modo mais geral, o módulo de produção 400 é operável para gerar uma produção de vídeo a partir dos quadros de imagem de saída que recebe.
[046] De volta com a referência à Figura 2, uma vez que a produção de vídeo 420 é gerada, o mesmo pode ser enviado diretamente para difusão ou pode ser enviado para armazenamento ou para processamento adicional antes da difusão.
[047] Em alguns casos, o evento que deve ser coberto pode ter dados secundários associados aos sinais de vídeo capturados, e pode ser desejável incorporar os mesmos à produção de vídeo 420 para aprimorar a experiência de visualização. Por exemplo, pode ser desejável incorporar o tempo de duração e o placar de uma partida de futebol à produção de vídeo de modo que um telespectador possa seguir a ação com ciência das pontuações. Correspondente, conforme mostrado na Figura 2, o módulo de captura 100 de algumas modalidades é disposto adicionalmente de modo a ser operável para receber informações secundárias 140 associadas ao evento. As informações secundárias 140 podem ser recolhidas, por exemplo, a partir de sensores externos, dispositivos de temporização, dispositivos de marcação de pontuação ou qualquer outro meio adequado. O módulo de captura 140 gera, então, metadados 142 associados às informações secundárias 140 e comunica os metadados 142 ao módulo de produção 400. O módulo de produção 400 é operável para produzir um elemento visual, tal como, um elemento que exibe as pontuações e o tempo de duração de uma partida de futebol no canto de um quadro de imagem e para incorporar o elemento visual à produção de vídeo.
[048] Em outros casos, pode ser desejável também incorporar informações de áudio à produção de vídeo 420. Correspondentemente, em algumas modalidades do sistema 10 descrito acima, o módulo de produção 400 está disposto de modo a ser operável para receber um ou mais sinais de áudio 160 e é operável para incorporar os sinais de áudio 160 à produção de vídeo 420.
[049] Em algumas modalidades alternativas, o módulo de captura 100 também é operável para receber os sinais de vídeo de câmeras de vídeo individuais que não são associadas a um campo de visão panorâmico, tal como, os sinais de vídeo 124, 126 mostrados na Figura 2. Nessas modalidades, esses sinais de vídeo 124, 126 são passados para o módulo de seleção 200, ignorando o módulo de costura 300. Uma vez recebidos pelo módulo de seleção 300, será observado que esses sinais de vídeo 124, 126 serão tratados de maneira semelhante àquela descrita acima para o sinal de vídeo panorâmico 220.
[050] Através da utilização dos quadros de imagem de vídeo panorâmico gerado conforme descrito acima e da simulação do efeito de movimento panorâmico e ampliação, as modalidades da presente invenção podem gerar um vídeo presente de câmeras fixas que exigem pouca ou nenhuma intervenção do operador. A utilização de quadros de imagem de vídeo panorâmico, conforme descritas no presente documento, também fornece um amplo campo de visão sem a necessidade de usar uma óptica grande-angular dispendiosa. O método e o sistema podem ser pré-configurados para operar automaticamente e em tempo real de modo a minimizar a exigências nos recursos.
[051] Em outras modalidades diferentes do sistema 10, o módulo de seleção 300 é operável adicionalmente para receber e armazenar as regras e condições predefinidas que são usadas para gerar a produção de vídeo. Em particular, o módulo de seleção 300 recebe e armazena condições predefinidas que são associadas ao evento que deve ser capturado. As condições predefinidas podem ser implantadas em um hardware ou um software e podem ser carregadas no sistema 10 durante ou após a montagem. Uma vez que os sinais de vídeo são recebidos do módulo de costura 200 ou do módulo de captura 100, o módulo de seleção 300 seleciona todo um quadro de imagem, ou uma seção do mesmo, a partir de qualquer número dos quadros de imagem adequados dos sinais de vídeo recebidos com base nas condições predefinidas. Durante a realização da seleção, o módulo de seleção 300 é operável opcionalmente para acompanhar o movimento, a cor, o brilho e o contraste de qualquer número de objetos retratados no quadro de imagem. Os quadros de imagem e/ou seção de quadros de imagem selecionados são comunicados ao módulo de produção 400 como quadros de imagem de saída de um sinal de vídeo de saída 320. O módulo de produção 400 usa, então, o sinal de vídeo de saída 320 para gerar uma produção de vídeo 420.
[052] Opcionalmente, os sinais de vídeo do módulo de costura 200 ou do módulo de captura 100 são comunicados ao módulo de extração 500 e ao módulo de mapeamento 600, assim como ao módulo de seleção 300.
[053] O módulo de extração 500 é operável para analisar os quadros de imagem dos sinais de vídeo recebidos e para identificar recursos nos quadros de imagem que são associados ao segundo plano do evento que está sendo capturado. Os dados de imagem 520 que representam esses traços em segundo plano são extraídos dos sinais de vídeo recebidos e são comunicados ao módulo de seleção 300. O módulo de seleção 300 avalia os dados de imagem 520 junto dos sinais de vídeo que recebe durante a seleção. Os dados de imagem 520 possibilita que o módulo de seleção 300 identifique mais prontamente qualquer objeto que está em movimento em relação ao segundo plano, o que facilita a geração da produção de vídeo 420 em tempo real.
[054] O módulo de mapeamento 600 é operável para analisar os quadros de imagem dos sinais recebidos e para identificar um ou mais objetos de imagem que são de interesse. Uma vez que os objetos de imagem são identificados, o módulo de mapeamento 600 determina as posições dos objetos de imagem, gera um mapa de densidade 620 e atribui um indicador no mapa de densidade 620, tal como, uma cor para indicar uma área do quadro de imagem em que vários objetos de imagem estão muito próximos um do outro. De modo semelhante, o módulo de mapeamento 600 também pode atribuir um indicador no mapa de densidade 620 para indicar uma área do quadro de imagem em que há poucos ou nenhum objeto de imagem. O mapa de densidade 620 completo é, então, comunicado ao módulo de seleção 300 para avaliação de modo a facilitar que o módulo de seleção 300 distinga entre os objetos de imagem nos traços em primeiro plano e em segundo plano e para facilitar que o módulo de seleção 300 determine como os objetos de imagem são distribuídos ao longo dos quadros de imagem.
[055] Nessas diferentes modalidades, as regras e condições predefinidas se referem, em geral, a traços e a aspectos físicos do evento que devem ser capturados. Por exemplo, quando o evento a ser capturado é uma partida de futebol, fica inerente que o evento compreende dois times, cada um com onze jogadores, um árbitro e uma bola. Nesse exemplo, o módulo de seleção 300 é operável de modo a identificar os jogadores, árbitro e a bola de futebol com base nos formatos e cores dos mesmos. Adicionalmente, a ação de uma partida de futebol ocorre tipicamente dentro de uma determinada distância da bola de futebol. Correspondentemente, um exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que inclui a bola de futebol e a área dentro de uma distância predeterminada ao redor da bola de futebol. A ação também pode ocorrer quando há um determinado número de jogadores de um dentre os times (isto é, objetos que têm todos uma determinada cor) dentro de uma determinada distância da bola de futebol, tal como, durante um contra-ataque. Correspondentemente, outro exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que contém um determinado número de jogadores de um time dentro de uma distância predeterminada da bola de futebol em comparação ao número de jogadores do outro time. Outros exemplos de uma condição predefinida incluem, porém sem limitação, selecionar uma seção do quadro de imagem que contém um ou mais jogadores específicos, selecionar uma seção do quadro de imagem dentro da qual a bola de futebol está na mesma posição e selecionar uma seção do quadro de imagem que inclui o árbitro. De modo mais geral, e conforme será observado pela pessoa versada na técnica, esses exemplos de condições predefinidas podem ser adaptados a outros eventos esportivos, tais como, porém, sem limitação, rúgbi, golfe, tênis, basquetebol, hóquei, críquete, voleibol, futebol americano e basebol.
[056] Fica inerente também para alguns eventos que a ação ocorre em um campo ou área com dimensões e marcações conhecidas. Por exemplo, quando o evento a ser capturado é uma corrida, fica inerente que os objetos de imagem, isto é, os competidores, tais como, atletas, cavalos de corrida, carros de corrida, motocicletas de corrida, bicicletas de corrida ou qualquer outro veículo de corrida se movem e seguem um trajeto predeterminado, tal como, a pista de um curso ou circuito de corrida. Correspondentemente, outro exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que incluir pelo menos um objeto de imagem ao mesmo tempo em que segue um trajeto predeterminado. Pode ser também que a ação mais interessante da corrida é distinguida por uma grande proporção dos competidores que estão em uma pequena seção da pista ou do circuito de corrida. Correspondentemente, outro exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que tem a densidade mais alta de objetos de imagem. Opcionalmente, o módulo de seleção 300 é operável para distinguir diferentes objetos de imagem, tais como, veículos em movimento, com base nas cores e contrastes dos mesmos, e outro exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que inclui um ou um grupo de objetos de imagem dentre uma pluralidade de objetos de imagem.
[057] Em outros exemplos dessas diferentes modalidades, o evento a ser capturado é distinguido por variações no brilho sobre a área do quadro de imagem. Por exemplo, para eventos, tais como, peças, óperas ou quaisquer performances em um palco, a ação é distinguida, geralmente, por regiões com um brilho relativamente alto, tal como, holofotes direcionados a uma área de um palco de teatro. Correspondentemente, outro exemplo de uma condição predefinida é selecionar uma seção do quadro de imagem que inclui regiões luminosas que correspondem à iluminação por holofote. Nesses exemplos, os objetos de imagem nos quadros de imagem podem ser traços anatômicos dos atores/cantores no palco de teatro distinguidos por movimento faciais dos atores/ cantores, tais como, movimentos labiais. Correspondentemente, o módulo de seleção 300 é operável de modo a identificar esses movimentos faciais através da análise da cor e/ou do contraste dos quadros de imagem recebidos, e outro exemplo de uma condição predefinida é selecionar a seção do quadro de imagem que inclui pelo menos um dentro os movimentos faciais identificados.
[058] Nessas diferentes modalidades, pode ocorrer de uma ou mais condições predefinidas serem satisfeitas em um determinado quadro de imagem. Correspondentemente, as condições predefinidas dessas modalidades são classificadas opcionalmente. Caso os quadros de imagem recebidos pelo módulo de seleção 300 satisfaçam mais que uma condição predefinida, o módulo de seleção 300 gera a produção de vídeo 420 com base na condição predefinida classificada como a mais alta. Será observado também que as condições predefinidas descritas acima podem ser implantadas individual ou coletivamente em qualquer combinação adequada. Além disso, será observado que algumas das condições predefinidas descritas acima são mais adequadas que outras dependendo do usuário final destinado da produção de vídeo 420. Correspondentemente, essas condições predefinidas mais adequadas são implantadas para o usuário final particular destinado. Por exemplo, quando o usuário final destinado da produção de vídeo 420 é um técnico de um time de futebol, é mais desejável que a produção de vídeo 420 inclua quadros de imagem que incluem toda a área de um campo de futebol a fim de possibilitar que o técnico analise todos os aspectos de uma partida de futebol. Em tal exemplo, uma condição predefinida preferencial é selecionar uma seção dos quadros de imagem que contêm toda a área de um campo de futebol. Em outro exemplo, quando o usuário final destinado é um olheiro de futebol interessado em um jogador em particular, é mais desejável que produção de vídeo 420 inclua quadros de imagem que contêm esse jogador e particular. Em tal exemplo, uma condição predefinida preferencial é selecionar uma seção dos quadros de imagem que contêm um objeto de imagem particular.
[059] Nessas diferentes modalidades, o sistema 10 da presente invenção pode realizar produções de vídeo de eventos que incluem os efeitos de movimento panorâmico e de ampliação automaticamente com mínima intervenção humana. Através da geração da produção de vídeo 420 com base nas condições predefinidas descritas acima, o sistema 10 pode determinar a seção de um quadro de imagem de um sinal de vídeo recebido que deve ser incluído na produção de vídeo 420 sem inserção humana adicional.
[060] Nas modalidades supracitadas da presente invenção, o método e o sistema para gerar uma produção de vídeo foram descritos como adequados para eventos de interesse público, tais como, partidas de futebol. Será observado pela pessoa versada técnica que a presente invenção não se limita a eventos de interesse público e pode ser adequada para outros eventos. Será observado também que o propósito da produção de vídeo não limita à difusão e pode ser para outros propósitos, incluindo transmissão contínua (do inglês “streaming”) e visualização privada.
[061] As modalidades da presente invenção foram descritas com referência particular aos exemplos ilustrados. No entanto, será observado que as variações e modificações podem ser feitas aos exemplos descritos dentro do escopo das reivindicações anexas.

Claims (14)

1. Método para gerar uma produção de vídeo de um evento, o método caracterizado por compreender: receber uma pluralidade de sinais de vídeo de componente de um evento, cada sinal de vídeo de componente compreendendo uma pluralidade de quadros de imagem de componente, em que cada quadro de imagem de componente corresponde a uma seção de uma vista panorâmica do evento; costurar os quadros de imagem de componente temporariamente correspondentes de cada sinal de vídeo de componente entre si para gerar uma pluralidade de quadros de imagem panorâmica; selecionar uma seção de cada quadro de imagem panorâmica com base em condições e regras predefinidas associadas ao evento para gerar uma pluralidade de quadros de imagem de saída; e gerar uma produção de vídeo a partir da pluralidade de quadros de imagem de saída; em que a etapa de selecionar inclui adicionalmente identificar uma pluralidade de objetos de imagem em pelo menos um quadro de imagem panorâmica, e em que uma dentre as condições e regras predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica contendo os objetos de imagem; extrair dados de plano de fundo de pelo menos um dos quadros de imagem panorâmica, em que a etapa de identificar é baseada pelo menos nos dados de plano de fundo extraídos; e determinar um mapa de densidade de objetos de imagem de pelo menos um dos quadros de imagem panorâmica para indicar uma área do quadro de imagem panorâmica onde um grande número de objetos de imagem estão em estreita proximidade uns dos outros, em que a etapa de selecionar é baseada pelo menos no mapa de densidade.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a etapa de selecionar inclui adicionalmente: determinar as posições dos objetos de imagem no pelo menos um quadro de imagem panorâmica; identificar a distribuição das posições durante o pelo menos um quadro de imagem panorâmica; e determinar um desvio da distribuição identificada a partir de uma distribuição esperada associada ao evento; em que uma outra dentre as condições e regras predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica tendo um desvio mínimo.
3. Método, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que o tamanho da seção selecionada varia de um quadro de imagem panorâmica para outro.
4. Método, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a posição da seção selecionada em relação ao quadro de imagem panorâmica correspondente varia de um quadro de imagem panorâmica para outro.
5. Método, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que a etapa de costurar compreende adicionalmente corrigir informações de cor dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos um outro sinal de vídeo de componente.
6. Método, de acordo com qualquer uma das reivindicações 1 a 5, caracterizado pelo fato de que a etapa de costurar compreende adicionalmente calibrar os níveis de brilho dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos um outro sinal de vídeo de componente.
7. Método, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que compreende adicionalmente: gerar metadados associados ao evento; produzir um elemento visual correspondente aos metadados; e incorporar o elemento visual à produção de vídeo.
8. Método, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que compreende adicionalmente: receber pelo menos um sinal de áudio; combinar o pelo menos um sinal de áudio com a produção de vídeo; e gerar uma produção de áudio-vídeo.
9. Sistema para gerar uma produção de vídeo de um evento, o sistema caracterizado por compreender: um módulo de captura operável para receber uma pluralidade de sinais de vídeo de componente de um evento, cada sinal de vídeo de componente compreendendo uma pluralidade de quadros de imagem de componente, em que cada quadro de imagem de componente corresponde a uma seção de uma vista panorâmica do evento; um módulo de costura operável para costurar os quadros de imagem de componente temporariamente correspondentes de cada sinal de vídeo de componente entre si para gerar uma pluralidade de quadros de imagem panorâmica; um módulo de seleção operável para selecionar uma seção de cada quadro de imagem panorâmica com base em condições e regras predefinidas associadas ao evento para gerar uma pluralidade de quadros de imagem de saída; um módulo de produção operável para gerar uma produção de vídeo a partir da pluralidade de quadros de imagem de saída; em que o módulo de seleção é operável para identificar uma pluralidade de objetos de imagem em pelo menos um quadro de imagem panorâmica, e em que uma dentre as condições e regras predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica contendo os objetos de imagem; um módulo de extração operável para extrair dados de plano de fundo de pelo menos um dos quadros de imagem panorâmica, em que o módulo de seleção é operável para avaliar os dados de plano de fundo para identificar os objetos de imagem; e um módulo de mapeamento operável para determinar um mapa de densidade de objetos de imagem de pelo menos um dos quadros de imagem panorâmica para indicar uma área do quadro de imagem panorâmica onde um grande número de objetos de imagem estão em estreita proximidade uns dos outros, em que o módulo de seleção é operável para avaliar o mapa de densidade para selecionar a seção.
10. Sistema, de acordo com a reivindicação 9, caracterizado pelo fato de que o módulo de seleção é operável para: determinar as posições dos objetos de imagem no pelo menos um quadro de imagem panorâmica; identificar a distribuição das posições dentro do pelo menos um quadro de imagem panorâmica; e determinar um desvio da distribuição identificada a partir de uma distribuição esperada; em que uma outra dentre as condições e regras predefinidas é selecionar uma seção do pelo menos um quadro de imagem panorâmica que tenha um desvio mínimo.
11. Sistema, de acordo com a reivindicação 9 ou 10, caracterizado pelo fato de que o tamanho da seção selecionada varia de um quadro de imagem panorâmica para outro.
12. Sistema, de acordo com qualquer uma das reivindicações 9 a 11, caracterizado pelo fato de que a posição da seção selecionada em relação ao quadro de imagem panorâmica correspondente varia de um quadro de imagem panorâmica para outro.
13. Sistema, de acordo com qualquer uma das reivindicações 9 a 12, caracterizado pelo fato de que o módulo de costura é operável para corrigir informações de cor dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos um outro sinal de vídeo de componente.
14. Sistema, de acordo com qualquer uma das reivindicações 9 a 13, caracterizado pelo fato de que o módulo de costura é operável para calibrar níveis de brilho dos quadros de imagem de componente de pelo menos um sinal de vídeo de componente em relação aos quadros de imagem de componente de pelo menos um outro sinal de vídeo de componente.
BR112016003927-0A 2013-08-29 2014-07-22 Método e sistema para realizar uma produção de vídeo BR112016003927B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1315416.6A GB2517730A (en) 2013-08-29 2013-08-29 A method and system for producing a video production
GB1315416.6 2013-08-29
PCT/EP2014/065715 WO2015028203A1 (en) 2013-08-29 2014-07-22 A method and system for producing a video production

Publications (2)

Publication Number Publication Date
BR112016003927A2 BR112016003927A2 (pt) 2017-08-22
BR112016003927B1 true BR112016003927B1 (pt) 2023-04-11

Family

ID=49397019

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112016003927-0A BR112016003927B1 (pt) 2013-08-29 2014-07-22 Método e sistema para realizar uma produção de vídeo

Country Status (19)

Country Link
US (1) US10666861B2 (pt)
EP (1) EP3039854B1 (pt)
JP (1) JP6580045B2 (pt)
KR (1) KR102189139B1 (pt)
CN (1) CN105765959B (pt)
AU (1) AU2014314567B2 (pt)
BR (1) BR112016003927B1 (pt)
CA (1) CA2921264C (pt)
DK (1) DK3039854T3 (pt)
ES (1) ES2805800T3 (pt)
GB (1) GB2517730A (pt)
HR (1) HRP20201098T1 (pt)
HU (1) HUE050838T2 (pt)
MX (1) MX366918B (pt)
PL (1) PL3039854T3 (pt)
PT (1) PT3039854T (pt)
RU (1) RU2666137C2 (pt)
SI (1) SI3039854T1 (pt)
WO (1) WO2015028203A1 (pt)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6904954B2 (ja) * 2015-12-04 2021-07-21 スリング メディア, エルエルシー.Sling Media, Llc. ネットワークベースのイベント記録
KR102609477B1 (ko) 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
JP6766707B2 (ja) * 2017-03-10 2020-10-14 株式会社Jvcケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
JP6965975B2 (ja) * 2017-03-10 2021-11-10 株式会社Jvcケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
CN107835434B (zh) * 2017-06-09 2021-09-14 越野一族(北京)传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
US20190191110A1 (en) * 2017-12-18 2019-06-20 Facebook, Inc. Apparatuses, systems, and methods for an enhanced field-of-view imaging system
US10523976B2 (en) * 2018-01-09 2019-12-31 Facebook, Inc. Wearable cameras
CN110033502B (zh) 2018-01-10 2020-11-13 Oppo广东移动通信有限公司 视频制作方法、装置、存储介质及电子设备
EP3741101A1 (en) 2018-01-19 2020-11-25 Veo Technologies Aps A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN110300288A (zh) * 2019-07-29 2019-10-01 富咖科技(大连)有限公司 一种用于摸摸动物园游玩的视频自动采集与合成方法
CN114641983A (zh) * 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
CA3237494A1 (en) * 2021-11-08 2023-05-11 ORB Reality LLC Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
KR20230131601A (ko) * 2022-03-07 2023-09-14 한화비전 주식회사 파노라마 감시 영상의 생성

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
AU2001277259A1 (en) * 2000-06-30 2002-01-14 The Muller Sports Group, Inc. Sporting events broadcasting system
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
DE60123786T2 (de) * 2001-08-29 2007-03-15 Dartfish Sa Verfahren und System zur automatischen Produktion von Videosequenzen
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
GB2402011B (en) * 2003-05-20 2006-11-29 British Broadcasting Corp Automated video production
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP4649640B2 (ja) * 2004-11-18 2011-03-16 学校法人慶應義塾 画像処理方法、画像処理装置、及びコンテンツ作成システム
US8004558B2 (en) * 2005-04-07 2011-08-23 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP4464902B2 (ja) * 2005-11-09 2010-05-19 日本放送協会 カメラ制御装置およびカメラ制御プログラム
WO2008004150A2 (en) * 2006-06-30 2008-01-10 Nxp B.V. A method and device for video stitching
EP2479993A3 (en) * 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
WO2008068456A2 (en) * 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
JP2008244922A (ja) * 2007-03-28 2008-10-09 Mitsubishi Electric Corp 映像生成方法及び映像生成装置
US8238719B2 (en) * 2007-05-08 2012-08-07 Cyberlink Corp. Method for processing a sports video and apparatus thereof
GB2452512B (en) * 2007-09-05 2012-02-29 Sony Corp Apparatus and method of object tracking
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
JP2009071478A (ja) * 2007-09-12 2009-04-02 Sharp Corp 情報通信端末および情報通信システム
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
JP5007681B2 (ja) * 2008-02-14 2012-08-22 ソニー株式会社 放送システム
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
EP2224357A1 (en) * 2009-02-27 2010-09-01 BRITISH TELECOMMUNICATIONS public limited company Video segmentation
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
GB0907870D0 (en) * 2009-05-07 2009-06-24 Univ Catholique Louvain Systems and methods for the autonomous production of videos from multi-sensored data
EP2449760A1 (en) * 2009-06-29 2012-05-09 Bosch Security Systems, Inc. Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
WO2011069021A2 (en) * 2009-12-02 2011-06-09 Qualcomm Incorporated Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US8548269B2 (en) * 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method

Also Published As

Publication number Publication date
JP6580045B2 (ja) 2019-09-25
AU2014314567B2 (en) 2017-07-27
CA2921264A1 (en) 2015-03-05
JP2016536897A (ja) 2016-11-24
US10666861B2 (en) 2020-05-26
BR112016003927A2 (pt) 2017-08-22
GB201315416D0 (en) 2013-10-16
GB2517730A (en) 2015-03-04
CN105765959B (zh) 2020-06-30
DK3039854T3 (da) 2020-07-27
AU2014314567A1 (en) 2016-03-17
CN105765959A (zh) 2016-07-13
MX2016002606A (es) 2016-09-08
WO2015028203A1 (en) 2015-03-05
RU2666137C2 (ru) 2018-09-06
RU2016110470A (ru) 2017-10-02
HUE050838T2 (hu) 2021-01-28
CA2921264C (en) 2023-10-03
PL3039854T3 (pl) 2020-11-30
ES2805800T3 (es) 2021-02-15
KR102189139B1 (ko) 2020-12-10
EP3039854B1 (en) 2020-04-15
SI3039854T1 (sl) 2020-11-30
MX366918B (es) 2019-07-30
US20160212337A1 (en) 2016-07-21
HRP20201098T1 (hr) 2021-02-05
EP3039854A1 (en) 2016-07-06
PT3039854T (pt) 2020-07-20
KR20160048178A (ko) 2016-05-03

Similar Documents

Publication Publication Date Title
BR112016003927B1 (pt) Método e sistema para realizar uma produção de vídeo
US9298986B2 (en) Systems and methods for video processing
US11283983B2 (en) System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
ES2845933T3 (es) Método y sistema de producción automática de televisión
ES2352675T3 (es) Estroboscopia automática de video-secuencia.
US8970666B2 (en) Low scale production system and method
CN108369816B (zh) 用于从全向视频创建视频剪辑的设备和方法
US20150297949A1 (en) Automatic sports broadcasting system
US9094615B2 (en) Automatic event videoing, tracking and content generation
US20190068945A1 (en) Information processing device, control method of information processing device, and storage medium
BRPI0902350A2 (pt) método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador
JP2004500756A (ja) ビデオシーケンスと時空正規化との調整および合成
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
JP5532645B2 (ja) 映像編集プログラムおよび映像編集装置
Stoll et al. Automatic camera selection, shot size and video editing in theater multi-camera recordings
US11134186B2 (en) Method for controlling a robotic camera and camera system
JP4608139B2 (ja) 画像合成方法及び画像合成装置
Thomas et al. Introduction to the Use of Computer Vision in Sports
WO2015169165A1 (en) Method and system for creating replate videos
JP2017111619A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 22/07/2014, OBSERVADAS AS CONDICOES LEGAIS