BRPI0902350A2 - método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador - Google Patents

método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador Download PDF

Info

Publication number
BRPI0902350A2
BRPI0902350A2 BRPI0902350-0A BRPI0902350A BRPI0902350A2 BR PI0902350 A2 BRPI0902350 A2 BR PI0902350A2 BR PI0902350 A BRPI0902350 A BR PI0902350A BR PI0902350 A2 BRPI0902350 A2 BR PI0902350A2
Authority
BR
Brazil
Prior art keywords
event
game
image
player
list
Prior art date
Application number
BRPI0902350-0A
Other languages
English (en)
Inventor
Michael John Williams
Christopher Leonard Robinson
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of BRPI0902350A2 publication Critical patent/BRPI0902350A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

MéTODO, APARELHO E INTERFACE GRáFICA DE USUáRIO PARA GERAR UM REGISTRO DE EVENTO DOS EVENTOS DO JOGO ASSOCIADOS COM UM ELEMENTO PRESENTE EM UM EVENTO ESPORTIVO, E, PROGRAMA DE COMPUTADOR. Um método para gerar um registro de evento dos eventos de jogo associados com elemento presente em um evento esportivo. O método inclui rastrear, dentro da sequência de imagens de video, recursos de imagem que correspondam aos respectivos elementos no evento esportivo e selecionar, a partir dos recursos de imagem rastreados, um primeiro recurso de imagem que corresponda a um dos elementos a fim de designar aquele elemento como um elemento selecionado. O método ainda inclui selecionar um evento de jogo a partir de uma lista de evento de possíveis eventos do jogo para associação com o elemento selecionado, e associar o evento de jogo selecionado com o elemento selecionado a fim de gerar o registro de evento.

Description

"MÉTODO, APARELHO E INTERFACE GRÁFICA DE USUÁRIO PARAGERAR UM REGISTRO DE EVENTO DOS EVENTOS DO JOGOASSOCIADOS COM UM ELEMENTO PRESENTE EM UM EVENTOESPORTIVO, E, PROGRAMA DE COMPUTADOR"
FUNDAMENTOS DA INVENÇÃO
Campo da Invenção
A presente invenção se refere à um método e aparelho paragerar um registro de evento.
Descrição da técnica Anterior
No campo da transmissão de esportes tal como uma coberturade partidas de futebol, é usual para comentaristas identificar visualmentejogadores a partir de filmagens de vídeo ao vivo de um jogo ou a partir de umponto bem localizado em um estádio tal que as estatísticas do jogo possam sercompiladas sobre cada jogador. Adicionalmente, para programas de destaque,informação sobre uma posição de cada jogador em um campo de jogo e suasações no campo de jogo podem ser compiladas por um operador a partir dagravação da filmagens de vídeo ao vivo usando uma adequada estação deedição e revisão.
Contudo, rever e editar as filmagens de vídeo gravadasconsome tempo e dinheiro assim como está sujeito a erro humano. Embora,sistemas automatizados possam ser usados para auxiliar o operador humano arastrear cada jogador usando técnicas de refundamentos de imagem nasfilmagens de vídeo da partida, sistemas automatizados podem fazer esforçopara registrar um evento se um jogador está envolvido em um evento do jogotal com o chutar uma bola, atacar um outro jogador e o similar.
Ainda mais, dados anotados considerando a posição dejogadores durante um jogo podem ser usados para recriar aquela partidausando uma simulação virtual em 3D. Contudo, de modo a simulação parecerrealística, os dados relacionando o tipo de evento do jogo necessitam serentrados em um aparelho efetuando a simulação tal que os jogadoressimulados podem ser forçados a efetuar ações de jogo adequada de acordocom eventos reais durante a partida.
Alguns sistemas tal como aquele descrito em WO-A-02/071334 usam múltiplas câmeras para rastrear participantes em um eventoesportivo tal como uma partida de futebol. Os dados de posição gerados pelosistema podem ser anotados com um jogo apropriado por um operador usandouma lista separada que é exibida separadamente a partir das filmagens dapartida.
Contudo, onde há muitos eventos envolvidos, pode haverconsumo de tempo para um operador anotar grandes quantidades de filmagensdevido a ter de selecionar a jogador de uma lista, e confirmar visualmente apartir das filmagens, que evento deve ser associado como o jogador.
A presente invenção procura aliviar ou mitigar os problemasacima.
SUMÁRIO DA INVENÇÃO
Em um primeiro aspecto, é fornecido um método para gerarum registro de eventos de jogo associados com um elemento presente em umevento esportivo, o método compreendendo:
- rastrear, dentro de uma seqüência de imagens de vídeo,recursos de imagem que correspondem aos respectivos elementos no eventoesportivo;
- selecionar, a partir dos recursos de imagem rastreados, umprimeiro recurso de imagem que corresponde a um dos elementos a fim dedesignar aquele elemento como um elemento selecionado;
- selecionar um evento de jogo a partir de uma lista de eventode possíveis eventos do jogo para associação com o elemento selecionado; e
- associar o evento de jogo selecionado com o elementoselecionado a fim de gerar o registro de evento para aquele elemento.Consequentemente, rastreando os recursos de imagemcorrespondendo a, por exemplo, jogadores de um jogo de futebol, eselecionando um recurso de imagem correspondendo a um jogador desejado,um operador pode selecionar um evento de jogo apropriado (tal como um chute ou uma cabeçada) a partir de uma lista de evento para associar comaquele jogador. Adicionalmente, um recurso de imagem correspondendo a umjogador pode ser automaticamente selecionado por, por exemplo, uma estaçãode trabalho de processamento de conteúdo e um evento apropriado a partir dalista de evento associada com aquele jogador. Por conseguinte, custo e trabalho envolvido na marcação da filmagem de vídeo para gerar estatísticasda partida podem ser reduzidos. Ainda mais, por exemplo, o registro deevento resultante pode ser usado como uma entrada a uma simulação em 3Dcompreendendo dados de rastreamento de jogadores e de uma bola envolvidos em uma partida real de futebol assim sendo melhorando a simulação em3D da partida real; um jogador simulado pode assim sendo ser forçado aimitar as ações associadas com o evento de jogo.
Este método também compreende exibir, dentro da seqüênciade imagens de vídeo, o primeiro recurso de imagem junto com a lista deevento; e
- selecionar o evento de jogo a partir da lista de evento deacordo com uma seleção manual do evento de jogo por um usuário.
Isto auxilia o usuário a escolher o evento e assim acelera oprocesso de anotação.
A lista de evento pode ser exibida para ser substancialmenteadjacente ao primeiro recurso de imagem.
Isto permite ao usuário se concentrar na área da tela onde ovídeo é exibido. Isto de novo acelera o processo de anotação.
O método pode também compreende rastrear, através dasanálises da seqüência de imagens de vídeo, uma posição dentro de cadaimagem de vídeo de um objeto de jogo associado com o evento esportivo afim de gerar dados de movimento que se referem a uma direção demovimento do objeto de jogo dentro da seqüência de imagens de vídeo;
- detectar uma ocorrência de um evento de jogo emdependência da mudança na direção de movimento do objeto de jogoanalisando os dados de movimento; e
- marcar uma ou mais imagens de vídeo nas quais um eventode jogo é detectado ter ocorrido a fim de indicar que aquelas imagens devídeo compreendem uma ocorrência de um evento de jogo.
Fazendo isto, é possível automaticamente detectar onde há umevento permitindo ao usuário pular para quadros relevantes mais rapidamente.
Um evento de jogo pode ser detectado ter ocorrido se amudança na direção de movimento do objeto de jogo é maior do que umpredeterminado limite.
O método pode compreender detectar, através de análises daseqüência de imagens de vídeo, uma posição do objeto de jogo com relaçãoao elemento selecionado; e
- selecionar um evento de jogo a partir da lista de evento deacordo com a posição detectada do objeto de jogo com relação ao elementoselecionado.
Isto é particularmente útil em ajudar a selecionar eventosrelevantes. Por exemplo, na modalidade de futebol descrita daqui em diante,pode ser que conhecendo que um evento ocorreu quando o objeto de jogo (porexemplo, bola) está sobre a altura da cabeça significa que o evento é provávelser que a bola foi cabeceada.
O método pode compreender detectar uma distância relativaentre o objeto de jogo e cada um dos elementos a fim de gerar dados dedistância que se referem à distância entre o objeto de jogo e cada um doselementos;- analisar os dados de distância dados a fim de para detectarqual dos elementos estava mais perto do objeto de jogo quando um evento dejogo é detectado ter ocorrido; e
- associar que evento de jogo com o elemento que é detectadocomo estando mais perto do objeto de jogo quando o evento de jogo ocorreu.
Isto de novo pode ajudar em automatizar a ação de registro doevento.
O método pode também compreende seqüencialmente exibir aseqüência de imagens de vídeo; pausando a exibição seqüencial da seqüência de imagens de vídeo em uma imagem de vídeo que foi marcada comocompreendendo uma ocorrência de um evento de jogo; e
- exibindo o primeiro recurso de imagem junto com a lista deevento tal que um evento apropriado de jogo pode ser selecionado por umusuário a partir da lista de evento para associação com o elementoselecionado.
Isto de novo pode ajudar a acelerar o processo de registro deevento.
Cada elemento pode ser associado com dados de identificaçãoúnicos que permitem aquele elemento ser de modo único, identificado.
Um programa de computador contendo instruções legíveis decomputador que, quando carregado em um computador, configura ocomputador para efetuar o método, é também fornecido.
Em um outro aspecto é fornecido um aparelho para gerar umregistro de evento de eventos do jogo associados com um elemento presenteem um evento esportivo, o aparelho compreendendo:
- meios de rastreamento para rastrear, dentro de uma seqüênciade imagens de vídeo, os recursos de imagem que correspondem aosrespectivos elementos no evento esportivo;
- meios de seleção de recurso de imagem para selecionar, apartir dos recursos de imagem rastreados, um primeiro recurso de imagem quecorresponde a um dos elementos a fim de designar aquele elemento como umelemento selecionado;
- meios de seleção de evento de jogo para selecionar umevento de jogo a partir de uma lista de evento de possíveis eventos do jogo
para associação com o elemento selecionado; e
- meios de associação para associar o evento de jogoselecionado com o elemento selecionado a fim de gerar o registro de eventopara aquele elemento.
Este aparelho também compreende meios para exibir, dentroda seqüência de imagens de vídeo, o primeiro recurso de imagem junto com alista de evento; e
- no qual os meios de seleção de evento de jogo são operáveispara selecionar o evento de jogo a partir da lista de evento de acordo com umaseleção manual do evento de jogo por um usuário.
Em ainda um aspecto adicional, é fornecido um aparelho paragerar um registro de evento de eventos do jogo associados com um elementopresente em um evento esportivo, o aparelho compreendendo:
- um dispositivo de rastreamento para rastrear, dentro da seqüência de imagens de vídeo, recursos de imagem que correspondem à
respectivos elementos no evento esportivo;
- um seletor de recurso de imagem para selecionar, a partir dosrecursos de imagem rastreados, um primeiro recurso de imagem quecorresponde a um dos elementos a fim de designar aquele elemento como umelemento selecionado;
- um seletor de evento de jogo para selecionar um evento dejogo a partir de uma lista de evento de possíveis eventos do jogo paraassociação com o elemento selecionado; e
- um dispositivo de associação para associar o evento de jogoselecionado com o elemento selecionado a fim de gerar o registro de eventopara aquele elemento.
Este aparelho também compreende um dispositivo de exibiçãopara exibir, dentro da seqüência de imagens de vídeo, o primeiro recurso deimagem junto com a lista de evento; e
- no qual o seletor de evento de jogo é operável para selecionaro evento de jogo a partir da lista de evento de acordo com uma seleçãomanual do evento de jogo por um usuário.
A lista de evento pode ser exibida para ser substancialmenteadjacente ao primeiro recurso de imagem.
O dispositivo de rastreamento pode ser operável para rastrear,através das análises da seqüência de imagens de vídeo, uma posição dentro decada imagem de vídeo de um objeto de jogo associado com o eventoesportivo a fim de gerar dados de movimento que se relacionam à umadireção de movimento do objeto de jogo dentro da seqüência de imagens devídeo; e
o aparelho pode ainda compreender:
- um detector para detectar uma ocorrência de um evento dejogo na dependência de uma mudança na direção de movimento do objeto dejogo analisando os dados de movimento; e
- um dispositivo de marcação para marcar uma ou maisimagens de vídeo no qual um evento de jogo é detectado ter ocorrido a fim deindicar que aquelas imagens de vídeo compreendem uma ocorrência de umevento de jogo.
Um evento de jogo pode ser detectado ter ocorrido se amudança na direção de movimento do objeto de jogo é maior do que umpredeterminado limite.
O dispositivo de rastreamento pode ser operável para detectar,através de análises da seqüência de imagens de vídeo, um posição do objetode jogo com relação ao elemento selecionado; e
- o seletor de evento de jogo pode ser operável para selecionarum evento de jogo a partir da lista de evento de acordo com a posição doobjeto de jogo detectada com relação ao elemento selecionado.
O dispositivo de rastreamento pode ser operável para: detectaruma distância relativa entre o objeto de jogo e cada um dos elementos, a fimde gerar dados de distância que se relacionam à distância entre o objeto dejogo e cada um dos elementos; e analisar os dados de distância a fim dedetectar quais dos elementos estavam mais perto do objeto de jogo quando um evento de jogo é detectado ter ocorrido; e
- o dispositivo de associação pode ser operável para associaraquele evento de jogo com o elemento que é detectado como estando maisperto do objeto de jogo quando o evento de jogo ocorreu.
O aparelho pode compreender
- um dispositivo de exibição para seqüencialmente exibir umaseqüência de imagens de vídeo;
- no qual o aparelho é configurado para:
- pausar a exibição seqüencial da seqüência de imagens devídeo em uma imagem de vídeo que foi marcada como compreendendo uma ocorrência de um evento de jogo; e
- forçar o dispositivo de exibição a exibir o primeiro recurso deimagem junto com a lista de evento tal que um evento apropriado de jogopode ser selecionado por um usuário a partir da lista de evento paraassociação com o elemento selecionado.
Cada elemento pode ser associado com dados de identificaçãoúnicos que permitem àquele elemento ser de modo único, identificado.
Em um aspecto adicional é fornecido uma interface gráfica deusuário para gerar um registro de evento dos eventos do jogo associados comelemento presente em um evento esportivo, o evento sendo de formasubsequente associado com o elemento, a interface compreendendo:
- recursos de imagem, dentro de um quadro da seqüência dequadros, que correspondem à respectivos elementos no evento esportivo;
- um seletor de recurso de imagem para selecionar, a partir dosrecursos de imagem exibidos, um primeiro recurso de imagem quecorresponde a um dos elementos a fim de designar aquele elemento como umelemento selecionado;
- um seletor de evento de jogo para selecionar um evento dejogo a partir de uma lista de evento de possíveis eventos do jogo paraassociação com o elemento selecionado;
- um dispositivo de exibição para exibir, dentro da seqüênciade imagens de vídeo, o primeiro recurso de imagem junto com a lista deevento; e
- no qual o selecionador de evento de jogo é operável paraselecionar o evento de jogo a partir da lista de evento de acordo com umaseleção manual do evento de jogo por um usuário.
Vários aspectos e recursos adicionais da presente invenção sãodefinidos nas reivindicações anexas.
DESCRIÇÃO BREVE DOS DESENHOS
O descrito acima e outras vantagens e recursos da invençãoserão aparentes da seguinte descrição detalhada das modalidades ilustrativasque é para ser lida em conjunto com os desenhos anexos, nos quais:
Figura 1 é um diagrama esquemático de um sistema derastreamento de objeto usado no aparelho e método de registro de evento deacordo com uma modalidade da presente invenção;
Figura 2 é um fluxograma de um método de rastreamento deobjeto usado no aparelho e método de registro de evento de acordo commodalidades da presente invenção;
Figuras 3A e 3B são diagramas esquemáticos de rastreamentode objeto usados no aparelho e método de registro de evento de acordo comuma modalidade da presente invenção;
Figura 4A é uma ilustração de uma imagem de vídeocapturado a partir de uma cena, que mostra uma partida de futebol comjogadores a serem rastreados;
Figura 4B é um desenho de linhas que é equivalente, etecnicamente idêntico à, Figura 4A;
Figura 5A é uma ilustração de uma imagem de vídeo que foiprocessada no sistema de rastreamento de objeto para produzir um modelo deplano de fundo considerando a média e Figura 5C mostra o modelo de planode fundo quando considerando a variância;
Figura 5B é um desenho de linhas que é equivalente, etecnicamente idêntico à, Figura 5A e Figura 5D é um desenho de linhas que éequivalente, e tecnicamente idêntico à, Figura 5C
Figura 6A é uma ilustração de uma imagem de vídeo que foiprocessada no sistema de rastreamento de objeto para amostrar posiçõesrastreadas dos jogadores;
Figura 6B é um desenho de linhas que é equivalente, etecnicamente idêntico à, Figura 6A
Figura 7A é uma ilustração de duas imagens de vídeo queforam capturadas a partir de duas câmeras diferentes, uma para cada lado docampo e uma ilustração de uma representação virtual da partida de futebol naqual a posição dos jogadores é rastreada com relação ao tempo;
Figura 7B é um desenho de linhas que é equivalente, etecnicamente idêntico à, Figura 7A;
Figura 8 é uma representação de uma imagem de vídeo de umapartida de futebol na qual os jogadores que foram rastreados são etiquetados;
Figura 9 é uma representação em três dimensões de ummodelo virtual de uma partida de futebol na qual uma vista da partida podeser mudada;
Figura 10 é um diagrama em bloco esquemático de um sistemapara fazer um modelo virtual da partida de futebol no qual jogar érepresentado por elementos sintetizados disponíveis aos dispositivos doclientes através da internet;
Figura 11 é um diagrama esquemático de uma imagem de umcampo de futebol junto com uma lista de evento que permite a um evento dejogo ser associado com um jogador de acordo com uma modalidade dapresente invenção;
Figura 12 é um fluxograma de um método para gerar umregistro de evento de acordo com uma modalidade da presente invenção;
Figura 13 é um fluxograma de um método de detectar umevento de jogo de acordo com uma modalidade da presente invenção; e
Figura 14 é um gráfico xy dos vetores de movimento usadospara detectar uma mudança na direção de movimento de um objeto de acordocom uma modalidade da presente invenção.
DESCRIÇÃO DAS MODALIDADES EXEMPLOS
Um método e aparelho para gerar um registro de evento sãodivulgados. Na seguinte descrição, um número de detalhes específicos éapresentado de modo a fornecer um entendimento aprofundado demodalidades da presente invenção. Contudo, será aparente para uma pessoacom qualificação na técnica que esses detalhes específicos necessitam não serempregado para praticar uma presente invenção. Inversamente, detalhesespecíficos conhecidos para a pessoa com qualificação na técnica sãoomitidos para os propósitos de clareza em apresentar as modalidades.
Figura 1 mostra um diagrama esquemático de um sistema derastreamento de objeto usado no aparelho e método de registro de evento deacordo com modalidades da presente invenção. Na modalidade mostrada nafigura 1, os objetos a serem rastreados são os jogadores de futebol (nãomostrados) em um campo de futebol 30. Imagens de vídeo de alta definição(HD) (1920 por 1080 pixéis de imagem) do campo 30 são capturadas atravésde uma ou mais câmeras de alta definição. Embora, as modalidades dapresente invenção possam ser usadas para rastrear objetos em imagens devídeo a partir de mais do que um câmera, em alguns exemplos somente umaúnica câmera é usada. Como será apreciado, as câmeras de HD são caras, talque usando somente uma única câmera pode reduzir uma quantidade dedespesa requeridas para implementar sistemas que utilizam a presente técnica.Contudo, usando somente uma única câmera fornece somente uma única vistaem duas dimensões de uma cena dentro da qual os objetos estão dispostos.Como um rastreamento resultado dos objetos dentro da cena representadapelas imagens de vídeo pode ser mais difícil, porque eventos de oclusão, nosquais um objeto obscurece um outro, são mais prováveis. Tal uma únicacâmera 20 exemplo é mostrada na figura 1, embora como ilustrado pelacâmera 22.1, 22.2 opcionalmente duas câmeras podem ser usadas, cada umaapontando em uma diferente metade do campo de futebol.
Em algumas modalidades, uma câmera adicional 22.3 pode serusado na combinação com a câmera 20 e/ou as câmeras 22.1 e 22.2 a fim dedetectar uma posição de um objeto tal como um futebol com relação aocampo de futebol 30. Isto será descrito em mais detalhes mais tarde abaixo.
Na Figura 1, uma câmera de vídeo 20 é disposta em um pontofixo dentro do estádio de futebol e arrumada para comunicar sinais,representando imagens de vídeo capturadas pela câmera 20, para uma estaçãode trabalho de processamento de conteúdo 10, que realiza processamento deimagem e outras operações a fim de rastrear a posição dos jogadores nocampo com relação ao tempo. Os dados representando a posição dosjogadores com relação ao tempo é então registrada tal que dados autoexplicativos e estatísticas da partida podem ser gerados tal como ocomprimento de tempo que um particular jogador gastou em uma particularparte do campo, na medida em que o jogador corria e o similar. Os dadosrepresentando a posição dos jogadores com relação ao tempo forma dados decaminho para cada jogador, que se relaciona ao caminho que cada jogadortomou dentro das imagens de vídeo. Os dados de caminho são gerados comrelação a um modelo de três dimensões do campo de futebol (plano do objeto)de modo a fornecer informação associada com movimento dos jogadores comrelação a sua posição no campo, que não é prontamente aparente das (duasdimensões) imagens de vídeo. Estes dados gerados de caminho podem entãoser usados para melhorar uma experiência de visão para um observadorquando a filmagem da partida de futebol é transmitida através de um meioadequado para o observador ou para auxiliar um treinador quando treinando otime de futebol. O rastreamento dos objetos tal como os jogadores no campo30, será descrito em mais detalhes abaixo.
Nas modalidades da presente invenção, a estação de trabalhode processamento de conteúdo 10 usa um processador de Célula desenvolvidoconjuntamente por Sony®, Toshiba® e IBM®. A natureza paralela doprocessador de célula torna isto particularmente adequado para realizar tarefasde processamento computacionalmente intensivo tal como processamento deimagem, refiindamentos de imagem e rastreamento de objeto. Contudo, umapessoa qualificada vai apreciar que qualquer estação de trabalho adequado eunidade de processamento pode ser usado para implementar as modalidadesda presente invenção.
De acordo com a presente técnica, as imagens de vídeo, quesão geradas usando a câmera de vídeo de HD 20 é arrumada para capturar avista do campo completo, tal que os jogadores no campo podem serrastreados. Assim sendo o campo completo é capturado a partir de umaposição estática da câmera 20, embora como mencionado acima, mais do queuma câmera poderia ser usado, de modo a capturar o campo completo. Em umexemplo, como mencionado acima, as duas câmeras 22.1, 22.2 podem serusadas cada uma das quais é direcionada em diferentes metades do campo.Neste exemplo, as imagens de vídeo geradas por cada câmera podem sercosturadas juntas pela estação de trabalho de processamento de conteúdo 10como descrito na aplicação da Patente do Reino Unido de Nr. 0624410.7(publicada como GB-A-2 444 566) a fim de formar imagens de vídeo deresolução ultra-alta. Neste, após sofrer o processo de costura, a saída do feixeda câmera pode ser pensada como uma única imagem de resolução ultra-alta.
As vantagens do arranjo de ultra-alta definição são numerosasincluindo a habilidade de realçar particulares recursos de um jogador sem terde opticamente aproximar e por conseguinte afetar a imagem como um tododo estádio. Ainda mais, o rastreamento automático de um objeto é facilitadoporque o plano de fundo do evento é estático e há uma maior resolução de telado objeto a ser rastreado.
O rastreamento do objeto usado no aparelho e método deregistro de evento de acordo com modalidades da presente invenção seráagora descrito com referência às Figuras 2, 3 e 4.
Figura 2 mostra um fluxograma de um método de rastreamentode objeto. De modo a rastreia um objeto, um modelo de plano de fundo éconstruído a partir daquelas partes do vídeo recebido que são detectadas comosendo substancialmente estáticas sobre um predeterminado número dequadros. Em uma primeira etapa S30, a imagem de vídeo recebido da câmera20, que representa o campo de futebol, é processada para construir o modelode plano de fundo da imagem. O modelo de plano de fundo é construído demodo a criar uma máscara do primeiro plano que auxilia na identificação erastreamento dos jogadores individuais. O modelo de plano de fundo éformado na etapa S30 determinando para cada pixel de imagem uma médiados pixéis de imagem e uma variância dos valores do pixel de imagem entrequadros sucessivos de modo a construir o modelo de plano de fundo. Assimsendo, em quadros sucessivos onde o valor médio dos pixéis de imagem nãomuda enormemente, então esses pixéis de imagem podem ser identificadoscomo pixéis de imagem do plano de fundo de modo a identificar a máscara doprimeiro plano.
Tal uma segmentação em plano de fundo/em primeiro plano éum processo que é conhecido no campo do processamento de imagem e apresente técnica utiliza um algoritmo descrito no documento por Manzanera eRichefeu, e com o título "A robust e Computationally Efficient MotionDetection Algorithm Based on I-A Background Estimation", publicado nosprocedimentos ICVGIP, 2004. Contudo, a presente técnica não deve serconsiderada como sendo limitada para esta técnica conhecida e outras técnicaspara gerar uma máscara de primeiro plano com relação a um modelo de planode fundo para uso no rastreamento são também conhecidos.
Será apreciado que, no caso onde o campo de visão da câmerade vídeo engloba alguns de uma multidão, a multidão é improvável de serincluída no modelo de plano de fundo já que eles provavelmente serãomovidos. Isto é indesejável porque é provável aumentar uma carga deprocessamento no processador de Célula quando realizando o rastreamento deobjeto, da mesma forma sendo desnecessário, já que a maioria dostransmissores de esporte serem improváveis de estarem interessados emrastrear pessoas na multidão .
Na técnica de rastreamento de objeto divulgada, o modelo deplano de fundo é construído no início do jogo e pode mesmo ser feito antesdos jogadores entrarem no campo. Adicionalmente, o modelo de plano defundo pode ser recalculado periodicamente ao longo do jogo a fim de levarem conta quaisquer mudanças na condição de iluminação tal como sombrasque podem variar ao longo do jogo.
Na etapa S40, o modelo de plano de fundo é subtraído daimagem entrante da câmera para identificar áreas de diferença. Assim sendo omodelo de plano de fundo é subtraído da imagem e a imagem resultante éusada para gerar uma máscara para cada jogador. Na etapa S45, um limite écriado com relação aos valores dos pixéis de imagem em uma versão daimagem que resulta quando o modelo de plano de fundo foi subtraído. Omodelo de plano de fundo é gerado primeiro determinando a média dos pixéisde imagem sobre uma série de quadros das imagens de vídeo. A partir dosvalores médios de cada um dos pixéis de imagem, a variância de cada um dospixéis de imagem pode ser calculada a partir dos quadros das imagens devídeo. A variância dos pixéis de imagem é então usada para determinar umvalor limite, que vai variar para cada pixel de imagem através de todos ospixéis de imagem das imagens de vídeo. Para pixéis de imagem, quecorrespondem a partes da imagem, onde a variância é alta, tal como partesque incluem a multidão, o limite podes em resposta configurado para umvalor alto, à etapa que as partes da imagem, que correspondem ao campo vãoter um limite mais baixo, já que a cor e conteúdo do campo seráconsistentemente o mesmo, aparte da presença dos jogadores. Assim sendo, olimite vai determinar se um elemento do primeiro plano está ou não presentee, por conseguinte, uma máscara de primeiro plano podecorrespondentemente ser identificada. Na etapa S50, uma probabilidade deforma baseada em uma correlação com um modelo de forma humana médio éusado para extrair uma forma dentro da máscara do primeiro plano. Aindamais, recursos de cor são extraídos da imagem de modo a criar uma máscarade probabilidade de cor, de modo a identificar o jogador, por exemplo, a partirda cor da camisa do jogador. Assim sendo a cor de cada camisa do time podeser usada para diferenciar os jogadores cada um do outro. Para este fim, aestação de trabalho de processamento de conteúdo 10 gera gabaritos de cor nadependência das cores conhecida de cada camisa de time do time de futebol.Assim sendo, a cor das camisas de cada time é requerida, a cor da camisa dogoleiro e aquela do árbitro. Contudo, será apreciado que outros gabaritos decor adequados e/ou processos de coincidência de gabarito poderiam serusados.
Retornando à Figura 2, na etapa S50 a estação de trabalho deprocessamento de conteúdo 10 compara cada um dos pixéis de imagem decada gabarito de cor com os pixéis de imagem correspondendo a região dacamisa da imagem do jogador. A estação de trabalho de processamento deconteúdo então gera um valor de probabilidade, que indica uma similaridadeentre os pixéis de imagem do gabarito de cor e o pixéis de imagemselecionados, para formar uma probabilidade de cor baseada na distância noespaço de cor de valor de saturação de matiz (HSV) dos modelos de cor dotime e campo. Em adição, uma probabilidade de forma é usada para localizaros jogadores, que é baseada em correlação com um modelo de forma humanamédia. Ainda mais, uma probabilidade de movimento é baseada na distânciada posição prognosticada através de uma estimativa de quadrados mínimosrecursivos usando parâmetros de posição inicial, de velocidade e deaceleração.
A criação de máscara de jogador é ilustrada na figura 3A.Figura 3A mostra uma visão da câmera 210 do campo de futebol 30 geradopela câmera de vídeo 20. Como já explicado, o campo 30 forma parte domodelo de plano de fundo, enquanto os jogadores 230, 232, 234, 236, 238,240 devem formar parte da máscara de primeiro plano como descrito acima.Caixas delimitando o jogador são mostradas como as linhas pontilhadas emtorno de cada jogador.
Até agora as etapas S30, S40, S45 e S50 são efetuados comrelação ao processamento de imagem da câmera. Tendo concebido a máscarado primeiro plano, o rastreamento de jogador é efetuado após primeiroclassificando o trajeto do jogador através da proximidade à câmera na etapaS55. Assim sendo, os jogadores que são identificados como estando maisperto da câmera são processados primeiro, de modo a eliminar essesjogadores do processo de rastreamento. Na etapa S60, as posições do jogadorsão atualizadas a fim de maximizar as probabilidades de forma, cor emovimento. Na etapa S70 uma máscara de oclusão é construída que excluiregiões de imagem já conhecidas para serem cobertas por outro mais pertotrajeto do jogador. Isto assegura que jogadores parcialmente oucompletamente oclusivos por outros jogadores podem somente sercoincididos com regiões de imagem visíveis. A máscara de oclusão melhora aconfiabilidade de rastreamento conforme isto reduz a incidência de fusão detrajeto (onde dois trajetos seguem o mesmo jogador após em evento deoclusão). Isto é um particular problema quando muitos dos alvos parecem os mesmos, porque eles não podem ser (facilmente) distinguidos por cor. Amáscara de oclusão permite aos pixéis de imagem serem atribuídos a umjogador perto e excluídos do próximo jogador, prevenindo ambos trajetos decoincidir com o mesmo conjunto de pixéis de imagem e assim sendomantendo suas identidades separadas.
Aí então segue um processo de rastreamento de cada jogadorextraindo os recursos fornecidos dentro da imagem da câmera e mapeando-osem um modelo em 3D como mostrado nas Figuras 3A e 3B. Assim sendo,para corresponder uma posição dentro da imagem em 2D produzida pelacâmera, uma posição em 3D á atribuída a um jogador que maximiza asprobabilidades de forma, cor e movimento. Como será explicado brevemente,a seleção e mapeamento do jogador a partir da imagem em 2D no modelo em3D será modificado se um evento de oclusão foi detectado. Para auxiliar omapeamento da imagem em 2D para o modelo em 3D na etapa S65 osjogadores a serem rastreados são configurados inicialmente no sentido de picos de probabilidade de forma e de cor, são mapeados para a mais adequadaseleção de jogadores. Deve ser enfatizado que a configuração inicial, que éefetuada na etapa S65 é somente efetuada uma vez, tipicamente no início doprocessamento do rastreamento. Para uma boa configuração inicial dosistema, os jogadores devem estar bem separados. Após a configuração inicialquaisquer erros no rastreamento dos jogadores são corrigidosautomaticamente de acordo com uma presente técnica, que não requerintervenção manual.
De modo a efetuar rastreamento no modelo em 3D a partir dasposições de imagem em 2D , uma transformação é efetuada através do uso deuma matriz de projeção P. O rastreamento requer que as posição de imagemem 2D pode ser relacionado às posições dentro do modelo em 3D. Estatransformação é realizada através do uso de uma matriz de projeção (P). Umponto no espaço de 2D se equipara a linha no espaço em 3D:
<formula>formula see original document page 20</formula>
Um ponto em um espaço em 2D se equipara a uma linha emum espaço em 3D porque uma terceira dimensão, que é a distância da câmera,não é conhecida e por conseguinte apareceria correspondentemente como umalinha através do modelo em 3D. Uma altura dos objetos (jogadores) pode serusada para determinar a distância da câmera. Um ponto no espaço em 3D éobtido selecionando um ponto ao longo da linha que passa em uma altura fixaacima do nível de chão conhecido (a altura humana média). A matriz deprojeção P é obtida a priori, uma vez por câmera antes da partida através deum processo de calibração de câmera no qual as características físicas docampo tal como os cantos 3IA, 31B, 31C, 31D do campo 30 são usadas paradeterminar os parâmetros da câmera, que podem por conseguinte auxiliar nomapeamento da posição em 2D dos jogadores que forma identificados nomodelo em 3D. Esta é uma técnica conhecida, usando métodos estabelecidos.Em termos de parâmetros físicos, a matriz de projeção P incorpora o nível deaproximação, centro focai, vetor de posição em 3 D e de rotação em 3 D dacâmera (onde ela está apontando).
O algoritmo de rastreamento efetuado na etapa S60 é graduadoe pode operar em uma ou mais câmeras, requerendo somente que todos ospontos no campo são visíveis de pelo menos, uma câmera (em uma resoluçãosuficiente).
Em adição, para a coincidência de cor e forma, a etapa S60inclui um processo no qual o movimento do jogador sendo rastreado tambémé incluído de modo a corretamente identificar cada um dos jogadores comuma maior probabilidade. Assim sendo o movimento relevante dos jogadoresentre quadros podem ser determinados ambos em termos de um movimentorelevante e em uma direção. Assim sendo, o movimento relativo pode serusado por quadros subsequentes para produzir uma região de pesquisa paraidentificar um particular jogador. Ainda mais, como ilustrado na Figura 3B, omodelo em 3D do campo de futebol pode ser aumentado com linhas para30.1, para 32.1, para 34.1, para 36.1, para 38.1, 240.1 que são posicionadasrelativa à indicação gráfica de uma posição dos jogadores para refletir adireção relativa do movimento dos jogadores no campo de futebol.
Na etapa S70, uma vez que a posição relativa dos jogadores foiidentificado no modelo em 3 D então esta posição é correspondentementeprojetada de volta na visão da imagem em 2D do campo de futebol e limiterelativo é projetado em torno do jogador identificado a partir de sua posiçãono modelo em 3D. Também na etapa S70, o limite relativo em torno dojogador é então adicionado à mascara de oclusão para aquele jogador.
Figura 3B mostra uma vista plana de um modelo virtual 220do campo de futebol. Na técnica mostrada na figura 3B, os jogadores 230,232, e 234 (no lado esquerdo do campo de futebol) forma identificados pelaestação de trabalho de processamento de conteúdo 10 como usando umadiferente camisa de futebol colorida dos jogadores 236, 238, e 240 (no ladodireito do campo) assim sendo indicando que eles são de times diferentes.Diferenciando os jogadores desta maneira torna a detecção de cada jogadorapós um evento de oclusão mais fácil que eles podem facilmente serdistinguidos cada um do outro pela cor de suas roupas.
Referindo de volta à Figura 2, em uma etapa S60, a posição decada jogador é rastreada usando técnicas de fundamentos tal como filtragemde Kalman embora seja apreciado que outras técnicas adequadas podem serusadas. Este rastreamento ocorre em ambos na vista da câmera 210 e nomodelo virtual 220. Na técnica descrita, o prognóstico de velocidade,realizado através da estação de trabalho de processamento de conteúdo 10usando a posição dos jogadores no modelo virtual 220 é usado para auxiliar orastreamento de cada jogador na vista da câmera 210.
Etapas S60 e S70 são repetidas até todos os jogadores teremsido processados como representado pela caixa de decisão S75. Assim sendo,se todos jogadores não foram processados então o processamento prosseguepara a etapa S60 aa etapa que se processamento terminou então oprocessamento termina em S80.
Conforme mostrado na figura 2, o método ilustrado inclui umaetapa adicional S85, que pode ser requerido se as imagens são produzidas pormais do que uma câmera. Como tal, as etapas do processo S30 à S80 podemser efetuadas para as imagens de vídeo de cada câmera. Como tal, cada umdos jogadores será fornecido com uma probabilidade de detecção de cadacâmera. Por conseguinte, de acordo com a etapa S85, cada uma das posiçõesde jogador é estimada, de acordo com a probabilidade para cada jogador decada câmera, e a posição do jogador estimada a partir da mais alta dasprobabilidades fornecidas por cada câmera, tal que a posição com a mais altaprobabilidade para cada jogador é identificada como a localização para aquelejogador.
Se foi determinado que um erro ocorreu no rastreamento dosjogadores no campo de futebol então o trajeto para aquele jogador pode serreinicializado na etapa S90. A detecção de um erro no rastreamento éproduzida onde a probabilidade de detecção de um particular jogador érelativamente baixa para um particular trajeto e consequentemente, o trajeto éreinicializado.
Um resultado de efetuar o método ilustrado na figura 2 é gerardados de caminho para cada jogador, que fornece uma posição do jogador emcada quadro da imagem de vídeo, que representa um caminho que aquelejogador toma ao longo da partida. Assim sendo os dados de caminhofornecem a posição com relação ao tempo.
Figuras 4A, 5A, 5C e 6A fornecem exemplo de ilustrações dequadros de exemplos de imagens de vídeo de uma partida de futebol no qual apresente técnica foi usada para rastrear jogadores e produzir um modelo em3D da partida de futebol como um modelo virtual. De modo a enfeitar adescrição e para ajudar no entendimento, desenhos de linha correspondendoàs Figuras 4A, 5A, 5C e 6A são fornecido nas figuras 4B, 5B, 5D e 6Brespectivamente. Os desenhos de linha são equivalentes, e tecnicamenteidênticos, para os quadros ilustrativos. Esses foram incluídos para auxiliar oentendimento se subsequente reprodução da aplicação produz as ilustraçõesnas Figuras 4A, 5A, 5C e 6A obscuras. Figura 4A fornece um exemplo deilustração de uma imagem de vídeo produzida por uma câmera de FíD de umapartida de futebol. Figura 5A fornece uma ilustração da imagem de vídeo daFigura 4A na qual a imagem foi processada para produzir o plano de fundosomente usando o valor médio de cada pixel de imagem, e a Figura 5Cfornece uma ilustração da imagem de vídeo da Figura 4A na qual a imagemfoi processada para produzir o plano de fundo somente usando a variância decada pixel de imagem na imagem. No correspondente desenho de linha daFigura 5D, será aparente que as multidão produz mais variância no plano defundo (mostrado pelos pontos na figura 5D). Figura 6A fornece umailustração de um resultado do rastreamento que é fornecer uma caixa limitadaem torno de cada jogador em correspondência com o exemplo mostrado nafigura 3 A.Figura 7 A fornece uma correspondente ilustração na qual duas câmeras foram usadas (tal como as câmeras 22.1, 22.2) para gerar imagens de vídeo, cada uma posicionada respectivamente para ver uma diferente metade do campo. Em ambas a metade esquerda e a metade direita, os jogadores são rastreados como ilustrado pelas caixas delimitadoras, que foram sobrepostas sobre cada jogador.
Na metade mais baixa da Figura 7 A, um modelo virtual da partida de futebol foi gerado para representar a posição dos jogadores, conforme enumerados de acordo com sua posição no campo como visto pelas câmeras nas imagens de vídeo de duas dimensões na metade superior da Figura 7A. Assim sendo a vista do modelo em 3D da partida de futebol corresponde à ilustração do modelo virtual mostrado na figura 3B. De novo, de modo a enfeitar a descrição e ajudar no entendimento, um desenho de linha correspondendo à Figura 7A é fornecido na figura 7B. Este desenho de linha é equivalente, e tecnicamente idêntico, aos quadros ilustrativos e forma incluídos para auxiliar o entendimento se subsequente reprodução da aplicação produz as ilustrações na figura 7A obscuras.
De acordo com a informação de rastreamento da presente técnica, que é gerada com relação a um modelo em 3 D de uma imagem em 2D de uma partida de futebol como descrito acima, pode ser adicionado às imagens de vídeo capturadas por uma câmera de vídeo. Um exemplo é ilustrado na figura 8. Como ilustrado na Figura 3B, o modelo em 3D do campo de futebol é usado para auxiliar no rastreamento e detecção dos jogadores naquele campo de futebol. Uma vez que a posição relativa dos jogadores foram detectados a partir do modelo em 3D então uma máscara para aquele jogador é então projetado no imagem em 2D e usado para auxiliar na detecção e rastreamento dos jogadores dentro da imagem em 2D. Contudo, uma vez que uma posição de jogador foi identificado com uma probabilidade relativamente alta, então a posição daquele jogador dentro da imagem devídeo em 2D da câmera é conhecida. Consequentemente, um gráfico ilustrando uma identidade daquele jogador, como estimado pelo algoritmo de rastreamento, pode ser sobreposto à alimentação de vídeo ao vivo câmera pela estação de trabalho de processamento de conteúdo 10. Assim sendo, como mostrado na figura 8, cada um dos jogadores 300, 302, 304, 306 é fornecido com uma correspondente etiqueta 308, 310, 312, 314 que é então usada para seguir aquele jogador em torno do campo de modo a rastrear a identidade daquele jogador.
Também mostrado dentro de uma vista de imagem na figura 8 estão dois conjuntos de imagens extraídas 320, 322. Cada um dos lados no campo de futebol é fornecido com um dos conjuntos de imagens extraídas 320, 322. Cada imagem é uma seção isolada da imagem fornecida a partir da câmera 20, que visa tanto quanto possível isolar aquele jogador no campo de futebol. Assim sendo, tendo identificado cada um dos jogadores, então a imagem daquele jogador dentro da imagem de vídeo pode ser extraída e exibida com outros jogadores dentro de cada um dos conjuntos correspondendo a cada um dos times no campo de futebol. Esta apresentação das imagens extraídas pode fornecer um isolamento automático de uma vista de um particular jogador sem um requisito para uma câmera separada para rastrear aquele jogador ao longo da partida de futebol. Assim sendo, uma única câmera pode ser usada para capturar o campo de futebol inteiro, e cada um dos jogadores pode ser rastreado ao longo da partida como se múltiplas câmeras fossem usadas para rastrear cada jogador. Como um resultado, uma redução significante das despesas e complexidade do sistema pode ser alcançada.
Como explicado acima, com referência às Figuras 3A e 3B, o processo de rastreamento de cada um dos jogadores utiliza um modelo em 3D do campo de futebol de modo a auxiliar na identificação e localização dos jogadores. Tendo conseguido informação sobre uma estimativa da posiçãodos jogadores e rastreado aquela informação entre cada um dos quadros das imagens de vídeo (dados de caminho de objeto), é possível criar uma representação virtual das imagens de vídeo ao vivo sintetizando as imagens de cada um dos jogadores e representando aqueles jogadores dentro do modelo em 3D. Ainda mais, uma posição relativa de uma vista do modelo ou posição de câmera sintetizada dentro do espaço virtual pode ser ajustado usando técnicas conhecidas para adaptar a vista relativa do modelo em 3 D do campo de futebol. Assim sendo, para cada uma das posições dos jogadores com relação ao tempo como determinada a partir da vista de imagem produzida pela câmera. É possível recriar uma vista virtual em 3D daquela partida de futebol ao vivo a partir de uma posição desejada da câmera.
Como ilustrado em um exemplo mostrado na figura 9, um modelo em 3D foi sintetizado aplicando os dados de caminho para cada jogador para o modelo em 3D (como ilustrado nas Figuras 3B e 8) e os jogadores foram representados através de um modelo de cada jogador em uma posição que muda com relação ao tempo. Ainda mais, já que a vista do modelo em 3D pode ser mudada, uma posição relativa da câmera pode ser alterada de modo a fornecer uma vista da partida em uma posição onde na realidade não há câmera presente. Assim sendo, como um exemplo, se um chute livre à gol foi adjudicado, como mostrado na figura 9, a posição relativa da câmera pode ser fornecida a partir de trás do gol de modo a fornecer uma vista do chute livre à gol em uma posição onde na realidade não há câmera presente.
Isto é alcançado como descrito acima usando a matriz de projeção P e mapeando a posição relativa em posição da camada em 3D a partir dos cantos do campo. Ainda mais, tendo estimado uma orientação relativa de cada jogador como descrito acima, então esta orientação relativa também pode ser fornecida com os dados de caminho para cada jogador, e o modelo do jogador pode ser exibida com aquela orientação, que vai mudarcom relação ao tempo. Assim sendo, a orientação do jogador que é identificada como parte do processo de rastreamento descrito acima é fornecida com os dados de caminho para gerar o modelo em 3 D da partida de futebol e estes dados de orientação são usados para mudar a orientação do jogador no modelo conforme este corresponde a imagem real.
Uma técnica adicional é ilustrada na figura 10. Como indicado acima, é possível sintetizar um modelo virtual em 3D de uma partida real de futebol usando a informação de rastreamento (dados do caminho do objeto) gerada usando o algoritmo de rastreamento e aplicando as representações sintetizadas de cada um dos jogadores em combinação com sua orientação relativa como indicado pelas linhas de orientação na Figuras 3B de modo a gerar uma representação da partida de futebol ao vivo efetiva. Em efeito, por conseguinte, isto representa uma forma de compressão já que as imagens de vídeo ao vivo são representadas por uma forma sintetizada em três dimensões substituindo a posição rastreada dos jogadores no campo de futebol com modelos sintetizados. Como tal, uma representação da partida de futebol de acordo com um modelo virtual em 3D pode ser sequenciada através da internet para os dispositivos de clientes. Tal um arranjo é mostrado na figura 10 onde a estação de trabalho de processamento de conteúdo 10 recebe dados de um depósito de dados 400, os dados fornecendo representações sintetizadas pré-geradas dos jogadores de futebol. As representações poderia também incluir informação pertencendo a uma postura, atitude ou conduta de cada um dos jogadores de modo para melhorar a representação virtual da partida de futebol. Assim sendo os dados de caminho produzidos a partir do processo de rastreamento descrito acima poderiam ser aumentados para incluir informação relacionando uma postura, atitude ou conduta do jogador e esta informação ser usada para selecionar um correspondente modelo sintetizado do jogador.
Tendo recebido as representações sintetizadas a partir dodepósito de dados 400, a estação de trabalho de processamento de conteúdo 10 pode gerar uma representação virtual em 3D da partida de futebol e opcionalmente passar os dados representando o modelo virtual em 3D para o dispositivo de pós - processamento 410. O pós processador 410 poderia ser usado para empacotar a informação associada com o modelo virtual em 3 D da partida de futebol para despachar em seqüência a um servidor de distribuição 420.
Na Figura 10, cada um da grande quantidade de cliente processadores de cliente 422 pode solicitar a particular vista do modelo virtual em 3D do campo de futebol selecionando opções relacionado a um time preferido ou a uma visão preferida um particular jogador, que são então alimentado para o servidor de distribuição 420. O servidor de distribuição 420 pode então ser arrumado para despachar em seqüência dados representativos do modelo virtual em 3D da partida de futebol de acordo com as opções preferidas fornecidas pelos terminais de clientes 422. Os terminais de clientes 422 podem então reproduzir sua visão preferida do modelo virtual em 3D fornecendo eficazmente uma versão comprimida das imagens de vídeo ao vivo produzidas pela câmera 20. Assim sendo os dados para recriar um modelo em 3 D da partida de futebol podem ser sequenciados para os dispositivos de cliente, que fornecem uma versão de largura de banda versão baixa de uma partida de futebol ao vivo ou quase ao vivo. Estes dados podem simplesmente incluir os dados de caminho do objeto fornecendo o rastreamento da posição de cada jogador com relação ao tempo, e pode incluir a orientação de cada jogador. O modelo em 3D do campo de futebol poderia ser gerado pelo software de aplicação nos terminais de clientes, que carrega modelos sintetizados dos jogadores e aplica os dados de caminho para criar o modelo em 3D da partida de futebol. Alternativamente, o modelo em 3D poderia ser usado para criar um jogo de computador, que reproduz ou recria uma partida real.Modalidades da presente invenção nas quais um registro de evento compreendendo uma associação entre um jogador e um evento tal como chutando a bola será agora descrito com referência às Figuras 11 à 14. Por motivos de clareza, será apreciado que objetos a serem rastreados podem não necessariamente ser jogadores de um jogo, mas pode ser o árbitro, a bola ou outro elemento do jogo ou de fato participantes em um evento tal como corrida de cavalos ou de carro. Por conseguinte, o termo jogador deve ser considerado do começo ao fim ser sinônimo com o termo participante.
Gerando um registro de evento, dados para recriar um modelo em 3D do campo de futebol como descrito acima podem ser aumentados com dados relacionando as ações efetuadas pelos jogadores assim sendo melhorando o realismo do modelo. Ainda mais, dados armazenados no registro do evento podem ser usados para gerar as estatísticas do jogo e o similar para análise pós-jogo e para auxiliar no treinamento dos jogadores.
Tipicamente, o registro de evento é gerado durante reprodução da partida a posterior da filmagem de vídeo da partida, embora em algumas modalidades, o registro de evento possa ser gerado substancialmente em tempo real como será descrito mais tarde abaixo.
Figura 11 mostra um diagrama esquemático de uma imagem de um campo de futebol junto com uma lista de evento que permite a um evento de jogo ser associado com um jogador. Em particular, a Figura 11 mostra uma grande quantidade de jogadores (510a, 510b, 510c, 510d, 510e e 510f) no campo de futebol 30 junto com um bola de futebol 520. Uma caixa de seleção de jogador 530 é mostrado em torno do jogador 510e. A caixa de seleção de jogador 530 é associada com uma lista de evento que mostra uma lista de possíveis eventos que podem ser associados com um jogador. Por exemplo, a lista de evento 540 mostra possíveis eventos tal como "Drible", "Cabeçada", "Chute para Esquerda", "Chute para Direita", "Falta", e "Combate", embora seja apreciado que a lista de evento pode compreendequalquer adequado evento para associação com um jogador.
Em uma modalidade, a lista de evento 540 permite a um operador atribuir ou associar um evento a um jogador para um particular quadro ou quadros de imagem. Um método através do qual isto é alcançado será agora descrito com referência à Figura 12.
Figura 12 é um fluxograma de um método para gerar um registro de evento de acordo com uma modalidade da presente invenção.
Em um etapa slOO, a estação de trabalho de processamento de conteúdo rastreia, dentro da seqüência de imagens de vídeo, recursos de 10 imagem correspondendo aos jogadores como descrito acima com referência às Figuras 1 à 8. A seqüência de imagens de vídeo pode ser seqüencialmente exibida e reproduzida para o operador usando um visor adequado tal que os eventos podem ser associados com jogadores quando particulares eventos acontecem durante um jogo. Eventos podem ser associados com um jogador ou por um usuário de forma manual associando ou atribuindo um evento para um jogador, pela estação de trabalho de processamento de conteúdo 10 automaticamente detectando um evento e associando o evento com um jogador, ou através de uma combinação das duas técnicas.
Em uma etapa sl05, um recurso de imagem correspondendo a um jogador (tal como o jogador 510e) é selecionado. Em uma modalidade, o operador pode selecionar um jogador clicando no recurso de imagem correspondendo a um jogador que eles desejam selecionar (por exemplo, jogador 510e) usando um dispositivo de entrada de usuário adequado tal como um mouse. Contudo, Será apreciado que outros dispositivos de entrada adequados podem ser usados para permitir a um operador selecionar um recurso de imagem correspondendo a um jogador.
A estação de trabalho de processamento de conteúdo 10 então designa aquele jogador como um jogador selecionado e força o visor a realçar o jogador selecionado (e. g. jogador 510e) forçando o visor a exibir a caixa deseleção de jogador 530 em torno do jogador selecionado. Um operador pode assim sendo confirmar visualmente que o jogador que ele clicou foi designado como o jogador selecionado. Contudo, a pessoa qualificada é claro, vai perceber que outros métodos adequados para realçar o jogador selecionado poderiam ser usados.
Em uma modalidade, para selecionar um jogador, o operador pode pausar a reprodução das imagens de vídeo quando ele observa que um evento de jogo (tal como um chute para a esquerda ou para a direita) ocorreu tal que um jogador pode ser associado com aquele evento. Alternativamente, a estação de trabalho de processamento de conteúdo 10 pode detectar a ocorrência de um evento de jogo e pausar a exibição seqüencial das imagens de vídeo tal que um usuário pode atribuir ou associar um evento a um jogador. O modo no qual uma ocorrência de um evento é detectado será descrito em mais detalhes abaixo com referência à Figura 13.
Em uma outra modalidade, a estação de trabalho de processamento de conteúdo 10 é operável para selecionar, na etapa s 105, um recurso de imagem correspondendo a um jogador de acordo com um detecção de uma ocorrência de um evento e da posição da bola 520 com relação aos jogadores. Isto é descrito em mais detalhes abaixo com referência à Figura 13.
Uma vez que um jogador foi selecionado na etapa sl05, um evento de jogo é selecionado a partir de uma lista de evento 540 em uma etapa sl 10. Na modalidade mostrada na figura 11, a estação de trabalho de processamento de conteúdo 10 força uma lista de evento 540 a ser exibida em associação com a caixa de seleção de jogador 530. O operador pode entãoselecionar um evento apropriado a ser associado com o jogador a partir de uma lista de evento 540. Por exemplo, o jogador 510e pode ter apenas chutado a bola 520 e assim o operador selecionaria "Chute de esquerda" de uma lista de evento 540 como mostrado pelo realce cinza. A fim de permitir ao operador rapidamente selecionar um evento apropriado de uma lista deevento 540, a lista de evento 540 pode ser exibida para ser substancialmente adjacente à caixa de seleção de jogador 530, por exemplo, na imagem de vídeo ou no recurso de imagem correspondendo ao jogador. Isto vantajosamente permite um aumento na velocidade em que a seqüência, por exemplo, de uma partida de futebol pode ser anotado com dados de evento porque o operador vai ter uma lista de evento localizada perto do jogador 510e. Contudo, será apreciado que uma lista de evento 540 poderia ser exibida em qualquer maneira adequada.
Em uma modalidade, a estação de trabalho de processamento de conteúdo 10 é operável para selecionar o evento a partir de uma lista de evento 540 como será descrito mais tarde abaixo com referência à Figura 13. Neste caso, a lista de evento 540 não necessita ser exibida. Alternativamente, a lista de evento 540 pode ser exibida a fim de informar ao operador que um evento foi detectado e que o evento está associado com aquele jogador. Isto fornece ao operador uma oportunidade de trocar a seleção se ele pensa que a estação de trabalho de processamento de conteúdo 10 incorretamente associou um evento com um jogador ou que o evento errado foi associado com o jogador.
Para alcançar isto, o operador pode fornecer uma entrada apropriada (por exemplo, selecionando uma função pausa a partir de uma interface gráfica de usuário) para a estação de trabalho de processamento de conteúdo 10 a fim de forçar uma lista de evento 540 a ser exibida tal que o operador pode selecionar o jogador e evento apropriado como descrito acima.
Uma vez que um evento de jogo foi selecionado na etapa sl 10 a partir de uma lista de evento 540, a estação de trabalho de processamento de conteúdo 10 associa o evento de jogo selecionado com o jogador selecionado a fim de gerar o registro de evento. O registro de evento compreende dados relacionando a um tempo em que um evento ocorreu, dados de identificação únicos que de modo único, identificam um jogador, uma associação entre ojogador e o evento, e o tipo de evento. Um exemplo de registro de evento émostrado abaixo.
<table>table see original document page 33</column></row><table>
No exemplo mostrado acima, o tempo é registrado a partir do início da partida embora seja apreciado que qualquer outro método adequado de gravação de um tempo no qual eventos ocorrem pode ser usado. Ainda mais, será apreciado que os eventos não necessitam ser limitados aos eventos do jogo mostrados em uma lista de evento 540 e que outros eventos tal como "gol", "passe", "mergulho" ou eventos apropriados ao esporte ou evento com que uma lista de evento está associada podem ser usados. Adicionalmente, se um evento não é listado em uma lista de evento 540, um operador pode de forma manual entrar um tipo de evento usando uma interface de usuário adequada tal como um teclado. Contudo, isto pode desacelerar a anotação da filmagem do jogo e assim a lista de evento 540 tipicamente compreende eventos do jogo que comumente ocorrem durante a partida de futebol.
Uma modalidade na qual um evento de jogo é detectado pela estação de trabalho de processamento de conteúdo 10 será agora descrita com referência a Figura 13.
Figura 13 é um fluxograma de um método de detectar um evento de jogo de acordo com uma modalidade da presente invenção. Aestação de trabalho de processamento de conteúdo detecta uma ocorrência de um evento rastreando o movimento da bola 520 e detectando quando há uma mudança na direção de movimento da bola 520. Por exemplo, se a bola 520 é chutada por um jogador, a direção de movimento da bola 520 vai, por exemplo, mudar de ir para a esquerda para ir para a direita quando observado do ponto de vista da câmera 20.
Consequentemente, a estação de trabalho de processamento deconteúdo 10 é operável para rastrear a bola 520 em uma etapa s200 usando um processo de rastreamento similar àquele descrito acima. A posição da bola é usada para gerar dados de movimento e dados de caminho que se refere a um caminho da bola 520 com relação ao tempo. Para auxiliar no rastreamento da bola 520, a estação de trabalho de processamento de conteúdo 10 pode também usar imagens de vídeo capturadas pela câmera 22.3 para triangular a posição da bola 520 usando técnicas conhecidas. Isto é útil se a bola 520 está distante da câmera 20 assim sendo significando que uma resolução da câmera 20 é improvável de ser suficiente para detectar um tamanho da bola e então permitir calcular precisamente a distância da bola 520 para câmera 20. Por conseguinte, em uma modalidade, um par de câmeras estereoscópicas tal como as câmeras 20 e 22.3 são usadas para detectar a posição da bola 520 usando técnicas conhecidas. Contudo, será apreciado que qualquer outro número adequado de câmeras poderia ser usado a fim de permitir a estação de trabalho de processamento de conteúdo 10 detectar a posição da bola 520.
Em uma etapa s205, a estação de trabalho de processamento de conteúdo 10 detecta se a bola 520 mudou de direção analisando os dados de movimento para a bola. Se nenhuma mudança na direção de movimento da bola é detectada, então o processamento retorna à etapa s200 no qual a posição da bola 520 é rastreada. Contudo, se a estação de trabalho de processamento de conteúdo detecta que a direção de movimento da bola 520 mudou, então o processamento prossegue para uma etapa s210.
Como descrito acima, o processo de rastreamento gera vetores de movimento para a bola 520 que se relacionam a um diferença na posição da bola 520 entre quadros de imagem consecutivos. Por conseguinte, em uma modalidade da presente invenção, a estação de trabalho de processamento de conteúdo 10 é operável para detectar uma mudança na direção de movimento da bola 520 construindo um gráfico da direção da bola para cada plano de coordenada (por exemplo: componente horizontal x contra componentevertical y {gráfico xy); componente horizontal x contra componente de profundidade z (gráfico xz); e componente vertical y contra componente de profundidade z {gráfico yz)). Contudo, será apreciado que outros gráficos poderiam ser usados e que outros sistemas de coordenadas tais como coordenadas polares cilíndricas e coordenadas polares esféricas como apropriadas poderiam se usadas para representar os vetores de movimento.
Por motivos de clareza, deve ser entendido que os termos "gráfico" e "construindo um gráfico" não devem ser considerados no sentido que os gráficos necessitam também ser exibidos. Em uma presente descrição, esses termos se referem à geração de valores de dados tais que depois manipulação de dados pode ser realizada nos pontos construídos no gráfico como descrito abaixo.
Um exemplo de gráfico xy de quatro vetores de movimento vb v2, v3, e v4; é ilustrado na figura 14. A estação de trabalho de processamento de conteúdo 10 é operável para associar os vetores de movimento gerados cada um com o outro a fim de gerar os dados do caminho. No exemplo mostrado na figura 14, os dados de caminho compreendem os vetores de movimento vi, v2, V3, e v4. A estação de trabalho de processamento de conteúdo 10 é operável para calcular um ângulo que cada vetor de movimento V1, v2, v3, e v4 faz com a linha de passagem através da origem do vetor de movimento e paralelo ao eixo x a fim de gerar os ângulos 0l5 92, 83, e 04. Os ângulos Oi, 92, 03, e 04 assim sendo representam ângulos absolutos com relação a uma referência fixa.
A estação de trabalho de processamento de conteúdo 10 então compara o ângulo do eixo x para aquele vetor de movimento com o ângulo associado com um vetor de movimento anterior. Uma mudança na direção de movimento do objeto corresponde a uma diferença no ângulo entre um vetor de movimento e um próximo vetor de movimento. Em outras palavras, a direção de movimento da bola é análoga ao ângulo associado com o vetor demovimento como ilustrado na Figura 14.
Aqueles quadros nos quais uma mudança na direção de movimento da bola 520 ocorre são prováveis de compreender um evento dejogo. Por conseguinte, imagens de vídeo que são detectadas como estando associadas com uma mudança na direção de movimento da bola 520 são detectadas e marcadas pela estação de trabalho de processamento de conteúdo 10 na etapa s210 como compreendendo um evento.
No exemplo mostrado na figura 14, o ângulo 0i é o mesmo que 02. Por conseguinte, nenhuma mudança na direção de movimento do objeto entre vi e v2 é detectada e consequentemente os quadros associada com aqueles vetores de movimento são improváveis de compreender um evento.
Contudo, no exemplo mostrado na figura 14, 02 não é o mesmo que 93 e por conseguinte uma mudança na direção de movimento entre v2 e v3 será detectada pela estação de trabalho 10 e por conseguinte os quadros associados com os vetores de movimento v2 e v3 são prováveis de compreender um evento.
Em algumas modalidades, cada quadro no qual é detectado haver uma mudança na direção de movimento da bola 520 é marcado como compreendendo um evento. Contudo, se a mudança na direção é relativamente pequena (por exemplo entre v2 e v3), pode ser que a bola 520 foi meramente defletida de um jogador ou desviada ou torcida no vôo. Por conseguinte, em algumas modalidades, a estação de trabalho de processamento de conteúdo 10 somente detecta um evento se a mudança na direção de movimento da bola 520 (i. e. o ângulo entre o vetor de movimento e o eixo x) é maior do que um predeterminado limite. Opcionalmente, um evento é detectado se há uma mudança no sinal do ângulo absoluto que o vetor de movimento faz com a referência.
Isto é ilustrada na figura 14 através dos vetores de movimento v3 e v4. Neste exemplo, o ângulo negativo 04 é maior do que o ângulo positivo93 (onde positivo é considerado ser no sentido anti-horário a partir de eixo x e negativo é considerado ser no sentido a partir do eixo x) assim como tendo um diferente sinal. Por conseguinte, as imagens de vídeo associadas com os vetores de movimento v3 e v4 serão detectadas pela estação de trabalho 10 como compreendendo um evento. A estação de trabalho 10 então marca aquelas imagens de vídeo como compreendendo um evento.
O processo de construção de gráfico e detecção de ângulos descrito acima é realizado com relação a cada gráfico (xy, xz, e yz). A estação de trabalho detecta um evento como descrito acima quando há uma mudança na direção de movimento da bola 520 como indicado em qualquer um dos três gráficos. Alternativamente, um evento é somente dito ter acontecido se há uma correlação entre os gráficos, por exemplo, uma mudança na direção de movimento como indicado em ambos, o gráfico xy e o gráfico xz.
Será apreciado que qualquer número e tipos de gráfico adequados poderiam ser usados a fim de detectar a mudança na direção de movimento da bola 520. Adicionalmente, será apreciado que o ângulo calculado para cada vetor de movimento não necessita ser um valor absoluto mas poderia ser um ângulo relativo com relação a um vetor de movimento anterior como ilustrado pelos cii, a2, e a3 na figura 14. Por conseguinte, neste exemplo, uma mudança na direção corresponde a um ângulo relativo entre dois vetores de movimento consecutivos não sendo igual à 180°.
Retornando agora à Figura 13, em uma modalidade, o aparelho de processamento de conteúdo é também operável para automaticamente associar um evento de jogo detectado com um jogador. Esta técnica se baseia no fato que um jogador que está chutando ou cabeceando a bola (i. e. envolvido em um evento) é provável ser o jogador mais perto da bola e por conseguinte aquele jogador deve ser associado com aquele evento.
Para alcançar isto, uma vez que aquelas imagens de vídeo que são detectadas como compreendendo eventos foram marcados, a estação detrabalho de processamento de conteúdo 10 é operável para detectar, em uma etapa s215, uma distância relativa entre a bola 520 e cada um dos jogadores a fim de gerar dados de distância compreendendo valores de distância para cada jogador que se relaciona com a distância entre a bola 520 e os respectivos jogadores. Tipicamente, isto é somente feito para aquelas imagens de vídeo ou quadros que são marcados como compreendendo um evento a fim de reduzir os recursos de processamento. Contudo, a distância entre os jogadores e a bola 520 também pode ser calculada para cada imagem de vídeo a fim de gerar um registro de distância entre os jogadores e a bola 520 para cada quadro ou imagem.
Então, em uma etapa s220, a estação de trabalho 10 analisa os dados de distância para detectar qual dos jogadores estava mais perto da bola 520 quando o evento de jogo que foi detectado nas etapas s205 e s210 ocorreu. Tipicamente, os dados são analisados para detectar o mais baixo valor de distância e este valor é selecionado pela estação de trabalho como correspondendo ao jogador mais perto, embora seja apreciado que outras técnicas adequadas poderiam ser usadas.
Em uma etapa s225, a estação de trabalho de processamento de conteúdo 10 associa o evento de jogo para aquele quadro com o jogador associado com o mais baixo valor de distância. A associação pode então ser armazenada no registro de evento como descrito acima.
Em algumas modalidades, a estação de trabalho de processamento de conteúdo 10 pode também detectar o tipo de evento detectando uma posição relativa da bola 520 com relação a um corpo de jogador. Por exemplo, uma mudança da direção da bola perto de uma cabeça de jogador é provável corresponder a uma cabeçada, enquanto um a mudança da direção da bola perto de um pé de jogador é provável corresponder a um chute. Por conseguinte, a estação de trabalho 10 analisa as imagens de vídeo capturadas através, por exemplo, das câmeras 20 e 22.3, a fim de detectar umaaltura relativa da bola 520 com relação ao campo 30 e/ou um jogador que é detectado como estando mais perto da bola quando o evento ocorre, (como descrito acima com referência às etapas s215 à s225) usando técnicas conhecidas tal como triangulação. Tipicamente, a correspondência entre a altura relativa da bola 520 com relação ao jogador e ao evento associado com aquela altura é armazenada em uma tabela de pesquisa. Por conseguinte, a estação de trabalho seleciona um evento apropriado de jogo a partir de uma lista de evento 540 de acordo com a posição da bola 520 detectada com relação ao jogador e com os dados armazenados na tabela de pesquisa.
Consequentemente, eventos do jogo podem estar associados com jogadores substancialmente em tempo real sem entrada por um operador que pode causar retardos desnecessários em anotar a filmagem.
Em outras modalidades, quando a seqüência de imagens de vídeo é apresentada ao operador para anotação, a estação de trabalho de processamento de conteúdo 10 pode pausar a reprodução das imagens de vídeo naquelas imagens de vídeo que são marcadas como compreendendo uma ocorrência de um evento de jogo. A estação de trabalho 10 então força uma lista de evento a ser exibida junto com o recurso de imagem correspondendo ao jogador que foi detectado como sendo associada comaquele evento e/ou a caixa de seleção de jogador 530. O operador pode então selecionar um evento apropriado a partir de uma lista de evento 540 como descrito acima. De novo, isto pode melhorar a velocidade na qual aquela filmagem pode ser marcada porque o operador não necessita revisar toda a filmagem mas meramente marcar aqueles quadros que são marcados pelaestação de trabalho de processamento de conteúdo 10.
Adicionalmente, onde a estação de trabalho de processamento de conteúdo 10 automaticamente associou um particular tipo de evento com um particular jogador, a estação de trabalho 10 pode pausar a reprodução das imagens de vídeo tal que o operador pode verificar qual o tipo de evento foicorretamente associado com aquele jogador. Se não foi, então o operador pode selecionar o jogador correto, por exemplo, clicando em um recurso de imagem correspondendo àquele jogador e selecionar o evento de jogo correto a partir de uma lista de evento 540 como descrito acima.
Será apreciado que a técnica acima para automaticamente detectar um evento, tipo de evento e associar qual evento com um jogador é geralmente limitado aos eventos nos quais um jogador faz contato com a bola tal como um combate, cabeçada, chute e o similar. Contudo, outros eventos do jogo tal como uma falta ou uma mergulho/mergulho podem não necessariamente envolver a bola 520. Por conseguinte, as técnicas acima para seleção manual de evento e detecção automática e/ou seleção de evento podem ser combinadas conforme apropriadas. Ainda mais, será apreciado que se a lista de evento 540 não compreende o evento desejado, então o operador pode entrar o tipo de evento usando um dispositivo de entrada adequado talcomo um teclado em cooperação com uma interface gráfica de usuário adequada tal como um caixa de diálogo. Adicionalmente, será percebido que as etapas ilustrados na figura 13 não necessitam necessariamente ser efetuados seqüencialmente e que, por exemplo, as etapas s215 à s225 poderiam ser efetuados em paralelo com as etapas s200 à s210.
Outras técnicas de rastrear a bola 520 também podem ser usadas a fim de permitir ao operador marcar ponto nos quais a bola faz contato com o campo 30 e, assumindo que não há nenhum rodopio, vento ou outros movimentos mais sutis que possa afetar a bola, marcando o ápice de uma parábola que a bola 520 segue rodando no ar. Estes dados podem então ser usados para dados de caminho para a bola e também serem associados com dados no registro de evento a fim de auxiliar na modelagem em 3D da partida.
Como será apreciado, várias modificações podem ser feitas às modalidades descritas acima sem fugir do escopo da presente invenção comodefinido nas reivindicações anexas. Por exemplo, embora as modalidades exemplos tenham sido ilustradas com referência a uma partida de futebol, será apreciado que qualquer outro evento esportivo ou evento de entretenimento tal como teatro poderia ser considerado para aplicar as técnicas divulgadas acima. Ainda mais, outros processadores do que o processador de Célula, poderiam ser usados para efetuar a técnica. Processos de acordo com a presente técnica, podem ser implementados na forma de um produto de programa de computador compreendendo instruções implementáveis em computador armazenadas em um portador de dados tal como disco flexível, disco óptico, disco rígido, PROM, RAM, memória flash ou qualquer combinação dessas ou outras mídias de armazenamento, ou transmitidas através de sinais de dados em uma rede tal como uma Ethernet, uma rede sem fio, a internet, ou qualquer combinação dessas ou outras redes.
Embora as modalidades ilustrativas da invenção foram aqui descritas em detalhes com referência aos desenhos anexos, é para ser entendido que a invenção não está limitada àquele precisas modalidades, e que várias mudanças e modificações podem ser efetuadas nela por alguém com qualificação na técnica sem fugir do escopo e do espírito da invenção como definido pelas reivindicações anexas.

Claims (19)

1. Método para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, caracterizado pelo fato de compreender:- rastrear, dentro de uma seqüência de imagens de vídeo, recursos de imagem que correspondam aos respectivos elementos no evento esportivo;- selecionar, a partir dos recursos de imagem rastreados, um primeiro recurso de imagem que corresponda a um dos elementos a fim de designar aquele elemento como um elemento selecionado;- selecionar um evento de jogo a partir de uma lista de evento de possíveis eventos do jogo para associação com o elemento selecionado;- associar o evento de jogo selecionado com o elemento selecionado a fim de gerar o registro de evento para aquele elemento;- exibir, dentro da seqüência de imagens de vídeo, o primeiro recurso de imagem junto com a lista de evento; e- selecionar o evento de jogo a partir de uma lista de evento de acordo com a seleção manual do evento de jogo por um usuário.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a lista de evento é exibida para ser substancialmente adjacente ao primeiro recurso de imagem.
3. Método de acordo com a reivindicação 1, caracterizado pelo fato de compreender:- rastrear, através de análises da seqüência de imagens de vídeo, uma posição dentro de cada imagem de vídeo de um objeto de jogo associado com o evento esportivo a fim de gerar dados de movimento que se referem a uma direção de movimento do objeto de jogo dentro da seqüência de imagens de vídeo;- detectar uma ocorrência de um evento de jogo nadependência da mudança na direção de movimento do objeto de jogo analisando os dados de movimento; e- marcar uma ou mais imagens de vídeo onde um evento de jogo é detectado ter ocorrido a fim de indicar que aquelas imagens de vídeo compreendem uma ocorrência de um evento de jogo.
4. Método de acordo com a reivindicação 3, caracterizado pelo fato de que um evento de jogo é detectado ter ocorrido se a mudança na direção de movimento do objeto de jogo é maior do que um predeterminado limite.
5. Método de acordo com a reivindicação 3, caracterizado pelo fato de compreender:- detectar, através de análises da seqüência de imagens de vídeo, uma posição do objeto de jogo com relação ao elemento selecionado; e- selecionar um evento de jogo a partir de uma lista de eventos de acordo com a posição detectada do objeto de jogo com relação ao elemento selecionado.
6. Método de acordo com a reivindicação 3, caracterizado pelo fato de compreender:- detectar uma distância relativa entre o objeto de jogo e cada um dos elementos a fim de gerar dados de distância que se referem à distância entre o objeto de jogo e cada um dos elementos;- analisar os dados de distância a fim de detectar qual dos elementos estava mais perto do objeto de jogo quando um evento de jogo é detectado ter ocorrido; e- associar aquele evento de jogo com o elemento que é detectado como estando mais perto do objeto de jogo quando o evento de jogo ocorreu.
7. Método de acordo com a reivindicação 3, caracterizado pelo fato de compreender:- seqüencialmente exibir a seqüência de imagens de vídeo;- pausar a exibição seqüencial da seqüência de imagens de vídeo em uma imagem de vídeo que foi marcada como compreendendo uma ocorrência de um evento de jogo; e- exibir o primeiro recurso de imagem junto com uma lista de evento tal que um evento apropriado de jogo pode ser selecionado por um usuário a partir de uma lista de evento para associação com o elemento selecionado.
8. Método de acordo com a reivindicação 1, caracterizado pelo fato de que cada elemento é associado com dados de identificação única que permitem àquele elemento ser, de modo único, identificado.
9. Programa de computador, caracterizado pelo fato de conter instruções legíveis de computado, em que, quando carregado em um computador, configura o computador para efetuar o método como definido na reivindicação 1.
10. Aparelho para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, caracterizado pelo fato de compreender:- um dispositivo de rastreamento para rastrear, dentro da seqüência de imagens de vídeo, recursos de imagem que correspondam aos respectivos elementos no evento esportivo;- um selecionador de recursos de imagem para selecionar, a partir dos recursos de imagem rastreados, um primeiro recurso de imagem que corresponda a um dos elementos a fim de designar aquele elemento como um elemento selecionado;- um selecionador de evento de jogo para selecionar um evento de jogo a partir de uma lista de evento de possíveis eventos do jogo para associação com o elemento selecionado;- um dispositivo de associação para associar o evento de jogoselecionado com o elemento selecionado a fim de gerar o registro de evento para aquele elemento;- um dispositivo de exibição para exibir, dentro da seqüência de imagens de vídeo, o primeiro recurso de imagem junto com a lista de evento;onde o selecionador de evento de jogo é operável para selecionar o evento de jogo a partir de uma lista de evento como definida na seleção manual do evento de jogo por um usuário.
11. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de que a lista de evento é exibida para ser substancialmente adjacente ao primeiro recurso de imagem.
12. Aparelho de acordo com a reivindicação 10, caracterizado pelo fato de compreendendo:- o dispositivo de rastreamento é operável para rastrear, através de análises da seqüência de imagens de vídeo, uma posição dentro de cada imagem de vídeo de um objeto de jogo associado com o evento esportivo a fim de gerar dados de movimento que se referem a uma direção de movimento do objeto de jogo dentro da seqüência de imagens de vídeo; e o aparelho compreendendo:- um detector para detectar uma ocorrência de um evento de jogo na dependência da mudança na direção de movimento do objeto de jogo analisando os dados de movimento; e- um dispositivo de marcação para marcar dispositivo para marcar uma ou mais imagens de vídeo onde um evento de jogo é detectado ter ocorrido a fim de indicar que aquelas imagens de vídeo compreendem uma ocorrência de um evento de jogo.
13. Aparelho de acordo com a reivindicação 12, caracterizado pelo fato de que um evento de jogo é detectado ter ocorrido se a mudança na direção de movimento do objeto de jogo é maior do que um predeterminadolimite.
14. Aparelho de acordo com a reivindicação 12, caracterizado pelo fato de que:- o dispositivo de rastreamento é operável para detectar, através de análises da seqüência de imagens de vídeo, uma posição do objeto de jogo com relação ao elemento selecionado; e- o selecionador de evento é operável para selecionar um evento de jogo a partir de uma lista de eventos de acordo com a posição detectada do objeto de jogo com relação ao elemento selecionado.
15. Aparelho de acordo com a reivindicação 12, caracterizado pelo fato de que:- o dispositivo de rastreamento é operável para: detectar uma distância relativa entre o objeto de jogo e cada um dos elementos a fim de gerar dados de distância que se referem à distância entre o objeto de jogo e cada um dos elementos; analisar os dados de distância a fim de detectar qual dos elementos estava mais perto do objeto de jogo quando um evento de jogo é detectado ter ocorrido; e- o dispositivo de associação é operável para associar evento de jogo com o elemento que é detectado como estando mais perto do objeto de jogo quando o evento de jogo ocorreu.
16. Aparelho de acordo com a reivindicação 12, caracterizado pelo fato de compreender:- um visor para seqüencialmente exibir a seqüência de imagens de vídeo;que é configurado para:- pausar a exibição seqüencial da seqüência de imagens de vídeo em uma imagem de vídeo que foi marcada como compreendendo uma ocorrência de um evento de jogo; e- forçar o visor a exibir o primeiro recurso de imagem juntocom uma lista de evento tal que um evento apropriado de jogo pode serselecionado por um usuário a partir de uma lista de evento para associaçãocom o elemento selecionado.
17. Aparelho de acordo com a reivindicação 10, caracterizadopelo fato de que cada elemento é associado com dados de identificação únicosque permite àquele elemento ser, de modo único, identificado.
18. Interface gráfica de usuário para gerar um registro deevento dos eventos do jogo associados com elemento presente em um eventoesportivo, o evento sendo de forma subsequente associada com o elemento,caracterizada pelo fato de compreender:- recursos de imagens, dentro de um quadro de uma seqüênciade quadros, que correspondem aos respectivos elementos no evento esportivo;- um selecionador de recurso de imagem para selecionar, apartir dos recursos de imagem exibidos, um primeiro recurso de imagem quecorresponda a um dos elementos a fim de designar aquele elemento como umelemento selecionado;- um selecionador de evento de jogo para selecionar um eventode jogo a partir de uma lista de evento de possíveis eventos de jogo paraassociação com o elemento selecionado;- um dispositivo de exibição para exibir, dentro da seqüênciade imagens de vídeo, o primeiro recurso de imagem junto com a lista deevento;eonde o selecionador de evento de jogo é operável paraselecionar o evento de jogo a partir de uma lista de eventos de acordo com aseleção manual do evento de jogo por um usuário.
19. Aparelho para gerar um registro de evento dos eventos dojogo associados com um elemento presente em um evento esportivo,caracterizado pelo fato de compreender:- meios de rastreamento para rastrear, dentro da seqüência deimagens de vídeo, recursos de imagem que correspondem aos respectivoselementos no evento esportivo;- meios de seleção de recursos de imagem para selecionar, apartir dos recursos de imagem rastreados, um primeiro recurso de imagem quecorresponda a um dos elementos a fim de designar aquele elemento como umelemento selecionado;- meios de seleção de evento de jogo para selecionar umevento de jogo a partir de uma lista de evento de possíveis eventos do jogopara associação com o elemento selecionado;- meios de associação para associar o evento de jogoselecionado com o elemento selecionado a fim de gerar o registro de eventopara aquele elemento;- meios de exibição para exibir, dentro da seqüência deimagens de vídeo, o primeiro recurso de imagem junto com a lista de evento;onde o selecionador de evento de jogo é operável paraselecionar o evento de jogo a partir de uma lista de evento de acordo com umaseleção manual do evento de jogo por um usuário.
BRPI0902350-0A 2008-08-01 2009-07-16 método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador BRPI0902350A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB0814139.2A GB2465538B (en) 2008-08-01 2008-08-01 Method and apparatus for generating an event log

Publications (1)

Publication Number Publication Date
BRPI0902350A2 true BRPI0902350A2 (pt) 2010-04-13

Family

ID=39767404

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0902350-0A BRPI0902350A2 (pt) 2008-08-01 2009-07-16 método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador

Country Status (7)

Country Link
US (1) US8547431B2 (pt)
EP (1) EP2149883A1 (pt)
JP (1) JP2010041725A (pt)
CN (1) CN101639354B (pt)
BR (1) BRPI0902350A2 (pt)
GB (1) GB2465538B (pt)
RU (1) RU2498404C2 (pt)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
GB2469074A (en) * 2009-03-31 2010-10-06 Sony Corp Object tracking with polynomial position adjustment
CN101794451A (zh) * 2010-03-12 2010-08-04 上海交通大学 基于运动轨迹的跟踪方法
US20110304774A1 (en) * 2010-06-11 2011-12-15 Microsoft Corporation Contextual tagging of recorded data
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
ES2561182T3 (es) * 2011-06-28 2016-02-24 Rakuten, Inc. Aparato de procesamiento de imágenes de productos, método de procesamiento de imágenes de productos, medio de almacenamiento de información y programa
PL400346A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób uzyskania z jednego obrazu wielu obrazów o róznym kacie widzenia z wykorzystaniem dystorsji beczkowej
ITBO20120578A1 (it) * 2012-10-24 2014-04-25 Francesco Fusco Assistente virtuale dell'allenatore di calcio in panchina
US10405065B2 (en) 2013-04-05 2019-09-03 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Video processing system and method
EP2787741A1 (en) * 2013-04-05 2014-10-08 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video processing system and method
ITBO20130431A1 (it) * 2013-08-01 2015-02-02 01Wiring S R L Metodo per controllare l'orientamento di una videocamera mobile atta a filmare una coppia di atleti in movimento su di un campo di gara, e corrispondente sistema per filmare atleti in movimento
US10500479B1 (en) * 2013-08-26 2019-12-10 Venuenext, Inc. Game state-sensitive selection of media sources for media coverage of a sporting event
JP6249706B2 (ja) * 2013-09-30 2017-12-20 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN103886618A (zh) * 2014-03-12 2014-06-25 新奥特(北京)视频技术有限公司 一种球类的检测方法和装置
CN103914854B (zh) * 2014-03-24 2016-08-17 河海大学 一种图像序列目标关联及轨迹生成方法
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
JP6440189B2 (ja) * 2014-10-15 2018-12-19 みこらった株式会社 スポーツ競技ライブ観戦システム、スポーツ競技ライブ観戦システムの映像収集提供装置及び観戦者端末
JP6589144B2 (ja) * 2014-10-30 2019-10-16 パナソニックIpマネジメント株式会社 姿勢推定方法および姿勢推定装置
JP6043819B2 (ja) * 2015-01-28 2016-12-14 グリー株式会社 構築方法、プログラム、情報処理システム及び情報処理装置
US10860620B1 (en) * 2015-04-07 2020-12-08 David Martel Associating physical items with content
RU2599699C1 (ru) * 2015-04-20 2016-10-10 государственное бюджетное образовательное учреждение высшего профессионального образования "Омская государственная медицинская академия" Министерства здравоохранения Российской Федерации (ГБОУ ВПО ОмГМА Минздрава России) Способ регистрации и анализа соревновательных игровых действий спортсменов
JP2017054337A (ja) 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
CN106991358A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别足球比赛进球的算法
RU2616152C1 (ru) * 2016-04-11 2017-04-12 Общество с ограниченной ответственностью "ТрекИТ" Способ контроля пространственного положения участников спортивного события на игровом поле
CN105872575A (zh) * 2016-04-12 2016-08-17 乐视控股(北京)有限公司 基于虚拟现实的直播方法及装置
CN106055213A (zh) * 2016-04-19 2016-10-26 乐视控股(北京)有限公司 体育赛事收藏方法及其模块
CN105959710B (zh) * 2016-05-26 2018-10-26 简极科技有限公司 一种运动视频直播、剪切及存储系统
RU2669209C1 (ru) * 2017-06-19 2018-10-09 Общество с ограниченной ответственностью "Ви Эйч Систем" Способ автоматического формирования персонализированного видеоролика
TWI639978B (zh) * 2017-07-19 2018-11-01 和碩聯合科技股份有限公司 視訊監控系統與視訊監控方法
CN107543548B (zh) * 2017-08-22 2020-11-06 京东方科技集团股份有限公司 活动人员定位装置及活动数据获取设备
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN108229294B (zh) * 2017-09-08 2021-02-09 北京市商汤科技开发有限公司 一种运动数据获取方法、装置、电子设备及存储介质
US11310418B2 (en) * 2018-01-19 2022-04-19 Veo Technologies Aps Computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN108416285A (zh) * 2018-03-02 2018-08-17 深圳市佳信捷技术股份有限公司 枪球联动监控方法、装置及计算机可读存储介质
JP7059847B2 (ja) * 2018-07-24 2022-04-26 富士通株式会社 検出装置、検出方法および検出プログラム
FR3092195B1 (fr) * 2019-01-29 2021-12-17 Immersiv Procédé et dispositif d’affichage de données pour le suivi d’un évènement
US11645867B2 (en) * 2020-05-12 2023-05-09 Motorola Solutions, Inc. Device, method and system for controlling an access point based on movement trends of a mover
US20230186628A1 (en) * 2020-06-12 2023-06-15 Intel Corporation Systems and methods for virtual camera highlight creation
EP4012536A1 (en) * 2020-12-11 2022-06-15 Koninklijke Philips N.V. File format with variable data
KR20220084842A (ko) * 2020-12-14 2022-06-21 삼성전자주식회사 증강 현실 콘텐츠를 디스플레이하는 전자 장치 및 방법
TWI791402B (zh) * 2022-01-24 2023-02-01 光禾感知科技股份有限公司 自動影片剪輯系統及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4005A (en) * 1845-04-22 Improvement in the manufacture of indurated rubber fabrics
WO1995010915A1 (en) * 1993-10-12 1995-04-20 Orad, Inc. Sports event video
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
WO1998035734A1 (fr) 1997-02-18 1998-08-20 Sega Enterprises, Ltd. Dispositif et procede pour le traitement des images
US6631522B1 (en) * 1998-01-20 2003-10-07 David Erdelyi Method and system for indexing, sorting, and displaying a video database
US6441846B1 (en) * 1998-06-22 2002-08-27 Lucent Technologies Inc. Method and apparatus for deriving novel sports statistics from real time tracking of sporting events
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
TW452748B (en) * 1999-01-26 2001-09-01 Ibm Description of video contents based on objects by using spatio-temporal features and sequential of outlines
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
ES2165783B1 (es) * 1999-11-10 2003-06-16 Garcia Lucia Janez Sistema y metodo de vision artificial para ayuda al arbitraje en competiciones deportivas.
US6976031B1 (en) * 1999-12-06 2005-12-13 Sportspilot, Inc. System and method for automatically generating a narrative report of an event, such as a sporting event
GB0100579D0 (en) * 2001-01-10 2001-02-21 South Bank Univ Entpr Ltd Monitoring system
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
GB0105421D0 (en) * 2001-03-06 2001-04-25 Prozone Holdings Ltd Sport analysis system and method
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7455590B2 (en) * 2003-05-09 2008-11-25 Microsoft Corporation Sending messages in response to events occurring on a gaming service
US20050107163A1 (en) * 2003-11-13 2005-05-19 Nguyen Binh T. Methods and apparatus for providing an electronic operational event trail for a gaming apparatus
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム
JP4577774B2 (ja) * 2005-03-08 2010-11-10 Kddi株式会社 スポーツ映像の分類装置およびログ生成装置
US7646914B2 (en) * 2006-06-15 2010-01-12 David Anthony Clausi System and method for collecting and analyzing event data
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8711224B2 (en) * 2007-08-06 2014-04-29 Frostbyte Video, Inc. Image capture system and method
GB2469074A (en) * 2009-03-31 2010-10-06 Sony Corp Object tracking with polynomial position adjustment

Also Published As

Publication number Publication date
US8547431B2 (en) 2013-10-01
GB2465538B (en) 2013-03-13
CN101639354A (zh) 2010-02-03
RU2009129556A (ru) 2011-02-10
CN101639354B (zh) 2013-06-19
JP2010041725A (ja) 2010-02-18
RU2498404C2 (ru) 2013-11-10
US20100026801A1 (en) 2010-02-04
GB0814139D0 (en) 2008-09-10
GB2465538A (en) 2010-05-26
EP2149883A1 (en) 2010-02-03

Similar Documents

Publication Publication Date Title
BRPI0902350A2 (pt) método, aparelho e interface gráfica de usuário para gerar um registro de evento dos eventos do jogo associados com um elemento presente em um evento esportivo, e, programa de computador
US10922879B2 (en) Method and system for generating an image
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
JP6609327B2 (ja) 仮想環境構築装置、仮想環境構築方法、プログラム、および記録媒体
US8805007B2 (en) Integrated background and foreground tracking
US9437012B2 (en) Multiple-object tracking and team identification for game strategy analysis
US8284238B2 (en) Image processing apparatus and method
US8355083B2 (en) Image processing method and device for instant replay
BRPI1001472A2 (pt) dispositivo, sistema e método de processamento de imagem, e software de computador
US11551428B2 (en) Methods and apparatus to generate photo-realistic three-dimensional models of a photographed environment
WO2019050916A1 (en) TECHNIQUES FOR RENDERING THREE-DIMENSIONAL ANIMATED GRAPHICS FROM A VIDEO
JP6794545B2 (ja) 仮想カメラを構成する方法、システム及び装置
US10769810B2 (en) Apparatus, systems and methods for shadow assisted object recognition and tracking
BR102019000927A2 (pt) Projetar uma projeção de raio a partir de uma vista em perspectiva
JP6983049B2 (ja) オブジェクト追跡装置及びそのプログラム
Mori et al. Good keyframes to inpaint
JP2017215685A (ja) 仮想環境生成装置、仮想環境生成方法、プログラム
Kahn et al. Capturing of contemporary dance for preservation and presentation of choreographies in online scores
Oldham Table tennis event detection and classification
Inamoto et al. Arbitrary viewpoint observation for soccer match video
Tanaka Animation generation method for facilitating observation of the flow of game and players’ motion in karate

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 7A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: EM VIRTUDE DO ARQUIVAMENTO PUBLICADO NA RPI 2385 DE 20-09-2016 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDO O ARQUIVAMENTO DO PEDIDO DE PATENTE, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.