BR102012028297A2 - Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, programa, e, produto de programa de computador - Google Patents

Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, programa, e, produto de programa de computador Download PDF

Info

Publication number
BR102012028297A2
BR102012028297A2 BRBR102012028297-6A BR102012028297A BR102012028297A2 BR 102012028297 A2 BR102012028297 A2 BR 102012028297A2 BR 102012028297 A BR102012028297 A BR 102012028297A BR 102012028297 A2 BR102012028297 A2 BR 102012028297A2
Authority
BR
Brazil
Prior art keywords
image
scene
ball
projectile
sport projectile
Prior art date
Application number
BRBR102012028297-6A
Other languages
English (en)
Other versions
BR102012028297B1 (pt
Inventor
Anthony Daniels
Paul Hawkins
Original Assignee
Sony Corp E Sony Europ Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp E Sony Europ Ltd filed Critical Sony Corp E Sony Europ Ltd
Publication of BR102012028297A2 publication Critical patent/BR102012028297A2/pt
Publication of BR102012028297B1 publication Critical patent/BR102012028297B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605Decision makers and devices using detection means facilitating arbitration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

APARELHO E MÉTODO PARA DETERMINAR A POSIÇÃO DE UM PROJÉTIL DESPORTIVO DENTRO DE UMA CENA, PROGRAMA, E, PRODUTO DE PROGRAMA DE COMPUTADOR. Um aparelho para determinar a posição de um projétil desportivo dentro de uma cena durante um intervalo de tempo no qual o projétil desportivo é ocultado a visão da câmera, o aparelho compreendendo:uma interface operável para receber uma primeira sequência de imagens da cena capturada pela câmera em uma primeira taxa de quadro predeterminada antes do intervalo de tempo e uma segunda sequência de imagens da cena capturada pela câmera em uma segunda taxa de quadro predeterminada após o intervalo de tempo; um dispositivo de detecção de projétil desportivo operável para detectar a posição do projétil desportivo dentro da cena para cada imagem na primeira e na segunda sequências de imagens; uma unidade de detecção de velocidade operável para determinar a velocidade do projétil desportivo antes do intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na primeira sequência de imagens e a primeira taxa de quadro e a velocidade do projétil desportivo imediatamente após o intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na segunda sequência de imagens e a segunda taxa de quadro predeterminada; e uma unidade de determinação de posição de projétil desportivo operável para determinar a posição do projétil desportivo durante o intervalo de tempo usando pelo menos uma da posição detectada do projétil desportivo dentro da cena para cada imagem dentro da primeiro e da segunda sequências de imagens e a velocidade determinada do projétil desportivo imediatamente antes e imediatamente depois do intervalo de tempo.

Description

“APARELHO E MÉTODO PARA DETERMINAR A POSIÇÃO DE UM PROJÉTIL DESPORTIVO DENTRO DE UMA CENA, PROGRAMA DE COMPUTADOR, E, PRODUTO DE PROGRAMA DE COMPUTADOR” FUNDAMENTOS Campo da Descrição
A presente invenção se refere a um método, aparelho, e
programa.
Descrição da Técnica Relacionada
A descrição “fundamentos” provida aqui é para o propósito de apresentar geralmente o contexto da descrição. O trabalho dos inventores atualmente nomeados para a extensão é descrito na seção de fundamentos, assim como os aspectos da descrição que não pode de outra maneira qualificar como técnica anterior no tempo de depósito, não são expressamente ou tacitamente admitidos como técnica anterior contra a presente invenção.
Em esportes com bola, tal como, futebol, é importante saber quando um gol foi marcado. Um gol é usualmente contado quando toda a bola cruza completamente a linha de gol predeterminada. Os árbitros da partida têm o trabalho de vigiar a bola e julgar se a bola cruzou ou não a linha de gol e se o gol foi marcado ou não. Tal sistema, entretanto, embora bem estabelecido, pode ser bastante confiável. Se a vista dos árbitros da partida fica obscura, ou se um dos árbitros da partida comete um erro, decisões de jogo crucial podem ser feitas incorretamente. É, portanto, um desejo para implementar câmera e/ou computador com base na tecnologia para determinar se a bola cruzou ou não a linha de modo a auxiliar os árbitros da partida em tomar tais decisões.
Uma proposta de tal tecnologia envolve encaixar na bola da partida um sensor que pode ser detectado por um número de unidades de detecção de tal maneira que a posição da bola em qualquer hora pode ser computado. O sensor poderia, por exemplo, emitir pulsos de radiofreqüência (RF) que são coletados pelas unidades de detecção em intervalos periódicos, como tempo tomado para o pulso para alcançar cada unidade de detecção indicando a distância da bola a partir daquele sensor. Um problema com esta abordagens, entretanto, é que o sensor dentro da bola é provavelmente para mudar notavelmente o peso e/ou equilíbrio da bola, que é altamente indesejável. O controle de qualidade é também difícil, desde que seja possível para a bola que seja adulterada (no caso que, por exemplo, a bola é chutada na multidão dos espectadores) de modo a alterar as características do sensor.
Uma outra proposta envolve encaixar sensores nas duas traves do gol, onde uma do gol é colocada em cada extremidade da linha do gol. Os sensores são então configurados para detectar a presença de objetos que aparecem entre os mesmos (via tecnologia de laser, por exemplo) e pode assim detectar a presença de objetos que cruzam a linha do gol. Este sistema é bastante incerto, entretanto, uma vez que é difícil diferenciar ente a bola atravessando a linha do gol e outros objetos atravessando a linha do gol (tal como os próprios jogadores de futebol). Também, as traves do gol às quais os sensores são anexados podem experimentar movimento significante durante uma partida de futebol e, adicionalmente, pode não ser completamente alinhadas com a própria linha do gol, reduzindo s confiabilidade e a precisão do sistema.
A presente invenção objetiva aliviar estes problemas.
SUMÁRIO
De acordo com um aspecto, é provido um aparelho para determinar a posição de um projétil desportivo dentro de uma cena durante um intervalo de tempo no qual o projétil desportivo é ocultado da visão de uma câmera, o aparelho compreendendo: uma interface operável para receber uma primeira seqüência de imagens da cena capturada pela câmera em uma primeira taxa de quadro predeterminada antes do intervalo de tempo e a segunda seqüência de imagens da cena capturada peça câmera em uma segunda taxa de imagem predeterminada após o intervalo de tempo; um projétil desportivo, dispositivo de detecção operável para detectar a posição do projétil desportivo dentro da cena para cada imagem na primeira e na segunda seqüências de imagens; uma unidade de detecção de velocidade 5 operável para determinar a velocidade do projétil desportivo antes do intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena de cada imagem na primeira seqüência de imagens e a primeira taxa de quadro e a velocidade do projétil desportivo imediatamente após o intervalo de tempo com base na posição detectada do projétil 10 desportivo dentro da cena para cada imagem na segunda seqüência de imagens e a segunda taxa de imagem predeterminada; e uma unidade de determinação de posição de projétil desportivo operável para determinar a posição do projétil desportivo durante o intervalo de tempo usando pelo menos um da posição detectada do projétil desportivo dentro da cena para 15 cada imagem dentro da primeira e da segunda seqüências de imagens e a velocidade determinada do projétil desportivo imediatamente antes e imediatamente depois do intervalo de tempo.
A primeira seqüência de imagens e a segunda seqüência de imagens da cena pode compreender uma linha predeterminada e na qual a unidade de determinação de posição do projétil desportivo é operável para gerar um sinal de indicação no caso de que a posição da bola estar determinada ter cruzado a linha predeterminada.
A unidade de determinação de posição de projétil desportivo pode ser operável para gerar o sinal de indicação quando a posição do projétil desportivo é determinado ter cruzado a linha predeterminada por uma distância maior que o raio do projétil desportivo.
A linha predeterminada pode ser uma linha do gol.
A unidade de determinação de projétil desportivo pode ser operável para calcular a posição do projétil desportivo de acordo com a deformação do projétil desportivo em cada imagem dentro da segunda seqüência de imagens.
De acordo com um outro aspecto, é provido um método para determinar a posição de um projétil desportivo dentro de uma cena durante o intervalo de tempo o qual o projétil desportivo é ocultado da visão de uma câmera, o método compreendendo; receber uma primeira seqüência de imagens da cena capturada pela câmera em uma primeira taxa de quadro predeterminada antes do intervalo de tempo e uma segunda seqüência de imagens da cena capturada pela câmera em uma segunda taxa de imagem predeterminada após o intervalo de tempo; detectar a posição do projétil desportivo dentro da cena para cada imagem a primeira e na segunda seqüências de imagens; determinar a velocidade do projétil desportivo antes do intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na primeira seqüência de imagens e a primeira taxa de quadro e a velocidade do projétil desportivo imediatamente após o intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na segunda seqüência de imagens e a segunda taxa de imagem predeterminada; e determinar a posição do projétil desportivo durante o intervalo de tempo usando pelo menos um da posição detectada do projétil desportivo dentro da cena para cada imagem dentro da primeira e da segunda seqüências de imagens e a velocidade determinada do projétil desportivo imediatamente antes e imediatamente depois do intervalo de tempo.
A primeira seqüência de imagens e a segunda seqüência de imagens da cena podem compreender gerar um sinal de indicação no caso da posição da bola ser determinada ter cruzado a linha predeterminada.
O método pode compreender adicionalmente gerar o sinal de indicação quando a posição do projétil desportivo é determinada ter cruzado a linha predeterminada por uma distância maior que o raio do projétil desportivo. A linha predeterminada pode ser um linha do gol.
O método pode compreender adicionalmente calcular a posição do projétil desportivo de acordo com a deformação do projétil desportivo em cada imagem dentro as segunda seqüência de imagens.
Os parágrafos mencionados foram providos para introdução geral, e não pretendem limitar o escopo das seguintes reivindicações. As concretizações descritas, junto com outras vantagens, será mais bem entendida por referência à seguinte descrição junto com os desenhos em anexo.
BREVE DESCRIÇÃO DOS DESENHOS
Uma avaliação mais completa desta descrição e algumas vantagens inerentes da mesma será prontamente obtida quando a mesma se toma mais bem entendida por referência à seguinte descrição detalhada quando considerada em conexão com os desenhos em anexo, em que:
A Figura IA ilustra de forma esquemática as posições de uma pluralidade de câmeras com relação a uma linha do gol de um campo de futebol de acordo com uma realização da invenção.
A Figura IB ilustra de forma esquemática as câmeras e linha do gol da Figura IB de quando visto de uma diferente perspectiva.
A Figura 2 ilustra de forma esquemática um sistema para detectar a posição de uma bola dentro de uma cena de acordo com uma concretização da invenção.
A Figura 3 ilustra de forma esquemática um aparelho para detectar a posição de uma bola dentro de uma cena de acordo com uma concretização da invenção.
A Figura 4A ilustra de forma esquemática as posições de marcadores de referência de calibração de câmera de acordo com uma concretização da invenção. A Figura 4B ilustra de forma esquemática uma primeira posição possível de marcadores de referência de calibração de câmera de acordo com uma concretização da invenção.
A Figura 4C ilustra de forma esquemática uma segunda posição possível de marcadores de referência de calibração de câmera de acordo com uma concretização da invenção.
A Figura 5A ilustra de forma esquemática uma bola com um padrão característico de sua superfície.
A Figura 5B ilustra de forma esquemática uma imagem de uma cena na qual somente uma porção da bola ilustrada na Figura 5A é visível.
A Figura 5C ilustra de forma esquemática a determinação da posição do centro da bola da cena ilustrada na Figura 5B de acordo com uma concretização da invenção.
A Figura 6A ilustra de forma esquemática duas seções visíveis de uma bola com um padrão característico na sua superfície.
A Figura 6B ilustra de forma esquemática uma vista ampliada da primeira seção visível da Figura 6A, a primeira seção visível compreendendo o primeiros dados de orientação de acordo com uma realização da invenção.
A Figura 6C ilustra de forma esquemática uma vista ampliada da segunda seção visível da Figura 6A, a segunda seção visível compreendendo o primeiros dados de orientação de acordo com uma realização da invenção.
A Figura 7 ilustra de forma esquemática uma trajetória computadorizada de uma bola durante o intervalo de tempo no qual a bola se toma oculta da visão de uma câmera de acordo com uma concretização da invenção.
A Figura 8 ilustra de forma esquemática a operação de um sistema para determinar a posição de uma bola dentro de uma cena de acordo com a concretização da invenção.
DESCRIÇÃO DAS CONCRETIZAÇÕES
Referindo-se agora aos desenhos, no qual os números de referência designam partes correspondentes ou idênticas através de várias vistas.
As Figuras IA e IB ilustram as posições de uma pluralidade de câmeras 100 arranjadas ao redor da linha do gol 112 em um campo de futebol 118. Cada uma das câmeras é configurada para capturar imagens de substancialmente a mesma cena de diferentes campos de visão, a cena incluindo a linha do gol 112 e a integralidade do gol 122. Nesta concretização, duas câmeras 100 são colocadas atrás da linha do gol, duas câmeras 100 são colocadas na linha com a linha do gol e duas câmeras 100 são colocadas na frente da linha do gol. Quando um jogo está acontecendo, as câmeras são assim operáveis para capturar imagens da cena quando a bola está próxima da linha do gol.
Em uma concretização, as câmeras 100 são posicionadas em um longa distância da linha do gol de modo que o tamanho da bola nas imagens capturadas da cena não pareçam mudar signifícantemente. Por exemplo, cada uma das câmeras pode ser posicionada aproximadamente a 50 metros da linha do gol. Isto é vantajoso, porque se o tamanho da bola não parecer muda signifícantemente dentro do campo de visão de cada câmera, então as técnicas de processamento de imagem para detectar no local dentro das imagens capturadas, tal como técnicas de equiparação em bloco, podem ocorrer com maior eficiência. Isto porque o modelo da bola usado na técnica de equiparação em bloco ia requerer somente escalonamento limitado.
Embora as câmeras 100 possam ser posicionadas em qualquer altura com relação ao campo de futebol, em concretizações as câmeras são posicionadas de modo que os objetos que não sejam a bola (tal como espectadores na lateral do campo) sejam menos prováveis de obstruir a visão da câmera. Por exemplo, onde as câmeras IOO são localizadas em um estádio, as câmeras 100 podem ser localizadas na cobertura que cobre a multidão.
Adicionalmente, em concretizações, embora seis câmeras 5 sejam mostradas, um número diferente de câmeras poderia ser usado. Se o número de câmeras é reduzido, entretanto, pode se tomar mais difícil detectar precisamente a posição da bola no caso de que a vista de uma ou ais câmeras se tome(m) oculta(s).
As câmeras são posicionadas de modo que os marcadores de 10 referência de calibração da câmera predeterminada estejam claramente dentro da visão de cada câmera. Como será descrito depois, estes marcadores de referência são necessários para detectar e corrigir para movimento das câmeras. Em uma concretização, os marcadores de referência são localizados nos suportes da rede de gol 116 e nas traves da gol 120. Posicionando os 15 marcadores de referência nestas localizações, a probabilidade destes pontos que se movem dentro da cena é muito pequena. Adicionalmente, colocando os marcadores de referência próximos ou o topo do suporte da rede de gol 116, a probabilidade destes marcadores de referência serem ocultos é reduzida.
De modo a reduzir a probabilidade de o vento deslocar as 20 câmeras (no caso de um estádio de futebol ao ar livre, por exemplo), as câmeras deveriam ser posicionadas em uma localização protegida. As câmeras podem compreender um revestimento projetado aerodinamicamente de modo que o movimento devido ao vento possa ser adicionalmente reduzido.
A Figura 2 ilustra de modo esquemático um sistema 200 para
detectar a posição de uma bola dentro de uma cena de acordo com uma concretização da invenção. Cada câmera 100 é operável para capturar uma imagem da cena de um diferente campo de visão. Como visto na Figura 2, da uma das imagens 11-16 das respectivas câmeras 1-6 é passada para um computador de calibração de câmera 202.
O computador de calibração de câmera 202 é operável para detectar pelo menos um dos marcadores de referência de calibração da câmera 402 na imagem capturada e comparar a posição do marcador de referência com sua posição em uma imagem prévia. Na própria cena, como será explicado depois, o marcador de referência será estacionário , e qualquer diferente na posição do marcador de referência entre as imagens atual e prévia indica que a própria câmera tem movimento experimentado (por exemplo, giro no plano horizontal, giro no plano vertical ou giro em 30 graus). No caso que o movimento da posição do marcadores de referência é detectado, o computador de calibração de câmera 202 é operável para aplicar uma transformação corretiva para a imagem recebido de modo a corrigir para o movimento da câmera. Em outras palavras, todos os pixels na imagem têm a transformação corretiva aplicada aos mesmos. Estes contadores qualquer movimento dos pixels na imagem devido ao movimento da câmera.
Qualquer método bem conhecido na técnica para detectar uma diferença a posição de um marcador de referência entre a primeira e a segunda imagens e subsequentemente transformar a segunda imagem para deslocar a diferença pode ser usado. Um tal técnica é para aplicar uma matriz 20 de transformação que permite as variáveis de calibração relevantes para serem ajustadas para melhor se ajustarem a diferente de pixel entre a primeira e segunda imagens. Uma vez que o processamento de imagem por cada um dos computadores de calibração de câmera 202 é completado, as imagens capturadas corrigidas 11’ - 16’ são passadas no controlador 204.
O controlador 204 é operável para precisamente determinar a
posição da bola dentro da cena das imagens capturadas corrigidas 11’ - 16’. Como será explicado depois, o controlador 204 alcança este processamento da imagens de modo a detectar os dados de posição e a orientação para a bola dentro de cada imagem. O controlador 204 então combina os dados de posição e a orientação para cada imagem e usa os dados combinados resultantes, junto com as posições relativas conhecidas 100, para determinar a posição da bola dentro da cena. O controlador 204 é também operável para determinar a trajetória da bola dentro da cena durante os intervalos de tempo 5 nos quais a bola é ocultada da visão de todas as câmeras (por exemplo, quando um grande número de jogadores está próximo à linha do gol e então provavelmente para ocultar intermitentemente a bola da visão de todas as câmeras). Como será explicado depois, ele alcança isto por utilização dados de característica de impacto, de velocidade e de posição para a bola 10 imediatamente antes e imediatamente após o intervalo de tempo através a bola é oculta.
Quando a posição da bola dentro da cena foi determinada pelo controlador 204, diretamente das imagens capturadas 11’ - 16’ (no caso que pelo menos uma parte da bola é suficientemente visível as câmeras 100) ou 15 pelo mecanismo de detecção de trajetória de bola (no caso que a bola é oculta), o controlador 204 determinar se a bola tiver cruzado toda a linha do gol ou não. Isto será determinado por considerar o centro da bola, em que se o centro da bola é sobre a bola da linha do gol por uma distância maior que o raio da bola, então um gol foi marcado. Para ser claro, a posição da bola 20 dentro da cena é realmente determinada pela posição do centro da bola dentro da cena.
No caso de determinar que a bola toda cruzou totalmente a linha do gol, então o sinal de indicação de gol, indicando que um gol foi marcado, é enviado do controlador 204 a um transceptor sem fio 206. O 25 transceptor sem fio envia assim o sinal de indicação de gol sem fio a um fone de ouvido 208 usado por um dos árbitros da partida. O sinal sem fio é enviado via um canal seguro. E vantajoso enviar o sinal de indicação de gol por um canal seguro de modo a prevenir sinais falsos sendo enviados ao fone de ouvido 208 (por exemplo, outros transceptores sem fio na possessão de terceiras partes tentando ordenar o resultado de uma partida de futebol por enviar sinais de indicação de gol falso para o fone de ouvido 208). O canal seguro pode ser estabelecido durante um processo de autenticação pó estabelecimento de ligação entre o fone de ouvido 208 e transceptor sem fio 206 antes de iniciar da partida de futebol, por exemplo.
Nota-se que embora a Figura 2 ilustre os computador de calibração de câmera 202 como senso separada do controlador 204, seria igualmente aceitável para os computador de calibração de câmera 202 ao invés de ser compreendido dentro do controlador 204. Seria igualmente 10 aceitável para o transceptor sem fio 206 a ser compreendido dentro do controlador 204.
Embora o exemplo de um fone de ouvido 208 tenha sido dado, o sinal sem fio poderia também ser enviado a um tipo diferente de receptor, al como um relógio ou fone usado por um árbitro da partida. Poderia ser uma pluralidade de tais receptores de modo que todas os árbitros da partida possam simultaneamente receber o sinal de indicação de gol.
O controlador 204 poderia ser feito a ser operável para enviar mais que somente a sinal de indicação de gol. Por exemplo, no caso de que o gol é marcado e quase maçado, a posição detectada da bola dentro da cena 20 poderia ter se tomado uma imagem ou vídeo computadorizada(o). Então, assim como o sinal de indicação de gol sendo enviado aos árbitros da partida, a imagem ou o vídeo pode ser enviada(o) aos difusores de televisão para incluir na cobertura da televisão de uma partida de futebol.
Embora o sistema 200 tenha sido descrito como 25 processamento somente um conjunto de imagens capturadas Il - 16, nas concretizações, o sistema processa seqüências de imagens capturadas pelas câmeras 100 em uma taxa de quadro predeterminada. Assim, por exemplo, imagens Il1 - 161 são capturadas o tempo ti, as imagens Il2 - I62 são capturadas no tempo t2, imagens Iln - I6n são capturadas no tn e assim por diante. Isto permite a posição da bola a ser determinada em tempos ti, t2, .... , tn, e assim por Diane, de modo que a posição da bola possa ser traçada pelo tempo que a bola estiver em jogo. Qualquer taxa de quadro predeterminada poderia ser usada, embora nas concretizações, a taxa de quadro ser 5 selecionada a ser suficientemente alta para traçar precisamente a posição de mudança da bola, mas não tão alto de modo a causar qualquer atraso o processamento no controlador 204 (permitindo assim o sistema processar as imagens em tempo real). Por exemplo, a taxa de quadro poderia ser 25, 30, 50, 60 ou 100 quadro por segundo por câmera (correspondente a um total de 10 150, 180, 300, 360 ou 600 quadros por segundo para seis câmeras).
A Figura 3 esquematicamente ilustra o controlador 204 em mais detalhes de acordo com uma concretização da invenção. O controlador 204 compreende uma interface na qual cada uma das imagens capturadas corrigidas 11’ - 16’ dos computadores de calibração de câmera 202 entra o controlador 204. As imagens são armazenadas em uma memória 302. O controlador 204 também compreende CPU 304 para realizar a posição da bola requerida e o processamento da determinação da trajetória da bola, um módulo de memória do padrão da bola 306 para armazenar dados indicativos do padrão característico da superfície da bola e o transceptor sem fio através do qual o sinal de indicação de gol pode ser transmitido ao fone de ouvido 208. Assim como as imagens 11’ - 16’, a memória 302 pode também armazenar outros conjuntos de imagens capturadas pelas câmeras 100 em diferentes tempos para quando as imagens 11’ - 16’ foram capturadas. A memória 302 pode também armazenar instruções de computador a serem executadas pela CPU 304.
Para detectar a posição da bola dentro da cena, cada uma das imagens 11’ -16’ é processada pelo CPU 304. O CPU 304 t atenta identificar pelo menos uma parte da bola em cada imagem por encontrar seções da imagem cujas partes da partida do padrão característico da superfície da bola especificada pelos dados no módulo de memória de padrão de bola 306. Isto pode ser alcançado usando uma técnica de equiparação em bloco, por exemplo, embora qualquer método de processamento de imagem que é conhecido na técnica para selecionar seções de uma imagem que 5 substancialmente equipara um padrão predeterminado pode ser usada.
Se al equiparação ocorre, então a CPU 304 determina os dados de posição para a seção de equiparação da imagem. Por exemplo, estes dados de posição poderiam ser uma lista das posições dos pixels definindo a boda da seção de equiparação dentro da imagem, as posições dos pixels sendo 10 coordenadas x e determinadas com relação a um ponto de referência predeterminado na imagem. O ponto de referência predeterminado poderia ser, por exemplo, um dos cantos da imagem. Deveria ser determinado pela posição de um objeto predeterminado dentro da imagem.
O CPU 304 é capaz de determinar a posição na vida real do centro da bola dentro da cena via a posição determinada e os dados de orientação para a bola em cada uma das imagens 11’ - 16’ Juno com as posições relativas de cada uma das câmeras 100.
Para cada imagem capturada da cena, a CPU 304 converte os dados de posição de imagem determinados para uma seção de equiparação na 20 imagem para os dados de posição da cena para a seção de equiparação dento da cena. Por exemplo, se os dados de posição de imagem são definidos pelas posições de pixel (x1? yi), (x2, y2), ..., (xn, yn), então os dados de posição de cena correspondentes serão as posições dentro da cena (X1 real, yi real), (x2 real, y2 real), ..., (xn real, yn real). As posições dentro da cena serão definidas 25 com relação ao ponto dentro da cena que corresponde ao ponto de referência predeterminado dentro da imagem. Por exemplo, se o ponto de referência predeterminado dentro da imagem é definido pela posição de um objeto estacionário dentro da imagem, então o ponto correspondente dentro da cena será a posição do próprio objeto. Os dados de posição de imagem e os dados de posição de cena para uma imagem serão relacionados pó uma proporção de escalonamento (por exemplo, 0,5 cm a cena se equipara a um pixel) que depende de vaias configurações de parâmetro para a câmera que capturou a imagem, tal como a 5 distância focal e o zoom da câmera. Por exemplo, para distâncias focais maiores e níveis de zoom maiores, o comprimento de pixels definindo os dados de posição de imagem corresponderão a distâncias reais maiores dentro da cena que para distâncias focais menores e níveis de zoom menores, resultando em uma menor proporção de escalonamento.
Uma vez que os dados de posição de cena para cada uma das
imagens capturadas 11’ -16’ foram determinados, a posição da bola dentro da cena é determinada a partir dos dados de posição de cena, os dados de orientação e as posições relativas das câmeras 100. As posições relativas e as várias configurações dos parâmetros de cada uma da câmeras 100 são 15 armazenadas na memória 302 e podem ser alteradas apropriadamente para diferentes posições de câmera e configurações em diferentes estádios de futebol diferentemente dimensionados, por exemplo. As posições relativas das câmeras 100 podem ser definidas, por exemplo, definindo a posição de uma primeira câmera para ser uma origem e definindo as posições de todas as 20 outras câmeras em relação a sua origem.
As posições relativas das câmeras 100 devem ser disponibilizadas à CPU 304 de modo que a CPU 304 determine a posição tridimensional da bola dento da cena a partir os dados de posição de cena bidimensionais e os dados de orientação para cada uma das câmeras 100. Por 25 exemplo, se a primeira câmera é capaz de determinar a posição da bola em um primeiro sistema de coordenadas definido pelos parâmetros (X1, Y1) com relação a um primeiro ponto de referência predeterminado e uma segunda câmera, posicionada diferentemente da primeira câmera, é capaz de determinar a posição da bola em um segundo sistema de coordenadas definido pelos parâmetros (x12, y2) com relação a um segundo ponto de referência predeterminado, então a CPU 304 pode determinar a posição tridimensional da câmera somente se souber como os primeiro e segundo sistemas de coordenadas estão relacionados. Desde que a relação entre o primeiro e o 5 segundo sistemas seja ditada pelas posições relativas das câmeras 100, as posições relativas das câmera 100 devem ser disponibilizadas para a CPU 304 de modo que a posição tridimensional da bola seja determinada.
Embora o exemplo acima seja dado para uma situação simplificada onde a bola não seja ocultada da visão de qualquer câmera, as posições relativas das câmeras 100 devem também ser disponibilizadas à CPU 304 de modo a que a CPU 304 determine a posição da bola quando a bola é parcialmente ocultada da visão. Isto é porque para cada imagem dentro do conjunto de imagens capturadas 11’ - 16’, os dados de posição para as seções de equiparação dentro da imagem serão definidos em um sistema de coordenadas particular à câmera que capturou a imagem. De modo que a CPU 304 determine a posição da bola dentro da cena a partir dos dados de orientação e posição, a relação entre os sistemas de coordenadas para cada câmera 100 dever ser disponibilizados ao CPU 304. Novamente, a relação ente os diferentes sistemas de coordenadas é ditada pelas posições relativas das câmeras e assim as posições relativas das câmeras devem ser disponibilizadas para a CPU 304.
A CPU 304 pode gerar um número de valores de confiança quando tenta detectar seções de equiparação com uma imagem. Os valores de confiança poderiam corresponde a, por exemplo, a cor da bola, a forma da 25 bola ou o padrão da bola, e permitiria a CPU 304 focalizar o processamento detecção do padrão da bola em áreas da imagem onde as seções de equiparação são provavelmente encontradas. Por exemplo, se a CPU 304 sabe dos dados armazenados dentro módulo de memória do padrão da bola 306 que a superfície da bola tem cor amplamente branca, assim, a CPU 304 pode buscar somente seções de cor mais clara da imagem. Alternativamente, a CPU 304 pode determinar certas cores que não estão presentes na superfície da bola, e assim evitar áreas de processamento da imagem nas quais estas cores aparecem. Isto tem uma vantagem de reduzir a quantidade de processamento 5 requerido pela CPU 304 quando encontra seções de equiparação dentro de uma imagem.
A CPU 304 pode também focalizar o processamento de detecção de padrão de bola em áreas de cada imagem em um conjunto de imagens Iln’ - I6n’, onde a bola é provavelmente baseada na posição da bola em imagens capturadas previamente que são armazenadas na memória 302. Por exemplo, a bola é encontrada em coordenadas (x,y) na imagem Iln’ capturada no tempo tn_i de uma câmera particular 100. A posição determinada da bola dentro de pelo menos uma outra imagem dentro do mesmo conjunto de imagens Iln’ — I6n\ a pelo menos uma imagem sendo capturada por uma diferente câmera 100, poderia ser usada. Alternativamente, qualquer técnica de processamento de imagem preditiva adequada conhecida na técnica pode ser usada. Novamente, isto tem uma vantagem de reduzir a quantidade de processamento requerido pela CPU 304 quando encontra seção de equiparação dentro de uma imagem, como um ponto de parida inteligente é selecionado. Também, a posição da bola será detectada mais rapidamente.
A CPU 304 pode também elimina ruído e/ou bolas falsas de cada uma das imagens usando, por exemplo, os valores de confiança, ou usando qualquer ouro método adequado que é conhecido na técnica. Tais métodos poderiam evolver usar dados de só uma única imagem, ou poderia 25 envolver usando dados de uma pluralidade de imagens. A pluralidade de imagens poderia incluir imagens dentro do mesmo conjunto Iln’ - I6n’, ou poderia incluir imagens em diferentes conjuntos capturados em diferentes tempos.
Para determinar a trajetória (algumas vezes referida como a velocidade, quando a velocidade inclui a velocidade e a direção) da bola dentro da cena durante intervalos de tempo nos quais a bola é ocultada da visão de todas as câmeras, a primeira seqüência de imagens é capturada pelas câmeras 100 em uma primeira taxa de quadro predeterminada imediatamente 5 antes do intervalo de tempo através do qual a bola é ocultada. A primeira seqüência de imagens é armazenada na memória 302. Uma segunda seqüência de imagens é então capturada pelas câmeras 100 em uma segunda taxa de quadro predeterminada imediatamente após o intervalo de tempo através do qual a bola é ocultada. Esta segunda seqüência de imagens é então 10 armazenada na memória 302. Para cada conjunto de imagens Iln’ - I6n’ capturadas no tempo tn e armazenadas na memória 302, a posição da bola dentro da cena é determinada pela CPU 304 de acordo com o descrito previamente.
A CPU 304 determina então a velocidade e a direção da bola 15 imediatamente antes do intervalo de tempo através do qual a bola é ocultada usando a posição determinada da bola para cada conjunto de imagens Iln’ - 16n’ dentro da primeira seqüência de imagens, junto com a primeira taxa de quadro predeterminada. Também,a CPU 304 determina a velocidade e a direção da bola imediatamente após o intervalo de tempo através do qual a 20 bola é ocultada usando a posição determinada da bola para cada conjunto de imagens Iln’ - I6n’ dentro da segunda seqüência de imagens, junto com a segunda taxa de quadro predeterminada. Por exemplo, para uma seqüência de imagens, a CPU 304 pode determinar a velocidade da bola em um tempo tn quando um conjunto de imagens Iln’ - I6n’ é capturado pelo cálculo da 25 diferença entre a posição da bola dentro da cena determinada do conjunto de imagens Iln5 - I6n’ capturadas no tempo tn e a posição da bola dentro da cena determinada do conjunto de imagens prévio Ι1η-Γ - I6n_i ’ capturadas no tn„i. A CPU 304 então divide esta diferença pelo intervalo de tempo tn - tn_i, que, para conjuntos de imagens consecutivamente capturadas, é igual a alternância da taxa de quadro predeterminada. A velocidade e a direção da bola podem também serem referidas coletivamente como a velocidade da bola.
Usado dados característicos de impacto para a bola em conjunto com as velocidades determinadas antes e depois do intervalo de tempo pelo qual a bola é ocultada, a CPU 304 pode determinar a posição da bola durante este intervalo de tempo. Os dados característicos de impacto são armazenados na memória 302, e incluem quaisquer dados úteis para modelar a trajetória da bola no caso de que a bola experimenta um impulso enquanto é ocultada (por exemplo, se ela atingir a trave do gol ou for chutada). Os dados característicos de impacto poderiam compreender, por exemplo, a pressão na qual a bola é inflada, a informação a aerodinâmica da bola ou como as propriedades elásticas do material do qual a bola e construída muda em diferentes temperaturas e diferentes condições climáticas. Os dados característicos de impacto são determinados experimentalmente da bola da partida antes de iniciar a partida de futebol e importantemente indica a quantidade de deformação experimentada pela bola por uma força dada de impacto para qualquer tempo dado após o impacto.
A detecção da trajetória da bola oculta pode ocorrer automaticamente por intervalos de tempo pelos quais a CPU 304 determina que a bola não está visível. Então, no caso que a trajetória mostre toda a bola ter atravessado completamente a linha do gol, o sinal de indicação do gol pode ser enviado para o fone de ouvido 208. Alternativamente, para reduzir a quantidade de processamento, a detecção da trajetória da bola pode ser iniciada manualmente em casos onde a bola se toma oculta enquanto está muito perto da linha do gol. Tal abordagem manual é possível, desde que os conjuntos de imagens capturadas corrigidas Iln’ - I6n’ que são capturadas em uma taxa de quadro predeterminada possam ser armazenados na memória 302 por um período de tempo predeterminado, tal como 30 segundos, de modo a serem disponibilizados, deveriam ser requeridos.
Os dados compreendidos dentro do módulo de memória de padrão de bola 306 que são indicativos do padrão característico da superfície da bola podem ser mudados ou atualizados para futebol com um padrão 5 característico diferente (por exemplo, para futebol padronizado de ala visibilidade). Adicionalmente, diferentes fabricantes têm diferentes desenhos de bola. Portanto, para qualquer número de diferentes bolas e desenhos de bola, uma biblioteca de padrões de bola é armazenada dentro da módulo de memória 306. Esta mudança ou atualização poderia ocorrer, por exemplo, 10 pelo módulo de memória de padrão de bola 306 sendo um módulo de memória removível e substituível fisicamente ou pelo módulo de memória de padrão de bola 306 sendo operável para receber dados novos ou atualizados eletronicamente de uma fonte externa, tal como um computador externo (não mostrado). No caso que o módulo de memória de padrão de bola 306 é 15 operável para receber dados novos ou atualizados eletronicamente, isto poderia ocorrer uma conexão com fio ou sem fio entre a fonte externa e o módulo de memória de padrão de bola 306.
Para a memória ser atualizada com dados indicativos de, por exemplo, as posições das câmeras 100, os vários parâmetros das câmeras 100 20 e os dados característicos de impacto para a bola, é necessário para o controlador 204 ter uma interface de usuário(mostrada) para tais dados serem introduzidos no controlador 204. A interface de usuário poderia compreender, por exemplo, um visor tradicional, um teclado e mouse, ou uma interface de tela de toque. Se o gol é marcado ou não, é determinado pelo CPU 304 na 25 base de se o centro da bola atravessou ou não toda a linha do gol por uma distância maior que o raio da bola, em concretizações, os dados indicativos do raio da bola são compreendidos dentro da memória 302 ou o módulo de memória do padrão de bola 306 do controlador 204.
As Figuras 4A - 4C ilustra de modo esquemático as posições dos marcadores de referência de calibração da câmera de acordo com uma concretização da invenção.
A Figura 4A ilustra de modo esquemático uma vista do lado do gol. Os marcadores de referência de calibração de câmera 402 são colocados no ou próximo do topo de cada um dos suportes da rede do gol 116 e o fundo de cada uma das traves do gol 120. Os marcadores de referência 402 poderiam ser colocados em diferentes locais. Entretanto, é importante que tais locais são selecionados de modo que os marcadores de referência 402 são estacionários dentro da cena, de modo que qualquer mudança na posição de um marcador de referência 402 entre uma imagem capturada e a próxima é devido ao movimento da câmera 100 mais que o movimento do marcador de referência. Cada um dos marcadores de referência 402 e posicionado de modo a ser claramente visível para pelo menos uma das câmera 100 (que é visível para pelo menos uma câmera 100 para a extensão que o computador de calibração de câmera 202 pode detectar confiavelmente a localização do marcador de referência 202).
Em uma concretização, cada uma das câmeras 100 deve ser capaz de visualizar claramente uma pluralidade de marcadores de referência 402 de modo que a câmera possa ser efetivamente deslocada nas imagens 20 capturadas mesmo se a visão das câmeras de um ou mais marcadores de referência 402 e câmeras 100 poderia(m) ser posicionado(s) de modo que cada câmera 100 é capaz visualizar um marcador de referência 402 no fundo da trave de gol 120 e um marcador de referência 402 no topo de cada um dos suportes da rede do gol 116. De fato, colocar os marcadores de referência 402 25 no topo de cada um dos suportes de rede do gol 116, a probabilidade de um marcador de referência v402 se mover entre as imagens capturadas ou se tomar obscuro é muito pequena.
A Figura 4B ilustra de modo esquemático uma vista ampliada dos marcadores de referência 402 no topo de um dos suportes da rede do gol 116. Dois marcadores de referência 402 são mostrados serem posicionados de modo que cada marcador de referência 402 esteja claramente dentro do campo de visão de uma diferente câmera 100 (para clareza, as câmeras 100 são mostradas estarem muito mais próximas que os marcadores de referência 5 do que realmente deveriam estar). Em uma concretização, um maior número de marcadores de referência 402 pode ser posicionado no topo do suporte de rede de gol 116 para que cada um esteja dentro do campo de visão de uma diferente câmera 100.
A Figura 4C ilustra de modo esquemático uma vista ampliada de um marcador de referência 402 no fundo de uma das traves do gol 120. O marcador de referência 402 é visto na Figura 4C de uma perspectiva frontal. Cada um dos marcadores de referência 402 correspondentes a uma câmera particular, sempre que for localizado, dever ser orientado de modo a ser visto de uma perspectiva frontal no campo de visão da câmera. Isto toma mais fácil para o computador de calibração de câmera 202 conectado em um câmera 100 para detectar a posição do marcador de referência 402. Como na Figura 4B, em uma concretização preferida, um maior número de marcadores de referência 402 que é mostrado pode ser posicionado no fundo do suporte da rede do gol 116 para que cada um esteja dentro do campo de visão de uma diferente câmera 100.
Como ilustrado nas Figuras 4A - 4C, em uma concretização, o marcador de referência 402 é uma forma retangular consistindo de um retângulo intero de cor clara com uma borda retangular de cor escura. Isto faz detectar a posição do marcador de referência 402 em cada imagem mais fácil 25 quando há um padrão distinto para o marcador. Adicionalmente, de modo a capturar mais facilmente o marcador de referência 402 pode também ser fluorescente ou reflexivo. O posicionamento dos marcadores de referência 402 no topo dos suportes da rede do gol 116 e no fundo das traves do gol 120 é preferível, desde que outras partes da armação do gol, estas partes geralmente experimentam o movimento muito pequeno durante o curso de uma partida de futebol.
A Figura 5A ilustra de modo esquemático um futebol 500 com um padrão característico 502 em sua superfície. Nesse exemplo particular, o 5 padrão 502 consiste de formas hexagonais de cor escura em fundo de cor clara. Os dados indicativos do padrão característico 502 é compreendido de um módulo de padrão de bola 306.
A Figura 5B ilustra de modo esquemático uma cena 504 durante uma partida de futebol na qual o futebol 500 é parcialmente ocultada 10 da visão por um obstáculo 506 (neste caso, o obstáculo é uma perna de jogador de futebol). No caso de que uma imagem da cena é capturada por uma câmera 100, é deslocado corretivamente pelo computador de calibração de câmera 202 conectado à câmera e é então enviado ao controlador 204, a CPU 304 dentro do controlador processará a imagem para encontrar dados de 15 posição e orientação para a bola dentro da imagem com base nos dados indicativos do padrão característico 502 da bola armazenada dentro do módulo de memória de padrão de bola 306, como previamente descrito.
A Figura 5C ilustra de modo esquemático uma vista ampliada da cena 504 que inclui a bola 500 e o obstáculo 506. A Figura 5C também 20 mostra seções 508, 510 da imagem da cena que equipara o padrão característico 502 da bola e que, por isso, detectada pelo CPU 304. Estas seções de equiparação 508, 510 correspondem à bola dento da imagem da cena. Em muitos casos, onde o obstáculo 506 é maior, somente uma única de seções de equiparação 508, 510 podem ser visíveis e, por isso, detectáveis 25 pela CPU 304.
Adicionalmente, durante a duração da partida, a mudança das condições de iluminação dentro da cena. Estas mudanças em iluminação podem resultar nas cores da bola se torando mais escuras ou mais claras. De fato, se o campo tem iluminação artificial ligada durante a partida, a cor da bola se tona mais clara e tem uma área embranquecida onde as luzes artificiais refletem da bola. De modo a contar com isto, o padrão característico 502 da bola armazenado no módulo de memória 306 tem um algoritmo de iluminação aplicado ao mesmo para corrigir estas mudanças. Tais algoritmos 5 são conhecidos na técnica de processamento de imagem e ao será descrito a seguir.
Como previamente descrito, a CPU 304 é capaz de usar os dados de posição e orientação determinados para a bola dentro de cada imagem dentro de um conjunto de imagens Iln’ - I6n’ para determinar a posição na vida real do centro 512 da bola dentro da cena.
As Figuras 6A - 6C ilustram de modo esquemático um exemplo de dados de orientação para uma imagem de uma bola dentro de uma cena. A figura 6a mostra novamente o futebol 500 com um padrão característico 502. Seções visíveis 600 e 602 são mostradas, cada uma 15 compreendendo as seções de padrão característico 604 e 606, respectivamente. Será assumido que para uma imagem particular da cena dentro de um conjunto de imagens capturadas Iln’ - I6n’, as seções visíveis 600, 602 são detectadas pela CPU 304 e os dados de posição para cada uma das seções visíveis 600, 602 são determinados. Neste exemplo, as seções de 20 padrão característico 604 e 606 constituem os dados de orientação para a bola 500 dentro da imagem.
As Figuras 6B e 6C mostram de modo esquemático vistas ampliadas das seções visíveis 600 e 602, respectivamente. A CPU 304 mapeia cada uma das seções de padrão característico 604, 606 para as porções 25 correspondentes dos dados indicativos do padrão característico 502 armazenado dentro do módulo de memória do padrão de bola 306. Em combinação com os dados de posição para cada uma das seções visíveis 600, 602, a CPU 304 então tem informação suficiente para determinar a posição do centro 512 da bola 500 dentro da imagem. Isto é porque, dada a posição do centro 512 da bola 500, é capaz de prover as seções de padrão característico 604 e 606 dentro de cada uma das respectivas seções visíveis 600 e 602.
Para simplicidade, as Figuras 6A - 6C ilustram como a CPU 304 determina a posição do centro da bola dentro de uma única imagem 5 dentro de um conjunto de imagens capturadas Iln’ — I6n’ usando os dados de posição e orientação para a bola dentro da imagem somente. Não seria, entretanto, possível determinar a posição tridimensional do centro da bola dentro da cena para uma única imagem, desde que a própria imagem capturada seja somente bidimensional. Adicionalmente, se, por exemplo, 10 somente a seção visível 600 ficou visível dentro de uma imagem capturada, então seria difícil para a CPU 304 determinar precisamente a posição do centro da bola dentro da cena, desde que haja provavelmente múltiplas posições da bola que fornecem substancialmente a seção de padrão característico 604 dentro da seção visível 600.
Na realidade, a CPU 304 é, portanto, operável para usar os
dados de posição e orientação para a bola para toda imagem dentro de um conjunto de imagens capturadas Iln’ - I6n’, junto com as posições e várias configurações parâmetro das câmeras 100, para determinar a posição tridimensional do centro da bola dentro da cena. Por exemplo, se existe uma 20 primeira seção visível com uma primeira seção de padrão característico em uma primeira imagem junto com uma segunda seção visível com uma segunda seção de padrão característico em uma segunda imagem, então a CPU 304 é operável para determinar a posição do centro da bola dentro da cena com base nos dados de posição e a seção de padrão característico para 25 cada uma das primeira e segunda seções visíveis usando o mesmo princípio que descrito nas Figuras 6A - 6C. Por causa das duas imagens separadas (de duas câmeras separadas) tem sido usadas, é possível determinar a posição tridimensional do centro da bola dentro da cena.
A Figura 7 ilustra de modo esquemático uma trajetória da bola determinada pela CPU 304 durante o intervalo de tempo através do qual a bola se tona oculta da visão das câmeras 100. A bola é considerada ser ocultada em um tempo tn quando a posição da bola dentro da cena não pode ser precisamente determinada pela CPU 304 a partir de um conjunto de 5 imagens capturadas Iln’ - I6n’ capturadas pelas câmeras 100 no tempo tn. Por exemplo, a bola pode ser circundada por um grande número de obstáculos de modo que nenhuma parte da bola possa ficar visível em qualquer das câmeras 100. Alternativamente, a bola pode ficar somente visível para uma única câmeras 100, em cujo caso, a CPU 304 não é provida com dados de posição e 10 orientação suficientes para determinar a posição da bola dentro da cena.
A Figura 7 ilustra a bola 500 com o centro 512 entrando na região oculta 700 via a trajetória de entrada 702 e deixando a região oculta 700 via a trajetória de saída 704. A CPU 304 é capaz de determinar a velocidade V1 da bola no tempo t, imediatamente ates de se tomar oculta na 15 região oculta 700 e a velocidade V2 da bola no tempo t2 imediatamente depois de ter ficado oculta na região oculta 700, como previamente descrita. A CPU 304 é então capaz de determinar a trajetória oculta 708 da bola dentro da região oculta 700 usando pelo menos uma da posição detectada da bola dentro da cena nos tempos ^ e t2, a velocidade determinada da bola os tempos t] e t2 20 e os dados de característica de impacto para a bola armazenados na memória 302.
No exemplo da Figura 7, a linha do gol 706 está dentro da região oculta 700. A trajetória oculta 708 determinada pela CPU 304 mostra que o centro 512 da bola 500 atravessou a linha do gol 708 durante o intervalo 25 de tempo pelo qual a bola foi ocultada e, portanto, um gol foi marcado. As concretizações da presente invenção, portanto, toma possível determinar se a bola cruzou ou não a linha do gol mesmo durante os intervalos de tempo pelos quais a bola está oculta da visão das câmeras 100.
Conhecendo estas acelerações, velocidades, posições e tempo relativo para a trajetória de entrada e de saída, o sistema é capaz de interpolar a informação de posição/tempo calculando a força que atua a bola durante a mudança da trajetória. Conhecendo a força de atuação na bola, pode-se calcular a compressão na bola e a posição/tempo do objeto que entra em contato comm a bola.
Assim, se.antes de se tomar oculta a bola estiver se deslocando em uma velocidade vl , o ângulo da trajetória e a velocidade da bola são conhecidos. Se, após a bola ser visa novamente, a bola estiver se deslocando com uma velocidade v2, o ângulo da trajetória e a velocidade da bola são conhecidos. Como suposto, há uma força aplicada durante o período oculto (porque a bola desvia um objeto ou porque jogador chuta a bola, por exemplo), de modo que a bola possa se deslocar a uma velocidade v2, a posição na qual a força é aplicada, é suposto que seja a maior distância percorrida da bola.
Como a mudança na velocidade experimentada pela bola e como um resultado de uma força sendo aplicada à bola, é possível calcular a força aplicada à bola. Adicionalmente, quando a velocidade v2 (que é a velocidade e a direção) da bola é conhecida, é possível extrapolar quando a força foi aplicada à bola. Consequentemente, a posição mais distante da bola pode ser calculada.
Adicionalmente, conhecendo a compressão da bola, é possível adicionalmente estabelecer quando a força foi aplicada à bola. Por exemplo, se a força foi aplicada um pouco antes da bola se tomou visível de novo, a bola aparecerá deformada devido à aplicação da força. Entretanto, se força foi aplicada um pouco depois da bola se tonar oculta, a bola teria recuperado mais de sua forma e pareceria menos deformada. A quantidade que a bola é deformada é calculada de acordo com a pressão da bola (e quaisquer outras características de impacto relevantes) e a força aplicada à bola.
Uma breve descrição da operação do sistema será descria de acordo com a Figura 8. Durame o jogo, todas as câmeras 100 capturam imagens de um diferente campo de visão do gol, como mostrado na etapa 800. As câmeras 100 também capturam os marcadores de referência 402 localizados na base da trave do gol e o topo dos suportes da rede do gol 116. Para cada imagem, a posição na imagem de pelo menos um dos marcadores de referência 402 é determinada, como mostrado na etapa 802. Como os marcadores de referência 402 são considerados estar em uma posição fixa dentro da cena, qualquer movimento dos marcadores de referência 402 entre as imagens consecutivas é devido ao movimento das câmeras 100. Na etapa 804, a diferença na posição entre pelo menos um marcador de referência 402 capturado por cada câmera IOOem imagens consecutivas é usada para determinar uma modificação de movimento. Em outras palavras, o movimento dos marcadores de referência 402 a imagem é devido ao movimento da câmera 10, todos os outros pixels na imagem capturada são deslocados pela mesma proporção. Portanto, a posição de cada pixel na imagem capturada tem a modificação do movimento aplicada à mesma.
Após a modificação do movimento ter sido aplicada a cada pixel, as seções de cada imagem que equiparam o padrão característico da superfície da bola são detectadas, e os dados de orientação e de posição para cada um destas seções de equiparação são determinados, como mostrado a etapa 806. Os dados de orientação e posição para cada imagem é então usada para determinar a posição da bola dentro da cena, como mostrado a etapa 808. A detecção das seções de equiparação, a determinação dos dados de orientação e posição para as seções de equiparação e a determinação subsequente da posição da bola dentro da cena são explicadas com referência nas Figuras 3 e 5A - 6C.
A etapa 810, é detectado, da posição determinada da bola dentro da cena, se a bola toda cruzou ou não toda a linha do gol. No caso de toda a bola ter cruzado toda a linha do gol, então o sinal de indicação de gol é gerado, como mostrado na etapa 812. Este sinal de indicação de gol é então enviado ao fone de ouvido do árbitro da partida.
Embora o acima mencionado ter sido descrito com referência às linhas do gol, é previsto para qualquer tipo de projétil desportivo, tal como, peteca ou disco para jogo de hockey.
Na medida em que as concretizações da invenção descrita acima são implementadas, pelo menos em parte, usando aparelho de processamento de dados controlado por software, será apreciado que um programa de computador fornecendo tal controle de software e uma transmissão, armazenamento ou outro meio pelo qual tal programa de computador é provido, são previstas como aspectos da presente invenção.
Obviamente, numerosas modificações e variações da presente descrição são possíveis à luz dos ensinamentos acima. Portanto, será entendido que dentro do escopo das reivindicações em anexo, a invenção pode ser praticada, de outra forma que descrita aqui.
Na medida em que as concretizações da invenção são descritas como sendo implementadas, pelo menos em parte, por aparelho de processamento de dados controlado por software, será apreciado que um meio legível por máquina ao transitório portado tal software, al como um disco óptico, um disco magnético, memória semicondutora ou semelhante, é também considerado representar uma concretização da presente invenção.

Claims (12)

1. Aparelho para determinar a posição de um projétil desportivo dentro de uma cena durante um intervalo de tempo no qual o projétil desportivo é ocultado da visão de uma câmera, caracterizado pelo fato de compreender: uma interface operável para receber uma primeira seqüência de imagens da cena capturada pela câmera em um primeira taxa de quadro predeterminada antes do intervalo de tempo e a segunda seqüência de imagens da cena capturada pela câmera em uma segunda taxa de quadro predeterminada após o intervalo de tempo; um dispositivo de detecção de projétil desportivo operável para detectar a posição do projétil desportivo dentro da cena para cada imagem na primeira e na segunda seqüências de imagens; uma unidade de detecção de velocidade operável para determinar a velocidade do projétil desportivo antes do intervalo de tempo na base da posição detectada do projétil desportivo dentro da cena para cada imagem a primeira seqüência de imagens e a primeira taxa de quadro e a velocidade do projétil desportivo imediatamente após o intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na segunda seqüência de imagens e a segunda taxa de imagem predeterminada; e uma unidade de determinação de posição de projétil desportivo operável para determinar a posição do projétil desportivo durante o intervalo de tempo usando pelo menos uma da posição do projétil desportivo dentro da cena para cada imagem dentro da primeira e da segunda seqüências de imagens e a velocidade determinada do projétil desportivo imediatamente antes e imediatamente depois do intervalo de tempo.
2. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira seqüência de imagens e a segunda seqüência de imagens da cena compreende uma linha predeterminada e que a unidade de determinação de posição de projétil desportivo é operável para gerar um sinal de indicação no caso de que a posição da bola é determinada ao cruzar a linha predeterminada.
3. Aparelho de acordo com a reivindicação 2, caracterizado pelo fato de que a unidade de determinação de posição de projétil desportivo é operável para gerar o sinal de indicação quando a posição do projétil desportivo é determinada ao cruzar a linha predeterminada por uma distância maior que o raio do projétil desportivo.
4. Aparelho de acordo com a reivindicação 2, caracterizado pelo fato de que a linha predeterminada é uma linha de gol.
5. Aparelho de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de determinação de projétil desportivo é adicionalmente operável para calcular a posição de projétil desportivo de acordo com a deformação do projétil desportivo em cada imagem dentro da segunda seqüência de imagens.
6. Método para determinar a posição de um projétil desportivo dentro de uma cena durante um intervalo de tempo no qual o projétil desportivo está oculto da visualização de uma câmera, caracterizado pelo fato de compreender: receber uma primeira seqüência de imagens da cena capturada pela câmera em uma segunda taxa de imagem predeterminada após o intervalo de tempo; detectar a posição do projétil desportivo dentro da cena para cada imagem na primeira e segunda de imagens; determinar a velocidade do projétil desportivo antes do intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena para cada imagem na primeira seqüência de imagens a primeira taxa de quadro e a velocidade do projétil desportivo imediatamente após o intervalo de tempo com base na posição detectada do projétil desportivo dentro da cena de cada imagem na segunda seqüência de imagens e a segunda taxa de imagem predeterminada; e determinar a posição do projétil desportivo durante o intervalo de tempo usando pelo menos uma da posição detectada do projétil desportivo dentro da cena para cada imagem dentro da primeira e da segunda seqüências de imagens e a velocidade determinada do projétil desportivo imediatamente antes e imediatamente após o intervalo de tempo.
7. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a primeira seqüência de imagens da cena compreende a linha predeterminada e a qual o método compreende gerar o sinal de indicação no caso de que a posição da bola é determinada ao cruzar a linha predeterminada.
8. Método de acordo com a reivindicação 7, caracterizado pelo fato de que compreende gerar o sinal de indicação quando a posição do projétil desportivo é determinado para ter cruzado a linha predeterminada por uma distância maior que o raio do projétil desportivo.
9. Método de acordo com a reivindicação 6, caracterizado pelo fato de que a linha predeterminada é uma linha de gol.
10. Programa de computador, caracterizado pelo fato de compreender instruções legíveis por computador que, quando carregado sobe um computador, cofigurar o computador para realiza um método como definido na reivindicação 6.
11. Programa de computador, caracterizado pelo fato de compreender instruções legíveis por computador que, quando carregado sobre um computador, configurar o computador para realizar um método como definido na reivindicação 6.
12. Produto de programa de computador, caracterizado pelo fato de ser configurado para armazenar o programa de computador como definido na reivindicação 11 no mesmo.
BR102012028297-6A 2011-11-11 2012-11-05 Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, e, meio de armazenamento legível por computador BR102012028297B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1119504.7 2011-11-11
GB1119504.7A GB2496429B (en) 2011-11-11 2011-11-11 A method and apparatus and program

Publications (2)

Publication Number Publication Date
BR102012028297A2 true BR102012028297A2 (pt) 2014-04-22
BR102012028297B1 BR102012028297B1 (pt) 2021-12-28

Family

ID=45421643

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102012028297-6A BR102012028297B1 (pt) 2011-11-11 2012-11-05 Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, e, meio de armazenamento legível por computador

Country Status (6)

Country Link
US (1) US8885886B2 (pt)
CN (1) CN103100204B (pt)
BR (1) BR102012028297B1 (pt)
DE (1) DE102012022038A1 (pt)
GB (1) GB2496429B (pt)
RU (1) RU2606583C2 (pt)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684971B2 (en) * 2012-11-14 2017-06-20 Presencia En Medios Sa De Cv Field goal indicator for video presentation
WO2016075086A1 (de) * 2014-11-11 2016-05-19 Cleverciti Systems Gmbh System zur anzeige von parkplätzen
DE102015121854A1 (de) * 2015-12-15 2017-06-22 Frank Pelzer Verfahren und System zum Livebestimmen eines Sportgeräts
AU2017358066B2 (en) * 2016-11-10 2023-02-02 Formalytics Holdings Pty Ltd Measuring a property of a trajectory of a ball
WO2018222823A1 (en) * 2017-06-01 2018-12-06 Gooee Limited Monitoring system
RU2675922C1 (ru) * 2017-12-22 2018-12-25 Максим Борисович ЕФИМОВ Установка для тренировок в различных видах спорта с мячом

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US602458A (en) * 1898-04-19 Street-sweeper
US4063259A (en) * 1975-10-29 1977-12-13 Acushnet Company Method of matching golfer with golf ball, golf club, or style of play
FR2727544A1 (fr) * 1986-12-02 1996-05-31 Thomson Csf Procede de suivi temporel d'un objet mobile dans une suite d'images, et dispositif pour la mise en oeuvre de ce procede
US5342051A (en) * 1992-10-30 1994-08-30 Accu-Sport International, Inc. Apparatus and method for tracking the flight of a golf ball
FR2753633A1 (fr) * 1995-11-23 1998-03-27 Viennot Emmanuel Francois Andr Systeme d'assistance a l'arbitrage au jeu de football
US6285445B1 (en) * 1999-09-17 2001-09-04 Acushnet Company Method for determining aerodynamic characteristics of a golf ball
RU2185220C2 (ru) * 2000-10-09 2002-07-20 Уральская государственная академия физической культуры Устройство для регистрации попадания в ворота мяча или шайбы
WO2003022369A2 (en) * 2001-09-12 2003-03-20 Pillar Vision Corporation Trajectory detection and feedback system
RU2254895C2 (ru) * 2002-12-26 2005-06-27 Ворожцов Георгий Николаевич Способ определения динамических параметров движения материального объекта при проведении спортивных состязаний или в тренировочном процессе, устройство для его осуществления и способ оценки технического и творческого потенциала спортсменов
AU2003227491A1 (en) * 2003-04-11 2004-11-04 National Institute Of Information And Communications Technology Incorporated Administrative Agency Image recognizing device and image recognizing program
US20060063574A1 (en) * 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
JP2005278797A (ja) * 2004-03-29 2005-10-13 Yokohama Rubber Co Ltd:The ゴルフボールの弾道算出システムおよび弾道算出方法
JP4689684B2 (ja) * 2005-01-21 2011-05-25 ジェスチャー テック,インコーポレイテッド 動作に基づくトラッキング
WO2007035878A2 (en) * 2005-09-20 2007-03-29 Jagrut Patel Method and apparatus for determining ball trajectory
US8335345B2 (en) * 2007-03-05 2012-12-18 Sportvision, Inc. Tracking an object with multiple asynchronous cameras
CN101110173A (zh) * 2007-08-21 2008-01-23 浙江大学城市学院 应用数码技术研究抛射体运动的实验方法
KR101386793B1 (ko) * 2007-09-21 2014-04-21 플레이데이타, 엘엘씨 개체 위치 및 움직임 검출 시스템 및 그 방법
GB2458325A (en) * 2008-03-14 2009-09-16 Damien Daly Means for generating a 2-dimensional profile of the path taken by an object travelling over a 3-dimensional surface
US8758103B2 (en) * 2009-01-19 2014-06-24 Full Swing Golf Methods and systems for sports simulation
US9058670B2 (en) * 2010-05-03 2015-06-16 Stats Llc Trajectory detection and analysis in sporting events
US9339704B2 (en) * 2012-03-30 2016-05-17 Nike, Inc. Methods for selecting golf balls based on environmental factors

Also Published As

Publication number Publication date
RU2606583C2 (ru) 2017-01-10
US20130121538A1 (en) 2013-05-16
US8885886B2 (en) 2014-11-11
BR102012028297B1 (pt) 2021-12-28
GB2496429B (en) 2018-02-21
DE102012022038A1 (de) 2013-05-16
GB201119504D0 (en) 2011-12-21
RU2012147889A (ru) 2014-05-20
CN103100204B (zh) 2016-08-03
CN103100204A (zh) 2013-05-15
GB2496429A (en) 2013-05-15

Similar Documents

Publication Publication Date Title
KR102168158B1 (ko) 레이더 및 촬상 요소를 포함하는 조립체
US9448067B2 (en) System and method for photographing moving subject by means of multiple cameras, and acquiring actual movement trajectory of subject based on photographed images
US20200016497A1 (en) Methods and systems for sports simulation
US20130120581A1 (en) Apparatus, method and system
US20230201692A1 (en) System and Method for Determining Impact Characteristics of Sports Ball Striking Element
US9684971B2 (en) Field goal indicator for video presentation
BR102012028297A2 (pt) Aparelho e método para determinar a posição de um projétil desportivo dentro de uma cena, programa, e, produto de programa de computador
JP7051315B2 (ja) ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR20180095588A (ko) 스포츠 기구의 운동분석을 위한 방법 및 장치
US9589332B2 (en) Camera movement correction apparatus, method and system
JP6898415B2 (ja) ボールの回転を測定するための方法、システムおよびコンピュータプログラム
JP2009294048A (ja) 移動体の挙動計測装置および移動体の挙動計測方法
JP2017156796A (ja) オブジェクト追跡システム、オブジェクト追跡装置及びそのプログラム、並びに、位置表示体付き物理オブジェクト
JP2004024488A (ja) ゴルフスイングのインパクト状態計測方法
US10776929B2 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
KR20140122560A (ko) 골프 시뮬레이터
KR20220146137A (ko) 두 대의 카메라를 이용한 천장형 골프 시뮬레이션 시스템
KR102483484B1 (ko) 골프 클럽과 연관되는 물리량을 측정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20220146136A (ko) 두 대의 카메라를 이용한 콘솔형 골프 시뮬레이션 시스템

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 05/11/2012, OBSERVADAS AS CONDICOES LEGAIS.