ITUB20156320A1

ITUB20156320A1 - Metodo per l?analisi della traiettoria di una palla

Info

Publication number: ITUB20156320A1
Application number: ITUB2015A006320A
Authority: IT
Inventors: Pasquale Lauro
Original assignee: Mfg Point Software Srl
Priority date: 2015-12-03
Filing date: 2015-12-03
Publication date: 2017-06-03
Also published as: WO2017093887A1

Description

DESCRIZIONE

''Metodo per l'analisi della traiettoria di una palla"

La presente invenzione è relativa ad un metodo per l'analisi della traiettoria di una palla.

In particolare, la presente invenzione è relativa ad un metodo per l'analisi della traiettoria di una palla utilizzata in gare pallavolistiche.

Com'è noto, in ambito sportivo, allo scopo di migliorare le performances di squadre e/o singoli giocatori, viene, solitamente, eseguita e accuratamente studiata l'analisi di video sportivi. In particolare, l'analisi dei video sportivi prevede tre distinte fasi di lavoro: classificazione dei tiri/lanci; estrazione di eventi significativi; tracciamento di oggetti mobili. Nello specifico caso di una gara pallavolistica, gli eventi significativi si verificano in corrispondenza di interazioni giocatore-palla o giocatore-giocatore e le tecniche note per il tracciamento di questi oggetti tramite riprese video sono numerose.

Una prima tecnica nota è stata descritta nell'articolo "Where are thè ball and thè players? Soccer game analysis with color based tracking and image mosaic, di Y. Seo, S.

Choi, H. Kim, and K. Hong, pubblicato in Proc. ICIAP, voi.

196-203, 1997. Questo articolo descrive, infatti, un algoritmo di tracciamento della palla che implementa un filtro di Kalman basato su una tecnica di "template matching".

Una seconda tecnica nota è stata descritta nell'articolo ”A new algorithm for ball recognition using circle Hough transform and neural classifier", di T. D'Orazio, G. Guarangnella, M. Leo, and A. Distante, pubblicato su Pattern Recognition, voi. 37, pp. 393-408, 2004. In tale articolo sono state proposte alcune versioni modificate della trasformata di Hough, insieme ad un classificatore basato su reti neurali per identificare la palla.

Un'altra soluzione nota si trova descritta nell'articolo ''Automatic detection and analysis of player action in moving background sports video sequences" di H. Li, J. Tang, S. Wu, Z. Zhang, S. Lin., pubblicato in IEEE Trans, on Circuits and Systems for Video Technology, voi.

20, n. 3, pp. 351-364, 2010. Viene qui proposto uno schema per il tracciamento automatico e l'analisi delle azioni coinvolte usando filtri adattativi e tecniche di tracciamento dei giocatori.

Tutte queste tecniche note, applicate all'ambito pallavolistico, risentono del fatto che la forma e la dimensione della palla cambiano da immagine ad immagine, data l'alta velocità della palla stessa e l'occlusione della palla con oggetti differenti nelle immagini» Inoltre, le dimensioni ridotte della palla rispetto alla grandezza delle immagini influiscono anche sulla qualità della stima.

Per risolvere tali problematiche, è stato proposto un algoritmo per l'identificazione e il tracciamento della palla ispirati agli incontri calcistici, come descritto nell'articolo "Trajectory-based ball detection and tracking with applications to semantic analysis of broadcast soccer video'', di X. Yu, C. Xu, H.W. Leong, Q. Tian, Q. Tiang, and K.W. Wan, pubblicato in Proc. llth ACM Int. Conf. Multimedia, pp, 11-20, 2003. Questo algoritmo prevede una prima fase di stima della dimensione della palla, a partire da oggetti candidati, in modo da filtrare le possibili palle selezionate nell'immagine. La traiettoria viene, successivamente, estratta a partire da una procedura di verifica a posteriori.

Un'altra soluzione, descritta nell'articolo "Ball tracking and 3D trajectory approximat ion with applications to tactics analysis from single-camera volleyball sequences" di H.T. Chen, W.J Tsai,S.Y. Lee, J.Y. Yu., pubblicato in Multimed Tools Appi, voi.60, no.3, pp.641-667, 2012, prevede lo sfruttamento della natura fisica delle possibili traiettorie che una palla può assumere. In particolare, viene qui descritto un sistema automatico denominato "Volleyball Intelligence Agent" (VIA) capace di eseguire un tracciamento 2D della palla e un'approssimazione delle traiettorie calcolate in 3D, a partire da una sequenza di immagini acquisite mediante una telecamera fissa posta dietro il lato corto del campo di pallavolo.

Esistono, poi, dei metodi basati su stime probabilistiche della posizione della palla. Ad esempio, nell'articolo "An adaptive color-based particle filter", di K. Nummiaro, E. Koller-Meier, L, Van Gool, pubblicato in Image and Vision Computing, voi.21, no.l, pp.99-110,2003, è stata analizzata una tecnica, basata sui filtri particellari, che implementa un filtro particellare, data una determinata distribuzione colore che funge da ''target". Più specificatamente, adottando una particolare metrica, detta metrica di Bhattacharyya, viene qui dimostrato che le particelle implementate convergono, con probabilità pari ad 1, alla posizione effettiva della palla. Peraltro, la metrica di Bhattacharyya è stata ampiamente analizzata ed è stata dimostrata la sua robustezza in presenza di occlusioni parziali o complete del target, come descritto nell'articolo "The Bhattacharyya Metric as an Assolute Measure for Frequency Coded Data" di F. Aherne, N. Thacker, and P, Rocjett. Pubblicato in Kybernetika, voi.32, no.4, pp.1-7, 1997.

Tuttavia, tutte le tecniche note presentano il problema di non essere sufficientemente accurate e precise nel definire la traiettoria della palla.

Scopo della presente invenzione è fornire un metodo per l'analisi della traiettoria di una palla capace di fornire una traiettoria della palla accurata, avente, quindi, caratteristiche tali da superare i limiti che ancora influenzano i metodi precedentemente descritti con riferimento alla tecnica nota.

Secondo la presente invenzione, viene realizzato un metodo per l'analisi della traiettoria di una palla, come definito nella rivendicazione 1.

Per una migliore comprensione della presente invenzione viene ora descritta una forma di realizzazione preferita, a puro titolo di esempio non limitativo, con riferimento ai disegni allegati, nei quali:

- la figura 1 mostra uno schema a blocchi di un metodo per l'analisi della traiettoria di una palla, secondo 1'invenzione;

la figura 2 mostra un diagramma di flusso di un'operazione di identificazione delle palle candidate compresa nel metodo per l'analisi della traiettoria di una palla, secondo 1'invenzione;

- la figura 3 mostra un diagramma di flusso di un'operazione di definizione delle traiettorie potenziali identificate nell'operazione di figura 2, compresa nel metodo per l'analisi della traiettoria di una palla, secondo l'invenzione.

Con riferimento a tali figure, e in particolare alla figura 1, un metodo 1000 per l'analisi della traiettoria di una palla è mostrato, secondo l'invenzione. Il metodo 1000 comprende le operazioni:

1001 di identificare le palle candidate;

- 1002 di definire le traiettorie potenziali;

1003 di individuare tra le traiettorie potenziali quella ottimale.

Più specificatamente, l'operazione 1001 di identificare le palle candidate comprende le operazioni;

- 100la di effettuare una segmentazione "foreground" /"background" delle immagini acquisite utilizzando, ad esempio, la tecnica di "mixture gaussiano<1>';

- 1001b di effettuare operazioni di sieving dell'immagine;

- 1001c di filtrare tutti gli oggetti "non-palla" evidenziando le "palle candidate".

Più chiaramente, la tecnica di segmentazione "foreground"/ "background" consente di separare oggetti in movimento dal resto della scena. In particolare, tutti i pixel che nel corso del tempo rimangono invariati per luminosità, posizione, ecc. vengono assegnati allo sfondo (Background) e il resto dei pixel vengono considerati oggetti in movimento (Foreground). Se in un intervallo di tempo la palla è in movimento viene considerata oggetto in movimento mentre quando cade a terra e si ferma per un intervallo di tempo viene considerata sfondo.

Secondo un aspetto dell'invenzione, l'operazione 1001b di effettuare operazioni di "sieving" dell'immagine consiste nel "setacciare" l'immagine di oggetti "non-palla" da quella di oggetti "palla" e comprende eseguire almeno una delle operazioni seguenti;

- effettuare un'apertura morfologica con elemento strutturante disco di raggio in pixel "Rop"; - effettuare una chiusura morfologica con elemento strutturante disco di raggio in pixel "Rei";

- etichettare tutte le componenti connesse dell'immagine.

E' possibile sfruttare informazioni sui colori per il tracciamento della palla.

Secondo un aspetto dell'invenzione, l'operazione 1001c comprende l'operazione di identificare la palla tramite istogrammi colore mediante le operazioni di:

- modellazione e stima dell'istogramma colore della palla che si vuole identificare;

- identificazione, tra tutti gli oggetti che appartengono al foreground di una immagine, della regione connessa con una distribuzione colore quanto più vicina alla distribuzione target. Vantaggiosamente secondo l'invenzione, l'operazione di modellazione e stima dell'istogramma colore della palla che si vuole identificare consiste nel disporre di un set di immagini target della quale si vuole individuare in un frame successivo, l'oggetto mobile la cui distribuzione di colore sia la più vicina possibile a quella target. Discretizzando le distribuzioni in istogrammi formati da mrettangoli colori, si definisce h(xi) la funzione istogramma che associa al colore alla locazione

Xi= (sÈ,yj<r>

Il rettangolo colore corrispondente. Nel dettaglio, per rendere l'algoritmo più robusto rispetto a variazioni di luminosità, si è considerato il modello colore Hue-Saturation-Brightness (HSV) rispetto al modello colore redgreen-blue (RGB).

Ottenuto 1'istogramma dell'immagine scalata nello spazio HSV, la distribuzione del colore

*!* =Κ<ω>] il_1

alla locazione y dell'immagine target è calcolata come

/

dove I è il numero di pixels nella regione, δ rappresenta la funzione delta di Kronecker e f rappresenta il fattore di normalizzazione tale per cui

Py(«)- 1.

Vantaggiosamente secondo l'invenzione, l'operazione di identificazione, tra tutti gli oggetti che appartengono al foreground di una immagine, della regione connessa con una distribuzione colore quanto più vicina alla distribuzione target consiste nell'introdurre una misura di similitudine. Una metrica comunemente usata tra due distribuzioni colore p(u) e q(u) è il coefficiente di Bhattacharyya

= v'pCiOq (iridu

che, considerando densità discrete come gli istogrammi colore

può essere definito come

!i=l

Alti valori di questo coefficiente corrispondono a distribuzioni di colori molto simili tra loro e per due istogrammi di colori normalizzati identici si ottiene un coefficiente pari ad 1, che indica un match perfetto. Di conseguenza, è possibile è possibile definire come distanza tra due distribuzioni di colore, la misura

rig.fp, q) A y‘l- p[p.3⁄4']

che viene normalmente definita distanza di Bhattacharyya. Nello sviluppo dell'algoritmo, si verifica un match tra due istogrammi, p e q rispettivamente se il termine dB (p,q) è minore di una soglia di tolleranza alla distanza di Bhattacharyya (Zbhat),

Condizioni di illuminazione, angolo visuale così come i parametri del modulo di acquisizione video possono influenzare la qualità dell'istogramma target da tracciare. Per risolvere i problemi legati a cambiamenti dell' istogramma target, viene aggiornato il modello tramite le osservazioni fatte nella sequenza video. L'aggiornamento dell' istogramma target è implementato dall'equazione

qf* = (1- ap,

per ogni rettangolo u dell'istogramma target dove et media il contributo dell' istogramma trovato al tempo t, In questo modo viene introdotto un fattore di dimenticanza (o forgetting factor) nel processo in modo che il contributo del target ad un dato frame decresce esponenzialmente all'aumentare del tempo di osservazione.

Vantaggiosamente secondo 1' invenzione, le operazioni di filtraggio 1001a, 1001b e 1001c forniscono, come risultato, un insieme di palle candidate. Pertanto, essendo molto difficile discriminare la palla all'interno della scena video rispetto agli altri oggetti mobili sulla base di una sola immagine, l'operazione 1002 di definire traiettorie potenziali necessita di informazioni relative al moto della palla.

A questo scopo, vantaggiosamente secondo l'invenzione, il metodo 1000 comprende l'operazione di fornire informazioni sul moto della palla tramite immagini successive per determinare esattamente la posizione della palla.

Per analizzare il moto della palla, è possibile fare riferimento alle coordinate x e y delle regioni connesse nel piano immagine rispetto al tempo t. Si considerano quindi due spazi di coordinate:

1. lo spazio delle ordinate y± rispetto ai tempi t± (YTP) e,

2. lo spazio delle ascisse x± rispetto ai tempi t± (XTP).

Dall'osservazione che ogni palla presenta un movimento quasi parabolico nel piano YTP e simultaneamente un movimento rettilineo nel piano XTP, tutte le regioni connesse che presentano questo tipo di andamenti saranno considerate traiettorie potenziali.

Vantaggiosamente secondo l'invenzione, il metodo 1000 comprende l'operazione di definire traiettoria la coppia:

- filtro di Kalman inizializzato con i punti trovati, - due funzioni di predizione

y — asi% -j-α^,α1>0 eΎΙserialedeiframescaTisiàerati x— βρη+ β2

Più specificatamente, come mostrato in figura 3, l'operazione 1002 comprende le operazioni:

1002a di inizializzare la traiettoria;

1002b di aggiornamento della traiettoria;

- 1002c di finalizzazione della traiettoria.

Secondo un aspetto dell'invenzione, l'operazione 1002a di inizializzare la traiettoria comprende l'operazione di collegare inizialmente ogni palla candidata c alla sua palla candidata c' nel frame precedente, se la distanza tra c e c' è più piccola di una soglia di distanza Zdist, Tale operazione può essere avviata quando il numero di palle candidate tra loro collegate è pari almeno a tre.

Secondo un altro aspetto dell'invenzione, 1'operazione 1002b di aggiornamento della traiettoria comprende di verificare la predizione della palla tramite il filtro di Kalman inizializzato in precedenza. Se la distanza tra una palla candidata e la posizione predetta è più piccola della soglia di collegamento Zdist, la traiettoria viene aggiornata con la posizione della palla candidata. Sia il filtro di Kalman che le funzioni di predizione sono aggiornate con il nuovo dato. Se nessuna palla candidata è nella regione del punto predetto, la palla è considerata persa. Le funzioni di predizioni sono aggiornate con la predizione fornita da Kalman e l'algoritmo prosegue con il frame successivo.

Secondo un ulteriore aspetto dell'invenzione, l'operazione 1002c di finalizzazione della traiettoria comprende l'operazione di memorizzare se la palla viene persa per Zf fotogrammi consecutivi. Successivamente, il metodo si reitera, ripartendo dall'ultima palla trovata.

L'operazione 1003 di individuare, tra le traiettorie potenziali, quella ottimale comprende l'operazione di scegliere, tra tutte le possibili traiettorie trovate, la traiettoria con maggiore estensione in pixel sulle ascisse del piano immagine e le cui ordinate del piano immagine siano tutte minori di una soglia altezza pixel (Zheight) scelta in fase di progettazione per eliminare le false traiettorie associate a possibili movimenti dei giocatori.

Pertanto, il metodo per l'analisi della traiettoria di una palla secondo 1'invenzione consente di individuare con precisione la traiettoria di una palla in gare di vario tipo, ad esempio una gara pallavolistica.

Un altro vantaggio del metodo per 1'analisi della traiettoria di una palla secondo l'invenzione consiste nella possibilità di ridurre il rumore delle scene da analizzare e filtrare eliminando le immagini falsamente positive, dovute al fatto che la palla non è l'unico oggetto in movimento.

Infine, il metodo per l'analisi della traiettoria di una palla secondo 1'invenzione è immune dalle variazioni di luminosità.

Risulta infine chiaro che al metodo per l'analisi della traiettoria di una palla qui descritto ed illustrato possono essere apportate modifiche e varianti senza per questo uscire dall'ambito protettivo della presente invenzione, come definito nelle rivendicazioni allegate.

Claims

RIVENDICAZIONI 1. Metodo (1000) per l'analisi della traiettoria di una palla comprendente le operazioni: (1001) di identificare le palle candidate; - (1002) di definire le traiettorie potenziali; (1003) di individuare, tra le traiettorie potenziali, quella ottimale.
2. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che l'operazione (1001) di identificare le palle candidate comprende le operazioni: (1001a) di effettuare una segmentazione "foreground'7 ''background'' di immagini acquisite della palla; (1001b) di effettuare operazioni di "sieving" di dette immagini; (1001c) di filtrare tutti gli oggetti "non-palla" evidenziando le "palle candidate".
3. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che l'operazione (1001b) di effettuare operazioni di "sieving" dell'immagine consiste nel "setacciare" l'immagine di oggetti "non-palla" da quelle di oggetti "palla" e comprende eseguire le operazioni di: effettuare un'apertura morfologica con elemento strutturante disco di raggio in pixel "Rop"; effettuare una chiusura morfologica con elemento strutturante disco di raggio in pixel "Rei"; - etichettare tutte le componenti connesse dell'immagine,
4. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che l'operazione (1001c) comprende l'operazione di identificare la palla tramite istogrammi colore mediante le operazioni di: - modellare e stimare 1'istogramma colore della palla da identificare; - identificare, tra tutti gli oggetti che appartengono al foreground di una immagine, la regione connessa con una distribuzione colore quanto più vicina alla distribuzione target.
5. Metodo (1000) secondo la rivendicazione 4, caratterizzato dal fatto che l'operazione di modellare e stimare 1'istogramma colore della palla che si vuole identificare comprende disporre di un set di immagini target dal quale si vuole individuare in un frame successivo, l'oggetto mobile la cui distribuzione di colore sia la più vicina possibile a quella target.
6. Metodo (1000) secondo la rivendicazione 4, caratterizzato dal fatto che l'operazione di modellare e stimare 1'istogramma colore della palla che si vuole identificare comprende discretizzare le distribuzioni in istogrammi formati da m-rettangoli colori, definendo h(xi) la funzione istogramma che associa al colore alla locazione = Οί -7ί)<Γ> il rettangolo colore corrispondente.
7. Metodo (1000) secondo la rivendicazione 6, caratterizzato dal fatto che discretizzare le distribuzioni in istogrammi comprende utilizzare il modello colore Hue-Saturation-Brightness (HSV).
8. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto di comprendere l'operazione di fornire informazioni sul moto della palla tramite immagini successive per determinare esattamente la posizione della palla, considerando lo spazio delle ordinate rispetto ai tempi t±(YTP) e lo spazio delle ascisse x±rispetto ai tempi tf(XTP) per ogni palla i.
9. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che le traiettorie potenziali sono tutte le regioni connesse in cui la palla presenta un movimento quasi parabolico nel piano YTP e simultaneamente un movimento rettilineo nel piano XTP.
10. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto di comprendere l'operazione di definire traiettoria mediante la coppia: - filtro di Kalman inizializzato con i punti trovati; - due funzioni di predizione polinomiali delle scene considerate .
11. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che l'operazione (1002) comprende le operazioni: - (1002a) di inizializzare la traiettoria; - (1002b) di aggiornamento della traiettoria; e - (1002c) di finalizzazione della traiettoria.
12. Metodo (1000) secondo la rivendicazione 11, caratterizzato dal fatto che l'operazione (1002a) di inizializzare la traiettoria comprende l'operazione di collegare inizialmente ogni palla candidata (c) alla sua palla candidata (c') nel frame precedente, se la distanza tra (c) e (c') è più piccola di una soglia di distanza (Zdist).
13. Metodo (1000) secondo la rivendicazione 11, caratterizzato dal fatto che l'operazione (1002b) di aggiornamento della traiettoria comprende verificare la predizione della palla tramite il filtro di Kalman inizializzato nelle fasi precedenti.
14. Metodo (1000) secondo la rivendicazione 13, caratterizzato dal fatto che verificare la predizione della palla tramite il filtro di Kalman inizializzato nelle fasi precedenti comprende verificare se la distanza tra una palla candidata e la posizione predetta è più piccola della soglia di collegamento (Zdist) e aggiornare la traiettoria con la posizione della palla candidata; e considerare la palla persa se nessuna palla candidata è nella regione del punto predetto.
15. Metodo (1000) secondo la rivendicazione 11, caratterizzato dal fatto che l'operazione (1002c) di finalizzazione della traiettoria comprende l'operazione di memorizzare se la palla viene persa per (Zf) fotogrammi consecutivi e far ripartire il metodo dall'ultima palla trovata.
16. Metodo (1000) secondo la rivendicazione 1, caratterizzato dal fatto che l'operazione (1003) di individuare, tra le traiettorie potenziali, quella ottimale comprende l'operazione di scegliere, tra tutte le possibili traiettorie trovate, la traiettoria con maggiore estensione in pixel sulle ascisse del piano immagine e le cui ordinate del piano immagine siano tutte minori di una soglia altezza pixel (Zheight) scelta in fase di progettazione per eliminare le false traiettorie associate possibili movimenti dei giocatori.