FI126909B - Tekniikoita videokopioiden havaitsemiseksi - Google Patents

Description

TEKNIIKOITA VIDEOKOPIOIDEN HAVAITSEMISEKSI

Ala Tässä esiin tuotu kohteena oleva asia liittyy yleisesti tekniikoihin video- tai kuvakopioiden havaitsemiseksi.

Liittyvä ala

Internetin ja henkilökohtaisten videoiden saatavuuden kasvun myötä videokopion havaitseminen muodostuu aktiiviseksi tutkimusalaksi tekijänoikeuksien hallinnoimiseksi, liiketoimintatiedon hallinnoimisessa sekä mainosten valvomisessa. Videokopio on videosegmentti, joka on johdettu muusta videosta, yleensä erilaisilla muunnoksilla, kuten lisäyksillä, poistoilla ja muokkauksilla siirtämällä, katkaisemalla, valaisemisella, kontrastilla, videotallentamisella (esimerkiksi vaihtamalla leveys/ korkeussuhdetta 16:9 ja 4:3 välillä) ja/tai uudelleenkoodaamalla. Kuvio 1 esittää joitakin esimerkkejä videokopioista. Kuvio 1 esittää erityisesti ylärivissä, vasemmalta oikealle: alkuperäisen videon, sisäänpäin zoomatun/ulospäin zoomatun version ja leikatun videon, ja alarivillä, vasemmalta oikealle: siirretyn videon, kontrasti videon ja videotallennetun sekä uudelleenkoodatun videon. Uudelleenkoodaaminen voi sisältää videon koodaamisen erilaisella koodekilla tai pakkauslaadulla. Koska nämä muunnokset muuttavat videon avaruudellis-ajallis-mittakaavanäkökohtia, video-kopion havaitseminen muodostuu hyvin haastavaksi ongelmaksi tekijänoikeuksien hallinnoimisessa sekä video/kuvaetsinnässä.

Olemassa oleva videokopion havaitsemistyö voidaan kategorisoida kehyspohjaisiin ja leikepohjaisiin menetelmiin. Kehyspohjaiset lähestymistavat olettavat, että avain-kehysten joukko ovat tiivis esitys videosisällöistä. P. Duygulun, M. Ohenin ja A. Hauptmannin ”Comparison and Combination of Two Novel Commercial Detection Methods" :ssa, Proc. CIVR'04, (heinäkuu 2004) kuvatussa tekniikassa joukko visuaalisia ominaisuuksia (väri, reuna ja skaalatun invariantin ominaisuuden muunnoksen (SIFT, engl. Scaled Invariant Feature Transform) ominaisuudet) poimitaan näistä avainkehyksistä. Videokopioleikkeiden havaitsemiseksi tekniikka määrittää videosegmenttien samankaltaisuuden näillä avainkehyksillä. Kehyspohjaiset lähestymistavat ovat yksinkertaisia ja tehokkaita, mutta eivät tarpeeksi tarkkoja, koska ne menettävät objektin avaruudellis-ajallista informaatiota (esimerkiksi liikeradan). Tämän lisäksi on vaikeata saavuttaa yhtenäinen avainkehyksen valintamenetelmä kahden videosegmentin sovittamiseksi.

Leikepohjaiset menetelmät yrittävät luonnehtia avaruudellis-aj allisia ominaisuuksia kehysten sekvenssistä. J. Yuanin, L. Duanin, Q. Tianin ja C. Xun "Fast and Robust Short Video Clip Search Using an Index Structure":ssa, Proc. ACM MIR'04 (2004), kuvattu tekniikka on lähestymistapa, jossa ordinaalikuviohistogrammi ja kumulatiivinen värijakaumahistogrammi poimitaan videoiden avaruudellis-aj allisen kuvion luonnehtimiseksi. Vaikka tämä lähestymistapa tutkii videokehysten ajallista informaatiota, globaalin värihistogrammin ominaisuus ei onnistu havaitsemaan videokopioita, joissa on paikallisia muunnoksia, esimerkiksi leikkaus, siirtäminen ja videotallennus. J. Law-Ton, O. Buissonin, V. Gouet-Brunetin, Nozha Boujemaan "Robust Voting Algorithm Based on Labels of Behavior for Video Copy Detection":ssa, International Conference on Multimedia (2006), kuvattu tekniikka yrittää käyttää epäsymmetristä tekniikkaa ominaisuuspisteiden sovittamiseksi testattaessa videota kiinnostavien pisteiden avaruudellis-aj allisia ratoja vastaan videotietokannassa. Tämä lähestymistapa voi havaita monia videokopiomuunnoksia, kuten siirto, valo ja kontrasti. Harrisin pisteen ominaisuus ei kuitenkaan ole diskriminoitu eikä myöskään mittakaavainvariantti, ja sen avaruudellis-ajallinen rekisteröiminen ei voi havaita mittakaavarelevantteja muunnoksia, esimerkiksi sisäänpäin zoomausta/ulospäin zoomausta ja videotallennusta.

Piirustusten lyhyt selostus

Esillä olevan keksinnön suoritusmuotoja havainnollistetaan esimerkin vuoksi, eikä rajoittamisen, piirustuksissa, ja joissa samanlaiset referenssinumerot viittaavat samankaltaisiin elementteihin.

Kuvio 1 esittää joitakin esimerkkejä videokopioista.

Kuvio 2 havainnollistaa videokopion havainnointijärjestelmän, suoritusmuodon mukaisesti.

Kuvio 3 kuvaa esimerkinomaisen prosessin ominaisuuspisteiden ja ratojen tietokannan luomiseksi suoritusmuodon mukaisesti.

Kuvio 4 kuvaa esimerkinomaisen prosessin videokopioimisen määrittämiseksi, suoritusmuodon mukaisesti.

Kuvio 5 havainnollistaa esimerkin optimaalisen poikkeaman äänestämiseksi yksiulotteisen astian tapauksessa, suoritusmuodon mukaisesti.

Kuvio 6 kuvaa esimerkin paikallisten ominaisuuksien havaitsemiseksi useista kyselyvideokehyksistä, suoritusmuodon mukaisesti.

Kuvio 7 kuvaa vastaanottotoiminnon ominaiskäyrät (ROC, engl. receive operation characteristic), jotka kuvaavat järjestelmän suorituskykyä.

Yksityiskohtainen kuvaus Tässä määrityksessä viittaus “yhteen suoritusmuotoon” tai “suoritusmuotoon” tarkoittaa sitä, että tietty ominaisuus, rakenne tai ominaispiirre, jota on selostettu suoritusmuodon yhteydessä, sisältyy ainakin yhteen esillä olevan keksinnön suoritusmuotoon. Täten sanonnan ”yhdessä suoritusmuodossa” tai ”suoritusmuoto” ilmenemiset eri kohdissa tässä määrityksessä eivät välttämättä kaikki viittaa samaan suoritusmuotoon. Tämän lisäksi tietyt ominaisuudet, rakenteet tai ominaispiirteet voidaan yhdistää yhdessä tai useammassa suoritusmuodossa.

Eri suoritusmuodot tarjoavat videokopion havainnoimisen lähestymistavan, joka perustuu nopeutettujen järeiden ominaisuuksien (SURF, engl. speeded up robust features) radan rakentamiseen, paikallisen herkän sekoitusindeksoinnin (LSH, engl. local sensitive hash indexing) indeksointiin sekä äänestysperusteiseen avaruudellis-ajallis-mittakaavan rekisteröimiseen.

Nopeutetut järeät ominaisuudet (SURF) luonnehtivat kiinnostavien pisteiden rataominaisuuksia videokopion havaitsemisessa. Eri suoritusmuodot suoriutuvat paljon paremmin kuin Harrisin ominaisuuksiin perustuva lähestymistapa, jota selostetaan Law-Ton artikkelissa. Kun väärien positiivisten kehysten aste on 10%, Harrisin lähestymistavan oikeiden positiivisten kehysten aste on 68%, kun taas eri suoritusmuodot voivat saavuttaa 90% oikeiden positiivisten kehysten asteen. SURF-ominaisuus on diskriminoivampi kun Harrisin pisteen ominaisuudet ja suoriutuu paremmin mittakaavarelevanteille muunnoksille, esimerkiksi sisään zoomaus/ ulospäin zoomaus ja videotallennus, Law-Ton artikkelin tuloksiin verrattuna. Tämän lisäksi SURF:n ominaisuuden poiminta on noin kuusi kertaa nopeampi kuin SILT, mutta tarjoaa samankaltaisen nopeuden kuin Harrisin pisteen ominaisuuden lähestymistapa.

Paikallisen herkän sekoituksen (LSH) indeksoinnin käyttäminen tarjoaa ehdokkaina olevien ratojen nopean kyselemisen videokopion havaitsemisessa. Law-Ton artikkeli kuvailee todennäköisyyden samankaltaisuuden etsintää LSH-indeksoinnin sijaan.

Avaruudellis-ajallis-mittakaavarekisteröinnin sekä poikkeamaparametrien edistämisen ja yhdistämisen kautta havaitaan täsmäävät videosegmentit, joilla on maksimaalinen kertynyt rekisteröintitulos. Law-Ton artikkelin lähestymistapa ei voi havaita mittakaavamuunnoksia hyvin. Tätä äänestyspohjaista rekisteröintiä diskreetissä poikkeamaparametriavaruudessa käyttämällä eri suoritusmuodot kykenevät havaitsemaan sekä avaruudellis-ajallisia että mittakaavamuunnoksia, esimerkiksi leikkaamisen, sisäänpäin zoomaamisen/ulospäin zoomaamisen, mittakaavan sekä videotallennuksen.

Kuvio 2 havainnollistaa videokopion havainnointijärjestelmän suoritusmuodon mukaisesti. Videokopion havainnointijärjestelmä sisältää offline ratojen rakennusmoduulin 210 sekä online kopion havainnointimoduulin 250. Mikä tahansa tietokonejärjestelmä, jolla on prosessori ja muisti, ja joka on kytketty verkkoon viestinnällisesti langallisten tai langattomien tekniikoiden kautta, voidaan konfiguroida offline ratojen rakennusmoduulin 210 ja online kopion havainnointimoduulin 250 toimintojen suorittamiseksi. Esimerkiksi kyselyvideo voidaan lähettää verkon kautta tietokonejärjestelmälle. Esimerkiksi tietokonejärjestelmä voi viestiä käyttäen tekniikoita, jotka noudattavat IEEE 802.3:n, 802.11:n tai 802.16:n versioita käyttäen johtoa tai yhtä tai useampaa antennia. Tietokonejärjestelmä voi näyttää videota näyttölaitetta käyttäen.

Offline ratojen rakennusmoduuli 210 poimii SURF-pisteet jokaisesta videotietokannan kehyksestä ja tallentaa SURF-pisteet ominaisuustietokantaan 212. Offline ratojen rakennusmoduuli 210 rakentaa ratojen ominaisuustietokannan 214, joka sisältää kiinnostavien pisteiden radat. Offline ratojen rakennusmoduuli 210 käyttää LSFkta ominaisuustietokannan 212 ominaisuuspisteiden indeksoimiseksi ratojen ominaisuustietokannan 214 ratojen kanssa.

Online kopion havainnointimoduuli 250 poimii SURF-pisteet kyselyvideon näytteistyskehyksistä. Online kopion havainnointimoduuli 250 kyselee ominaisuus-tietokantaa 212 poimituilla SURF-pisteillä identifioidakseen ehdokkaana olevat radat, joilla on samankaltaisia paikallisia ominaisuuksia. Ehdokkaana olevat radat ratojen ominaisuusiietokannasta 214, jotka vastaavat samankaltaisia ominaisuuspisteitä, identifioidaan LSFkta käyttäen.

Kullekin ominaisuuspisteelle kyselyvideosta online kopion havainnointimoduuli 250 käyttää äänestyspohjaisen avaruudellis-ajallis-mittakaavarekisteröinnin lähestymistapaa optimaalisen avaruudellis-ajallis-mittakaavamuunnosparametrin (eli poikkeaman) estimoimiseksi kyselyvideon SURF-pisteiden ja ehdokkaana olevissa radoissa ratojen ominaisuustietokannassa 214 olevien ehdokkaana olevien ratojen välillä. Online kopion havainnointimoduuli 250 edistää täsmäävät videosegmentit sekä avaruudellis-ajalliseen että mittakaavasuuntiin videokopioiden identifioimiseksi. Äänestäminen on kertymistä estimoitujen kiinnostavien pisteiden avaruudellis-ajallis- mittakaavarekisteröintiavaruuteen. Avaruudellis-aj allis-mittakaavarekisteröinti- avaruus jaetaan kuutioiksi, jotka vastaavat siirtymää x-, y-, t-, ja mittakaava-parametreissa. X-, y-, t- ja mittakaavaparametrien perusteella kustakin kuutiosta löydettyjen kiinnostavien pisteiden määrä lasketaan ääniksi. Kuutiota, jolla on suurin määrä äänestettyjä kiinnostavia pisteitä, pidetään kopiona. Kuvion 6 suhteen selostetaan esimerkkiä äänestyspohjaisen avaruudellis-ajallis-mittakaava-rekisteröinnin lähestymistavasta.

Esimerkiksi kyselyvideolle Q, M = 100 SURF-pistettä poimitaan kerran P = 20 kehyksessä. Kullekin SURF-pisteelle m kyselyvideon Q valitussa kehyksessä k, LSFkta käytetään N = 20 lähimmän radan löytämiseksi ehdokasradoiksi ratojen ominaisuustietokannassa 214. Käytännössä M:ää, P:tä ja N:ää voidaan sovittaa kompromissina kyselynopeuden ja tarkkuuden välillä online kopion havaitsemisessa. Kukin ehdokasrata n kuvataan seuraavasti: Rmn = [id, Tran, Sirnmn], jossa Id on videoID ratojen ominaisuustietokannassa 214, Tran on radan ominaisuus ja Sirnmn on samankaltaisuus (xm, ym):ssä olevan SURF-pisteen ja ehdokasradan Skeskiarvo ominaisuuden välillä.

Liittyvän videon Id:n mukaisesti ehdokasradat kategorisoidaan eri alijoukoiksi OI /d.

Kullekin videon Idille ratojen ominaisuustietokannassa 214 ja valitulle kysely-kehykselle k käytetään nopeaa ja tehokasta avaruudellis-ajallis-mittakaavan rekisteröintimenetelmää optimaalisen avaruudellis-ajallis-mittakaavan rekisteröinti-parametrin estimoimiseksi: poikkeama(Id, k). Optimaalisen poikkeama(Id, k):n hankkimisen jälkeen optimaalinen avaruudellis-ajallis-mittakaavan poikkeama mahdollisille rekisteröidyille videosegmenteille sekä avaruudellis-ajallisessa että mittakaavasuunnissa edistetään yllättävien poikkeamien poistamiseksi ja lopullisten havainnointitulosten hankkimiseksi.

Videokopion havaitsemisessa on monenlaisia muunnoksia. Jos kyselyvideo Q on kopioitu samasta lähteestä kuin tietokannan video R, Q:n ja R:n SURF-pisteiden välillä on ”vakio avaruudellis-ajallis-mittakaavan poikkeama”. Täten eri suoritusmuodoissa videokopion havaitsemisen tavoite on löytää tietokannasta videosegmentti R, jolla on likimäärin muuttumaton poikkeama Q:n kanssa.

Kuvio 3 kuvaa esimerkinomaisen prosessin tietokannan luomiseksi ominaisuus-pisteistä ja radoista, suoritusmuodon mukaisesti. Joissakin suoritusmuodoissa offline ratojen rakennusmoduuli 210 voi suorittaa prosessin 300. Lohko 302 sisältää nopeutettujen järeiden ominaisuuksien (SURF) poimimisen videosta. Esimerkkiä SURFistä selostetaan H. Bayn, T. Tuytelaarsin, L. Goolin, "SURF: Speeded Up Robust Features" :ssa, ECCV, toukokuu 2006. Eri suoritusmuodoissa poimitut ominaisuudet ovat paikallisia ominaisuuksia kehyksessä.

Eri suoritusmuodoissa, kussakin kiinnostavassa pisteessä, seutu jaetaan yleensä pienemmiksi 3 kertaa 3 neliön aliseuduiksi. Haar-aallokevasteet dx ja dy lasketaan yhteen kunkin aliseudun osalta ja kullakin aliseudulla on neljäulotteinen kuvausvektori v = (Lc^' ’ ΣI’ ΣK1-1)· Täten kullekin kiinnostavalle pisteelle on 36-ulotteinen SURF-ominaisuus. SURF perustuu Hessen matriisin estimointiin Hessen-pohjaisen havaitsimen rakentamiseksi. SURF käyttää kokonaislukukuvia laskenta-ajan nopeuttamiseksi. SURF-poiminnan nopeus on noin kuusi kertaa nopeampi kuin SIFT ja se tarjoaa samankaltaisen nopeuden kuin Harris. SURF-ominaisuus on järeä videokopiomuunnoksille, kuten sisäänpäin zoomaukselle ja ulospäin zoomaukselle sekä videotallennukselle.

Monia ominaisuuksia käytetään tietokonenäössä ja kuvan hakemisessa, sisältäen globaaleja ominaisuuksia, kuten värihistogrammin, ordinaaliominaisuudet ja paikallisia ominaisuuksia, esimerkiksi Harrisin ja SIFT:n. Videokopion havaitsemiselle globaaleja ominaisuuksia, kuten värihistogrammiominaisuuksia koko kuvakehyksessä, ei voida käyttää paikallisten muunnosten, esimerkiksi leikkaus- ja mittakaavamuunnosten, havaitsemiseen. Erilaiset suoritusmuodot poimivat paikallisia ominaisuuksia videosta, koska paikalliset ominaisuudet eivät muutu kun videota siirretään, leikataan tai zoomataan sisäänpäin/ulospäin.

Lohko 304 sisältää ratatietokannan rakentamisen ja indeksien luomisen videotietokannassa oleville radoille. Sen jälkeen kun SURF-pisteet on poimittu videotietokannan kustakin kehyksestä, näitä SURF-pisteitä seurataan ratojen rakentamiseksi videon avaruudellis-ajallisina ominaisuuksina. Kutakin rataa esitetään seuraavasti. Tran [xmin? Xmax? ymin? Ymax? tin? tout? S keskiarvo] ? n 1, 2, ...N, joSSa | '’'muin Xmax? Vmin. ymax, tin, tout] edustavat avaruudellis-ajallisesta rajaavaa kuutiota ja Skeskiarvo on SURF-ominaisuuksien keskiarvo radassa.

Nopeasti liikkuville pisteille x- ja y-suunnissa ratakuutio on liian suuri radan avaruudellisen position erottelemiseksi muista. Täten eri suoritusmuodoissa nämä radat erotetaan muutamaksi lyhytaikaiseksi segmenteiksi, jotka tekevät ratojen kuutiosta tarpeeksi pienen avaruudellisessa positiossa, niiden lyhytaikaisesta kestosta johtuen.

Nopealle online videokopion havaitsemiselle käytetään paikallista herkkää sekoittamista (LSH) ratojen indeksoimiseksi niiden Skeskiarvo ominaisuuksien perusteella. Esimerkiksi kysely Skeskiavo ominaisuuksille voidaan tehdä ratojen indeksoimiseksi. LSHdla pieni muutos ominaisuusavaruudessa johtaa suhteelliseen muutokseen sekoitusarvossa eli sekoitusfunktio on paikallisesti herkkä. Eri suoritusmuodoissa ratojen indeksoimiseen käytetään täsmällistä Euklidista LSH:ta (E2LSH, engl. Exact Euclidean LSH). E2LSH:ta selostetaan esimerkiksi A. Andonin, P. Indykin E2LSH0.1 User Manualissa, kesäkuu 2000.

Kuvio 4 kuvaa esimerkinomaisen prosessin 400 videon kopioimisen määrittämiseksi suoritusmuodon mukaisesti. Joissakin suoritusmuodoissa online kopion havainnointimoduuli 250 voi suorittaa prosessin 400. Lohko 402 sisältää äänestyspohj aisen avaruudellis-aj allis-mittakaavarekisteröinnin suorittamisen kysely videokehykseen liittyvien ratojen perusteella. Äänestyspohj ainen avaruudellis-ajallis-mittakaavarekisteröinti j akaa avaruudellis-aj allis-mittakaavapoikkeama- avaruuden mukautuvasti 3D kuutioiksi erilaisissa mittakaavoissa ja äänestää samankaltaisuuden Simmn:iä vastaaviksi kuutioiksi. Mukautuva jakaminen sisältää kuutioiden kokojen vaihtamisen. Kukin kuutio vastaa mahdollista avaruudellis-aj allista poikkeamaparametria. Kyselykehykselle k kuutio, jolla on maksimaalinen kertynyt tulos (eli kuutio, jolla on eniten rekisteröityjä ratoja kiinnostavilla pisteillä kyselykehyksessä k) vastaa sen optimaalista poikkeamaparametria.

Koska ehdokasradan Tran:n rajaava kuutio on intervalliarvoista dataa, myös avaruudellis-ajallis-mittakaavaparametrin poikkeama(Id, k) on myös intervalli-arvoinen. Mittakaava-parametrin mittakaava=[mittakaavax, mittakaavay] perusteella poikkeamamittakaavanm(Id, k) ratatietokannan videon Id ehdokasradan n ja SURF-pisteen m kyselyvideon valitussa kehyksessä k välillä määritetään seuraavasti:

Poikkeama™‘takaava{ld,k) fPoikkeama™™,Poikkeama““ }[Poikkeama""",Poikkeama““ J,[.Poikkeama,Poikkeama°ut\Simmn} = {[xmjn x mittakaavax - xm, x mittakaavax - xm ], v xmittakaava —v , v xmittakaava —v L \t. —k,t — kYSin W min J mt> s max y m s> \z in ’ out

Esimerkiksi mittakaavax = mittakaavay e [0.6, 0.8, 1.0, 1.2, 1.4] yleisen mittakaava-muunnoksen, kuten sisäänpäin/ulospäin zoomauksen, havaitsemiseksi. Muitakin mittakaavatekijöitä voidaan käyttää. Koska videotallennusmuunnoksella on erilaiset mittakaavaparametrit, mittakaavax Φ mittakaavay, x-, y-mittakaavaparametrit on asetettu seuraavasti [mittakaavax = 0.9, mittakaavay = 1.1] ja [mittakaavax =1.1, mittakaavay = 0.9],

On tuhansia mahdollisia poikkeamia poikkearnamnmittakaava(Id, k) ja avaruudellis-ajallis-mittakaavan poikkeama-avaruus on liian suuri etsittäväksi reaaliaikaisesti suoraan. Samaan tapaan Houghin muunnoksen käyttämisen kanssa parametrien äänestämiseksi diskreetissä avaruudessa, eri suoritusmuodoissa käytetään 3-ulotteista ryhmää poikkearnamnmittakaava(Id, k):n samankaltaisuustuloksen äänestämiseksi diskreetissä avaruudellis-ajallisessa avaruudessa. Mittakaavaparametrin mittakaavan perusteella avaruudellis-ajallinen etsintäavaruus (x, y, t} jaetaan mukautuvasti moniksi kuutioiksi, jossa kukin kuutio, kuutio;, on perusäänestysyksikkö.

Joissakin suoritusmuodoissa x-akseli jaetaan mukautuvasti moniksi yksiulotteisiksi astioiksi, joilla on erilaiset koot, kaikilla ehdokasradan aloituspisteillä poikkeama j1111 ja loppupisteillä poikkeama . Kullekin ehdokasradalle Trajn samankaltaisuus Sirnmn kertyy, jos intervalliarvoisella vaihteluvälillä poikkcarnamn on leikkaus kuutioin kanssa. Mukautuvat jakotoiminnot suoritetaan myös y-akselilla ja x-akselilla. Näiden kuutioiden perusteella optimaalinen avaruudellis-ajallinen rekisteröintiparametri poikkeamamittakaava(Id, k) videon Id ja kyselykehyksen k välillä maksimoi yhteensopivan kyselytuloksen (m, n, kuutio;) arvon kuten seuraavassa yhtälössä: poikkeamam,ttakaaa{Id,k) = argmax Tulos(kuutioi) _kuutiota

Tulo s {kuutio;) = y; Tulos {m, n, kuutio i) m n

Lohko 404 sisältää useista kehyksistä määritettyjen poikkeaman edistämisen ja yhdistämisen optimaalisen poikkeamaparametrin määrittämiseksi. Kuviota 6 seuraava kuvaus kuvailee esimerkin poikkeamien edistämisestä ja yhdistämisestä optimaalisen poikkeamaparametrin määrittämiseksi. Avaruudellis-aj allis-mittakaavaparametrin poikkeamamittakaava(Id, k) eri mittakaavoissa määrittämisen jälkeen ilmenee näiden poikkeamamittakaava(Id, k) parametrien edistäminen ja yhdistäminen lopullisen videokopion havaitsemisen hankkimiseksi.

Kuution avaruudellisissa suunnissa laajentamisen jälkeen poikkeamakuutioita poikkeama(Id, k) edelleen edistetään ajallisessa ja mittakaavan suunnissa. Etsintä tapahtuu [Poikkeamamittakaava(Id, k - 3), Poikkeamamittakaava(Id, k + 3)]:ssa seitsemälle valitulle kehykselle avaruudellisen leikkauksen kartuttamiseksi, ja etsintä tapahtuu [mittakaava-0.2, mittakaava + 0.2]:ssa kolmelle mittakaavalle eri mittakaavoja vastaavien järeiden tulosten hankkimiseksi, Sitten löydetään optimaalinen poikkeama poikkeama(Id, k), jolla on maksimaalinen kertynyt äänestysarvo näiden 3*7 tai 21 poikkeaman leikkauskuutioissa. Tämä edistämisen vaihe pehmentää aukkoja poikkeamien joukossa ja poistaa yllättävät/virheelliset poikkeamat samanaikaisesti.

Kuitenkin satunnaisista häiriöistä johtuen todellinen rekisteröintipoikkeama voi sijaita estimoidun optimaalisen poikkeaman viereisissä kuutioissa. Tämän lisäksi liikkeettömät radat vääristävät estimoitua poikkeamaa jonkin verran, koska poikkearnaxmm:n ja poikkeamaxmax:n invervallit (tai poikkeamaymm:n ja poikkeamaymax:n intervallit) ovat hyvin pieniä äänestettäväksi viereisiin kuutioihin. Vääristymä monen mittakaavan tapauksissa tapahtuu myös johtuen kohinahäiriöistä sekä diskreeteistä mittakaavaparametreista. Eri suoritusmuodoissa optimaalista poikkeamakuutiota laajennetaan hieman sen viereisiin kuutioihin x-, y-suunnissa, jos näiden kuutioiden tulokset ylittävät yksinkertaisen kynnyksen ja edistetystä ja yhdistetystä optimaalisesta poikkeamasta tehdään estimaatti lopullisessa videokopion havainnointivaiheessa.

Lohko 406 sisältää kysely videokehyksen identifioimisen videokopioksi osin optimaalisen poikkeaman perusteella. Identifioitu videokopio on videokehysten sekvenssi tietokannasta paikallisilla S URF-rataom maisuuksilla, jotka ovat samankaltaisia kyselyn kehysten kanssa, ja kullakin videokehyksistä tietokannasta on samankaltainen poikkeama (t, x, y) kuin kysclyvidcolla. Tämän lisäksi voidaan tarjota ajallinen poikkeama, joka identifioi videon aikasegmentit, jotka on mahdollisesti kopioitu.

Erilaiset suoritusmuodot voivat havaita kuvien kopioita. Kuvakopion havaitsemiselle ajallisessa suunnassa ei ole rata- ja liikeinformaatiota, ja vastaavasti ei myöskään ajallisen poikkeaman tarkastelua. Kuitenkin avaruudellisia x-, y- ja mittakaavapoikkeamaa tarkastelleen samaan tapaan kuin videokopion havainnoinnille. Esimerkiksi kuvakopion havainnoinnille SURF kiinnostavat pisteet poimitaan ja indeksoidaan. Äänestyspohjaista lähestymistapaa, jota on selostettu videokopion havaitsemisen suhteen, voidaan käyttää optimaalisen poikkeaman (x, y, mittakaava) löytämiseen kuvakopioiden havaitsemiseksi.

Kuvio 5 havainnollistaa yksinkertaisen esimerkin optimaalisen poikkeaman äänestämiseksi yksiulotteisen astian tapauksessa, suoritusmuodon mukaisesti. X-akseli on mukautuvasti jaettu seitsemäksi astiaksi (kuutioksi) neljällä mahdollisella poikkeamalla. Tässä esimerkissä x-akselin vaihteluväli on x1 min ja x4 max. Tässä esimerkissä kukin kuutio edustaa x-poikkeamien vaihteluväliä. Esimerkiksi kuutio 1 edustaa ensimmäistä astiaa, joka kattaa poikkeamat x1 min:n ja x2 max:n välillä. Astiat muille poikkeamille ovat aika- ja y-poikkeama (ei kuvattu). Tässä esimerkissä, olettaen että kunkin mahdollisen poikkeaman Sirnmn on yksi, paras poikkeama on kuutio4[x4min, x1 max] ja maksimaalinen äänestystulos on neljä. Vertaamalla näitä optimaalisia poikkeamia poikkeamamittakaava(Id, k) eri mittakaavoissa, optimaalista avaruudellis-ajallis-mittakaavan rekisteröintiparametria poikkeama(Id, k) estimoidaan maksimaalisella äänestystuloksella kaikissa mittakaavoissa.

Kuvio 6 kuvaa esimerkin paikallisten ominaisuuksien havaitsemisesta useista kyselyvideokehyksistä suoritusmuodon mukaisesti. Ympyrät kyselyvideokehyksissä edustavat kiinnostavia pisteitä. Suorakaiteet videon tietokannan kehyksissä edustavat rajaavia kuutioita (t, x, y) ulottuvuuksissa. Kuutio kuviosta 5 edustaa yhtä ulottuvuutta (eli t, x tai y). Mittakaavamuutosparametrien estimoimiseksi avaruudellis-ajallista rekisteröintiä 3D (x, y, t) äänestysavaruudessa sovelletaan kullekin diskreetille mittakaava-arvolla erikseen (mittakaavax = mittakaavay) g [0.6, 0.8, 1.0, 1.2, 1.4] ja havainnoinnin tulokset yhdistetään. Tässä esimerkissä määritetään, ilmenevätkö paikalliset ominaisuudet kyselykehyksistä ajanhetkinä 50, 70 ja 90 videotietokannan kehyksissä. Kyselykehys ajanhetkellä 50 sisältää paikallisen ominaisuuden A - D. Vastaavasti kahden äänen (eli yksi ääni kullekin paikalliselle ominaisuudelle) katsotaan johtuvan kehyksestä 50 videotietokannasta. (T, x, y) poikkeama on (0, 0, 0), koska paikalliset ominaisuudet A ja D ilmenevät samanaikaisesti ja oleellisesti samoissa positioissa.

Kyselykehys sisältää ajanhetkellä 70 paikalliset ominaisuudet F - I. Kehys ajanhetkellä 120 videotietokannasta sisältää paikalliset ominaisuudet F -1. Vastaavasti neljän äänen katsotaan aiheutuvan kehyksestä 120 videotietokannasta. (T, x, y) poikkeama on (50 kehystä, 100 pikseliä, 120 pikseliä), koska paikalliset ominaisuudet F - I ilmenevät 50 kehystä myöhemmin ja siirrettynä alaspäin ja oikealle.

Kyselykehys sisältää ajanhetkellä 90 paikalliset ominaisuudet K - M. Kehys ajanhetkellä 140 videotietokannasta sisältää paikalliset ominaisuudet K - M. Vastaavasti kolmen äänen katsotaan aiheutuvan kehyksestä 140 videotietokannasta. (T, x, y) poikkeama on (50 kehystä, 100 pikseliä, 120 pikseliä), koska paikalliset ominaisuudet K - M ilmenevät 50 kehystä myöhemmin ja siirrettynä alaspäin ja oikealle.

Kyselykehys sisältää ajanhetkellä 50 paikallisen ominaisuuden D. Kehys ajanhetkellä 160 videotietokannasta sisältää paikallisen ominaisuuden D. Vastaavasti yhden äänen katsotaan aiheutuvan kehyksestä 160 videotietokannasta. (T, x, y) poikkeama on (110 kehystä, -50 pikseliä, -20 pikseliä), koska paikallinen ominaisuus D ilmenee 110 kehystä myöhemmin ja siirrettynä ylöspäin ja vasemmalle.

Kehyksillä 100, 120 ja 140 videotietokannasta on samankaltainen poikkeama (t, x, y). Toisin sanoen, kuvion 5 menetelmään viitaten, poikkeamat kehyksistä 100, 120 ja 140 sopivat samaan kuutioon. Optimaalinen poikkeama on useisiin kehyksiin liittyvä poikkeama. Kehykset, joilla on samankaltainen poikkeama, yhdistetään jatkuvaksi videoleikkeeksi.

Eri suoritusmuotojen suorituskyvyn arvioimiseksi kattavia kokeita suoritetaan 200 tunnille MPEG-1 videoita, jotka on otettu satunnaisesti INA:n (Ranskan Institut National de FAudiovisuel) ja TRECVID2007 videodatajoukosta. Videotietokanta on jaettu kahteen osaan: referenssitietokantaan ja ei-referenssitietokantaan.

Referenssitietokanta on 70 tuntia 100 videosta. Ei-referenssitietokanta on 130 tuntia 150 videosta.

Kaksi koetta suoritettiin järjestelmän suorituskyvyn arvioimiseksi. Pentium IV 2.0 GHzdlä, jolla on 1G RAM:a, ajettuna referenssitietokannalla on 1 465 532 SURF ratatallennetta offline indeksoituna LSHdla. Online videokopion havainnointimoduuli poimii M = 100 SURF-pistettä korkeintaan kustakin kyselyvideon näytteistetystä kehyksestä. Avaruudellis-ajallis-mittakaavapoikkeama lasketaan kerran p = 20 kehyksessä. Kullekin kyselyn SURF-pisteelle vie noin 150ms N = 20 ehdokasradan löytämiseksi LSHdla. Avaruudellis-ajallis-mittakaavan rekisteröinti kuluttaa noin 120ms optimaalisen poikkeaman estimoimiseksi 7 mittakaavaparametrissa.

Kokeessa 1 videokopion havainnoimisen suorituskykyä verrattiin erilaisille muunnoksille vastaavasti SURF-ominaisuudella ja Harrisin ominaisuudella. Kaksikymmentä kyselyvideo leikettä poimitaan satunnaisesti vain referenssitieto-kannasta ja kunkin videoleikkeen pituus on 1000 kehystä. Sitten kukin videoleike muunnetaan eri muunnoksilla, esimerkiksi siirto-, zoom-näkökohta, kyselyvideon luomiseksi.

Taulukko 1 kuvaa videokopion havainnointilähestymistavan vertailun eri muunnoksille vastaavasti SURF-ominaisuudella ja Harrisin ominaisuudella.

Taulukko 1

Taulukosta 1 voidaan havaita, että SURF-ominaisuus päqää noin 25-50% paremmin kuin Harrisin ominaisuus sisäänpäin/ulospäin zoomaamisen ja videotallentamisen muunnoksille. Tämän lisäksi, vaikka SURF-ominaisuudella on samankaltainen suorituskyky kuin Harrisilla siirto- ja leikkausmuunnoksissa. Tämän lisäksi SURF-ominaisuutta käyttämällä voidaan havaita noin 21% - 27% enemmän kopioituja kehyksiä kuin Harrisin ominaisuuksia käyttämällä.

Monimutkaisemman datan testaamiseksi käytännössä SURF-ominaisuuteen perustuvaa avaruudellis-ajallis-mittakaavan rekisteröimisen lähestymistapaa verrataan Harrisin ominaisuuteen perustuvaan videokopion havainnoimisen lähestymistapaan, jota kuvataan J. Law-Ton artikkelissa. Kyselyvideoleike koostuu 15 muunnetusta referenssivideosta ja 15 ei-referenssivideosta, jotka ovat yhteensä 100 minuuttia (150 000 kehystä). Referenssivideot muunnetaan eri muunnoksilla ja eri parametreillä kuin kokeessa 1.

Kuvio 7 kuvaa vastaanottotoiminnon ominaiskäyrät (ROC), jotka kuvasivat järjestelmän suorituskykyä. Voidaan havaita, että erilaiset suoritusmuodot suoriutuvat paljon paremmin kuin Harrisin ominaisuuksiin perustuva lähestymistapa J. Law-Ton artikkelissa. Kun väärien positiivisten kehysten aste on 10%, Harrisin lähestymistavan oikeiden positiivisten kehysten aste on 68%, kun taas eri suoritusmuotojen menetelmät voivat saavuttaa 90% oikeiden positiivisten kehysten asteen. J. Law-Ton artikkelin raportissa oikeiden positiivisten kehysten asteet ovat 82%, kun väärien positiivisten kehysten aste on 10%. J. Law-Ton artikkeli kuitenkin mainitsi myös, että mittakaavamuunnos on rajoitettu 0.95 - 1.05:een. Eri suoritusmuotojen korkeampi suorituskyky vaikuttaa järeään SURF-ominaisuuteen ja tehokkaaseen avaruudellis-ajallis-mittakaavan rekisteröintiin. Tämän lisäksi edistäminen ja yhdistäminen on myös hyvin hyödyllistä havaittujen videoleikkeiden edistämiseksi niin pitkälle kuin mahdollistaja yllättävien ja virhepoikkeamien pehmentämiseksi/poistamiseksi. Tässä selostetut grafiikka- ja/tai videokäsittelyntekniikat voidaan toteuttaa erilaisilla laitteistoarkkitehtuureille. Esimerkiksi grafiikka ja/tai videotoiminnallisuus voidaan integroida piirisarjaan. Vaihtoehtoisesti voidaan käyttää erillistä grafiikka- ja/tai videoprosessoria. Vielä muuna esimerkkinä grafiikka- ja/tai videotoiminnot voidaan toteuttaa yleiskäyttöisellä prosessorilla, sisältäen moniydinprosessorin. Lisäsuoritusmuodossa toiminnot voidaan toteuttaa kuluttajaelektroniikkalaitteessa.

Esillä olevan keksinnön suoritusmuodot voidaan toteuttaa minä tahansa yhdistelmänä seuraavista: yksi tai useampi mikropiiri tai integroitu piiri kytkettynä yhteen käyttäen emolevyä, kiinteästi johdotettua logiikkaa, ohjelmistoa, joka on tallennettu muistilaitteella ja joka suoritetaan mikroprosessorilla, kiinto-ohjelmistolla, sovelluskohtaisella integroidulla piirillä (ASIC, engl. application specific integrated circuit) ja/tai kenttäohjelmoitävällä porttiryhmällä (FPGA, engl. field programmable gate array). Termi ”logiikka” voi sisältää esimerkiksi ohjelmiston tai laitteiston ja/tai ohjelmiston ja laitteiston yhdistelmän.

Esillä olevan keksinnön suoritusmuotoja voidaan tarjota esimerkiksi tietokone-ohjelmatuotteena, joka voi sisältää yhden tai useamman koneluettavan median, joihin on tallennettu koneella suoritettavissa olevia käskyjä, jotka yhdessä tai useammalla koneella, kuten tietokoneella, tietokoneiden verkolla, tai muilla elektroniikkalaiteilla, suoritettuna voivat johtaa siihen, että yksi tai useampi kone suorittaa toiminnot esillä olevan keksinnön mukaisesti. Koneluettava media voi sisältää, mutta ei rajoitu näihin, levykkeet, optiset levykkeet, CD-ROM :t (engl. Compact Disc Read Only Memories), magneto-optiset levyt, ROM:t (engl. Read Only Memories), RAM:t (engl. Random Access Memories), EPROM:t (engl. Erasable Programmable Read Only Memories), EEPROM:t (engl. Electrically Erasable Programmable Read Only Memories), magneettiset tai optiset kortit, flash-muistin tai muun tyyppisen media/koneluettavan median, joka soveltuu koneella suoritettavissa olevien käskyjen tallentamiseen.

Piirustukset ja edellinen selostus antoivat esimerkkejä esillä olevasta keksinnöstä. Vaikka yksi tai useampi tällaisista elementeistä on kuvattu useana erillisenä toiminnallisena kappaleena, alan asiantuntijat ymmärtävät, että tällaiset elementit voidaan yhdistää yksittäisiksi toiminnallisiksi elementeiksi. Vaihtoehtoisesti tietyt elementit voidaan jakaa useiksi toiminnallisiksi elementeiksi. Elementit yhdestä suoritusmuodosta voidaan lisätä muuhun suoritusmuotoon. Esimerkiksi tässä kuvattujen prosessien jäqestyksiä voidaan vaihtaa ja ne eivät rajoitu tässä kuvattuun tapaan. Tämän lisäksi minkä tahansa vuokaavion toimintoja ei tarvitse toteuttaa esitetyssä järjestyksessä, eikä myöskään kaikkia toimintoja tarvitse suorittaa. Myös ne toiminnot, jotka eivät riipu muista toiminnoista, voidaan suorittaa rinnakkain muiden toimintojen kanssa. Nämä tietyt esimerkit eivät kuitenkaan mitenkään rajoita esillä olevan keksinnön laajuutta. Lukuisat muunnelmat, riippumatta siitä onko ne nimenomaisesti annettu määrityksessä vai ei, kuten erot materiaalin käytössä, ulottuvuudessa ja rakenteessa, ovat mahdollisia. Keksinnön laajuus on ainakin yhtä laaja kuin seuraavilla patenttivaatimuksilla kuvattu.

Claims (13)

1. Menetelmä, tunnettu siitä, että menetelmä käsittää sen, että estimoidaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeama kullekin useista kyselyvideon kehyksistä, ja määritetään se, käsittävätkö kyselyvideon kehykset videokopioleikkeen referenssi-videoleikkeestä kyselyvideon useiden kehysten estimoitujen avaruudellis-ajallisten skaalausmuunnoksen poikkeamien perusteella, jossa avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen sisältää, kullekin useista kyselyvideon kehyksistä sen, että: määritetään referenssivideokehysten liikeradat kyselyvideon kehyksen ominaispiirteen ehdokkaana oleviksi liikeradoiksi, kullekin kyselyvideon kehyksen useista ominais-piirteistä, jossa referenssivideokehysten liikeradat edustavat referenssivideoleikkeen ominaispiirteiden avaruudellis-ajallisia rajoja; määritetään samankaltaisuuden määrä kullekin ehdokkaana olevalle liikeradalle suhteessa kyselyvideon kehyksen ominaispiirteeseen, jolla ehdokkaana oleva liikerata valitaan; skaalataan ehdokkaana olevia liikeratoja useiden skaalauskertoimien perusteella skaalattujen ehdokkaana olevien liikeratojen joukon tarjoamiseksi kullekin skaalauskertoimista, ja kullekin skaalattujen ehdokkaana olevien liikeratojen joukolle, segmentoidaan avaruudellis-ajallisen avaruuden akselit skaalattujen ehdokkaana olevien liikeratojen rajojen perusteella avaruudellis-ajallisten kuutioiden 3-ulotteisen ryhmän määrittämiseksi, kullekin kuutiolle, kerätään ehdokkaana olevan liikeradan samankaltaisuuden määrä, jos vastaava skaalattu ehdokkaana oleva liikerata leikkaa tämän kuution, identifioidaan kuutio, jolla on korkein kertynyt arvo, sellaiseksi, joka vastaa optimaalista avaruudellis-ajallista poikkeamaa kyselyvideon kehyksen ja ehdokkaana olevien liikeratojen välillä vastaavalle skaalauskertoimelle; ja estimoidaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeama kyselyvideon kehykselle useiden skaalauskertoimien optimaalisten avaruudellis-aj alli Sten poikkeamien perusteella.

2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmä edelleen sisältää sen, että suoritetaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen kyselyvideon kehykselle perustuen edelleen kuutioiden kertyneisiin arvioihin, jotka kuutiot ovat avaruudellisesti lähellä sitä kuutiota, jolla on korkein kertynyt arvo, jos avaruudellisesti läheisten kuutioiden kertynyt arvo ylittää kynnyksen.

3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että menetelmä edelleen sisältää sen, että suoritetaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen kyselyvideon kehykselle perustuen edelleen kuutioiden kertyneisiin arvoihin skaalauskertoimelle, joka on lähellä sen kuution, jolla on korkein kertynyt arvo, skaalauskerrointa.

4. Jonkin patenttivaatimuksista 1-3 mukainen menetelmä, tunnettu siitä, että menetelmä edelleen sisältää sen, että suoritetaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen kyselyvideon kehykselle perustuen edelleen kyselyvideon viereisten kehysten kuutioiden kertyneisiin arvioihin.

5. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että liikeradat lasketaan ennalta ja tallennetaan paikallisherkkien tarkisteindeksien perusteella, ja jossa liikeratojen identifioiminen sisältää, kullekin kyselyvideon kehyksen ominaispiirteelle sen, että: identifioidaan ennaltamääritetty määrä liikeratoja perustuen kyselyvideon kehyksen ominaispiirteen paikallisherkän tarkisteindeksin läheisyyteen liikeratojen paikallisherkkiin tarkisteindekseihin.

6. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmä edelleen sisältää referenssivideoleikkeen liikeratojen laskemisen ennalta, jossa tämä ennalta laskeminen sisältää sen, että: poimitaan nopeutetut järeät ominaispiirteet (SURF:t, engl. speeded up robust features) referenssivideoleikkeestä referenssivideoleikkeen ominaispiirteinä; seurataan ajallisesti SURF:ja referenssivideoleikkeessä; konstruoidaan liikeradat SURF:ien avaruudellis-aj alli Sten rajojen esittämiseksi; ja tallennetaan kukin liikerata vastaavan SURF:n avaruudellis-aj allisten rajojen keskiarvon paikallisherkän tarkisteindeksin perusteella.

7. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että menetelmässä: avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen sisältää, kullekin useista kyselyvideon kehyksistä, SURF:ien poimimisen kyselyvideon kehyksestä kyselyvideon kehyksen ominaispiirteinäpä liikeratojen identifioiminen sisältää, kullekin kyselyvideon kehyksestä poimitulle SURFdle, ennaltamääritetyn usean liikeradan identifioimisen perustuen kyselyvideon kehyksestä poimitun SURF:n paikallisherkän tarkisteindeksin läheisyyteen liikeratojen paikallisherkkiin tarkisteindekseihin.

8. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että samankaltaisuuden määrän määrittäminen sisältää, kullekin ehdokkaana olevalle liikeradalle, samankaltaisuuden määrän määrittämisen SURF:n, jolle ehdokkaana oleva liikerata valitaan, avaruudellisten koordinaattien ja vastaavan keskiarvon välillä.

9. Koneella luettavissa oleva media, tunnettu sitä, että koneella luettavissa olevalle medialle on tallennettu koneella suoritettavissa olevia käskyjä konfiguroituna saamaan jonkin patenttivaatimuksista 1-8 mukaisen menetelmän suorittaminen.

10. Järjestelmä, tunnettu siitä, että järjestelmä käsittää prosessorin ja muistin konfiguroituna estimoimaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeamaa kullekin useista kyselyvideon kehyksistä ja määrittämään sen, käsittävätkö kyselyvideon kehykset videoleikekopion referenssi-videoleikkeestä kyselyvideon useiden kehysten avaruudellis-aj alli sen estimoitujen skaalausmuunnoksen poikkeamien perusteella, jossa avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoiminen sisältää, kullekin useista kyselyvideon kehyksistä sen, että: määritetään referenssivideokehysten liikeradat kyselyvideon kehyksen ominaispiirteen ehdokkaana oleviksi liikeradoiksi, kullekin kyselyvideon kehyksen useista ominais-piirteistä, jossa referenssivideokehysten liikeradat edustavat referenssivideoleikkeen ominaispiirteiden avaruudellis-ajallisia rajoja; määritetään samankaltaisuuden määrä kullekin ehdokkaana olevalle liikeradalle suhteessa kyselyvideon kehyksen ominaispiirteelle, jolle ehdokkaana oleva liikerata on valittu; skaalataan ehdokkaana olevia liikeratoja useiden skaalauskertoimien perusteella skaalattujen ehdokkaana olevien liikeratojen joukon tarjoamiseksi kullekin skaalauskertoimelle, ja kullekin skaalattujen ehdokkaana olevien liikeratojen joukolle, segmentoidaan avaruudellis-ajallisen avaruuden akselit skaalattujen ehdokkaana olevien liikeratojen rajojen perusteella avaruudellis-ajallisten kuutioiden 3-ulotteisen ryhmän määrittämiseksi, kullekin kuutiolle, kerätään ehdokkaana olevan liikeradan samankaltaisuuden määrä, jos vastaava skaalattu ehdokkaana oleva liikerata leikkaa tämän kuution, identifioidaan kuutio, jolla on korkein kertynyt arvo, sellaiseksi, joka vastaa optimaalista avaruudellis-aj allista poikkeamaa kyselyvideon kehyksen ja ehdokkaana olevien liikeratojen välillä vastaavalle skaalauskertoimelle; ja estimoidaan avaruudellis-aj alli sen skaalausmuunnoksen poikkeama kyselyvideon kehykselle useiden skaalauskertoimien optimaalisten avaruudellis-aj allisten poikkeamien perusteella.

11. Patenttivaatimuksen 10 mukainen järjestelmä, tunnettu siitä, että prosessori ja muisti on edelleen konfiguroitu avaruudellis-aj alli sen skaalausmuunnoksen poikkeaman estimoimiseksi kyselyvideon kehykselle perustuen edelleen yhteen tai useampaan seuraavista: kuutioiden, jotka ovat avaruudellisesti lähellä sitä kuutiota, jolla on korkein kertynyt arvo, kertyneet arvot, jos avaruudellisesti lähellä olevien kuutioiden kertynyt arvo ylittää kynnyksen; kuutioiden kertyneet arvot skaalauskertoimelle, joka on lähellä sen kuution, jolla on korkein kertynyt arvo, skaalauskerrointa; kyselyvideon läheisten kehysten kuutioiden kertyneet arvot.

12. Patenttivaatimuksen 10 tai 11 mukainen järjestelmä, tunnettu siitä, että liikeradat lasketaan ennalta ja tallennetaan paikallisherkkien tarkisteindeksien perusteella, ja jossa prosessori ja muisti on edelleen konfiguroitu ennaltamääritetyn usean liikeradan identifioimiseksi, referenssivideon kunkin kehyksen useasta kehyksestä kullekin ominaispiirteelle, perustuen kyselyvideon kehyksen vastaavan ominaispiirteen paikallisherkän tarkisteindeksin läheisyyteen liikeratojen paikallisherkkiin tarkisteindekseihin.

13. Jonkin patenttivaatimuksista 10 - 12 mukainen järjestelmä, tunnettu siitä, että prosessori ja muisti on edelleen konfiguroitu referenssivideoleikkeen liikeratojen laskemiseksi ennalta, sisältäen sen, että: poimitaan nopeutetut järeät ominaispiirteet (SURF:t) referenssivideo-leikkeestä referenssivideoleikkeen ominaispiirteinä; seurataan SURF:ja ajallisesti referenssivideoleikkeessä; konstruoidaan liikeradat SURF:ien avaruudellis-aj alli sten rajojen esittämiseksi; ja tallennetaan kukin liikerata vastaavan SURF:n avaruudellis-aj alli sten rajojen keskiarvon paikallisherkän tarkisteindeksin perusteella. Patentkrav