FI96563B - Liike-estimoija - Google Patents

Liike-estimoija Download PDF

Info

Publication number
FI96563B
FI96563B FI901458A FI901458A FI96563B FI 96563 B FI96563 B FI 96563B FI 901458 A FI901458 A FI 901458A FI 901458 A FI901458 A FI 901458A FI 96563 B FI96563 B FI 96563B
Authority
FI
Finland
Prior art keywords
block
area
image area
image
pixels
Prior art date
Application number
FI901458A
Other languages
English (en)
Swedish (sv)
Other versions
FI96563C (fi
FI901458A0 (fi
Inventor
Ian Parke
Original Assignee
British Telecomm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecomm filed Critical British Telecomm
Publication of FI901458A0 publication Critical patent/FI901458A0/fi
Application granted granted Critical
Publication of FI96563B publication Critical patent/FI96563B/fi
Publication of FI96563C publication Critical patent/FI96563C/fi

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/231Analysis of motion using block-matching using full search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Retarders (AREA)
  • Dry Shavers And Clippers (AREA)
  • Optical Communication System (AREA)
  • Saccharide Compounds (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Manipulator (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Cephalosporin Compounds (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Burglar Alarm Systems (AREA)
  • Detergent Compositions (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Image Analysis (AREA)

Description

9656?
Liike-estimoija. - RÖrelse-estimator.
Keksintö kohdistuu liikkeen estimointiin, erityisesti, vaikkakaan ei yksinomaan, videokoodereiden yhteydessä, jotka 5 käyttävät kuvienvälistä differentiaalikoodausta.
Kuvio 1 esittää tunnettua videokooderia. Videosignaalit (tavallisesti digitaalimuodossa) vastaanotetaan tulossa 1. Vähentäjä 2 muodostaa tulosignaalin ja ennustuslaitteelta 3 10 saatavan ennustetun signaalin välisen erotuksen, joka edelleen koodataan lohkossa 4. Tässä esitetty koodaus ei ole oleellista esitetylle keksinnölle, vaan se saattaa käsittää esimerkiksi kynnyskvantisoinnin (estämään nollaerotuksen tai pienehkön erotuksen lähettämisen) tai muunnoskoodauksen.
15 Ennustuslaiteen tulo on summa, joka muodostuu ennusteesta ja koodatusta erosignaalista, joka dekoodataan paikallisessa dekooderissa 6 (siten, että koodaus- ja dekoodausprosessissa tapahtuva informaatiohäviö sisällytetään ennustussilmukkaan.
20 Differentiaalikoodaus on olennaisesti kuvienvälinen ja ennustuslaite 3 voisi yksinkertaisesti muodostua yhden kuvan viiveestä; kuitenkin, kuten on esitetty, laitteeseen kuuluu myös liike-estimoi ja 7. Tämä vertaa koodattavaa kuvaa (kuva-kehystä) edelliseen kuvaan, joka on talletettu ennustajaan 25 3. Hetkellisen kuvan jokaiselle lohkolle (joihin kuva on • ajateltu jaettavaksi) se identifioi edellisen kuvan sen alueen, mitä lohko parhaiten muistuttaa. Vektorierotusta identifioidun ja kyseessä olevan lohkon välillä kutsutaan liikevektoriksi (koska se tavallisesti esittää kohteen 30 liikettä TV-kuvassa) ja se syötetään ennustajaan siirtämään edellisen kuvan identifioitu alue nykyisen kuvan relevantin lohkon paikkaan, aikaansaaden täten ennustuslaitteen lähtöön paremman ennustuksen. Tästä johtuen ennustajan 2 muodostamat erosignaalit ovat keskimäärin pienempiä ja edelleen koodaus-35 laite 4 voi koodata kuvaa alhaisemmalla bittinopeudella kuin muutoin olisi asianlaita. Liike-estimoijän täytyy tyypillisesti verrata jokaista lohkoa edellisen kuvan vastaavaan
* I
9656 2 lohkoon ja alueisiin, joita on siirretty tästä lohkopaikas-ta; tämä aiheuttaa huomattavan suuren prosessointitarpeen ja usean pääsyn molempien kuvien tallennettuihin versioihin.
5 Kyseessä oleva keksintö on määritetty vaatimuksissa.
Seuraavassa esitetään eräs keksinnön suoritusmuoto viittaamalla liitteenä oleviin piirustuksiin, joissa: 10 Kuvio 2 on TV-kuvan diagrammi valaisten koordinaatistoa ja hakualuetta.
Kuvio 3 on keksinnön mukaisen liike-estimoijän osan (Pl kuviossa 5) lohkokaavio.
15
Kuvio 4 on kuvion 2 hakualueen SN diagrammi.
Kuvio 5 on täydellisen liike-estimoi jän lohkokaavio.
20 Kuvio 6 on kuvion 5 lajittelijan CSO lohkokaavio.
Selostettava liike-estimoi ja tarkkailee hetkellistä TV- kuvaa, jota koodataan jakamalla se 8 x 8 lohkoon - ts. 8 kuva-alkiota (pixeliä) vaakasuunnassa ja 8 juovaa pystysuun- 25 nassa. Vaikka periaatetta voidaan yhtälailla soveltaa lomi- •j tettuihin järjestelmiin, yksinkertaisuuden vuoksi seloste- • taan vain lomittelematonta kuvaa. Jokaista lohkoa varten on suunniteltu luotavaksi liikevektori, joka ilmoittaa paikan 8x8 alueessa, joka sijaitsee edellisen kuvan määritetyllä 30 hakualueella, mikä kuva on mahdollisimman samankaltainen kyseessä olevan lohkon kanssa. Kuva 2 esittää 8x8 lohkon N ·· kenttää (varjostettu) ja tyypillistä 23 x 23 hakualuetta, jota esittää suorakulmio SN. Jos pixelit identifioidaan vaaka- ja pystysuunnassa xy-koordinaateilla origon ollessa 35 vasemmassa ylänurkassa, niin sellaisen lohkon, jonka vasemman yläkulman koordinaatit ovat XN, YN, hakualue on alue,
II
9656/· 3 joka on vaakasuunnassa välillä (XN - 8) ja (XN + 14) ja pystysuunnassa välillä (YN - 8) ja (YN +14).
Liikevektorin saamiseksi on välttämätöntä suorittaa haku, 5 missä lohkoa verrataan jokaiseen mahdolliseen edellisen kuvan 256:een 8x8 alueeseen, jotka ovat hakualueella - ts. niihin, joiden vasemman yläkulman pixelin koordinaatit ovat XN + u ja TN + v, missä u ja v ovat välillä - 8 ja + 7. Liikevektori muodostuu niistä u, v-arvoista, joille vertailu 10 antaa suurimman samankaltaisuuden. Sinilaarisuustesti voi olla mikä tahansa yleisesti tunnettu - esim. kunkin hetkellisen lohkon ja edellisen kuvan vastaavan lohkon välisten erotusten itseisarvojen summa.
15 Täten, jos hetkellisen kuvan ja edellisen kuvan pixelien arvot ovat a(i, j) ja b(i, j) vastaavasti, niin erotusten summa on Εχ,y (v,u) = 20 7 7
^ y~ ja (x+i,y+j)-b(x+u+i,y+v+j) J
i=0 j=0 25
Tavallisesti haku suoritetaan kullekin hetkellisen kuvan lohkolle järjestyksessä. Koska kuitenkin lohkoon liittyvä ·: hakualue ylittää lukuisten muiden lohkojen (24 kpl, mikäli lohkot eivät ole lähellä kuvan reunoja), tämä vaatii usein 30 (kts. hakualuetta kuvassa 2, viivoitettu alue lohkolle N + 1) lukuisia tuloja edellisen kuvan informaatioon, joka on tallennettuna kuvamuistiin, jotka ovat aikaavieviä ja saattavat vaikuttaa muihin kooderin toimintoihin.
• · 35 Selostettavan liike-estimoi jän oletetaan liittyvän tosiasiassa (a) digitaaliseen videosignaaliin, joka vastaa hetkel listä koodattavaa kuvaa 9656? 4 (b) digitaaliseen videosignaaliin, joka vastaa edellis tä kuvaa.
Signaalit koostuvat 8-bittisistä digitaalisten sanojen 5 sekvensseistä, jotka edustavat ensimmäisen juovan peräkkäisten kuva alkioiden luminanssia (vaikka krominanssisignaaleja voitaisiin tarvittaessa prosessoida samalla tavalla) ja näitä seuraa toisen, kolmannen jne. juovan vastaavat sekvenssit .
1 0
Toisin kuin edellä selostetulla lohko-lohkolta-menetelmällä, laite toimii siten, että kuvan määrättyä juovaa koskevat vertailut suoritetaan peräkkäin. Kuten huomataan, tämä vaatii vain 16 juovan viiveen suuruisen muistikapasiteetin 15 edellistä kuvaa varten.
Kuva 3 esittää laitteen osaa, jonka toimintaa selostetaan viittaamalla kuvaan 4. Kuvan 8x8 lohkon tai alueen paikka määritellään sen vasemman yläkulman pixelin koordinaateilla 20 x, y. Tällöin kuvan 4 lohko N on paikassa x, y. Kuvan 2 laite vertaa x, y-paikan 8x8 lohkoa N 8 x 8 alueisiin paikassa (x+u), (y+v), missä u saa arvot -8... +7 ja v 0... +7 - ts. alueisiin, joiden paikat ovat alemmassa katkoviivalla erotetussa alueessa SI kuvassa 4. Kuvassa 3, 25 edellinen kuva vastaanotetaan (seuraten 9 pixelin viivettä ·; XD, jonka merkitys selostetaan myöhemmin) tulossa Pl (kaikki * · kuvan signaalitiet ovat 8-bittisiä, ellei toisin ole osoitettu diagonaaliviivalla ja siihen liittyvällä luvulla).
Tätä seuraa väliulosotoilla varustettu viivelinja koostuen 30 kahdeksasta yksilinjäisestä viiveyksiköstä LD1...LD8) siten, että minkä tahansa kuvan juova on saatavissa LD8:n lähdössä ja seitsemän seuraavaa juovaa ovat saatavissa LD7:n, LD6:n jne. lähdöissä. Hetkellinen kuvasignaali johdetaan CI-tulon kautta viivelinjaan, jonka muistissa on kahdeksan lohkoa 35 DS1...DS8. Jokainen lohko koostuu kahdesta viiveyksiköstä kestoltaan jousijakson mittaisia, kunkin lohkon yksi puolikas muodostaa osan 8-juovan jaksoista viivelinjaa ja toinen
II
9656.' 5 puoli muodostaa uudelleenkiertävän muistin. Kun 8-juovan ryhmän viimeinen juova on saapunut viivelinjalle, kunkin lohkon puolikkaiden tehtävät muuttuvat vastakkaisiksi siten, että seuraavan 8 juovan saapuessa viivelinjaan 8 aikaisempaa 5 juovaa ovat saatavilla uudelleenkiertävien lohkojen lähdöissä .
Täten, kuvan 4 mukaan (ja jättäen ottamatta huomioon 9-pixe-lin siirtymän ja olettaen, että y-juova on lohkon ensimmäi-10 nen) juovat y, y+l...y+7 hetkellisessä kuvassa ovat suunnilleen DS8, DS7...DSl:n lähdöissä, kun taas edellisen kuvan juovat y, y+l...y+7 ovat suunnilleen LD8,LDT...LD1:n lähdöissä .
15 Lähdöt LD8 ja DS8 syöttävät vastaavasti 8-bittistä 8-asteis-ta sarjamuodossa sisään - rinnakkaismuodossa ulos - rekisteriä (SIPO) PS8, CS8 ollessa kehotettuna pixelitaajuudella. Jälkimmäisen 8 lähtöä pinotaan pinoon CL8 kaikki 16 pixeliä synkronisesti kuvan vaakalohkon rakenteen kanssa. Täten, kun 20 kerran juovan y pixeli on saapunut SIPO:on CS8, pixelit x...x+7 ovat saatavilla pitopiirin CL8 lähdössä seuraavalla kellopulssilla. Tähän aikaan pixelit x-8...x-l ovat saatavilla SIPO:n PS8 lähdöissä (johtuen 9-pixelin viiveestä XD).
25 PS8:n ja CL8:n lähdöt johdetaan vähentäjille M81 - M88, ·: erotusten modulin summa muodostetaan summausyksikössä A8.
• · Täten edellisessä pykälässä selostetuissa olosuhteissa summaimen lähtö esittää nykyisen kuvalohkon N ensimmäisen juovan ja katkoviivoilla kuvassa 4 esitetyn alueen ensimmäi-30 sen juovan "erotusten summan".
PS8:n, CS8:n, CL8:n ja M81-88 ja A8:n käsittävä järjestely on tarkoitettu LD8:n ja DS8:n lähdöille; seitsemän seuraavaa vastaavaa järjestelyä on tarkoitettu (vaikkakaan niitä ei 35 ole selvyyden vuoksi esitetty kuvassa 3) LD7:n, DS/7:N, LD6/DS6... LDl/DDSl:n lähdöille. Ne toimivat identtisellä tavalla paitsi, että ollen kytkettyinä viivelinjojen aikai- 6 9656? sempiin väliottoihin ne toimivat kuvan seitsemällä myöhemmällä juovalla. Summainten A8...A1 lähdöt on summattu sum-maimessa AA, joka muodostaa hetkellisen lohkon N ja kuvassa 4 esitetyn katkoviivalla merkityn 8x8 edellisen kuvan 5 alueen välisten "erotusten summaa". Tämä on aiemmin esitetyn määritelmän mukaan arvo Ex,y(-8,0).
Yhtä pixelikellojaksoa myöhemmin SIPO:t PS8...1 käsittävät pixelit x-7...x aiempien x-8...x-l asemesta. Pitopiirin CL8 10 lähtö on muuttumaton, vertailu on tällöin nykyisen lohkon ja lohkon (x-7) välillä ja summain AA tuottaa lähdön Ex,y(-7,0). Tämä prosessi jatkuu 16 kellojakson ajan, jolloin summain AA on tuottanut 16 tulosta E(-8,0), E(7,0)...
E(7,0). Hakualueen SI (kuva 4) ensimmäinen suoritus on nyt 15 valmis.
Seuraavan lohkon N+2 pixelit nykyisessä kuvassa (ts. joiden vaakakoordinaatit (x+16)...(x+23)) ovat nyt SIPO:ssa CS8, nämä ovat kellotetut pitopiireihin CL8..., jossa pixelit 20 (x+8)... (x+15) ovat saatavilla PS8:ssa, vastaten seuraavan lohkon haku aluetta ja ensimmäinen haku käsittää lohkon N+2 ja seuraavat vuorottaiset lohkot juovan loppuun.
Juovajakson päässä edellisen kuvan juova y + 1 ilmestyy LD8: n 25 lähtöön; kuitenkin DS8:n uudelleenkierrostoiminnan aikana, ·; hetkellisen kuvan y-juova ilmestyy jälleen DS8:n lähtöön ja lohkon N seuraava haku tapahtuu, jota tällä kertaa verrataan kuvan 4 katkoviivoitettuun alueeseen siirrettynä alaspäin yhden juovan verran. Nähdään, että 8 juovajakson jälkeen 30 vertailu on tehty lohkon N ja kaikkien alueen SI määrittelemien alueiden välillä (ja samoin kaikille rivin parillisille lohkoille).
• »
Kun tämä on tapahtunut, viive- ja muistiasteet DS8... kello-35 tetaan ja nykyisen kuvan juovat y+8...y+15 ilmestyvät niiden lähtöihin. Edellisen kuvan juova y+8 on juuri ilmestymässä i! 7 9656? viive-elimen LD8 lähtöön 3a kuvan 2 järjestely on valmis käsittelemään lohkon seuraavaa riviä.
Kuitenkin huomataan, että lohkon N hakuprosessi on epätäy-5 dellinen; hakualuetta S2 (kuva 4) ei ole käsitelty. Myöskään parittomat juovat eivät ole saaneet huomiota osakseen. Kuvan 5 mukaisesti kuvan 2 järjestelyt (lähtien viive-elimestä XD) ilmestyvät prosessorina Pl. Toinen prosessori P2 käsittelee ylempää hakualuetta S2; se on identtinen Pl:n kanssa joka 10 suhteessa, mutta sitä syötetään edellisellä kuvasignaalilla 8-linjaisen viive-elimen kautta (esitetty ELD:nä, vaikka käytännössä signaali voitaisiin ottaa prosessorin Pl LD8:sta) antaen halutun tuloksen määrittämällä hakualueen 52, joka on 8 juovaa aikaisempi kuin SI. Haussa on huomatta-15 va, että, jos hakualue SN on pienehkö (esim. 17x17 tai pienempi kuin 23x23) yksi (sopivasti ajoitettu) prosessori on riittävä.
Parillisia lohkoja käsitellään toisella prosessoriparilla 20 P3, P4, jotka ovat identtisiä Pl:n ja P2:n kanssa ja vas taanottavat samat signaalitulot kuin vastaavasti Pl ja P2. Kuitenkin salvat CL8 kellotetaan (joka 16. pixeli kuin aiemminkin) pulsseilla, jotka ovat 8 pixeliä pois vaiheesta, jolla prosessoreita Pl ja P2 ohjataan. Vaikka kuvassa on 25 esitetty identtiset prosessorit (joka saattaa olla sopiva • hardware-esitys), jotkin prosessoreiden osat voivat tarvit taessa olla yhteisiä kahdelle tai useammalle prosessorille (esim. juovat PS8...Dsl).
30 Tarkastellaan nyt "erotusten summien" arvoja E. On tarpeen löytää nykyisen kuvan kunkin lohkon paikalle (u,v) alhaisin ;; E-arvo. Koska annetun lohkon E-arvot ilmestyvät 8-juovan jaksoissa, siroteltuina muiden lohkojen saman rivin arvojen lomaan, lajitteluvaihe tarvitaan myös. Kaksi vertailu- ja 35 lajitteluyksikköä CSE, CSO on esitetty kuvassa 5 vastaavasti parillisille ja parittomille lohkoille ulostuloliikevekto-reiden lähtöjen ollessa VOE ja VOO.
9656?· 8
Yksikkö CSO on esitetty kuvassa 6 ja on identtinen CSE:n kanssa (paitsi tulojen ajoituksen osalta tietenkin).
Prosessoreiden Pl ja P2 lähdöt on johdettu tähän yksikköön.
5 Vektorigeneraattori VG synkronoituna pixelikelloon (ja juova- ja kenttätahdistuspulsseihin) tuottaa vektorikom-ponenttien u arvon (4 bittiä) ja alemman 3-bittisen v-kom-ponenttiarvon, jotka liittyvät prosessorin Pl vastaanottamaan E-arvoon.
10
Kaksi Pl:ltä ja P2:lta samanaikaisesti vastaanotettua E-arvoa liittyvät aina nykyisen kuvan samaan lohkoon niin, että niitä voidaan helposti verrata komparaattorilla Cl. Komparaattorin lähtö ohjaa data-valitsinta SELl, jotta 15 tulostuu pienempi vastaanotetuista arvoista; komparaattorin lähtö liittyy vektorigeneraattorin lähtöön muodostamaan v:n eniten merkitsevä bitti.
Selitys on jättänyt tähän asti sopivasti huomiotta ongelmia, 20 jotka saattavat ilmaantua, kun tarkasteltava lohko on kuvan reunan 8 juovan tai pixelin joukossa - ts. tietyt x,y-alueista u, v osuvat päällekkäin juova- tai kenttäsammutus-alueiden kanssa. Tästä päästään helposti jättämällä ottamatta huomioon sellaiset alueet. Reunailmaisin BG toimii ohit-25 tamalla valitsimen SELl:n toiminnan: '· (a) kuvan yläosassa, missä sellaisen alueen tulokset tuote taan prosessilla P2 pakottaen valitsimen ohittamaan prosessorilta Pl tulevan lähdön; (b) kuvan alaosassa, missä sellaisen alueen tulokset tuote-30 taan prosessorilla Pl pakottaen valitsimen ohittamaan prosessorilta P2 tulevan lähdön; 1 (c) kuvan reunoilla, missä molemmat prosessorit toimivat em.
tavalla, asettaen valitsimen lähdön maksimiarvoonsa pakottaen täten seuraavien valitsimen asteiden valitsemaan eri 35 arvon.
Ensiksi-sisään-ensiksi-ulos (FIFU)-muisti FIF01 tallentaa k
II
9656 5 9 alhaisimman kunkin rivin lohkon E-arvon. Kaikki muistipaikat asetetaan maksimiarvoihinsa rivin alussa. Jokainen prosesso-rikierros synnyttää jokaiselle N-lohkolle 16 E-arvoa peräkkäin. Kun ensimmäinen niistä vastaanotetaan valitsimelta 5 SEL1, vertailija C2 vertaa edelliseen arvoon, joka on tallennettu relevantin lohkon muistiin ja ohjaa valitsinta SEL2 avaamaan pääsyn siihen lukkopiiriin, jolla on pienempi arvo kahdesta. Toinen valitsin SEL3 kytkee salvan lähdön vertaili jalle C2 (ja valitsimelle SELl) ja komparaattori C2 vertaa 10 kutakin jäljellä olevaa 15 arvoa salvassa Li olevaan arvoon; edelleen valitsin SELl päästää läpi kahdesta alemman arvon muodostamaan seuraavan lukkopiirin arvon. Sen jälkeen, kun 16 arvoa on verrattu, lukkopiirin sisältö ladataan takaisin muistiin. Samalla tavalla valitsimet SEL4, SEL5 ja lukkopii-15 ri L2 toimivat muistin FIF02 suhteen käsitellen joko siinä olevaa edellistä vektoria tai tulevaa vektoria (VG:ltä ja Cl:Itä).
Sen jälkeen, kun kaikki 8 olemassa olevaa rivin hakua on 20 suoritettu, muistissa FIF01 on E-arvojen "erotusten summan" alhaisin arvo kullekin rivin lohkolle ja FIF02 sisältää vastaavat vektorit u,v. Nämä voidaan lukea ja tulostaa VOO-lähtöön seuraavan rivin prosessointia varten.
25 Joissain oloissa saattaa olla helpompi synnyttää vektorini generaattorissa VG vektoreita, jotka koodataan eri tavoin kuin ulostulossa vaadittavat, missä tapauksessa vektoriku-vausyksikkö VM - joka voi olla yksinkertainen katselupöytä -voi olla lisänä.
30
On oletettu, että edellinen identifioitava kuva-alue on se, jolla on pienin ero kyseessä olevaan hetkelliseen lohkoon verrattuna. Kuitenkin saatetaan haluta antaa poikkeama nollavektoriin nähden - ts. nollavektori on lähdössä vain, 35 jos alue u,v antaa erotuksen E(u,v) summan, joka on arvoa E(0,0) pienempi jonkin edeltä määrätyn arvon verran edellisen kuvan muuttumattomalle alueelle - esim. pienempi kuin 9656?
1 O
75 % E(0,0):sta. Tämä voidaan aikaansaada skaalaamalla ZVS-yksikkö, joka normaalisti ohittaa prosessorilta Pl tulevat arvot (venttiilit) muuttumattomana, mutta vähentää arvoa 75 % tuloarvosta, kun signaali VO vektorigeneraattorilta 5 ilmaisee paikkaa (0,0).
» <
' I
* f
II

Claims (6)

965 6' 1 1
1. Liikedetektori videosignaaleille, joka käsittää välineet (DS, CS, CL, LD, PS) vastaanottamaan ja tallentamaan väliai-5 kaisesti muistiin videosignaalit, jotka edustavat kuvan yhtä kuva-alaa ja kuvan toista kuva-alaa, missä kukin kuva-ala on muodostettu juovajoukosta ja kyseinen yksi kuva-ala koostuu lohkojen ei-päällekkäin olevien rivien joukosta, kunkin rivin koostuessa joukosta ei-päällekkäin olevien kuva-alki-10 oiden lohkoja, muodostettuina kuva-alan juovien vastaavan ryhmän vastaavista osista; aritmeettiset välineet (M, P1:n ja P3:n A & AA) järjestettynä vertaamaan kyseisen yhden kuva-alan kutakin lohkoa toisen kuva-alan vastaavaan alueeseen ja toisen kuva-alan paik-15 kasiirrettyjen alueiden joukkoon, mikä edustaa haluttua kaksi-dimensionaalista hakualuetta (SI); ja ensimmäiset välineet reagoimaan vertailun tuloksiin muodostamaan vektori-informaation (V00, VOE), joka osoittaa paikkasiirtymän, jos niitä on, toisen kuva-alan alueen 20 paikasta kyseisessä yhdessä kuva-alassa olevan lohkon paikkaan, joka täyttää samanlaisuuskriteerin, näin muodostetun vektori-informaatioryhmän muodostaessa kuva-alueiden liikkeen estimaatin; tunnettu siitä, että liikedetektori sisältää: 25 (i) viive-elimet (LD, PS) järjestettynä: (a) tekemään saatavilla oleviksi, vuorollaan, kuva-alkioiden alueiden ennalta määrätyssä sekvenssissä olevien kuva-alkioiden alueet, kunkin alueen vastatessa toisen kuva-alan aluetta, joka on samaa kokoa kuin kyseisen yhden kuva-alan 30 lohko, missä peräkkäiset alueet alueiden sekvenssissä vastaavat alueita, jotka on progressiivisesti siirretty ho-·. risontaalisesti toisen kuva-alan juovien suunnassa, alueen kaikkien kuva-alkioiden ollessa tehdyt saatavilla oleviksi samanaikaisesti; ja 35 (b) toistamaan vaihe (a) alueiden peräkkäisiä sekvenssejä varten vastaten alueita, jotka on progressiivisesti siirretty kohtisuoraan toisen kuva-alan juovien suuntaan nähden 9656' määrän, joka vastaa haluttua hakualuetta (SI), pystysuuntai-sesti, (ii) viive ja tallennusvälineet (DS, CS, CL) järjestettyinä: (c) tekemään saatavilla oleviksi, vuorollaan, kuva-alkioiden 5 lohkot ennalta määrätyssä sekvenssissä lohkojen rivistä, lohkon kaikkien kuva-alkioiden ollessa tehdyt saatavilla oleviksi samanaikaisesti ja sellaiseksi ajanjaksoksi, joka vastaa haluttua hakulaajuutta (SI), vaakasuuntaisesti, kuvan juovan suunnassa; ja 10 (d) toistamaan ennalta määrätty sekvenssi niin monta kertaa, kuin tässä esiintyy peräkkäisiä sellaisten alueiden sekvenssejä, jotka on siirretty vertikaalisuunnassa vaiheessa (b); ja missä: (iii) aritmeettiset välineet (M, A ja AA) ovat järjestetyt 1. muodostamaan moduulin summan tai muun monotonisesti kasvavan parillisen funktion lohkoa varten saatavilla oleviksi tehtyjen kuva-alkioiden ja aluetta varten saatavilla oleviksi tehtyjen kuva-alkioiden välisille erotuksille; ja (iv) että ensimmäiset välineet (CSO, CSE) ovat järjestetyt 20 toimimaan varmistamaan kullekin lohkolle vektori-informaation, joka vastaa aluetta, jonka summa täyttää mainitun kriteerin .
2. Patenttivaatimuksen 1 mukainen detektori, tunnettu 25 siitä, että haluttu hakualue (SI) vaakasuuntaisesti juovan ·. suunnassa on suurempi tai yhtä suuri kuin kaksi kertaa tässä suunnassa olevan lohkon laajuus, viive- ja tallennuselimet on järjestetty muodostamaan samanaikaisesti joukon q (missä q on ykköstä suurempi kokonaisluku) erilaisia sekvenssejä, 30 jotka sisältävät kuva-alkioiden ryhmiä vastaten jokaista q:tta lohkoa juovan suunnassa, ja aritmeettiset välineet V käsittävät joukon q järjestelyjä muodostamaan vastaavien sekvenssien mainitut summat.
3. Patenttivaatimuksen 1 tai 2 mukainen detektori, tun nettu siitä, että viive- ja tallennuselimet on järjestetty samanaikaisesti tekemään saatavilla olevaksi lisäsek- II 9656 ·' 1 3 venssin, joka vastaa alueita (tai lohkoja), jotka on siirretty juovien ennalta määrätyllä numerolla ensinmainittuun sekvenssiin nähden, että detektori sisältää lisää aritmeettisia välineitä (M, P2 ja P4, A & AA), jotka reagoivat 5 lisäsekvenssiin vertaamaan mainitun kyseisen yhden kuva-alan kutakin lohkoa mainitun toisen kuva-alan paikkasiirrettyjen alueiden lisäjoukkoon, mikä edustaa mainitun hakualueen laajennusta (S2), ja että välineet (CSO, CSE) vektori-informaation muodostamiseksi on kytketty vastaanottamaan summat 10 sekä ensin mainitulta aritmeettisiltä välineiltä (P1, P3) että lisänä olevilta aritmeettisiltä välineiltä (P2, P4).
4. Jonkin edellä olevan patenttivaatimuksen mukainen detektori, tunnettu siitä, että ensimmäinen väline 15 sisältää välineet Cl, C2) vertaamaan aritmeettisten välineiden ulostuloissa olevia arvoja lohkon suhteen tämän lohkon aiempiin arvoihin nähden, jotka kohtaavat kriteerin, ja käsittää välineet (F1F01) osatulosten välimuistille toisten lohkojen arvojen vertailun aikana. 20
5. Patenttivaatimuksen 4 mukainen detektori, tunnettu siitä, että ensimmäiset elimet sisältävät välineet (VG) generoimaan vektoriarvoja, jotka vastaavat alueita, jotka on esitetty aritmeettisten elinten ulostuloissa, kytkentävä- 25 lineet (SEL4, L2, SEL5) valitsemaan vektoriarvon, joka *. vastaa vektoriarvoa, joka vastaa viimeisintä aluetta, joka täyttää kyseisen kriteerin ja välineet (FIF02) niiden vekto-riarvojen väliaikaiselle tallentamiselle, jotka vastaavat sanottuja välimuistiin tallennettuja osatuloksia. 30
6. Jonkin edellä olevan patenttivaatimuksen mukainen detek-tori, tunnettu siitä, että mainittu kriteeri täyttyy alueessa, jossa vertailuarvo on sama siirtymättömän alueen tapauksessa kuin ennalta määrätyn sanotun summan osuus ja 35 muiden alueiden osalta mainittu summa on pienempi kuin lohkon muiden alueiden vertailuarvot. 9656?
FI901458A 1987-09-25 1990-03-23 Liike-estimoija FI96563C (fi)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB878722612A GB8722612D0 (en) 1987-09-25 1987-09-25 Motion estimator
GB8722612 1987-09-25
PCT/GB1988/000781 WO1989003152A1 (en) 1987-09-25 1988-09-22 Motion estimator
GB8800781 1988-09-22

Publications (3)

Publication Number Publication Date
FI901458A0 FI901458A0 (fi) 1990-03-23
FI96563B true FI96563B (fi) 1996-03-29
FI96563C FI96563C (fi) 1996-07-10

Family

ID=10624380

Family Applications (1)

Application Number Title Priority Date Filing Date
FI901458A FI96563C (fi) 1987-09-25 1990-03-23 Liike-estimoija

Country Status (13)

Country Link
US (1) US5083202A (fi)
EP (1) EP0309251B1 (fi)
JP (1) JP3009674B2 (fi)
AT (1) ATE97534T1 (fi)
AU (1) AU609536B2 (fi)
CA (1) CA1318970C (fi)
DE (1) DE3885695T2 (fi)
DK (1) DK76990D0 (fi)
FI (1) FI96563C (fi)
GB (2) GB8722612D0 (fi)
HK (2) HK135796A (fi)
IE (1) IE61586B1 (fi)
WO (1) WO1989003152A1 (fi)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4897720A (en) * 1988-03-14 1990-01-30 Bell Communications Research, Inc. Circuit implementation of block matching algorithm
GB8909498D0 (en) * 1989-04-26 1989-06-14 British Telecomm Motion estimator
GB2231226B (en) * 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB2231750B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
GB2231749B (en) * 1989-04-27 1993-09-29 Sony Corp Motion dependent video signal processing
US4963961A (en) * 1989-06-16 1990-10-16 Burle Technologies, Inc. Vertical motion detector
KR930701888A (ko) * 1990-09-20 1993-06-12 마머듀크 제임스 허시. 마이클 찰스 스티븐슨 비디오 영상 프로세싱 방법 및 장치
US5210605A (en) * 1991-06-11 1993-05-11 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
US5461423A (en) * 1992-05-29 1995-10-24 Sony Corporation Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal
US5430886A (en) * 1992-06-15 1995-07-04 Furtek; Frederick C. Method and apparatus for motion estimation
US5412435A (en) * 1992-07-03 1995-05-02 Kokusai Denshin Denwa Kabushiki Kaisha Interlaced video signal motion compensation prediction system
DE4322343C2 (de) * 1992-07-06 1996-10-02 Mitsubishi Electric Corp Mittel zum Erfassen eines Bewegungsvektors und Verfahren zum Bestimmen eines Bewegungsvektors
KR0160618B1 (ko) * 1992-10-27 1999-01-15 윤종용 실시간 움직임 추정장치 및 그 방법
US5471248A (en) * 1992-11-13 1995-11-28 National Semiconductor Corporation System for tile coding of moving images
JP2636674B2 (ja) * 1993-05-25 1997-07-30 日本電気株式会社 動画像の動きベクトル検出装置
GB9315775D0 (en) * 1993-07-30 1993-09-15 British Telecomm Processing image data
US5396284A (en) * 1993-08-20 1995-03-07 Burle Technologies, Inc. Motion detection system
US5398068A (en) * 1993-09-02 1995-03-14 Trustees Of Princeton University Method and apparatus for determining motion vectors for image sequences
JPH07115646A (ja) * 1993-10-20 1995-05-02 Sony Corp 画像処理装置
FR2719398B1 (fr) * 1994-04-27 1996-07-19 Sgs Thomson Microelectronics Dispositif et procédé d'adressage d'une mémoire cache d'un circuit de compression d'images mobiles.
US5537155A (en) * 1994-04-29 1996-07-16 Motorola, Inc. Method for estimating motion in a video sequence
US6058142A (en) * 1996-11-29 2000-05-02 Sony Corporation Image processing apparatus
GB2327827B (en) * 1996-11-29 1999-06-30 Sony Corp Image processing apparatus
JP4294743B2 (ja) * 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
GB2360897A (en) * 2000-03-31 2001-10-03 Sony Uk Ltd Video motion detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6075184A (ja) * 1983-09-30 1985-04-27 Nec Corp 動画像信号の符号化方式とその装置
US4670851A (en) * 1984-01-09 1987-06-02 Mitsubishi Denki Kabushiki Kaisha Vector quantizer
JP2512894B2 (ja) * 1985-11-05 1996-07-03 ソニー株式会社 高能率符号化/復号装置
DE3721074A1 (de) * 1986-12-24 1988-07-07 Licentia Gmbh Schaltungsanordnung zur verschiebungsvektorsuche in der digitalen bildanalyse
EP0624985B1 (en) * 1987-04-28 2001-03-14 Mitsubishi Denki Kabushiki Kaisha Image coding and decoding system
US4897720A (en) * 1988-03-14 1990-01-30 Bell Communications Research, Inc. Circuit implementation of block matching algorithm

Also Published As

Publication number Publication date
FI96563C (fi) 1996-07-10
HK135796A (en) 1996-08-02
AU609536B2 (en) 1991-05-02
DK76990D0 (da) 1990-03-23
JPH03502628A (ja) 1991-06-13
ATE97534T1 (de) 1993-12-15
IE61586B1 (en) 1994-11-16
DE3885695T2 (de) 1994-06-23
GB8722612D0 (en) 1987-11-04
FI901458A0 (fi) 1990-03-23
US5083202A (en) 1992-01-21
HK154596A (en) 1996-08-23
GB2229603A (en) 1990-09-26
GB9006474D0 (en) 1990-07-18
CA1318970C (en) 1993-06-08
IE882886L (en) 1989-03-25
JP3009674B2 (ja) 2000-02-14
DE3885695D1 (de) 1993-12-23
EP0309251B1 (en) 1993-11-18
GB2229603B (en) 1991-08-14
WO1989003152A1 (en) 1989-04-06
AU2484388A (en) 1989-04-18
EP0309251A1 (en) 1989-03-29

Similar Documents

Publication Publication Date Title
FI96563B (fi) Liike-estimoija
EP0626791B1 (en) Motion vector detection apparatus for moving pictures
KR100203913B1 (ko) 모션 벡터 생성기
US5838828A (en) Method and apparatus for motion estimation in a video signal
KR100242880B1 (ko) 분할된 영역의 윤곽추적장치
US4202011A (en) Television signal coder
KR100226684B1 (ko) 반화소 움직임 추정장치
KR20030008150A (ko) 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식
US5793443A (en) Motion vector detection circuit
KR100416444B1 (ko) 모션벡터선택방법및이방법을수행하는이미지처리장치
US8073054B2 (en) Unit for and method of estimating a current motion vector
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
EP2262254B1 (en) Repetitive object detecting device and method
EP3104612B1 (en) Complementary vectors
EP2237559A1 (en) Background motion estimate based halo reduction
US10264212B1 (en) Low-complexity deinterlacing with motion detection and overlay compensation
US6968011B2 (en) Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices
KR100232971B1 (ko) 가변블럭 적용이 가능한 움직임 추정기
JP3334317B2 (ja) 画像照合方法および装置
JP2963369B2 (ja) 動きベクトル探索装置
JPH0281589A (ja) 動きベクトル検出方式
Pan et al. A novel VLSI architecture for the full search block matching algorithm using systolic array
JPS62289080A (ja) 画素補間装置
JPH0927958A (ja) 動きベクトル探索装置
JPH08149483A (ja) 動きベクトル探索装置

Legal Events

Date Code Title Description
BB Publication of examined application
MM Patent lapsed

Owner name: BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY