HU223981B1 - Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére - Google Patents

Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére Download PDF

Info

Publication number
HU223981B1
HU223981B1 HU9801780A HUP9801780A HU223981B1 HU 223981 B1 HU223981 B1 HU 223981B1 HU 9801780 A HU9801780 A HU 9801780A HU P9801780 A HUP9801780 A HU P9801780A HU 223981 B1 HU223981 B1 HU 223981B1
Authority
HU
Hungary
Prior art keywords
fields
image
image fields
filtering
filter
Prior art date
Application number
HU9801780A
Other languages
English (en)
Inventor
Yannick Olivier
Philippe Robert
Jean-Yves Babonneau
Gérard Briand
Original Assignee
Thomson Multimedia S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Multimedia S.A. filed Critical Thomson Multimedia S.A.
Publication of HU9801780D0 publication Critical patent/HU9801780D0/hu
Publication of HUP9801780A2 publication Critical patent/HUP9801780A2/hu
Publication of HUP9801780A3 publication Critical patent/HUP9801780A3/hu
Publication of HU223981B1 publication Critical patent/HU223981B1/hu

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Processing (AREA)

Abstract

A találmány egymás utáni képmezők sorából álló videokép-sorozatelőfeldolgozási eljárására vonatkozik. Egy első és egy második képmezőközött mozgásértékelést végeznek úgy, hogy időleges szűrést végezneklegalább két bemenő képmező alapján, és ezeket a képmezőket használjákfel a mozgásértékeléshez, amelyet videokép-tömörítésnél vagytelevíziós szabványok átalakításánál alkalmaznak. A találmány tárgyatovábbá az eljárást megvalósító eszköz. ŕ

Description

A találmány televíziós képsorozatok feldolgozásánál használatos mozgásértékelőknél alkalmazásra kerülő előfeldolgozási eljárásra és eszközre vonatkozik.
A mozgásértékelés mind nagyobb jelentőségre tesz szert olyan rendszereknél, mint a szokványos konverterek, nagyfrekvenciás konverterek, (ismertebb nevükön „feltranszponáló konverterek), kódolók, miközben algoritmusaik mind hatásosabbak és könnyebben alkalmazhatók lesznek.
Különböző típusú mozgásértékelők léteznek, például a tömbillesztő típusú, a pontonkénti vagy rekurzív képpont típusú. Annak érdekében, hogy ezen mozgásértékelők működését javítsák, teljesítményüket fokozzák, a rájuk kerülő képeket előfeldolgozásnak vetik alá. Ez a képméret csökkentése érdekében történhet például mintavétellel, melyet szűrés követ, hogy ezáltal egyszerűbbek legyenek az áramkörök és nagyobb legyen a feldolgozás sebessége. Lehet aluláteresztő szűrés a nagy frekvenciák egy részének eltávolítására, hogy ezzel könnyebb legyen a mozgásértékelő működése, lehet egyes képmezőknél sorinterpolálás, hogy olyan képek keletkezzenek, melyek sorai egyeznek (ez valójában a sorváltás megszüntetése) stb. Például, az FR 2 637 100 számú közzétételi iratban ismertetett rekurzív képpontos típusú értékelőnél a kielégítő működéshez a képek előzetes feldolgozására van szükség. Hasonló módon a „tömbillesztéses” típusú értékelőket is gyakran megelőzi a képek előzetes feldolgozása.
A mozgásértékelők tökéletlenül működnek a vízszintes határvonalakat tartalmazó váltott képmezők esetében: e területeken spektrális torzulások keletkeznek, és az egymást követő, eltérő sorokat tartalmazó képmezők ezeken a helyeken nem kerülnek egymással fedésbe. A rekurzív képpontos típusú mozgásértékelők e területeken eltéréseket mutatnak.
A korábban ismertetett előfeldolgozási eljárások, például a térbeli szűrés, általánosságban fokozzák az értékelők teljesítményét, de nem oldják meg kielégítően a mozgásértékelés olyan hibáit, melyek különösen láthatóak mozgáskiegyenlített vagy -értékelt képben, és melyek a kép minőségének romlását idézik elő.
A találmány célja az említett hátrányok kiküszöbölése.
A találmány egy váltott képmezők sorából álló videokép-sorozat előfeldolgozására szolgáló eljárás, amely az első és második képmező között értékeli a mozgásokat, azzal jellemezve, hogy időleges szűrést végzünk legalább két bemenő képmező alapján, amely két képmezőt a mozgásértékelőhöz továbbítunk felhasználásra.
A találmány továbbá egy eszköz az eljárás alkalmazására, azzal jellemezve, hogy
- négy egymást követő képmezőt tároló memóriája van,
- a négy tárolt kapcsolódó képmezőt négy javított képmezővé átalakító függőleges szűrői vannak,
- két szűrt képmezőt továbbító időleges szűrője van, amely szűrt képmezők közül az elsőt az első három tárolt képmező alapján képzett javított képmezőknek megfelelően, a másodikat az utolsó három tárolt, javított képmezők alapján állítjuk elő, és
- a mozgásértékelés végrehajtása e két szűrt képmező alapján történik.
A jelen találmány jellemzői és előnyei világosabbá válnak a következő, példaként szolgáló leírásból és hivatkozva a mellékelt ábrákra, ahol az
1. ábra egy előfeldolgozó eszközt ábrázol a találmány szerinti mozgásértékelőhöz; a
2. ábrán egy körvonal-érzékelő áramkör; a
3. ábrán az előfeldolgozási láncban szereplő képek képmezői láthatók.
Az eljárás egy három képmezős térbeli-időbeli szűrést hajt végre, először a kapcsolódó képmezők térbeli szűrését, hogy ezáltal jobb képeket kapjunk és utána három, egymást követő javított kép időbeni szűrését. A képek előfeldolgozása következtében javul a mozgásértékelő teljesítménye, elsősorban olyan területeken, ahol az általában kritikus vízszintes határvonalak fordulnak elő.
Az 1. ábra egy, a találmány szerinti képfeldolgozó eszközt mutat be.
Egy videoforrásból származó képsorozatra vonatkozó digitális világosságinformáció, sorozatosan kapcsolódó képmezők formájában előzetesen tárolásra kerül egy kép memóriában. Ez egy, az ábrán fel nem tüntetett négymezős memória, amely nem általánosan jellemző erre az eszközre. Ez a memória adja le az
1. ábra szerinti képfeldolgozó eszköz négy bemenetére az n+1 indexű Yinn+1 képmezővel együtt a megelőző Yinn_2, Y'nn-1> Yinn képmezőket.
A négy, egymást követő kapcsolódó Yinn_2, Yinn_i, Yinn és Yinn+1 képmező soronként egyidejűleg kerül a négy bemenetre. Mind a négy bemenet csatlakozik egy-egy digitális 1, 2, 3, 4 szűrőre, melyek félsávos vízszintes digitális szűrők véges impulzusátvitellel (FIR=Finite Impulse Response). E szűrők kimenetei csatlakoznak a vízszintes frekvenciákból kettesével mintát vevő 5, 6, 7, 8 áramkörökre. Ezen mintavevő 5, 6, 7, 8 áramkörök kimenetei csatlakoznak a félsávos függőleges FIR 9, 10, 11, 12 szűrők bemenetelre. A segédmintavevő 6 áramkör kimenete csatlakozik a körvonal-érzékelő egyik bemenetére is, és a segédmintavevő 7 áramkör kimenete csatlakozik a körvonal-érzékelő egyik bemenetére is. A 9, 10, 11, 12 szűrők kimenőjelei a 16 és 17 időleges szűrők bemenetére jutnak például egy 13 elosztóbuszon keresztül. így a 9, 10, 11, 12 szűrőkről érkező szűrt képmezőjeleket a 16 időleges szűrő három bemenete, és a 10, 11, 12 szűrőkről érkező szűrt képmezőjeleket a 17 időleges szűrő három bemenete veszi. A 10 szűrő és a 12 szűrő második kimenete a 14 és 15 körvonalérzékelő második bemenetére csatlakoznak. A 16 szűrő kimenete csatlakozik a negyedsávos vízszintes FIR 18 szűrő bemenetére és utána a negyedsávos függőleges FIR 19 szűrő bemenetére. A17 szűrő kimenete a negyedsávos vízszintes FIR 20 szűrő bemenetére és utána a negyedsávos függőleges FIR 21 szűrő bemenetére csatlakozik. A 19 és 21 szűrők kimenetei az előfeldolgozó eszköz kimenetei.
HU 223 981 Β1
Az eszköz négy bemenetére kerülő digitális videovilágosságjelek ily módon vízszintesen sávszélességük felére lesznek szűrve a vízszintes egydimenziójú FIR szűrők segítségével 8-as együtthatóval. Ezek antispektrális aliasing szűrők, ezért a vízszintes segédmintavevő után helyezendők el és együtthatóik példánkban a következők:
-22/1024; 43/1024; 135/1024; 442/1024; 442/1024;
135/1024; -43/1024; -22/1024.
Az egyes szűrők kimenőjeleiből egy mintavevő áramkör segédmintavételt végez, e jel kettes tényezővel decimálásra kerül. Ennek a mintavételnek a célja az, hogy a képfelbontást a mozgásértékelő áramkörök jelenlegi feldolgozási kapacitásához állítsuk be.
A további tárgyalás során feltételezzük, hogy az időleges szűréshez és a mozgásértékelőhöz továbbított javított képmezők az eszköz páratlan képmezőbemenetén sorakoznak fel.
A működési módot két különböző idő-pillanatra ismertetjük, a t1 pillanatra, amely az eszköz bemenetén az Yinn_2...Yinn+1 képmezők jelenlétének felel meg, a rajznak megfelelően, majd a t2 pillanatra, amely az Yinn_1...Yinn+2 képmezők jelenlétét képviseli. Tételezzük fel, hogy a képmező n indexe páratlan.
-t1 pillanat
Az 1 szűrő és 3 szűrő kimenetén a mintavett jelek, melyek az n-2 és n páratlan képmezőknek felelnek meg, fél sávszélességgel függőlegesen szűrtek a félsávos függőleges, egydimenziós FIR 9, 11 szűrők segítségével, három együtthatóval. Ezekhez a szűrőkhöz a következő együtthatókat választottuk:
0,25; 0,50; 0,25.
Ily módon a félsávos függőleges szűrők kimenetén megjelenő képmezőknél, melyeket Yvn_2 és Yvn jelöléssel látunk el, a sorok ráhelyezkednek a bemenőképmezők soraira, míg a világosságértékeket a pillanatnyi sor, a megelőző sor és a megelőző sor feletti sor átlagos világosságának súlyozott átlaga adja meg. Az eredmény megfelel az előző sornak. Ezek azok a képmezők, melyek a páratlan képmezőknek felelnek meg.
A 2 szűrő és a 4 szűrő kimenetén a mintavett jelek, melyek az n-1 és n+1 páros képmezőknek felelnek meg, fél sávszélességgel függőlegesen szűrtek a félsávos, függőleges, egydimenziós FIR 10, 12 szűrők segítségével, két együtthatóval, melyeket 0,50-ra választottunk meg.
Itt a kapott képmezőknél, melyeket Yvn_1 és Yvn+1 jelöléssel látunk el, a sorok az n-1 és n+1 bemenőképmezők sorai között helyezkednek el, ezért ezek a sorok megegyeznek az n-2 és n képmezőkből kapott javított képmezőkével. Ennek az az oka, hogy a létrehozott sorok képpontjainak világosságértékét úgy kaptuk meg, hogy az alsó sor (pillanatnyi sor) és a felső sor (előző sor) világosságértékeit átlagoltuk. Tehát ezek is olyan képmezők, melyek igazodnak a páratlan képmezőkhöz.
-t2 pillanat
A 9 és 11 szűrőkre érkező jelek az n-1 és n+1 páros képmezőkről származnak. A most alkalmazott szűrés egy félsávos, függőleges egydimenziójú szűrés két együtthatóval, melyeket 0,50-ra választottunk meg. Ezért a kapott Yvn_1 és Yvn+1 képmezők sorai egyeznek a páratlan képmezőkével.
A 10 és 12 szűrőkre érkező jelek az n és n+2 páratlan képmezőkről származnak. Ezeknél a szűrőknél a most alkalmazott szűrés egy félsávos függőleges, egydimenziójú szűrés három együtthatóval, melyeket 0,25; 0,50 és 0,25 értékre választottunk meg. A kapott Yvn és Yvn+2 képmezők sorai ezért a páratlan képmezőkével egyeznek.
így az Yvn_2, Yvn_.,, Yvn, Yvn+1 képmezők a t1 időpontban, az Yvn_·!, Yvn, Yvn+1 Yvn+2 képmezők pedig a t2 időpontban kerülnek ki, a függőleges félsávos 9, 10, 11,12 szűrőkből, melyek felváltva, és a vett képmezők paritásainak megfelelően egy két együtthatós szűrést, és egy három együtthatós szűrést végeznek. Ezek a képmezők mind egybeesnek a páratlan képmezőkkel (hasonlóan lehetőség lenne a páros képmezőkkel való egybeesésre is). Éppen ezeket a javított képmezőket használják fel az időleges szűrők.
Az időleges szűrők egyben információkat kapnak a 14 és 15 körvonal-érzékelő áramkörökből is.
A t1 pillanatban a 14 körvonal-érzékelő áramkör egyidejűleg kap egy, a 6 mintavevőből származó sort az n-1 páros képmezőről, valamint ezen n-1 képmezőnek a 10 szűrőben tárolt előző sorát. A 15 körvonalérzékelő áramkör egy sort kap az n páratlan képmezőből és a 11 szűrőben tárolt képmező megelőző sorából. A t2 pillanatban a képmezők, és így a sorok paritásai megfordulnak. A 14 és 15 körvonal-érzékelő áramkörök által továbbított bináris körvonal-információ létrehozását az időleges szűrőn később magyarázzuk meg.
A leírás további része kizárólag csak a t1 pillanatra vonatkozik, minthogy a működés módja a t2 pillanatéval azonos, és a további áramkörök által feldolgozott képek már javítottak.
Az Yvn_·,, Yvn, Yvn+1 három képmezőn végzett első időleges szűrést az időleges 17 szűrő végzi. Egy pillanatnyi sor pillanatnyi képpontjának a számítása figyelembe veszi az Yvn_i, Yvn, Yvn+1 képmezők képpontjainak világosságát a pillanatnyi képpont helyzetének függvényében (azonos sor, azonos oszlop), azáltal, hogy megfelelően súlyozza ezeket az értékeket a szűrőegyütthatók felhasználásával, melyeket a következők szerint választottunk meg:
13/64; 38/64; 13/64.
Ezeket az értékeket paraméterezni lehet és példaként adjuk meg. Úgy is megválaszthatok, hogy értékük 1/3, 1/3,1/3 legyen.
Ezért a kimenet időlegesen a hármas középső elemére központosul.
A 17 időleges szűrő csak a képben lévő nagy függőleges frekvenciáknál működik. Ennek érdekében a vízszintesen segédmintavétellel vett Yinn középső képmező, egyidejűleg két sor, a pillanatnyi és az előző sor kerül továbbításra egy később ismertetendő 15 vízszintes körvonal-érzékelőre. Ennek az a szerepe, hogy meghatározza az ezekhez a nagy függőleges frekvenciákhoz tartozó területeket.
HU 223 981 Β1
A 17 időleges szűrő ytn kimenőjele, amely megfelel az érzékelt területek szűrt jelének, vagy az egyéb, érdektelen területek Yvn képmezői jeleinek, egymás után kerül továbbításra két negyedsávos 20, 21 szűrőre, az első egy negyedsávos vízszintes szűrő öt együtthatóval és a második egy negyedsávos függőleges szűrő öt együtthatóval. Ezeknek a szűrőknek az a szerepük, hogy a képet kissé elhomályosítsák a mozgásértékelés megkönnyítésére. A tárgyak körvonalainak gradiensei korrekcióra kerülnek, hogy lehetővé váljék a gradiensalgoritmust használó mozgásértékelő konvergenciája. Ezen szűrőáramkörök kimenőjele az előfeldolgozó eszköz Yen kimenőjele, és ez a jel kerül rá a mozgásértékelő első bemenetére, ez utóbbit nem ábrázoltuk.
Egyidejűleg a három Yvn_2, Yvn_-|, Yvn képmezőkön egy második időleges szűrés is végrehajtásra kerül. Amint már az előzőekben jeleztük, ez figyelembe veszi a pillanatnyi képpont és az Yvn_2, Yvn_1t Yvn képmezők képpontjainak súlyozott átlagát a szűrőegyütthatók felhasználásával, ezeket mi a következőkre választottuk meg:
13/64; 38/64; 13/64.
A 16 időleges szűrő csak a függőleges irányú nagy frekvenciáknál működik. Ennek érdekében az Yin,,^ vízszintesen segédmintavételezéssel kapott képmezőt a később ismertetésre kerülő 14 körvonal-érzékelőbe vezetjük, egyszerre két sort, a pillanatnyi és az előző sort. Ennek az érzékelőnek a szerepe az, hogy meghatározza azokat a területeket, melyek ezeknek a nagy függőleges frekvenciáknak felelnek meg.
A 16 időleges szűrő kimenőjele, amely megfelel az érzékelt területekre vonatkozó szűrt jelnek, egyébként a nem érintett területek esetében az Yvn_i képmezőnek, sorban rákerül a negyedsávos 18, 19 szűrőkre, egy első vízszintes szűrőre, öt együtthatóval és egy második negyedsávos függőleges szűrőre öt együtthatóval. Ezeknek a szűrőknek az a feladatuk, hogy a képeket kissé életlenné tegyék a mozgásértékelés megkönnyítésére. Ezen szűrőáramkörök kimenőjele az előfeldolgozó eszköz Yen_-| kimenőjele, és ez a jel kerül továbbításra a mozgásértékelő második bemenetére, ez utóbbit nem szerepeltettük az ábrán.
A 14 és 15 körvonal-érzékelő áramkörök feladata az, hogy a képben levő vízszintes körvonalakat feltárják. Egy ilyen áramkör rajza látható a 2. ábrán.
A körvonal-érzékelő áramkör előzőleg említett két bemenete a függőlegesgradiens-érzékelő 22 áramkör két bemenete. Ez a 22 áramkör rá van kapcsolva egy eróziós (képpontméret-csökkentő) 23 áramkörre és utána egy dilatációs (képpontnövelő) 24 áramkörre, melynek kimenőjele kerül az időleges szűrőre.
A függőlegesgradiens-érzékelő áramkör a kép minden egyes képpontjára mérést végez egy öt vízszintes képpontnyi és két függőleges képpontnyi méretű csúszóablakkal. Ehhez minden bemenet egy i+1 sort továbbít a képmezőből, amely a mintavevő 6 vagy 7 áramkörből származik, ez az első bemenetre kerül, és a 10 vagy 11 szűrőben tárolt előző i sor pedig a második bemenetre jut. E két sor egy adott pillanatban egy páratlan vagy páros képmezőből származik, a körvonal-érzékelő vizsgálatától függően, egyébként egy adott körvonal-érzékelő tekintetében meghatározott pillanattól. Minden i sorhoz és j oszlophoz tartozó, az i sorban levő képpont és az alatta levő, i+1 sorban levő képpontra a világosságkülönbségekből egy összeg kerül kiszámításra (vagy az i+2 sor vonatkozásában, ha a kapcsolódó képmezők számozását meg kívánjuk tartani). Ez az összegezés a pillanatnyi és az azonos sorban levő szomszédos négy képpontra történik. Ez az összeg kerül összehasonlításra egy Thr küszöbértékkel.
Ha a következő követelmény teljesül:
JgY(i, j)-Y(i + 1, j) < Thr j— 2 ahol Y(i, j) jelenti az í sorban és j oszlopban levő képpont luminenciaértékét és Thr a küszöbértéket, melyet példaként 192-re választottunk meg, az egynek megfelelő bináris értéket ennek a halmaznak megfelelő képponthoz rendeljük. Ellenkező esetben a nulla értéket rendeljük hozzá.
A vízszintes körvonal így kapott bináris képinformációját a matematikai morfológia szerint feldolgozzuk.
Az eróziós 23 áramkörre továbbított bináris kép általában viszonylag zajos és szűrést igényel.
Egy vízszintes irányú eróziót végzünk egy kilenc vízszintes irányú képpontból és egy függőleges képpontból álló csúszóablakkal. Legyen a küszöbérték például 3-ra rögzítve. Minden pillanatnyi képpontra (amely az ablak közepén helyezkedik el), melynek értéke egy, az ablakban egy értékkel szereplő képpontok számlálása következik be, és ha a kapott szám kisebb a küszöbértéknél, vagy azzal egyenlő, akkor az áramkör a pillanatnyi képpontértékét nulla értékre állítja. Ez a feldolgozás nem rekurzív jellegű, és a következő képpont számításánál az eredeti kép képpontjai kerülnek számbavételre és nem a pillanatnyi képpontra számított új értékek.
A dilatáció (képpontnövelés) ezután két lépésben történik:
Egy vízszintes irányú dilatáció történik a kilenc vízszintes képpont és egy függőleges képpont méretű ablak alapján. A küszöbértéket háromra választjuk meg.
Ezután következik egy függőleges irányú dilatáció egy vízszintes és két függőleges képpontból álló csúszóablak alapján. A küszöbértéket itt például 1-re választjuk meg.
Mindkét dilatációnál, ha a képpont értéke nulla, az ablakban az egy értékű képpontok kerülnek számlálásra, és ha ez a szám nagyobb, mint a küszöbérték, vagy azzal egyenlő, a pillanatnyi képpont értékét nulla értékre állítja be az áramkör.
A függőleges dilatációnál használt ablak eseti, azaz tartalmazza a pillanatnyi és a felette levő képpontot. Az eljáráshoz ezért nincs szükség további feldolgozási késleltetésre.
Minden pillanatnyi sorra az egyes körvonalérzékelő áramkörök kimenetén jelennek meg azok a bináris alakú információk, melyek megfelelnek a jelzett és jelzetlen képpontoknak, azaz azoknak, melyek sze4
HU 223 981 Β1 repelnek vagy nem szerepelnek az időleges szűrésben. Ez az információtartalom kerül továbbításra az időleges szűrőkre.
Az ilyen körvonal-érzékelésre az Yinn képmezőt használjuk a 15 körvonal-érzékelőnél és az Yinn„i képmezőt használjuk, a 14 körvonal-érzékelőnél.
A 3. ábra a különböző n-2...n+1 képmezők sorainak képpontjait szemlélteti az előfeldolgozási eljárás egyes lépcsőiben.
A vízszintes tengelyen az idő szerepel, a tengely balra irányul és beosztásai az n-2...n+1 képmezőknek felelnek meg, a képmezők sorai a függőleges tengelyen jelennek meg.
A 3a. ábra az Yin bemenőképmezőkből kialakított javított Yv képmezőkre vonatkozik (ezeket képeknek is nevezik).
Az n-2 és n képmezőkre az 1-2, 1 és 1+2 sorok képpontjait használjuk fel az Yvn_2 és Yvn képmezők 1 sora képpontjának kialakításához. Az n-1 és n+1 páratlan képmezőkhöz az 1-1 és 1+1 sorok képpontjaiból lehet megkapni az Yvn_q és Yvn+i képmezők 1 sorának képpontját.
A 3b. ábra az időleges szűrésre vonatkozik. Az Yvn_2, Yvn_q, Yvn képmezők 1 sorának képpontjait feldolgozzuk, hogy megkapjuk a szűrt Ytn_q szűrt képmező 1 sorának képpontjait.
A 3c. ábra azt szemlélteti, hogyan kapjuk meg a kimenő- Ye képmezők képpontjait az időleges szűrők (18 és 20 szűrők) Yt képmezőinek kimenőjeleiből.
Az Ytn_i képmező 1,1+2,1+4,1+6 és 1+8 sorainak képpontjai szűrve vannak, hogy az eszköz kimenetén megkapjunk az Yen_-| képmező 1 +4 sorában egy képpontot.
Az Ytn képmező 1, 1+2, 1+4, 1+6 és 1+8 sorainak képpontjai szűrve vannak, hogy az eszköz kimenetén megkapjunk az Yen képmező 1+4 sorában egy képpontot.
A mozgásértékelő megkapja a javított Yen_q és Yen képmezőt, amely példánkban megfelel azoknak a képmezőknek, melyek a páratlan sorokkal egyeztetettek, ezeket hasonlítja össze a mozgásvektorok kiszámításához.
Térjünk vissza az 1. ábrára a feldolgozás magyarázata érdekében, amely feldolgozás a képmezők sorainak Figyelembevételével történik. Vegyük például a képmezők 100 és 101 sorait, melyek azonos pillanatban kerülnek az eszköz bemenetére. A 100 sor megfelel az Y^ és Yn+1 páros képmezőknek és a 101 sor az Yn_2 és Yn páratlan képmezőknek. Ezek a sorok vízszintes szűrés és mintavétel után a félsávos függőleges szűrőkre kerülnek.
A 9 és 11 szűrők, miután vették a szűrt és mintavétel utáni 101 sort, szolgáltatják a 99 szűrt sort, amely e szűréshez felhasználta a 97, 99 és 101 sorokat, amint ezt már az előzőekben megmagyaráztuk. Ugyanakkor a 10 és 12 szűrők, miután vették a szűrt és mintavételezett 100 sort, kiadják a 99 sort, melyet a 98 és 100 sor alapján számítottak ki.
Ily módon a szűrők kimenetén négy javított képmező régi sorait kapjuk. Ebből háromnak (n-2, n-1, n) a 99 sora kerül az első időleges szűrőre, amely ezt a szűrést azért végzi, hogy szűrve szolgáltassa ugyanezt a 99 sort. A második időleges szűrő egyidejűleg a következő három javított képmező (n-1, n, n+1) 99 sorát használja fel, amely ugyanebben a pillanatban áll rendelkezésre, és szolgáltatja ugyanezt a szűrt 99 sort.
A negyedsávos függőleges szűrő az előző szűrt 91, 93, 95, 97 sorokat és a szűrt 99 sort használja fel, hogy kiadja a 95 átlagolt sort, amely negyedsávos vízszintes szűrés után ugyancsak az előfeldolgozó eszköz kimenetén jelenik meg.
Egy kép úgynevezett „vízszintes” körvonalai ritkán tökéletesen vízszintesek, és ezek a sorok a képmezőkben lépcsőzetesek. E feldolgozási műveletek célja a váltott képek információtartalmának lehető legjobb visszaállítása egy javított képmezőben, főleg akkor, ha a számított képmező a sorok vonatkozásában eltolódott a bemenőképmezőhöz képest (példánkban a javított kép a páros képmezőkből lett számítva). A mozgásértékelés jobb minőségű lesz, így jobb lesz az egyezés két olyan egymást követő képmező között, melyek részt vettek a mozgásértékelésben. A matematikai morfológiai operátoroknak egyben tehát képhelyreállitó feladatuk is van.
Az időleges szűrés egyben olyan visszaverődéseket is létrehoz, melyekre a mozgásértékelés természetszerűleg kihat, ezzel javul az értékelés, mert az összes értékelőbe kerülő kép ugyanazon feldolgozásnak van alávetve, és a visszaverődések gradienseinek azonos lesz a sebessége, mint az eredeti képben lévő visszaverődéseknek.
Amikor bonyolult tárgyak metszik egymást, az időleges szűrés kevésbé hatásos, és ezért az időleges szűrést csak a vízszintes határvonalakkal rendelkező területekre alkalmazzuk. A képben levő információ szűrés miatti sérülésének kockázata - például területek megjelenése és eltűnése, vagy egymást metsző tárgyak esetében - ezáltal korlátozott.
Az időleges szűrés természetesen elvégezhető a teljes képre, és ezt követően történhet a szűrt területek kiválasztása. Ez a válogatás tetszés szerinti lehet.
Természetesen a szétválasztás két időleges szűrőre és két körvonal-érzékelőre önkényes, és lehetőség lenne egy közös szűrőáramkört és/vagy egy közös körvonal-érzékelő áramkört alkalmazni, ezeket a közös áramköröket ki lehetne alakítani úgy, hogy az 1. ábrán bemutatott egyes áramkörök által vett információkat dolgozzák fel.
Ezen túlmenően, az előfeldolgozó eszköz szerves részeként lehet tekinteni azt a képmemóriát, amely tárolja a képsorozat egymást követő képmezőit, és egyidejűleg soronként szétosztja azokat az egyes szűrőkre.

Claims (12)

  1. SZABADALMI IGÉNYPONTOK
    1. Eljárás egymást követő, kapcsolódó képmezőkből álló videokép-sorozatok előfeldolgozására egy első és egy második képmező közötti mozgás értékelése céljából, azzal jellemezve, hogy legalább két bemenőképmező alapján időleges szűrést végzünk oly módon, hogy a mozgásértékelő által felhasznált mindkét képmezőt kiadjuk.
  2. 2. Az 1. igénypont szerinti eljárás, azzal jellemezve, hogy az időleges szűrést függőleges szűrés révén kapott feljavított képmezőkre végezzük.
  3. 3. A 2. igénypont szerinti eljárás, azzal jellemezve, hogy egy első függőleges szűrést végzünk a páros bemenőképmezőkön, és egy második függőleges szűrést végzünk a páratlan bemenőképmezőkön oly módon, hogy egy előre meghatározott paritású bemenőképmezővel egyező feljavított képmezőket hozunk létre.
  4. 4. A 3. igénypont szerinti eljárás, azzal jellemezve, hogy a bemenőképmezőknél a függőleges szűrés előtt egy félsávos vízszintes szűrést végzünk, és ezt követően az ily módon szűrt képeknél egy vízszintes decimálást végzünk.
  5. 5. Az 1. igénypont szerinti eljárás, azzal jellemezve, hogy négy, egymást követő képmezőt tárolunk, és egy első időleges szűrést végzünk az első három tárolt képmező alapján úgy, hogy az első képmezőt a mozgásértékelőre továbbítjuk, és egy második időleges szűrést végzünk az utolsó három tárolt képmező alapján úgy, hogy a második képmezőt a mozgásértékelőbe továbbítjuk.
  6. 6. Az 5. igénypont szerinti eljárás, azzal jellemezve, hogy a képmezők időleges szűrését soronként végezzük.
  7. 7. Az 1-6. igénypontok bármelyike szerinti eljárás, azzal jellemezve, hogy az időleges szűrés után a képmezoket vízszintes irányban egy negyedsavos szűrővel szűrjük.
  8. 8. Az 1-7. igénypontok bármelyike szerinti eljárás, azzal jellemezve, hogy az időleges szűrés után a képmezőket egy negyedsávos szűrővel függőleges szűrésnek vetjük alá.
  9. 9. Az 1-8. igénypontok bármelyike szerinti eljárás, azzal jellemezve, hogy a vízszintes körvonalakat a bemenőképmezőkön érzékeljük, és az időleges szűrést csak a körvonalak tartományában végezzük.
  10. 10. A 9. igénypont szerinti eljárás, azzal jellemezve, hogy a körvonalak érzékelését gradiensoperátorok alapján végezzük, melyek után eróziós és dilatációs típusú morfológiai műveleteket végzünk.
  11. 11. Előfeldolgozó eszköz mozgásértékelőhöz az 1. igénypont szerinti eljárás alkalmazására, azzal jellemezve, hogy
    - négy egymást követő képmezőt tároló memóriája van,
    - a négy tárolt kapcsolódó képmezőt négy javított képmezővé átalakító függőleges szűrői (9, 10, 11, 12) vannak,
    - két szűrt képmezőt továbbító időleges szűrője (16, 17) van, amely szűrt képmezők közül az elsőt az első három tárolt képmező alapján képzett javított képmezőknek megfelelően, a másodikat az utolsó három tárolt, javított képmezők alapján állítjuk elő, és
    - a mozgásértékelés végrehajtása e két szűrt képmező alapján történik.
  12. 12. A 11. igénypont szerinti előfeldolgozó eszköz, azzal jellemezve, hogy az időleges szűrők (16, 17) után a kimenő-képmezőjeleket szűrő, egymás után kapcsolt negyedsávos függőleges szűrője (18, 20) és negyedsávos vízszintes szűrője (19, 21) van.
HU9801780A 1997-08-04 1998-08-03 Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére HU223981B1 (hu)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR9709941A FR2766946B1 (fr) 1997-08-04 1997-08-04 Procede et dispositif de pretraitement pour estimation de mouvement

Publications (4)

Publication Number Publication Date
HU9801780D0 HU9801780D0 (en) 1998-09-28
HUP9801780A2 HUP9801780A2 (hu) 1999-04-28
HUP9801780A3 HUP9801780A3 (en) 2002-09-30
HU223981B1 true HU223981B1 (hu) 2005-04-28

Family

ID=9509988

Family Applications (2)

Application Number Title Priority Date Filing Date
HU9801730A HU9801730D0 (en) 1997-08-04 1998-07-30 Preprocessing process and device for motion estimation
HU9801780A HU223981B1 (hu) 1997-08-04 1998-08-03 Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére

Family Applications Before (1)

Application Number Title Priority Date Filing Date
HU9801730A HU9801730D0 (en) 1997-08-04 1998-07-30 Preprocessing process and device for motion estimation

Country Status (11)

Country Link
US (1) US6396876B1 (hu)
EP (1) EP0896299B1 (hu)
JP (1) JP4308942B2 (hu)
KR (1) KR100575116B1 (hu)
CN (1) CN1143550C (hu)
DE (1) DE69818174D1 (hu)
FR (1) FR2766946B1 (hu)
HU (2) HU9801730D0 (hu)
ID (1) ID20657A (hu)
MY (1) MY129499A (hu)
ZA (1) ZA986530B (hu)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714258B2 (en) * 2000-03-15 2004-03-30 Koninklijke Philips Electronics N.V. Video-apparatus with noise reduction
US7412002B2 (en) * 2000-04-28 2008-08-12 Texas Instruments Incorporated Image preprocessing with selective lowpass filtering from motion compensation
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7095445B2 (en) * 2000-12-20 2006-08-22 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus
KR100750108B1 (ko) * 2001-03-02 2007-08-17 삼성전자주식회사 비월 비디오 시퀀스에서 반복적 움직임을 검출하기 위한방법 및 장치와 비월 비디오 신호 처리를 위한 장치
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
DE10306555A1 (de) * 2002-03-06 2003-09-18 Siemens Ag Verfahren zur Bearbeitung einer mit einem dynamischen Bildwandler, insbesondere einem Festkörperbilddetektor aufgenommenen Strahlungsbildsequenz bestehend aus mehreren nacheinander aufgenommenen Strahlungsbildern eines Untersuchungsobjekts
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
US7110459B2 (en) * 2002-04-10 2006-09-19 Microsoft Corporation Approximate bicubic filter
US7305034B2 (en) * 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7116831B2 (en) * 2002-04-10 2006-10-03 Microsoft Corporation Chrominance motion vector rounding
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
EP1631068A3 (en) * 2004-08-26 2008-09-03 Samsung Electronics Co., Ltd. Apparatus and method for converting interlaced image into progressive image
US20060182184A1 (en) * 2005-02-11 2006-08-17 Florent Maheo Device and method for pre-processing before encoding of a video sequence
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression
KR101392294B1 (ko) * 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8009932B2 (en) * 2006-09-13 2011-08-30 Providence Engineering and Environmental Group LLC Automatic alignment of video frames for image processing
US9326004B2 (en) 2008-06-03 2016-04-26 Broadcom Corporation Reduced memory mode video decode
KR20130082304A (ko) * 2012-01-11 2013-07-19 한국전자통신연구원 고해상도용 상세단위 움직임 추정 장치
US10305620B2 (en) * 2013-05-03 2019-05-28 Zte (Usa) Inc. Method and apparatuses for algorithm on QAM coherent optical detection
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9942560B2 (en) 2014-01-08 2018-04-10 Microsoft Technology Licensing, Llc Encoding screen capture data
EP3379830B1 (en) * 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5049993A (en) * 1990-10-03 1991-09-17 Bell Communications Research, Inc. Format conversion preprocessing method and circuit
CA2126467A1 (en) 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
KR960012937B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 적응적 전처리 기능을 갖는 영상 부호화 장치
KR0120729B1 (ko) * 1993-11-30 1997-10-22 양승택 공간영역 계층 부호화 장치에서의 움직임 정도 구분 방법
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
KR100282141B1 (ko) * 1993-12-08 2001-02-15 구자홍 영상 부호화기의 시공간 전치 필터
KR960028548A (ko) * 1994-12-29 1996-07-22 배순훈 3차원 대역분할에 의한 영상부호화장치
US5572565A (en) 1994-12-30 1996-11-05 Philips Electronics North America Corporation Automatic segmentation, skinline and nipple detection in digital mammograms
GB2307127B (en) 1995-11-09 2000-01-26 Sony Uk Ltd Controlling signal processing
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US5847772A (en) 1996-09-11 1998-12-08 Wells; Aaron Adaptive filter for video processing applications
US5978823A (en) 1997-01-27 1999-11-02 Hitachi America, Ltd. Methods and apparatus for implementing and controlling a digital modulator
KR100203294B1 (ko) * 1997-02-06 1999-06-15 윤종용 동영상부호화시스템에서의 노이즈 감소를 위한 필터링방법 및 장치

Also Published As

Publication number Publication date
MY129499A (en) 2007-04-30
HUP9801780A2 (hu) 1999-04-28
FR2766946B1 (fr) 2000-08-11
EP0896299B1 (en) 2003-09-17
ZA986530B (en) 1999-02-05
US6396876B1 (en) 2002-05-28
CN1208312A (zh) 1999-02-17
JP4308942B2 (ja) 2009-08-05
FR2766946A1 (fr) 1999-02-05
HUP9801780A3 (en) 2002-09-30
HU9801780D0 (en) 1998-09-28
ID20657A (id) 1999-02-04
KR100575116B1 (ko) 2006-10-19
KR19990023282A (ko) 1999-03-25
HU9801730D0 (en) 1998-09-28
CN1143550C (zh) 2004-03-24
JPH11112943A (ja) 1999-04-23
EP0896299A1 (en) 1999-02-10
DE69818174D1 (de) 2003-10-23

Similar Documents

Publication Publication Date Title
HU223981B1 (hu) Kép-előfeldolgozási eljárás és eszköz a mozgás értékelésére
EP0614312B1 (en) Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
US7269220B2 (en) Adaptive motion detection and control
US6061100A (en) Noise reduction for video signals
EP1383085B1 (en) Modifying motion control signals based on input video characteristics
EP0549471B1 (en) Motion detection and estimation apparatus and method thereof
JP3679324B2 (ja) ビデオエンコーダにおけるピクチャシーケンスの予備処理期間中におけるノイズを減少させるための空間的・時間的フィルタ方法
US7702178B2 (en) Method and apparatus for providing noise reduction
JPH07274044A (ja) 時間可変フィルタ係数を用いたビデオ信号ノイズ低減システムおよびノイズ低減方法
KR20040052195A (ko) 인터레이스 대 프로그레시브 변환을 위한 개량형 에지적응 보간 방법 및 시스템
US4504864A (en) Nonlinear filtering of gray scale images
EP0523924B1 (en) Image signal processing apparatus
JP2826018B2 (ja) ビデオ信号のノイズ低減システム
JP3018377B2 (ja) 動きベクトルを用いた動き内挿方法及び装置
JPH08102873A (ja) フィルタ構造及びろ波方法
JPH10178560A (ja) ノイズ除去回路
JPS61107886A (ja) 動きベクトルの平滑回路
JPH0448030B2 (hu)
MXPA98006263A (en) Process of pre-processing and device for estimation of movimie
JP2003047011A (ja) 動きベクトルを用いる動き補正方法
KR0143986B1 (ko) 영상데이타의 계층적 감축기법에 의한 사전 결정처리방법
KR0142296B1 (ko) 비월/순차주사 변환장치
FR2624680A1 (fr) Procede et dispositif de reduction de la visibilite du bruit sur les images de television
KR920004125B1 (ko) 텔레비젼 수상기에 있어서 한프레임과 두프레임을 이용한 동작 검출회로 및 방식
Lee et al. Efficient scan conversion with edge enhancement and its VLSI architecture

Legal Events

Date Code Title Description
HFG4 Patent granted, date of granting

Effective date: 20050304