FI86681C - Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal. - Google Patents

Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal. Download PDF

Info

Publication number
FI86681C
FI86681C FI904716A FI904716A FI86681C FI 86681 C FI86681 C FI 86681C FI 904716 A FI904716 A FI 904716A FI 904716 A FI904716 A FI 904716A FI 86681 C FI86681 C FI 86681C
Authority
FI
Finland
Prior art keywords
sample
samples
interpolated
new
video signal
Prior art date
Application number
FI904716A
Other languages
English (en)
Swedish (sv)
Other versions
FI86681B (fi
FI904716A (fi
FI904716A0 (fi
Inventor
Ari Nieminen
Tero Koivunen
Arto Lehtonen
Original Assignee
Salora Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Salora Oy filed Critical Salora Oy
Priority to FI904716A priority Critical patent/FI86681C/fi
Publication of FI904716A0 publication Critical patent/FI904716A0/fi
Priority to EP19910116154 priority patent/EP0477822A3/en
Publication of FI904716A publication Critical patent/FI904716A/fi
Application granted granted Critical
Publication of FI86681B publication Critical patent/FI86681B/fi
Publication of FI86681C publication Critical patent/FI86681C/fi

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/0202Two or more dimensional filters; Filters for complex signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/17Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Description

j 86681
Menetelmä näytejonomuodossa tulevan digitaalisen videosignaalin muokkaamiseksi - Förfarande för behandling av en i samplingsradform inkommande digital videosignal 5
Keksintö koskee menetelmää, jolla parannetaan vastaaanotetun näytejonomuodossa olevan videosignaalin ominaisuuksia, kun vastaanotettu videosignaali käsittää vain osan alkuperäisestä videosignaalista.
10
Useissa uusissa televisiojärjestelmissä käytetään videosignaalia, jonka kaistanleveys on suurempi kuin nykyisissä televisiojärjestelmissä käytettävä kaistanleveys. Varsinaisen videoinformaation ohella samalla kaistalla lähetetään 15 muutakin tietoa, esimerkiksi tietoa lähetettävän televisiokuvan sisältämästä liikkeestä. Otettaessa uusia järjestelmiä käyttöön olisi ainakin alkuvaiheessa taloudellisesti edullista käyttää nykyisiä järjestelmiä hyväksi niin pitkälle kuin mahdollista ja tämän takia näiden uusien järjestelmien 20 videosignaali olisi voitava lähettää käyttäen nykyisiä televisiolähetyksille varattuja kanavia. Tämän vuoksi on uusien järjestelmien videosignaalin kaistanleveyttä rajoitettava jollakin tavalla, jotta se voidaan lähettää nykyisillä kanavilla.
25
Eräs tällainen uusi televisiojärjestelmä on Eureka95 HDTV-järjestelmä, jossa videosignaalin lisäksi lähetetään myös liiketietoa. Lähetettävää videosignaalia kompressoidaan käyttäen apuna tätä liiketietoa. Lähettimessä suoritetaan 30 videosignaalin alinäytteenotto, jonka tuloksena lähetettävä videosignaali sopii kaistanleveydeltään nykyisin käytössä oleviin televisiokanaviin. Vastaanotettua videosignaalia on muokattava vastaanottimessa jollakin tavalla, jotta saadaan kaistanleveydeltään alkuperäinen signaali. Tähän 35 tarkoitukseen käytetään vastaanottimessa erityisiä signaa-linmuokkauspiirejä, nk. interpolaattoreita, jotka toteuttavat tarvittavan muokkausoperaation. Interpolaattoripiirit muokkaavat näytteistettyä videosignaalia muodostaen täysin 2 86681 uusia näytteitä vastaanotettujen näytteiden väliin. Uudet näytteet lasketaan kunkin televisiokuvan sisällä. Kuvassa 1 on esitetty ns. quincunx-näytteenottokuvio, joka on fragmentti kolmesta peräkkäisestä juovasta. Siinä vierekkäisten 5 juovien näytteet (kuvapisteet) ovat siirretyt pystytasossa toisiinsa nähden. Interpoloitava kuvapiste on merkitty o:11a ja tunnetut, vastaanotetusta videosignaalista saadut välittömästi naapurissa olevat kuvapisteet on merkitty x:llä. Tässä näyttenottokuviossa tunnettuja naapurinäytteitä on 10 neljä. Kolmiulotteisessa ympäristössä tunnettuihin naapu- rinäytteisiin luetaan lisäksi edellisen ja seuraavan kentän pisteitä. Interpoloitava uusi kuvapiste o lasketaan jollakin tunnetulla menetelmällä. On selvää, että interpolointi vaatii juova- ja kuvamuistia sitä enemmän, mitä enemmän 15 näytteitä aika-avaruudessa otetaan mukaan interpolointiin.
Vastaanottimessa muodostetun kuvan laatu riippuu suuresti mainittujen interpolaattoripiirien toiminnasta. Nykyisissä järjestelmissä, kuten Eureka95 HDTV-järjestelmässä, ovat 20 käytetyt interpolaattoripiirit kiinteitä ja ne toimivat saman, valitun menetelmän mukaisesti riippumatta siitä, mikä on käsiteltävän videosignaalin sisältö. Epätyydyttäväs-ti suoritettu puuttuvien kuvapisteiden interpolaatio ilmenee vastaanottimen näyttämän televisiokuvan epäterävyytenä, 25 kuvan yksityiskohtien epäyhtenäisyytenä ja katkoksina tai vääristyminä. Hankalia ovat etenkin kohdat, jotka ovat kuvassa näytettävien erilaisten viivojen ja reunojen kohdalla.
Esillä oleva keksintö esittää tavan, jolla tunnettujen 30 interpolointimenetelmien aiheuttamia virheitä televisiokuvassa voidaan vähentää. Tämä tapahtuu parantamalla vastaanottimessa näytetyn signaalin ominaisuuksia keksinnön mukaisella interpolointimenetelmällä, jossa interpolaatiopiirit muokkaavat vastaanotettua videosignaalia sen muutoksiin 35 mukautuvan algoritmin mukaan.
Keksinnön mukaiselle menetelmälle ja menetelmän toteuttaval- l! 3 86681 le piirille on tunnusomaista se, mitä on sanottu patenttivaatimuksessa 1.
Videosignaalin muokkaamiseen käytetty interpolaattorirakenne 5 ei ole kiinteä, vaan interpolointimenetelmä valitaan piirin sisällä sen mukaan minkälainen on muokkauksen kohteena olevan videosignaalin sisältämä kuvainformaatio. Keksinnön mukaiseen menetelmään sisältyy siten päätöksenteko-ominaisuus. Tällä ominaisuudella pyritään aluksi hahmottamaan 10 interpoloitavan kuvapisteen ympäristö määrittämällä sen sisältämät piirteet, kuten erilaiset muodot sekä erilaisten viivojen ja reunojen suunnat tarkemmin. Toisin sanoen pyritään saamaan selville, onko muodostettava kuvapiste osa esimerkiksi vaaka-, pysty- tai diagonaalisuuntaista reunaa. 15 Kun kuvapisteen ympäristö on hahmoteltu, voidaan saadun tiedon perusteella valita puuttuvan näytteen laskentaan sopivin menetelmä ja piiri. Videosignaalista otettava näyt-teenottokuvio voi olla tunnettu quincunx-kuvio joko kaksi-tai kolmiulotteisena.
20
Keksintöä selostetaan havainnollisemmin viittamalla oheisiin kuviin, joissa kuva 1 esittää tunnettua quincunx-näytteenottokuviota, jossa on neljä tunnettua naapurikuvapistettä, 25 kuva 2 esittää erästä keksinnön mukaisessa menetelmässä käytettävää laajennettua näytteenottokuviota, kuva 3 on periaatteellinen lohkokaavio menetelmässä käytettävästä piiristä, ja kuva 4 on periaatteellinen lohkokaavio menetelmässä 30 käytettävästä toisesta piiristä.
Keksinnön mukaisessa menetelmässä näytteistetyn videosignaalin interpoloitava näyte, kuvapiste, muodostetaan välittömien tunnettujen naapurinäytteiden avulla. Kuvan 2 esittämä 35 menetelmässä käytettävä quincunx-näytteenottokuvio on laajennettu kuvan 1 esittämästä tunnetusta kuviosta ottamalla siihen lisää kuvapisteitä naapurustosta. Kuvassa on x tunnettu kuvapiste ja o on interpoloitava kuvapiste. Interpo- 4 8 6 6 81 loitavan kuvapisteen sisältävän juovan lisäksi tarvitaan siis kuvapistetiedot edelliseltä ja seuraavalta juovalta.
Jos halutaan laajentaa kuviota kolmiulotteiseksi, tarvitaan tällöin tiedot edellisen ja seuraavan kuvakentän kuva-5 pisteistä. Tässä esimerkissä rajoitutaan kuitenkin kaksiulotteiseen tapaukseen.
Kuvassa 1 ja 2 esitetty interpoloitava kuvapiste o lasketaan kuvan 3 tai 4 mukaisella piirillä. Nämä piirit esittävät 10 keksinnön soveltamista HDTV-järjestelmään. Kuvan 3 ja 4 mukaisessa piirissä on sisäänmenosignaali In alinäytteistet-ty videosignaali, joka voi olla vaaka-pystytasossa kuvan 1 ja kuvan 2 x-kuvapisteiden mukainen eli jokaiselta juovalta kuuluu näytteistykseen joka toinen kuvapiste ja juovien 15 kuvapisteet ovat kuvien mukaisesti siirrettynä toistensa suhteen. Sisäänmenon näytteet x ovat siis peräisin samasta televisiokuvasta.
Kuvan 3 mukaisesti muodostetaan kuvan 1 ja kuvan 2 mukainen 20 näyteavaruus eli interpoloitavan kuvapisteen tunnettujen kuvapisteiden x naapurusto alinäytteistetystä signaalijonosta In viivelohkoilla 60, 70. Viivelohko 60 on näytteenvii-västyspiiri ja viivelohko 70 on juovanviivästyspiiri. Ylinnä olevasta kolmen peräkkäisen juovanviivästyspiirin 70 kusta-25 kin lähdöstä saadaan kuvan 2 ylimmäisen juovan kolme tunnettua kuvapistettä, keskimmäisestä kolmen juovanviivästyspiirin 70 lähdöstä ja ketjun tulosta saadaan kuvan 2 keskimmäisen juovan neljä tunnettua kuvapistettä ja alimmaisesta kolmen juovanviivästyspiirin 70 ketjusta saadaan, vastaavas-30 ti kuten ylimmästä ketjusta, kuvan 2 alimman juovan kuva- pisteet. Nämä näytteet, jotka siis edustavat kuvan 2 tunnettuja pisteitä x, johdetaan ohjauslohkoon 10.
Vain osa saaduista kuvan 2 mukaisesta näytekuvion kuvapis-35 tenäytteistä x eli ne kuvapistenäytteet, jotka vastaavat interpoloitavan kuvapisteen lähimpiä naapureita (siis kuvan 1 tunnetut x-pisteet) johdetaan ali-interpolaatiolohkoihin 30, 40 ja 50. Lohkoissa 30 ja 40 suoritetaan keskiarvosuoda- 5 86681 tus, mutta eri kuvapistenäytteille ja lohkossa 50 mediaani-suodatus: lohkossa 30 keskiarvosuodatuksen kohteena on kuvan 1 mukaisen näytteenottokuvion keskimmäisen juovan kaksi tunnettua kuvapistenäytettä, lohkon 40 keskiarvosuodatus 5 kohdistuu kuvan 1 mukaisen näytteenottokuvion ylimmän ja alimman juovan kuvapisteisiin ja lohkossa 50 suoritetaan mediaanisuodatus, jonka kohteena ovat kaikki kuvan 1 mukaiset neljä näytettä x. Ali-interpolaatiolohkot tuottavat kukin tietyn interpoloidun kuvapiste-ehdokkaan, joka viedään 10 valintalohkoon 20.
Kuten edellä mainittiin, tulevat ohjauslohkoon 10 kaikkia kuvan 2 x-kuvapisteitä edustavat näytteet. Näistä näytteistä logiikkapiirein toteutettu ohjauslohko pystyy hahmottelemaan 15 interpoloitavan pisteen ympäristöä, etenkin sitä, sijaitseeko se vaaka-, pysty- tai mahdollisesti diagonaalisella reunaalueella. Ohjauslohko 10 antaa tästä tiedon valintaloh-kolle 20, joka ohjauslohkon 10 antaman tiedon perusteella valitsee parhaan lohkojen 30, 40 tai 50 tuottamista interpo-20 loiduista kuvapiste-ehdokkaista. Tämä valittu kuvapiste-eh-dokas, joka on nyt uusi näyte, johdetaan sitten valintaloh-kon ulostuloon ja yhdistetään alkuperäiseen näytejonoon, jolloin saadaan leveäkaistainen videosignaali, josta osa on interpoloitu vastaanottimessa.
25
Toinen keksinnön mukainen suoritusmuoto on esitetty kuvassa 4. Tämä eroaa kuvan 3 piiristä siten, että lohkojen 30, 40, 50 rinnalle on lisätty lohko 80. Kaikki nämä lohkot toimivat pelkästään kytkiminä ja yksi lohko antaa aina yhden 30 interpoloitavan kuvapisteen tunnetun naapuripisteen x, kuten on esitetty kuvassa 1, eli näistä lohkoista johdetaan ohjaussignaalin valintalohkoon quincunx-näytteenottokuvion kuvassa 1 esitetyt tunnetut näytteet. Ohjauslohkoon 10 on tässä lisätty mediaanioperaation suorittava piiri sekä 35 piiri, joka laskee ulostuloonsa jonkin sisäänmenojensa lineaarikombinaation. Valintalohko 20 valitsee ohjauslohkon 10 ohjaussignaalin ohjaamana uudeksi interpoloiduksi kuva- 86681 6 pisteeksi jonkin sen välittömistä tunnetuista naapuripis-teistä tai kuvapisteen, joka on saatu laajennetulle naapurustolle (kuva 2) suoritetusta lineaari- ja/tai mediaaniope-raatiosta.

Claims (4)

7 86681
1. Menetelmä näytejonomuodossa tulevan digitaalisen videosignaalin puuttuvien näytteiden interpoloimiseksi, kun viive-elimillä (60, 70) muodostetaan näyteavaruus, joka 5 käsittää välittömästi interpoloitavan uuden näytteen vieressä olevien tunnettujen näytteiden lisäksi myös niiden ulkopuolella olevia tunnettuja näytteitä, jolloin näytteet ovat peräkkäisillä juovilla ja kolmiulotteisessa näyteavaruudessa myös edeltävien ja seuraavien televisiokuvien vastaavilta 10 juovilta, tunnettu siitä, että - välittömästi interpoloitavan uuden näytteen vieressä olevat tunnetut näytteet johdetaan useaan ali-interpolaatio elimeen (30, 40, 50, 80), joissa samanaikaisesti muodostetaan uusia puuttuvia näyte-ehdokkaita käyttäen keskiarvosuo- 15 datusta ja mediaanisuodatusta, jolloin kunkin elimen (30, 40, 50, 80) suorittama muokkausaIgoritmi on kiinteä, ja - muodostetut näyte-ehdokkaat johdetaan valintaelimeen (20), - välittömästi interpoloitavan uuden näytteen vieressä olevat tunnetut näytteet sekä joukko niiden ulkopuolella 20 olevia tunnettuja näytteitä johdetaan interpoloitavan näytteen ympäristöä hahmottavaan ohjauselimeen (10), joka siihen tulevien näytteiden perusteella muodostaa ohjaussignaalin, joka viedään valintaelimeen (20), - valinta-elin (20) valitsee ohjaussignaalin ohjaamana 25 uudeksi interpoloiduksi näytteeksi yhden ali-interpolaa- tioelimien (30, 40, 50, 80) lähdöistä, minkä jälkeen tämä liitetään alkuperäiseen videosignaalin näytejonoon.
2. Patenttivaatimuksen 1 mukainen menetelmä, t u n -30 n e t t u siitä, että näyteavaruus on kaksiulotteinen ja että ensimmäisen interpolaatioelimen (30) keskiarvosuodatuk-sen kohteena ovat samalla juovalla olevat kaksi tunnettua näytettä, toisen interpolaatioelimen (40) keskiarvosuodatuk-sen kohteena ovat mainittua juovaa edeltävän ja sitä seuraa-35 van juovan tunnetut näytteet, ja kolmannen interpolaatioelimen (50) mediaanisuodatuksen kohteena ovat kaikki mainitut keskiarvosuodatuksen kohteena olevat näytteet.
8 B6681
3. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että näyteavaruus on kaksiulotteinen ja että interpolaatioelimet (30, 40, 50, 80) toimivat kytkiminä, joiden antona on yksi tunnetuista näytteistä, ja että 5 ohjauselimeen (10) kuuluu mediaanioperaation ja/tai lineaa-rioperaation suorittava elin, jonka kohteena ovat kaikki tunnetut näytteet, jolloin valintaelin (20) valitsee uudeksi interpoloiduksi näytteeksi jonkin kytkineliminä toimivien interpolaatioelimien (30, 40, 50, 80) annoista tai medi-10 aanioperaation ja/tai lineaarioperaation suorittavan elimen annon.
4. Jonkin edeltävän patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että digitaalinen videosignaali 15 on Eureka95 HDTV-järjestelmän mukainen videosignaali. 9 86681
FI904716A 1990-09-25 1990-09-25 Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal. FI86681C (fi)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FI904716A FI86681C (fi) 1990-09-25 1990-09-25 Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal.
EP19910116154 EP0477822A3 (en) 1990-09-25 1991-09-23 Method for processing an incoming digital video signal which is in the form of a sampling train

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI904716 1990-09-25
FI904716A FI86681C (fi) 1990-09-25 1990-09-25 Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal.

Publications (4)

Publication Number Publication Date
FI904716A0 FI904716A0 (fi) 1990-09-25
FI904716A FI904716A (fi) 1992-03-26
FI86681B FI86681B (fi) 1992-06-15
FI86681C true FI86681C (fi) 1992-09-25

Family

ID=8531114

Family Applications (1)

Application Number Title Priority Date Filing Date
FI904716A FI86681C (fi) 1990-09-25 1990-09-25 Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal.

Country Status (2)

Country Link
EP (1) EP0477822A3 (fi)
FI (1) FI86681C (fi)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438233B2 (ja) * 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
EP2596635B1 (en) 2010-07-19 2020-05-20 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2921124A (en) * 1956-12-10 1960-01-12 Bell Telephone Labor Inc Method and apparatus for reducing television bandwidth

Also Published As

Publication number Publication date
EP0477822A3 (en) 1992-09-16
FI86681B (fi) 1992-06-15
FI904716A (fi) 1992-03-26
FI904716A0 (fi) 1990-09-25
EP0477822A2 (en) 1992-04-01

Similar Documents

Publication Publication Date Title
US20210235115A1 (en) Intra prediction method and apparatus using the method
EP0395293B1 (en) Motion estimator
KR100276789B1 (ko) 디지탈 데이타 변환 장치 및 방법
JP2968838B2 (ja) 画像列の動作を予測しかつ階層的コード化を行う方法及び装置
KR100905880B1 (ko) 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
KR100708091B1 (ko) 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JPH10327415A (ja) 動きベクトル検出装置
KR100731722B1 (ko) 화소보간장치, 화소보간방법, 및 프로그램 및 기록매체
US5371606A (en) Image encoding apparatus
KR100285599B1 (ko) 격행 부호화에서의 움직임 추정을 위한 텍스쳐 패딩 장치 및그 패딩 방법
CN109644267A (zh) 视频信号处理方法和装置
GB2283385A (en) Motion compensated video signal processing
EP0626788B1 (en) Video images decoder architecture for implementing a 40 ms processing algorithm in high definition televisions
KR19990009714A (ko) 스케일러빌리티를 구현한 이진 형상 신호 부호화 장치 및 방법
US5386248A (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
FI86681C (fi) Foerfarande foer behandling av en i samplingsradform inkommande digital videosignal.
FI88091C (fi) Foerfarande och anordning foer digital interpolering av en pixel
JP4321468B2 (ja) 動画像符号化装置及び動画像復号化装置
EP3886432B1 (en) Inter-component prediction
JPH06326980A (ja) 動き補償映像信号処理方式
JP3800638B2 (ja) 画像情報変換装置および方法
KR100225065B1 (ko) 가산투영을 이용한 2단계 블럭정합 움직임 추정기
JP3585628B2 (ja) 動きベクトル検出装置
EP0474272A1 (en) Method and apparatus for reducing motion estimator hardware and data transmission capacity requirements in video systems
JPH0748852B2 (ja) 3次元補間フィルタ

Legal Events

Date Code Title Description
MM Patent lapsed

Owner name: SALORA OY