ITTO20100931A1 - "procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico" - Google Patents

"procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico" Download PDF

Info

Publication number
ITTO20100931A1
ITTO20100931A1 IT000931A ITTO20100931A ITTO20100931A1 IT TO20100931 A1 ITTO20100931 A1 IT TO20100931A1 IT 000931 A IT000931 A IT 000931A IT TO20100931 A ITTO20100931 A IT TO20100931A IT TO20100931 A1 ITTO20100931 A1 IT TO20100931A1
Authority
IT
Italy
Prior art keywords
noise
pixel signals
filtering
noise level
pixel
Prior art date
Application number
IT000931A
Other languages
English (en)
Inventor
Daniele Alfonso
Original Assignee
St Microelectronics Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by St Microelectronics Srl filed Critical St Microelectronics Srl
Priority to ITTO2010A000931A priority Critical patent/IT1403150B1/it
Priority to US13/302,174 priority patent/US8687095B2/en
Publication of ITTO20100931A1 publication Critical patent/ITTO20100931A1/it
Application granted granted Critical
Publication of IT1403150B1 publication Critical patent/IT1403150B1/it

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

DESCRIZIONE dell’invenzione industriale dal titolo:
"Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informaticoâ€
TESTO DELLA DESCRIZIONE
Campo tecnico
La presente descrizione si riferisce al trattamento di segnali video digitali.
Varie forme di attuazione possono riferirsi al filtraggio del rumore in sequenze di immagini video digitali.
Sfondo tecnologico
I dispositivi mobili in grado di acquisire immagini -quali ad esempio i telefoni 3G, i camcorders, gli i-Phone® ecc. - comprendono un sensore di immagine integrato (ad esempio un sensore di immagini CMOS) accoppiato ad un codificatore video digitale.
In varie forme di attuazione, un sensore di immagini, quale ad esempio un sensore CMOS, può comprendere una matrice di sensori attivi di pixel (Active Pixel Sensor o APS), ciascuno comprendente un elemento convertitore fotoelettrico, quale ad esempio un fotodiodo od un fototransistore, in grado di convertire i fotoni in ingresso in una corrente elettrica d'uscita. Una tale corrente può essere utilizzata per caricare una capacità e generare una differenza di potenziale corrispondente al segnale luminoso in ingresso. Questo segnale analogico può poi essere convertito in forma digitale ed elaborato da un processore quale ad esempio un cosiddetto Image Sensor Pipeline, o ISP. E’ così possibile ottenere in uscita un’immagine digitale, suscettibile di essere inviata ad un codificatore video digitale per essere sottoposta ad un'operazione di compressione.
Una possibile forma di attuazione à ̈ schematicamente rappresentata nella figura 1, dove il riferimento 10 indica il sensore di immagine e su cui incide il segnale luminoso LS, mentre il riferimento 12 indica il processore destinato a produrre in uscita un'immagine digitale I. L'immagine I à ̈ inviata al codificatore 14 che genera alla sua uscita un corrispondente bitstream BS.
Il segnale generato da un sensore quale il sensore 10 (ad esempio CMOS) Ã ̈ influenzato da due tipi principali di rumore: rumore termico e rumore impulsivo (shot noise).
Il rumore termico (talvolta indicato anche come rumore Johnson-Nyquist) à ̈ generato dall'agitazione termica che induce un moto browniano negli elettroni che scorrono in un semiconduttore, determinando così una fluttuazione casuale del potenziale elettrico. Il rumore termico à ̈ essenzialmente modellabile come un rumore bianco, ossia come rumore che copre idealmente l'intero spettro di frequenza. Così come ben noto, il rumore termico può essere modellato dal punto di vista analitico sotto forma di una variabile/processo casuale con una funzione di distribuzione di probabilità di tipo gaussiano la cui varianza esprime la potenza del rumore termico.
Il rumore impulsivo o shot noise si determina quando il numero finito delle particelle che portano energia - come à ̈ il caso degli elettroni che scorrono attraverso una giunzione in un semiconduttore, o i fotoni in un dispositivo ottico -sono in numero così ridotto da far sì che le oscillazioni nel loro numero determinino una fluttuazione misurabile nel segnale corrispondente.
In condizioni di illuminazione ridotta oppure quando le dimensioni del sensore di pixel o APS sono particolarmente ridotte (una situazione piuttosto corrente oggigiorno quando il numero di megapixel nei sensori di immagine cresce costantemente) il numero di fotoni in arrivo su ciascun sensore di pixel o APS può essere molto ridotto, per cui la fotocorrente (vale a dire la corrente elettrica generata dal convertitore fotoelettrico, ad esempio un fototransistore) à ̈ influenzata dal rumore impulsivo.
Trattandosi di una fluttuazione casuale associata a un evento discreto, il rumore impulsivo può essere modellato dal punto di vista analitico come una variabile/processo casuale con distribuzione di Poisson, definita da una funzione di probabilità del tipo:
l<k>-<l>
f (k, l ) =<e>
k !
Un processo casuale “poissoniano†presenta tanto media quanto varianza pari a λ.
Il rumore “poissoniano†dipende dal numero di fotoni in ingresso ed à ̈ dunque correlato al segnale d'ingresso, mentre questo non accade per il rumore gaussiano. Questo implica il fatto che segmenti diversi in una sequenza di immagini digitali possano contenere quantità diverse di rumore, per cui, per essere efficace, il filtraggio del rumore poissoniano deve tenere in conto questo fenomeno.
Mentre la letteratura propone un'ampia gamma di soluzioni dedicate al filtraggio del rumore gaussiano, un’attenzione relativamente ridotta à ̈ stata sinora dedicata al problema del filtraggio del rumore poissoniano, con un numero abbastanza ristretto di metodi sino ad ora proposti.
L’inventore ha avuto modo di rilevare che in molte applicazioni pratiche il rumore generato da un sensore quale il sensore 10 qui considerato viene filtrato approssimandolo con un semplice processo casuale gaussiano, applicando quindi allo stesso pertanto tecniche note per il filtraggio del rumore bianco.
Al riguardo, l'inventore ha osservato che una variabile/processo casuale di tipo gaussiano rappresenta in realtà un'approssimazione molto grossolana del rumore suscettibile di influenzare un sensore quale sensore 10 qui considerato.
Il rumore può avere un effetto molto negativo nella codifica dei segnali video digitali per almeno due diverse ragioni.
In primo luogo, il rumore determina un deterioramento della qualità percepita del segnale video, per cui – a parità di passo di quantizzazione – un video contenente rumore à ̈ percepito come decisamente peggiore rispetto allo stesso segnale video senza rumore.
In secondo luogo, il rumore introduce nel segnale video frequenze elevate sia a livello spaziale, sia a livello temporale, e questo rende più difficile la compressione dal momento che la correlazione fra i pixel à ̈ compromessa. Per comprimere il segnale, il processo di codifica video sfrutta infatti la correlazione fra pixel; di conseguenza, ancora una volta a parità di passo di quantizzazione, un flusso o stream compresso corrispondente ad un segnale video affetto da rumore finisce per richiedere un bit-rate più elevato rispetto a quello altrimenti richiesto dallo stesso segnale video in assenza di rumore.
Conviene ancora ricordare il fatto che la quantizzazione influenza in misura rilevante il fattore di compressione in un sistema di codifica video di tipo “lossy†, ossia un sistema in cui si ha una perdita di qualità rispetto al segnale originale.
La quantizzazione ha infatti un effetto assimilabile a quello di un filtraggio bassa-basso per le frequenze spaziali, con la conseguente eliminazione delle frequenze più elevate meno visibili per l'occhio umano.
Ad esempio, la ben nota tecnica di codifica video digitale H. 264/MPEG-4 AVC utilizza un parametro di quantizzazione QP che abbraccia il campo compreso fra 1 e 51, dove 1 corrisponde alla compressione minima (e di conseguenza ad un bit-rate più elevato e una qualità più elevata), mentre 51 corrisponde alla compressione massima (e pertanto ad un bit-rate più basso e ad una qualità più bassa).
Bisogna anche ricordare che lo spettro di un segnale video di tipo naturale (ovvero non sintetico o creato artificialmente) à ̈ caratterizzato da componenti di bassa frequenza spaziale e temporale, mentre il rumore risiede nelle frequenze più alte dello spettro.
Per tale motivo i filtri anti-rumore ricadono genericamente nella categoria dei filtri non lineari di tipo passa-basso, la cui funzione à ̈ quella di applicare un fattore di attenuazione alle componenti di alta frequenza.
Per una generale rassegna sui temi delineati in precedenza si può far utilmente riferimento ai seguenti documenti:
[1] A. Borneo, L. Salinari, “Process for estimating the noise level in sequences of images and a device therefor†, US2001033692, EP1126729.
[2] A.Borneo, L. Salinari, “Spatio-temporal filtering method for noise reduction during a pre-processing of picture sequences in video encoders†, US6657676, EP1100260, JP2001186379.
[3] ITU-T and ISO/IEC JTC 1, “Advanced Video Coding for Generic Audio-Visual Services†, ITU-T Rec. H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), Version 11, March 2009.
[4] A. Borneo, L. Salinari, D. Sirtori, “An Innovative Adaptive Noise Reduction Filter for Moving Pictures Based on Modified Duncan Range Test†, ST Journal of System Research, No. 0, July 2003.
[5] “Method of processing an image in which the noise is signal-dependent†, Inventors: Raoul Florent, Sherif Makram-Ebeid, Christel Soyer, Assignee: U.S. Philips Corporation, Patent number: 6256403, Filing date: 8 Dec 1998, Issue date: 3 Jul 2001.
[6] “Adaptive noise reduction filter for reconstructed images†, Inventors: Kenneth S. Denison, William Sattin, Assignees: Picker International, Inc., Patent number: 4761819, Filing date: 27 Feb 1987, Issue date: 2 Aug 1988.
[7] “Image processing method and apparatus, recording medium and imaging apparatus†, Inventor: Tetsuo Ogino, Assignee: GE Medical Systems Global Technology Company LLC, Patent number: 6985613, Filing date: 8 Oct 2001, Issue date: 10 Jan 2006.
[8] “Method and apparatus for noise reduction†, Inventors: Pieter Vuylsteke, Piet Dewaele, Assignee: Agfa-Gevaert, Patent number: 5461655, Filing date: 11 Jun 1993, Issue date: 24 Oct 1995.
[9] “Method for removing noise in image using statistical information and system thereof†, Inventor: Seong-Won Lee, Application number: 11/336,290, Publication number: US 2008/0144958 A1, Filing date: 20 Jan 2006.
[10] “Method of adaptive noise smoothing/restoration in spatio-temporal domain and high-definition image capturing thereof†, Inventors: In-Keon Lim, Moon-Gi Kang, Sung-Cheol Park, Application number: 10/344,477, Publication number: US 2003/0189655 A1, Filing date: 22 May 2003.
[11] G.Wang, Z.Wanag, M.Xie, Y.Li, “Variation-Based Approach to Restoring Blurred Images Corrupted by Poisson Noise†, Proc.ICSP 2006.
[12] K.Timmermann, R.D.Novak, “Multiscale Modeling and Estimation of Poisson Processes with Application to Photon-Limited Imaging†, IEEE Trans. on Inf.Theory, VOL.
45, NO. 3, April 1999.
Scopo e sintesi
Alla luce di quanto detto in precedenza, emerge che tecniche di filtraggio dedicate in modo specifico al rumore impulsivo (modellabile come processo di Poisson) potrebbero comportare vantaggi notevoli.
In particolare, considerando il duplice effetto negativo del rumore sulla codifica a video digitale, sarebbe auspicabile disporre di una soluzione in grado di superare gli inconvenienti intrinseci delle soluzioni basate sul criterio di modellare come processo gaussiano il rumore di un sensore ottico (ad esempio un sensore CMOS), così da poter disporre di tecniche specificatamente destinate alla riduzione di una tale rumore poissoniano.
Secondo l'invenzione, tale scopo à ̈ raggiunto grazie ad un procedimento avente le caratteristiche richiamate in modo specifico nelle rivendicazioni che seguono. L’invenzione riguarda anche un corrispondente dispositivo nonché un prodotto informatico caricabile nella memoria di almeno un elaboratore e comprendente parti di codice software suscettibili di realizzare le fasi del procedimento quando il prodotto à ̈ eseguito su almeno un elaboratore. Così come qui utilizzato, il riferimento ad un tal prodotto informatico à ̈ inteso essere equivalente al riferimento ad un mezzo leggibile da elaboratore contenente istruzioni per il controllo del sistema di elaborazione per coordinare l’attuazione del procedimento secondo l'invenzione. Il riferimento ad "almeno ad un elaboratore" à ̈ evidentemente inteso a mettere in luce la possibilità che la presente invenzione sia attuata in forma modulare e/o distribuita.
Le rivendicazioni formano parte integrante dell'insegnamento tecnico qui somministrato in relazione all’invenzione.
In varie forme di attuazione, si propone una tecnica per il filtraggio del rumore applicabile a sequenze di immagini video digitali con lo scopo di migliorare l'efficienza della successiva compressione video digitale.
In varie forme di attuazione, il procedimento può essere dedicato in modo specifico al filtraggio del rumore generato da sensori di immagine quali ad esempio sensori CMOS, il quale rumore à ̈ modellabile, più che ricorrendo al modello tradizionale del rumore gaussiano bianco additivo (Additive White Gaussian Noise o AWGN), come un processo con distribuzione statistica poissoniana correlata al segnale.
In varie forme di attuazione, le tecniche correnti di filtraggio del rumore gaussiano bianco possono essere utilizzate in modo innovativo così da conseguire una efficiente rimozione del rumore poissoniano.
Breve descrizione delle figure
L'invenzione sarà ora descritta, a puro titolo di esempio non limitativo, con riferimento alle figure annesse, in cui:
- la figura 1 à ̈ già stata descritta in precedenza,
- la figura 2 rappresenta schematicamente un modello di rumore posto alla base di varie forme di attuazione, e
- la figura 3 Ã ̈ uno schema a blocchi di una forma di attuazione.
Descrizione particolareggiata
Nella seguente descrizione sono illustrati vari dettagli specifici finalizzati ad un’approfondita comprensione delle forme di attuazione. Le forme di attuazione possono essere realizzate senza uno o più dei dettagli specifici, o con altri metodi componenti materiali, etc. In altri casi, strutture, materiali o operazioni noti non sono mostrati o descritti in dettaglio per evitare di rendere oscuri i vari aspetti delle forme di attuazione.
Il riferimento ad “una forma di attuazione†nell’ambito di questa descrizione sta ad indicare che una particolare configurazione, struttura o caratteristica descritta in relazione alla forma di attuazione à ̈ compresa in almeno una forma di attuazione. Quindi, frasi come “in una forma di attuazione†, eventualmente presenti in diversi luoghi di questa descrizione non sono necessariamente riferite alla stessa forma di attuazione. Inoltre, particolari conformazioni, strutture o caratteristiche possono essere combinate in ogni modo adeguato in una o più forme di attuazione.
I riferimenti qui utilizzati sono soltanto per comodità e non definiscono dunque l’ambito di tutela o la portata delle forme di attuazione.
Così come già indicato in precedenza, il rumore generato da un sensore video 10 (quale ad esempio un sensore CMOS) comprende due componenti principali, vale a dire rumore termico e rumore impulsivo (shot noise).
La prima componente di rumore può essere modellata come un processo casuale ngcon deviazione standard σgcon distribuzione gaussiana, mentre il secondo può essere approssimato come un processo casuale npcon distribuzione di Poisson con deviazione standard σpdipendente dal segnale d'ingresso sulla base della formula che segue, in cui f à ̈ il segnale ed α à ̈ un fattore moltiplicativo definente l'intensità del rumore:
sp= a . f
Il rumore di un sensore quale il sensore 10 può quindi essere modellato così come schematicamente rappresentato nella figura 2.
In tale rappresentazione, il segnale di immagine digitale non affetto da rumore può essere rappresentato come una matrice di campioni f (x,y) mentre la corrispondente immagine affetta da rumore può essere rappresentata da una matrice
f<ˆ>(x,y)=f (x,y)+np (σp )+n (gσg)
dove per σpvale l'espressione richiamata in precedenza. In altre parole, la matrice rappresentativa dell'immagine affetta da rumore può essere vista, secondo lo schema funzionale della figura 2, come derivante dall’aggiunta all'immagine priva di rumore f(x,y), di due contributi di rumore applicati in rispettivi nodi di somma 101 e 102, ossia:
- un primo contributo o componente di rumore np(σp) corrispondente al rumore impulsivo (processo poissoniano) rappresentato dal blocco 103 e funzionalmente legato al segnale f(x,y), e
- un secondo contributo o componente di rumore ng(σg) corrispondente al rumore termico gaussiano rappresentato dal blocco 104 e che, in generale, non presenta dipendenza funzionale dal segnale f(x,y).
L'inventore ha rilevato che le soluzioni di filtraggio di impiego corrente mirano in via principale a filtrare la componente gaussiana (rumore termico), ossia la componente ng.
In varie forme di attuazione può essere previsto di puntare l'attenzione sulla componente np. In varie forme di attuazione, si può prevedere di approssimare localmente (ossia pixel-per-pixel) la variabile/processo casuale npsotto forma di una variabile/processo casuale gaussiano la cui varianza (e dunque la deviazione standard) dipende dal valore corrente del pixel.
In varie forme di attuazione, possono pertanto tecniche dedicate al rumore gaussiano per filtrare in modo efficace il rumore impulsivo modellabile come un processo di Poisson.
In varie forme di attuazione, questo risultato può essere ottenuto operando così come schematicamente illustrato in figura 3.
Tale figura à ̈ rappresentativa di varie forme di attuazione in cui, partendo dal segnale di immagine/video
<^>
"rumoroso" f (x,y), si ottiene, tramite un filtro 20 destinato a svolgere una funzione antagonista del rumore (noise filter) un segnale depurato dal rumore (de-noised) suscettibile di essere alimentato al codificatore video 14 per dare origine allo stream di uscita BS.
In varie forme di attuazione, dal punto di vista implementativo, l'insieme dei blocchi funzionali rappresentati nella figura 3 Ã ̈ suscettibile di essere compreso nel blocco 12 e/o nel blocco 14 dello schema generale della figura 1.
In varie forme di attuazione cui si riferisce a titolo di esempio la descrizione che segue, i blocchi indicati con 20, 22, 24 e 26 possono essere idealmente visti come compresi nel blocco di elaborazione 12 mentre i blocchi 141 e 142 possono sono compresi nel codificatore video 14. Questo potendosi così sfruttare, in varie forme di attuazione, la memoria di codifica 142 eventualmente già compresa nel codificatore 14.
In varie forme di attuazione, il tecnico esperto del settore potrà però agevolmente prevedere una distribuzione dei suddetti blocchi funzionali diversa da quella qui prospettata a titolo di esempio non limitativo con la rappresentazione della figura 3.
Tale rappresentazione mette in luce il fatto che, in varie forme di attuazione, il codificatore 14 può comprendere, al fine di poter ricevere in ingresso una sequenza di immagini digitali e generare come uscita corrispondente un bitstream compresso una parte di calcolo 141 ed una parte di memoria di codifica 142.
In varie forme di attuazione la parte o modulo di calcolo 141 può realizzare almeno un'operazione di predizione temporale, codificando il segnale dell'immagine corrente (operando se nel caso a livello di frame o di unità di immagini diverse, secondo criteri di per sé noti) come differenza, ad esempio motocompensata, rispetto ad una o più immagini (precedenti o successive, secondo tecniche ben note) memorizzate nella memoria di codifica 142.
In varie forme di attuazione, la memoria 142 può essere collegata al modulo 22 destinato a svolgere una funzione di stima del rumore.
In varie forme di attuazione il modulo di stima del rumore 22 riceve in ingresso:
- un'immagine (o porzione di immagine) appartenente al
<^>
segnale affetto da rumore f (x,y) e, eventualmente
- una o più immagini (di solito immagini precedenti) della stessa sequenza video desunte dalla memoria 142.
Tutto questo così da poter generare in uscita una stima del livello di rumore nell'immagine corrente.
In varie forme di attuazione, il modulo 22 opera sull’insieme dell'immagine, fornendo così un valore di rumore medio, calcolato in un modulo di media 24 rappresentativo del livello di rumore medio per tutti i pixel. In varie forme di attuazione questo livello di rumore può essere determinato ad esempio assumendo che il rumore possa essere visto come avente una distribuzione gaussiana e con un'intensità costante su tutti gli elementi di immagine.
Il suddetto valore medio può essere denominato σm.
Le funzioni di elaborazione in questione possono essere svolte secondo criteri noti, ad esempio così come descritto nel documento [1] già citato in precedenza.
In varie forme di attuazione, il modulo 24 può essere configurato in modo da calcolare il valore medio dei pixel appartenenti all’immagine corrente e trasferire il risultato ad un modulo o stadio di scalamento 26.
Se si rappresenta l'immagine corrente con una matrice di elementi xij, di rango N per M, il valore medio à ̈ dato ovviamente da
1<N>- 1 M - 1
x<m>=
MNÃ¥<x ij>
i = 0Ã¥ j = 0
Il modulo di scalamento 26 genera, a partire dalle
<^>uscite dei moduli 22 e 24 (e dal segnale di ingresso f (x,y)) un livello di rumore stimato per il pixel corrente.
In varie forme di attuazione questo può avvenire sulla base della formula riportata nel seguito, in cui σmà ̈ la deviazione standard del rumore, intesa come valore medio per l'immagine intera calcolata nel modulo di stima del rumore 22; xmà ̈ il valore medio per pixel così come calcolato dal modulo o stadio 24 e xlà ̈ il valore locale del pixel sottoposto al momento al processo di filtraggio e σlà ̈ la deviazione standard del rumore di Poisson per il pixel corrente stimato nel modo seguente:
x
s = l
<l>× s
x m
m
In varie forme di attuazione la formula sopra riportata non viene calcolata in modo analitico pixel per pixel ma le operazioni di divisione e di radice quadrata sono attuate tramite una tabella di look-up (look-up table o LUT) con livello di pre-calcolati.
Le dimensioni di questa LUT possono essere minimizzate quantizzando xle xme riducendo la precisione da 8 bit ad un numero minore considerato adeguato.
In varie forme di attuazione, il filtro 20 riceve pertanto come ingresso:
- un’immagine o, in generale, una pluralità di segnali di pixel rappresentante almeno parte di un’immagine appartenente ad una sequenza di immagini digitali costituente il segnale f^ (x, y) da sottoporre a filtraggio,
- il livello di rumore stimato (dal modulo 22) associato a ciascun pixel dell'immagine, e
- eventualmente una o più immagini (ad esempio immagini precedenti) nella stessa sequenza video.
L'uscita del filtro 20 costituisce il segnale video depurato dal rumore.
Lo stadio o modulo di filtraggio 20 può essere implementato in modi diversi.
In varie forme di attuazione lo stadio o modulo 20 può essere realizzato in modo da ricevere una stima diversa del livello di rumore per ciascun pixel dell'immagine corrente, così da poter applicare intensità di filtraggio diverse per ciascun pixel.
In varie forme di attuazione, lo stadio o modulo 20 può essere realizzato così come descritto nel documento [2] citati in precedenza, prevedendo altresì che il livello di rumore (che, così come si à ̈ visto, nel caso del rumore impulsivo dipende dal livello di segnale) ricevuto in ingresso determini il fattore di attenuazione del filtro applicato per rimuovere le alte frequenze spaziali e temporali corrispondenti al rumore.
Così come già ricordato in precedenza, i filtri antirumore ricadono genericamente nella categoria dei filtri non lineari di tipo passa-basso, la cui funzione à ̈ quella di applicare un fattore di attenuazione alle componenti di alta frequenza.
Ad esempio, nel caso del documento [2] cui si à ̈ fatto riferimento in precedenza come esempio di una possibile forma di attuazione del modulo 20, viene eseguita un’operazione di media su un insieme di valori la cui ampiezza D à ̈ determinata dalla formula 2×D = 3×σ, cosicché maggiore à ̈ il livello di rumore, maggiore à ̈ il numero di valori su cui viene eseguita l’operazione di media e maggiore à ̈ l’effetto di attenuazione delle alte frequenze.
In varie forme di attuazione, à ̈ dunque previsto di depurare dal rumore un segnale video digitale prodotto da un sensore fotoelettrico come matrice di segnali di pixel affetti da rumore (termico “gaussiano†ng- non dipendente dal segnale - ed impulsivo “poissoniano†np- dipendente dal segnale).
In varie forme di attuazione, il procedimento può comprendere:
- stimare il livello di rumore associato ai suddetti segnali di pixel, e
- filtrare i suddetti segnali di pixel (ad esempio nel modulo 20) con un fattore di attenuazione delle alte frequenze che sia funzione del livello di rumore stimato.
In varie forme di attuazione il procedimento può comprendere:
- stimare il livello di rumore associato in modo distinto per ciascuno dei segnali di pixel, e
- filtrare ciascun segnale di pixel con un fattore di attenuazione della alte frequenze che sia funzione del rispettivo livello di rumore stimato in modo distinto per detto ciascun segnale di pixel.
In varie forme di attuazione ciò può comportare, ad esempio:
- stimare (ad esempio nel modulo 22) un livello di rumore medio associato ad una pluralità di segnali di pixel, definente almeno parte di un'immagine di una sequenza video digitale,
- determinare (ad esempio nel modulo 24) un valore medio dei segnali di pixel di detta pluralità, e
- determinare il rispettivo livello di rumore stimato in modo distinto per ciascun segnale di pixel ponderando il suddetto livello di rumore medio in funzione (ad esempio con la radice quadrata) del rapporto fra ciascun segnale di pixel ed il suddetto valore medio dei segnali di pixel della pluralità.
In varie forme di attuazione, almeno una fra le operazioni di stimare il livello di rumore associato ai segnali di pixel e di filtrare i segnali di pixel può essere condotta operando su almeno due immagini di una sequenza video digitale.
In varie forme di attuazione, può essere previsto di sottoporre il segnale video digitale depurato dal rumore a codifica operando su almeno due immagini di una sequenza video digitale, con almeno una di dette immagine immagazzinata in una memoria di codifica; almeno una fra le operazioni di stimare il livello di rumore associato ai segnali di pixel e filtrare tali segnali di pixel può essere condotta operando su almeno una immagine memorizzata nella suddetta memoria di codifica.
Le prestazioni di varie forme di attuazione sono rilevate per 15 diverse sequenze video in alta definizione (HD) in formato 1280X720, in presenza di rumore poissoniano aggiunto con cinque diversi valori di intensità, ossia con α ={0,10; 0,25; 0,50; 0,75; 1} dove α =0,10 corrisponde ad un rumore assai ridotto ed α =1,00 corrisponde a un livello di rumore molto fastidioso.
Le 75 sequenze video risultanti sono state sottoposte a compressione in un codificatore video operante secondo lo standard H.264/MPEG-4AVC utilizzando quattro diversi parametri di quantizzazione QP = {22, 27, 32, 37} per valutare l'efficienza di codifica su un'ampia gamma di bitrate.
Per tali valutazioni il codificatore video à ̈ stato configurato in modo da operare il filtraggio del rumore in due modi diversi:
- in una prima configurazione, utilizzando gli algoritmi descritti, ad esempio, nei primi due documenti citati in precedenza, e
- in una seconda configurazione, utilizzando un procedimento di filtraggio secondo le forme di attuazione qui considerata a titolo esemplificativo.
É stato pertanto generato un insieme di 600 bitstream H.264/AVC diversi suscettibile di essere considerato costituire un insieme di dati piuttosto esaustivo.
Tutte le prove hanno dimostrato che in presenza di un segnale video affetto da rumore poissoniano così come generato da un sensore video di tipo CMOS, la soluzione secondo le forme di attuazione risulta più efficace rispetto ad un filtraggio convenzionale per rumore gaussiano.
Un primo insieme di prove à ̈ stato condotto confrontando le due soluzioni considerando come parametro principale i bit-rate dei bitstream risultanti a parità di parametro di quantizzazione QP.
Così come già detto in precedenza, il rumore rende il segnale video più difficile da comprimere in quanto compromette la correlazione spazio-temporale fra i pixel per cui un bitrate più basso a parità di parametro di quantizzazione QP dimostra che il rumore à ̈ stato rimosso in modo più efficace.
Le prove hanno dimostrato che la soluzione secondo le forme di attuazione permette di conseguire un guadagno di efficienza (determinato come valore percentuale ottenuto mediando i risultati su tutte le 15 sequenze ed i quattro valore di parametro di quantizzazione QP) pari al 3,9% circa, in presenza di un rumore ridotto, ed al 17,9% circa, in presenza di rumore rilevante, il che significa un guadagno medio del 12,5% in termini di guadagno di efficienza di codifica.
Tali valutazioni sono state correlate con una valutazione numerica della corrispondente qualità visiva in termini di rapporto PSNR (Peak Signal-to-Noise Ratio).
Il PSNR di solito dimostra di solito una buona correlazione con la qualità video percepita in presenza di segnali video non filtrati. In realtà, quando sequenze rumorose sono trattate con un filtraggio di riduzione del rumore, può accadere che un risultato migliore dal punto di vista visivo possa essere associato ad un valore di PSNR peggiore. In ogni caso, le prove hanno dimostrato che la soluzione secondo le forme di attuazione può produrre una perdita media in termini di PSNR di 0,15 dB sulla componente di luminanza (valore a malapena apprezzabile da un utilizzatore finale) mentre i test di qualità soggettiva hanno fornito dei risultati molto positivi.
Ad esempio, nel caso della sequenza di prova nota come “Cyclist†il guadagno in termini di efficienza di codifica (ossia la riduzione di bit-rate a parità di QP) ottenibile secondo forme di attuazione va da un 7,5% (come media sui quattro QP considerati) per un livello di rumore ridotto (α=0,10) fino al 24,6% (sempre come media su quattro QP) in presenza di rumore rilevante (α=1,00).
Fermo restando il principio dell'invenzione, i particolari di realizzazione e le forme di attuazione potranno variare, anche in modo significativo, rispetto a quanto qui illustrato a puro titolo di esempio non limitativo senza per questo uscire dall'ambito dell'invenzione, così come definito dalle rivendicazioni annesse.

Claims (12)

  1. RIVENDICAZIONI 1. Procedimento per depurare dal rumore un segnale video digitale (f(x, y)) prodotto da un sensore fotoelettrico (10) come matrice di segnali di pixel affetti da rumore (ng,np), il procedimento comprendendo: - stimare (22, 24) il livello di rumore associato a detti segnali di pixel, e - filtrare (20) detti segnali di pixel con un fattore di attenuazione funzione del livello di rumore stimato (22, 24).
  2. 2. Procedimento secondo la rivendicazione 1, in cui detto filtrare prevede di filtrare le alte frequenze spaziali e temporali corrispondenti al rumore.
  3. 3. Procedimento secondo la rivendicazione 1 o la rivendicazione 2, in cui detto filtrare comporta un’operazione di media su un insieme di valori ed in cui il numero di valori su cui viene eseguita l’operazione di media cresce con il livello di rumore stimato.
  4. 4. Procedimento secondo una qualsiasi delle rivendicazioni 1 a 3, comprendente: - stimare (22, 24) detto livello di rumore associato in modo distinto per ciascuno di detti segnali di pixel, e - filtrare (20) ciascun detto segnale di pixel con una rispettivo fattore di attenuazione funzione del rispettivo livello di rumore stimato (22, 24) in modo distinto per detto ciascun segnale di pixel.
  5. 5. Procedimento secondo la rivendicazione 4, comprendente: - stimare (22) un livello di rumore medio associato ad una pluralità di detti segnali di pixel, detta pluralità di segnali di pixel definendo almeno parte di un'immagine di una sequenza video digitale, - determinare (24) un valore medio dei segnali di pixel di detta pluralità, e - determinare detto rispettivo livello di rumore stimato in modo distinto per detto ciascun segnale di pixel ponderando detto livello di rumore medio in funzione del rapporto fra detto ciascun segnale di pixel e detto valore medio dei segnali di pixel di detta pluralità.
  6. 6. Procedimento secondo la rivendicazione 5, comprendente determinare detto rispettivo livello di rumore stimato in modo distinto per detto ciascun segnale di pixel ponderando detto livello di rumore medio con la radice quadrata di detto rapporto.
  7. 7. Procedimento secondo rivendicazione 5 o la rivendicazione 6, comprendente determinare almeno uno fra detto rapporto e detta radice quadrata tramite lettura di valori precalcolati in una look-up table.
  8. 8. Procedimento secondo una qualsiasi delle precedenti rivendicazioni, comprendente realizzare almeno una fra dette operazioni di stimare (22, 24) il livello di rumore associato a detti segnali di pixel e di filtrare (20) detti segnali di pixel operando su almeno due immagini di una sequenza video digitale.
  9. 9. Procedimento secondo la rivendicazione 8, comprendente: - sottoporre a codifica (141) detto segnale video digitale depurato dal rumore operando su almeno due immagini di una sequenza video digitale, con almeno una di dette immagini immagazzinata in una memoria di codifica (142), e - realizzare almeno una fra dette operazioni di stimare (22, 24) il livello di rumore associato a detti segnali di pixel e filtrare (20) detti segnali di pixel operando su almeno una immagine memorizzata in detta memoria di codifica (142).
  10. 10. Dispositivo (20 a 26, 142) per depurare dal rumore un segnale video digitale (f(x, y)), configurato per attuare il procedimento secondo una qualsiasi delle rivendicazioni 1 a 9.
  11. 11. Dispositivo secondo la rivendicazione 10, configurato per attuare il procedimento secondo la rivendicazione 9 e comprendente: - una circuitazione elaborativa (20, 22, 24, 26) configurata per attuare dette operazioni di stimare e di filtrare, e - un codificatore (14) configurato per realizzare detta codifica (141), detto codificatore comprendendo detta memoria di codifica (142).
  12. 12. Prodotto informatico caricabile nella memoria di almeno un dispositivo elaboratore e comprendente porzione di codice software per attuare le fasi del procedimento secondo una qualsiasi delle rivendicazioni 1 a 9.
ITTO2010A000931A 2010-11-24 2010-11-24 Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico. IT1403150B1 (it)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ITTO2010A000931A IT1403150B1 (it) 2010-11-24 2010-11-24 Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico.
US13/302,174 US8687095B2 (en) 2010-11-24 2011-11-22 Method and device for de-noising a digital video signal, and corresponding computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ITTO2010A000931A IT1403150B1 (it) 2010-11-24 2010-11-24 Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico.

Publications (2)

Publication Number Publication Date
ITTO20100931A1 true ITTO20100931A1 (it) 2012-05-25
IT1403150B1 IT1403150B1 (it) 2013-10-04

Family

ID=43743095

Family Applications (1)

Application Number Title Priority Date Filing Date
ITTO2010A000931A IT1403150B1 (it) 2010-11-24 2010-11-24 Procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico.

Country Status (2)

Country Link
US (1) US8687095B2 (it)
IT (1) IT1403150B1 (it)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810694B (zh) 2012-11-15 2017-08-01 腾讯科技(深圳)有限公司 图片压缩中质量因子的获取方法及装置
JP2016518747A (ja) 2013-03-15 2016-06-23 イェール ユニバーシティーYale University センサー依存性ノイズを有する画像化データを処理するための技術
US10419758B2 (en) * 2017-03-16 2019-09-17 Mediatek Inc. Non-local adaptive loop filter processing
EP3759917A1 (en) * 2018-02-27 2021-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spectrally adaptive noise filling tool (sanft) for perceptual transform coding of still and moving images
KR20220094561A (ko) * 2020-12-29 2022-07-06 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1100260A1 (en) * 1999-11-12 2001-05-16 STMicroelectronics S.r.l. Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders
EP1126729A1 (en) * 2000-02-18 2001-08-22 STMicroelectronics S.r.l. A process for estimating the noise level in sequences of images and a device therefor
US6985613B2 (en) * 2000-12-05 2006-01-10 Ge Medical Systems Global Technology Company Llc Image processing method and apparatus, recording medium and imaging apparatus
EP2244459A1 (en) * 2009-04-22 2010-10-27 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4761819A (en) 1987-02-27 1988-08-02 Picker International, Inc. Adaptive noise reduction filter for reconstructed images
US5668646A (en) * 1990-02-06 1997-09-16 Canon Kabushiki Kaisha Apparatus and method for decoding differently encoded multi-level and binary image data, the later corresponding to a color in the original image
DE69331719T2 (de) 1992-06-19 2002-10-24 Agfa Gevaert Nv Verfahren und Vorrichtung zur Geräuschunterdrückung
US5841911A (en) * 1995-06-06 1998-11-24 Ben Gurion, University Of The Negev Method for the restoration of images disturbed by the atmosphere
FR2772225A1 (fr) 1997-12-09 1999-06-04 Philips Electronics Nv Procede de traitement d'une image ou le bruit depend du signal
JP3730419B2 (ja) * 1998-09-30 2006-01-05 シャープ株式会社 映像信号処理装置
AU2002339874A1 (en) * 2001-05-23 2002-12-03 Canesta, Inc. Enhanced dynamic range conversion in 3-d imaging
KR100405150B1 (ko) 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US20030214590A1 (en) * 2002-05-17 2003-11-20 Kevin Matherson System and method for adaptively compensating for dark current in an image capture device
US20050030393A1 (en) * 2003-05-07 2005-02-10 Tull Damon L. Method and device for sensor level image distortion abatement
JP4129254B2 (ja) * 2004-08-03 2008-08-06 富士フイルム株式会社 ノイズ低減装置および方法
KR100721543B1 (ko) 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US7652250B2 (en) * 2006-06-26 2010-01-26 Matthew Erdtmann Noise reduction method for imaging devices
NO326285B1 (no) * 2006-07-19 2008-11-03 Tandberg Telecom As Fremgangsmate for stoyreduksjon av et videobilde
US20100298728A1 (en) * 2009-05-20 2010-11-25 Nellcor Puritan Bennett Ireland Signal Processing Techniques For Determining Signal Quality Using A Wavelet Transform Ratio Surface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1100260A1 (en) * 1999-11-12 2001-05-16 STMicroelectronics S.r.l. Spatio-temporal filtering method for noise reduction during pre-processing of picture sequences in video encoders
EP1126729A1 (en) * 2000-02-18 2001-08-22 STMicroelectronics S.r.l. A process for estimating the noise level in sequences of images and a device therefor
US6985613B2 (en) * 2000-12-05 2006-01-10 Ge Medical Systems Global Technology Company Llc Image processing method and apparatus, recording medium and imaging apparatus
EP2244459A1 (en) * 2009-04-22 2010-10-27 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BORNEO A M ET AL: "AN INNOVATIVE ADAPTIVE NOISE REDUCTION FILTER FOR MOVING PICTURES BASED ON MODIFIED DUNCAN RANGE TEST", ST JOURNAL OF SYSTEM RESEARCH, XX, US, vol. 1, no. 1, 1 January 2000 (2000-01-01), pages 14 - 22, XP008038501 *
TIMMERMANN K E ET AL: "Multiscale Modeling and Estimation of Poisson Processes with Application to Photon-Limited Imaging", IEEE TRANSACTIONS ON INFORMATION THEORY, IEEE PRESS, USA, vol. 45, no. 3, 1 April 1999 (1999-04-01), pages 846 - 862, XP008129470, ISSN: 0018-9448 *

Also Published As

Publication number Publication date
IT1403150B1 (it) 2013-10-04
US8687095B2 (en) 2014-04-01
US20120127350A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
JP2009524371A5 (it)
JP2006352509A (ja) 画像データ処理装置、画像データ処理方法およびプログラム
KR102070622B1 (ko) 동영상을 위한 양자화 테이블 추정 방법 및 장치
ITTO20100931A1 (it) &#34;procedimento e dispositivo per depurare dal rumore un segnale video digitale, relativo prodotto informatico&#34;
KR20080038415A (ko) 화상 신호들에 대한 컨텐트 적응형 잡음 감소 필터링
KR102598789B1 (ko) 비디오 코딩에서의 필터링을 위한 장치 및 방법
JP2004215257A (ja) Dct基盤の改善された動映像符号化方法及びその装置
KR20170102015A (ko) 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
JP4992117B2 (ja) 画像処理装置
JP6354586B2 (ja) ノイズ除去システムとノイズ除去方法及びプログラム
KR100669905B1 (ko) 블록 경계 영역 특성을 이용한 블록화 현상 제거 장치 및그 방법
JP5362723B2 (ja) 圧縮画像ノイズ除去装置と再生装置
JP2005141722A (ja) 画像信号処理方法、画像信号処理装置、及び画像信号プログラム
JP5213604B2 (ja) 撮像装置
US8305497B2 (en) Joint mosquito and aliasing noise reduction in video signals
JP6269431B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
KR101780444B1 (ko) 영상 신호의 노이즈 제거 방법
WO2011068429A1 (en) Detecting artifacts in quantization noise in images compresses using discrete cosine transforms
JP5488048B2 (ja) 画像処理装置および画像処理プログラム
Oizumi Preprocessing method for DCT-based image-compression
KR100820813B1 (ko) 영상잡음 제거장치
US10791334B2 (en) Image processing apparatus and image processing method
Tongbram et al. Implementing a new algorithm to reduce black artifacts in DCT coded images
WO2011151966A1 (ja) 画像処理装置およびそれを備えた電子機器
Florêncio Motion sensitive pre-processing for video