ITTO20130405A1 - Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti - Google Patents
Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti Download PDFInfo
- Publication number
- ITTO20130405A1 ITTO20130405A1 IT000405A ITTO20130405A ITTO20130405A1 IT TO20130405 A1 ITTO20130405 A1 IT TO20130405A1 IT 000405 A IT000405 A IT 000405A IT TO20130405 A ITTO20130405 A IT TO20130405A IT TO20130405 A1 ITTO20130405 A1 IT TO20130405A1
- Authority
- IT
- Italy
- Prior art keywords
- panning
- video
- stabilization
- various embodiments
- pages
- Prior art date
Links
- 238000004091 panning Methods 0.000 title claims description 38
- 238000000034 method Methods 0.000 title claims description 25
- 238000001914 filtration Methods 0.000 title claims description 14
- 230000006641 stabilisation Effects 0.000 claims description 16
- 238000011105 stabilization Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 239000003381 stabilizer Substances 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 230000007257 malfunction Effects 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012552 review Methods 0.000 claims description 2
- 230000000087 stabilizing effect Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 27
- 239000013589 supplement Substances 0.000 description 5
- 239000000047 product Substances 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001934 delay Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 235000014121 butter Nutrition 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Filters And Equalizers (AREA)
- Networks Using Active Elements (AREA)
Description
DESCRIZIONE dell?invenzione industriale dal titolo:
?Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti?
TESTO DELLA DESCRIZIONE
Campo tecnico
Questa descrizione ? relativa alle tecniche di filtraggio panning, per es. per distinguere tra un movimento desiderato e uno indesiderato nell?elaborazione di immagini e video.
Varie forme di attuazione si possono applicare alla stabilizzazione di sequenze video, opzionalmente utilizzando algoritmi basati su elementi distintivi (?feature?).
Sfondo tecnologico
La stabilizzazione video mira a compensare il tremolio delle mani di un utente, per es. al fine di evitare di acquisire in una sequenza video un movimento indesiderato, tale da far s? che una sequenza video sia sgradevole da vedere.
Approcci tradizionali alla stabilizzazione delle sequenze video che utilizzano algoritmi basati su elementi distintivi (come presentati per es. in F. Teng, X. Liang, Z. He, G. Hua, ?A Registration Method Based on Nature Feature with KLT Tracking Algorithm for Wearable Computers?, International Conference on Cyberworlds, pagine da 416 a 421, 2008) possono comportare fasi quali:
- estrazione degli elementi distintivi;
- adattamento (matching) degli elementi distintivi; - rimozione degli outlier;
- stima del modello di movimento, utilizzando gli inlier trovati.
Dopo queste fasi, dato il movimento della videocamera, una procedura di ?filtraggio panning? finale pu? separare il movimento desiderato e indesiderato.
Un esempio di sistema di questo tipo ? descritto per es. nella Domanda di Brevetto Italiano TO2013A000059 a nome degli stessi Richiedenti.
Varie soluzioni possono essere basate sull?ipotesi che un movimento ad alta frequenza pu? essere un jitter e che un movimento a bassa frequenza pu? essere voluto. Cos?, varie procedure possono usare un filtro passa-basso per identificare il movimento voluto e quindi compensare il rimanente movimento ad alta frequenza traslando il frame video nella direzione inversa del jitter.
Sebbene siano in grado di condurre a buoni risultati, varie tecniche di filtraggio panning come proposte per es. in:
- A. Engelsberg, G. Schmidt, ?A comparative review of digital image stabilising algorithms for mobile video communications?, IEEE Transaction of Consumer Electronics, vol. 45, n. 3, pagine da 591 a 597, giugno 1999;
- J.K. Paik, YC. Park, D.W. Kim, ?An adaptive motion decision system for digital image stabilizer based on edge pattern matching?, IEEE Transaction of Consumer Electronics, vol. 38, n. 3, pagine da 607 a 616, agosto - Y. Egusa, H. Akahori, A. Morimura, N. Wakami, ?An application of fuzzy set theory for an electronic video camera image stabilizer?, IEEE Transaction of Fuzzy Systems, vol. 3, n. 3, pagine da 351 a 356, agosto 1995;
- A.A. Yeni S. Erturk, ?Fast digital image stabilization using one bit transform based sub-image motion estimation?, IEEE Transaction of Consumer Electronics, vol. 51, n. 3, pagine da 917 a 921, agosto 2005;
- Y. Matsushita, E. Ofek, X. Tang, H.Y Shum, ?Full-frame video stabilization?, IEEE Computer Vision and Pattern Recognition, 2005, vol. 1, pagine da 50 a 57
possono presentare problemi di funzionamento che conducono a una ripercussione negativa sull?azione di panning (normale e/o a una particolare velocit?) in certe circostanze.
Scopo e sintesi
Le forme di attuazione qui presentate hanno lo scopo di fornire una soluzione di filtraggio panning innovativa e robusta che supera tali problemi e che pu? essere implementata con un basso consumo di potenza, divenendo cos? atta ad essere utilizzata anche in fotocamere e/o videocamere piccole.
Varie forme di attuazione raggiungono tale scopo per mezzo di un dispositivo avente gli elementi distintivi esposti nelle rivendicazioni seguenti. Varie forme di attuazione possono anche essere relative a un corrispondente procedimento cos? come a un corrispondente prodotto informatico, caricabile nella memoria di almeno un computer e includente porzioni di codice software per effettuare le fasi del procedimento quando il prodotto ? eseguito su almeno un computer. Come qui utilizzato, un tale prodotto informatico intende essere equivalente a un mezzo leggibile da computer contenente istruzioni per il controllo del sistema di elaborazione, cos? da coordinare l?esecuzione di un procedimento secondo l?invenzione.
Le rivendicazioni sono parte integrante della descrizione dell?invenzione qui fornita.
Varie forme di attuazione possono fornire un filtro panning di basso costo per la stabilizzazione video, facilmente adatto per un?elaborazione in tempo reale, offrendo fra l?altro uno o pi? dei vantaggi seguenti:
- una buona capacit? di seguire il movimento voluto dell?utente;
- problemi ridotti di overshoot;
- flessibilit?, cosicch? si possono utilizzare varie forme di attuazione in qualsiasi genere di filtraggio panning in qualsiasi procedura di stabilizzazione di un video.
Breve descrizione delle figure
Varie forme di attuazione saranno ora descritte, a puro titolo di esempio, con riferimento alle figure allegate, nelle quali:
- la Figura 1 ? uno schema a blocchi di un sistema di filtraggio panning;
- la Figura 2 ? uno schema a blocchi di un filtro panning con riduzione dell?overshoot;
- la Figura 3 ? uno schema a blocchi di un integratore a perdita (leak integrator);
- le Figure 4 e 5 sono esemplificative del flusso di segnale in forme di attuazione, e
- la Figura 6 ? un diagramma dei poli e zeri in esempi di forme di attuazione.
Descrizione dettagliata
Nella seguente descrizione, sono forniti numerosi dettagli specifici per fornire una comprensione approfondita di esempi di forme di attuazione. Le forme di attuazione possono essere attuate senza uno o pi? dei dettagli specifici, o con altri procedimenti, componenti, materiali, ecc. In altri casi, non sono rappresentati o descritti in dettaglio materiali, strutture o operazioni ben note per evitare di rendere poco chiari aspetti delle forme di attuazione. Un riferimento in tutta questa descrizione a ?una forma di attuazione? significa che una particolare caratteristica, elemento distintivo o struttura descritta con riferimento alla forma di attuazione ? inclusa in almeno una forma di attuazione. Cos?, le presenze delle frasi ?in una forma di attuazione? in vari luoghi in tutta questa descrizione non fanno necessariamente tutte riferimento alla stessa forma di attuazione. Inoltre, le particolari caratteristiche, elementi distintivi o strutture possono essere combinate in una maniera adeguata qualsiasi in una o pi? forme di attuazione.
Le intestazioni e i riferimenti qui forniti sono solo a vantaggio del lettore e non interpretano l?ambito o il significato delle forme di attuazione.
La Figura 1 ? uno schema a blocchi di un sistema di filtraggio panning. I principi che regolano il funzionamento di un tale sistema possono essere ricavati da vari documenti come citato nella parte introduttiva di questa descrizione, il che rende superfluo fornire qui una descrizione pi? dettagliata.
Ai presenti fini, sar? sufficiente richiamare che il funzionamento di un sistema come illustrato nella Figura 1 pu? comportare un?elaborazione di vettori di movimento relativo MVx e MVy ottenuti, insieme a vettori di movimento assoluto abs_MVx e abs_MVy di una sequenza video che include immagini/frame (digitali) prodotte da un dispositivo di acquisizione video, quale una videocamera, non visibile nelle figure.
In breve, in una o pi? forme di attuazione, i vettori di movimento MVx e MVy possono essere rappresentativi degli spostamenti tra due frame adiacenti rispettivamente nella direzione orizzontale e in quella verticale, mentre si pu? considerare che abs_MVx e abs_MVy siano rappresentativi degli accumulatori di MVx e MVy tra un primo frame e il frame corrente in un insieme di frame.
Si possono ottenere tali vettori di movimento relativo MVx e MVy e vettori di movimento (accumulato) assoluto abs_MVx e abs_MVy da immagini/frame con qualsiasi maniera tradizionale nota nella tecnica a tal fine. Per esempio, a tale riguardo si pu? fare riferimento alla Domanda di Brevetto Italiano TO2013A000059 a nome degli stessi Richiedenti, gi? menzionata in precedenza.
L?elaborazione dei vettori di movimento relativo MVx e MVy, come esemplificato nella Figura 1, pu? implicare:
- fornire vettori di movimento relativo MVx e MVy a un modulo di filtraggio panning 10,
- fornire vettori di movimento (relativo) MVx e MVy assoggettati a panning nel filtro 10 (cio? MVx? e MVy? nella Figura 1) a un modulo sommatore 12 per essere sommati a vettori di movimento assoluto abs_MVx e abs_MVy in modo da ottenere rispettivamente valori sommati abs_MVx? e abs_MVy?, e
- assoggettare i valori sommati abs_MVx? e abs_MVy? a clipping secondo una finestra di cropping selezionata (per es. una finestra di cropping avente un dato valore di cropping) in un modulo di cropping 14 in modo da ottenere vettori di movimento assoluto finali d?uscita abs_MVx?? e abs_MVy??.
Si ? osservato che quando si utilizzano soluzioni di filtraggio panning come considerate in generale in precedenza possono insorgere vari problemi.
Per esempio (ci? pu? verificarsi se in un sistema come considerato in precedenza si utilizza un filtro con risposta all?impulso infinita o IIR) si possono osservare oscillazioni se si arresta videocamera mentre si sta effettuando un panning. Si pu? affrontare questo evento forzando un arresto del filtraggio, quando i tap d?ingresso sono a zero e c?? un passaggio del vettore di movimento assoluto da una direzione a un?altra (cio? da valori negativi a positivi o viceversa), senza alcun tipo di ritardo.
Un evento pi? critico da affrontare ? l?overshoot, per es. quando nella scena c?? un panning veloce con un arresto improvviso; in tal caso si pu? osservare un?oscillazione nel video d?uscita prima che si ripristini regolarmente la stabilizzazione.
Una o pi? forme di attuazione possono affrontare questa situazione facendo ricorso a integratori a perdita (leak integrator).
Per esempio, la Figura 2 (nella quale parti o elementi identici o equivalenti a parti o elementi gi? descritti con riferimento alla Figura 1 sono indicati con gli stessi riferimenti) presenta una forma di attuazione esemplificativa con due integratori a perdita 16? e 16?? aggiunti al layout di base della Figura 1.
Come ? ben noto, la designazione integratore a perdita (o integratore con perdita ? leak integrator) ? utilizzata per indicare un componente o un sistema che attua l?integrale di un ingresso, ma ?perde? gradualmente una piccola quantit? dell?ingresso nel tempo.
Nell?esempio di forma di attuazione della Figura 2: - un primo integratore a perdita 16? ? disposto dopo il filtro panning 10 (per es. interposto tra il filtro panning 10 e il sommatore 12) al fine di regolare il valore dei vettori di movimento relativo MVx? e MVy? assoggettati a panning nel filtro panning 10 per produrre valori ?regolati? MVx?? e MVy?? da sommare ai vettori di movimento assoluto abs_MVx e abs_MVy, e
- un secondo integratore a perdita 16?? ? disposto dopo (per es. in cascata con) il modulo di clip 14 al fine di regolare il valore dei vettori di movimento assoluto abs_MVx?? e abs_MVy?? per produrre vettori di movimento assoluto ?regolati? abs_MVx??? e abs_MVy???.
La Figura 3 ? esemplificativa di un possibile funzionamento di un tale integratore a perdita 16.
Si ? usato il riferimento 16 per indicare che qui la descrizione esemplificativa pu? applicarsi all?uno ed all?altro di entrambi gli integratori 16? e 16??.
Questo premettendo che (in aggiunta alla possibilit? di adottare differenti valori per i parametri, quali per es. max_range e/o step - si veda la Tabella 1 in seguito), gli integratori 16? e 16?? possono operare, rispettivamente, su un vettore di movimento d?ingresso MV che ? un vettore di movimento relativo (per es. MVx? o MVy? ? per 16?) e su un vettore di movimento (accumulato) assoluto (per es. abs_MVx?? o abs_MVy?? - per 16??).
In un modulo di verifica 160 si effettua un test per quanto riguarda se l?ingresso nell?integratore a perdita 16, che ? un singolo vettore di movimento (eventualmente assoluto) MV, ? al di fuori di un intervallo max_range scelto.
Nel caso positivo (per es. esito S? del modulo 160), in un modulo 162? il vettore di movimento (relativo o assoluto) sar? ridotto (decrementato) di uno step, cio? leak = leak ? step per rallentare il resto della procedura di panning.
Altrimenti (per es. esito NO del modulo 160), in un modulo 162?? il vettore di movimento (relativo o assoluto) sar? incrementato di uno step, cio? leak = leak step per facilitare di nuovo l?allineamento al movimento completo.
In varie forme di attuazione (si veda per es. la Tabella 1 in seguito) il valore di step per il primo integratore a perdita 16? pu? essere differente (per es. maggiore) dal valore di step per il secondo integratore a perdita 16??.
In varie forme di attuazione, il valore di step usato per decrementare il vettore di movimento pu? essere differente dal valore di step per incrementare il vettore di movimento.
Lo schema a blocchi della Figura 3 ? esemplificativo del resto della procedura implementata nell?integratore a perdita 16 che include l?effettuazione di un clipping di leak a min_leak o a max_leak (rispettivamente in 164? e in 164??) e l?impostazione di MV? = MV*leak in 166? e in 166?? utilizzando i rispettivi valori determinati per leak in 164? e in 164??. ;Varie forme di attuazione possono prevedere che, in condizioni normali, vale a dire quando il panning non ? cos? veloce da superare il max_range, la procedura possa funzionare in conformit? con soluzioni tradizionali di filtraggio panning. ;La seguente Tabella 1 elenca alcuni valori esemplificativi per i parametri che possono essere utilizzati nei due differenti integratori a perdita della Figura 2 (Integratore a Perdita 1 = 16?; Integratore a Perdita 2 = 16??). ;;Tabella 1 - Valori Esemplificativi degli Integratori a Perdita ;Variabili Integratore a Integratore a Perdita 1 Perdita 2 ;;MV MV MV ;relativo assoluto ;Leak di partenza 1.0 1.0 max_range cropping cropping ;* 3
Step 0.3 0.05 leak_max 1.0 1.0 leak_min 0.1 0.1
.
In varie forme di attuazione, il primo integratore a perdita 16? (che opera su vettori di movimento relativo) pu? essere configurato per operare soltanto se il vettore di movimento assoluto supera per una data quantit? per es. ? (almeno) tre volte il valore di cropping ed ha uno step davvero veloce.
In varie forme di attuazione, il secondo integratore a perdita 16?? (che opera su vettori di movimento assoluto) pu? essere configurato per operare soltanto quando il vettore di movimento assoluto raggiunge appena il valore di cropping ed ha uno step realmente lento. Ci? consente una modifica sporadica e veloce degli MV quando - nel caso di un panning veloce - e un inseguimento puntuale e lento di un movimento normale - si arresta il panning.
Sebbene varie forme di attuazione possano includere
quale filtro di panning 10 tipi di filtro diversi, certe
forme di attuazione possono adottare una risposta
all?impulso infinita (IIR, ?Infinite Impulse Response?).
Una forma generale di una funzione di trasferimento di
un filtro IIR pu? essere espressa (in una notazione di
trasformata z) come:
L ? 1
?b l z ? l
H ( z ) = l = 0
M
1 ?a m z ? m
m = 1
Un aspetto relativo pu? implicare la determinazione
dei coefficienti bl e am in modo tale che H(z) soddisfi
date specifiche.
Varie forme di attuazione possono adottare un filtro
IIR del secondo ordine come un compromesso ragionevole tra
il costo dell?implementazione e i risultati. Una cosiddetta
realizzazione (in forma canonica) di Forma-II Diretta, come
rappresentata schematicamente nella Figura 4, pu?
richiedere il numero minore di ritardi (indicati con z-1),
di sommatori (indicati con ?+?) e di moltiplicatori
(indicati semplicemente dai coefficienti relativi bl e am).
In tal caso, si pu? considerare che il filtro IIR
comprenda in cascata due funzioni di trasferimento H1(z) e
H2(z):
H(z)=H1(z) H2(z)
H1 (z )=b0 b1z?1 b2 z ? 2
1
H 2 ( z ) =
1+a ? 1
1z a ? 2
2 z
In questa maniera H(z) ha il flusso di segnale indicato nella Figura 4.
In base ai criteri descritti per es. in L. Litwin, ?FIR and IIR digital filters?, IEEE Potentials, Volume 19, Edizione 4, pagine da 28 a 31, ottobre/novembre 2000, i ritardi possono essere condivisi tra il primo e il secondo sottosistema, ci? dando origine alla rappresentazione della Figura 5, nella quale i ritardi, i sommatori e i moltiplicatori sono di nuovo indicati con z<-1>, ?+? e dai coefficienti relativi bl e am.
Varie forme di attuazione possono cos? adottare un filtro passa-alto IIR Butterworth del 2? ordine, forma II diretta, con una frequenza di taglio (?cutoff?) di 0,40 Hz, che si ? sperimentato fornire risultati soddisfacenti su un grande insieme di sequenze video.
Si ? osservato che un filtro passa-alto IIR (per es. di ordine 2 con una frequenza di taglio a 0,4 Hz o nelle sue vicinanze) pu? anche presentare un ritardo di gruppo inferiore e pu? richiedere meno prese (tap) di un FIR.
Un esempio di filtro che dipende anche dal frame rate (F) (per un miglior trattamento del panning) pu? essere ottenuto dal seguente codice MatLab:
[b,a]=butter(2,0.4/(F/2),?high?);
Nelle implementazioni pratiche, nelle quali il frame rate pu? variare, per es. da 1 a 30, considerando quattro coefficienti per ciascun HPF IIR di ordine 2 (un coefficiente ? ripetuto), ci? ha come risultato 30 x 4 = 120 (coefficienti (aggiuntivi) da memorizzare in una tabella di ricerca (LUT, ?Look-Up Table?), il che ? accettabile.
Un tale filtro, che ha una risposta in grandezza idealmente piatta partendo dalla frequenza di taglio, ? ottenibile per es. con il ?Filter Design and Analysis Tool? di MatLab, con i seguenti coefficienti:
Numeratore:
0.93137885812298193
- 1.8627577162459639
0.93137885812298193
Denominatore:
1
- 1.85804329870026
0.86747213379166921
Il grafico di zeri e poli di un tale filtro esemplificativo ? rappresentato nella Figura 6: gli zeri e i poli sono molto vicini al cerchio unitario, cos? il filtro IIR ? particolarmente sensibile ad effetti di precisione finita, principalmente a causa della natura a retroazione della struttura IIR stessa.
Esperimenti per verificare l?efficacia delle presenti forme di attuazione possono includere quanto segue.
All?inizio di una sequenza un frame ? sottoposto a cropping, in modo tale che il frame stabilizzato sia nel mezzo della scena. Quando c?? un movimento di panning veloce, il frame stabilizzato pu? non essere allineato con il mezzo della scena, ma con integratori a perdita sar? situato in una posizione migliore. Alla fine del movimento di panning veloce con integratori a perdita, il frame stabilizzato sar? molto vicino al centro (met?) della scena; ci? ? in contrasto con i casi tradizionali nei quali il frame stabilizzato pu? non essere in una ?buona? posizione. A questo punto, con gli integratori a perdita la stabilizzazione progredir? regolarmente mentre, nei casi tradizionali, al fine di compensare il ritardo, il frame stabilizzato pu? dare inizio ad alcune oscillazioni e raggiunger? una posizione soddisfacente solo dopo un certo numero di frame.
Senza pregiudizio per i principi alla base dell?invenzione, i dettagli e le forme di attuazione possono variare, anche in modo apprezzabile, rispetto a ci? che ? stato descritto a puro titolo di esempio, senza uscire dall?ambito di protezione. L?ambito di protezione ? definito dalle rivendicazioni allegate.
LEGENDA DELLE TAVOLE DEI DISEGNI
FIGURA 3
S? FIGURA 6
Grafico di Poli / Zeri
Parte Immaginaria
Parte Reale
Claims (1)
- DESCRIZIONE dell?invenzione industriale dal titolo: ?Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti? TESTO DELLA DESCRIZIONE Campo tecnico Questa descrizione ? relativa alle tecniche di filtraggio panning, per es. per distinguere tra un movimento desiderato e uno indesiderato nell?elaborazione di immagini e video. Varie forme di attuazione si possono applicare alla stabilizzazione di sequenze video, opzionalmente utilizzando algoritmi basati su elementi distintivi (?feature?). Sfondo tecnologico La stabilizzazione video mira a compensare il tremolio delle mani di un utente, per es. al fine di evitare di acquisire in una sequenza video un movimento indesiderato, tale da far s? che una sequenza video sia sgradevole da vedere. Approcci tradizionali alla stabilizzazione delle sequenze video che utilizzano algoritmi basati su elementi distintivi (come presentati per es. in F. Teng, X. Liang, Z. He, G. Hua, ?A Registration Method Based on Nature Feature with KLT Tracking Algorithm for Wearable Computers?, International Conference on Cyberworlds, pagine da 416 a 421, 2008) possono comportare fasi quali: - estrazione degli elementi distintivi; - adattamento (matching) degli elementi distintivi; - rimozione degli outlier; - stima del modello di movimento, utilizzando gli inlier trovati. Dopo queste fasi, dato il movimento della videocamera, una procedura di ?filtraggio panning? finale pu? separare il movimento desiderato e indesiderato. Un esempio di sistema di questo tipo ? descritto per es. nella Domanda di Brevetto Italiano TO2013A000059 a nome degli stessi Richiedenti. Varie soluzioni possono essere basate sull?ipotesi che un movimento ad alta frequenza pu? essere un jitter e che un movimento a bassa frequenza pu? essere voluto. Cos?, varie procedure possono usare un filtro passa-basso per identificare il movimento voluto e quindi compensare il rimanente movimento ad alta frequenza traslando il frame video nella direzione inversa del jitter. Sebbene siano in grado di condurre a buoni risultati, varie tecniche di filtraggio panning come proposte per es. in: - A. Engelsberg, G. Schmidt, ?A comparative review of digital image stabilising algorithms for mobile video communications?, IEEE Transaction of Consumer Electronics, vol. 45, n. 3, pagine da 591 a 597, giugno 1999; - J.K. Paik, YC. Park, D.W. Kim, ?An adaptive motion decision system for digital image stabilizer based on edge pattern matching?, IEEE Transaction of Consumer Electronics, vol. 38, n. 3, pagine da 607 a 616, agosto 1992; - Y. Egusa, H. Akahori, A. Morimura, N. Wakami, ?An application of fuzzy set theory for an electronic video camera image stabilizer?, IEEE Transaction of Fuzzy Systems, vol. 3, n. 3, pagine da 351 a 356, agosto 1995; - A.A. Yeni S. Erturk, ?Fast digital image stabilization using one bit transform based sub-image motion estimation?, IEEE Transaction of Consumer Electronics, vol. 51, n. 3, pagine da 917 a 921, agosto 2005; - Y. Matsushita, E. Ofek, X. Tang, H.Y Shum, ?Full-frame video stabilization?, IEEE Computer Vision and Pattern Recognition, 2005, vol. 1, pagine da 50 a 57 possono presentare problemi di funzionamento che conducono a una ripercussione negativa sull?azione di panning (normale e/o a una particolare velocit?) in certe circostanze. Scopo e sintesi Le forme di attuazione qui presentate hanno lo scopo di fornire una soluzione di filtraggio panning innovativa e robusta che supera tali problemi e che pu? essere implementata con un basso consumo di potenza, divenendo cos? atta ad essere utilizzata anche in fotocamere e/o videocamere piccole. Varie forme di attuazione raggiungono tale scopo per mezzo di un dispositivo avente gli elementi distintivi esposti nelle rivendicazioni seguenti. Varie forme di attuazione possono anche essere relative a un corrispondente procedimento cos? come a un corrispondente prodotto informatico, caricabile nella memoria di almeno un computer e includente porzioni di codice software per effettuare le fasi del procedimento quando il prodotto ? eseguito su almeno un computer. Come qui utilizzato, un tale prodotto informatico intende essere equivalente a un mezzo leggibile da computer contenente istruzioni per il controllo del sistema di elaborazione, cos? da coordinare l?esecuzione di un procedimento secondo l?invenzione. Le rivendicazioni sono parte integrante della descrizione dell?invenzione qui fornita. Varie forme di attuazione possono fornire un filtro panning di basso costo per la stabilizzazione video, facilmente adatto per un?elaborazione in tempo reale, offrendo fra l?altro uno o pi? dei vantaggi seguenti: - una buona capacit? di seguire il movimento voluto dell?utente; - problemi ridotti di overshoot; - flessibilit?, cosicch? si possono utilizzare varie forme di attuazione in qualsiasi genere di filtraggio panning in qualsiasi procedura di stabilizzazione di un video. Breve descrizione delle figure Varie forme di attuazione saranno ora descritte, a puro titolo di esempio, con riferimento alle figure allegate, nelle quali: - la Figura 1 ? uno schema a blocchi di un sistema di filtraggio panning; - la Figura 2 ? uno schema a blocchi di un filtro panning con riduzione dell?overshoot; - la Figura 3 ? uno schema a blocchi di un integratore a perdita (leak integrator); - le Figure 4 e 5 sono esemplificative del flusso di segnale in forme di attuazione, e - la Figura 6 ? un diagramma dei poli e zeri in esempi di forme di attuazione.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000405A ITTO20130405A1 (it) | 2013-05-21 | 2013-05-21 | Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti |
| US14/278,680 US10178313B2 (en) | 2013-05-21 | 2014-05-15 | Panning filter device, corresponding method and computer program product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000405A ITTO20130405A1 (it) | 2013-05-21 | 2013-05-21 | Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ITTO20130405A1 true ITTO20130405A1 (it) | 2014-11-21 |
Family
ID=48628857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT000405A ITTO20130405A1 (it) | 2013-05-21 | 2013-05-21 | Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10178313B2 (it) |
| IT (1) | ITTO20130405A1 (it) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT201600094414A1 (it) * | 2016-09-20 | 2018-03-20 | St Microelectronics Srl | Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0933870A2 (en) * | 1998-02-03 | 1999-08-04 | Texas Instruments Incorporated | Hybrid FIR/IIR analog filter |
| US20060170783A1 (en) * | 2005-01-28 | 2006-08-03 | Stavely Donald J | Adaptive response image stabilization |
| WO2007020569A2 (en) * | 2005-08-12 | 2007-02-22 | Nxp B.V. | Method and system for digital image stabilization |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9319586B2 (en) | 2013-01-24 | 2016-04-19 | Stmicroelectronics S.R.L. | Method and device for stabilizing video sequences, related video-capture apparatus and computer-program product |
-
2013
- 2013-05-21 IT IT000405A patent/ITTO20130405A1/it unknown
-
2014
- 2014-05-15 US US14/278,680 patent/US10178313B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0933870A2 (en) * | 1998-02-03 | 1999-08-04 | Texas Instruments Incorporated | Hybrid FIR/IIR analog filter |
| US20060170783A1 (en) * | 2005-01-28 | 2006-08-03 | Stavely Donald J | Adaptive response image stabilization |
| WO2007020569A2 (en) * | 2005-08-12 | 2007-02-22 | Nxp B.V. | Method and system for digital image stabilization |
Non-Patent Citations (1)
| Title |
|---|
| JACKSON L B ET AL: "AN APPROACH TO THE IMPLEMENTATION OF DIGITAL FILTERS", IEEE TRANSACTIONS ON AUDIO AND ELECTROACOUSTICS, IEEE INC. NEW YORK, US, vol. AU-16, no. 3, 1 September 1968 (1968-09-01), pages 413 - 421, XP000760775, ISSN: 0018-9278, DOI: 10.1109/TAU.1968.1162002 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140348239A1 (en) | 2014-11-27 |
| US10178313B2 (en) | 2019-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4430727B2 (ja) | 映像安定化のための動きフィルタ処理 | |
| JP6087671B2 (ja) | 撮像装置およびその制御方法 | |
| CN105611116B (zh) | 一种全局运动矢量估计方法及监控视频稳像方法及装置 | |
| WO2017101489A1 (zh) | 图像滤波方法及装置 | |
| JP2009505477A (ja) | ディジタル画像安定化のための方法及びシステム | |
| JP2015216510A (ja) | 撮像装置、その制御方法および情報処理システム | |
| JP2009100373A (ja) | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 | |
| JP2016110653A5 (it) | ||
| US9172870B2 (en) | Real-time image processing method and device enhancing the resolution of successive images | |
| CN104135598A (zh) | 一种视频图像稳定方法及装置 | |
| JP2014229971A (ja) | ローリングシャッタ歪み補正と映像安定化処理方法 | |
| CN104144283B (zh) | 一种基于改进的卡尔曼滤波的实时数字视频稳像方法 | |
| JP2004304735A (ja) | 撮像装置および手振れ補正方法 | |
| KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
| WO2022063221A1 (zh) | 生成陀螺仪旋转方向的方法及计算机设备 | |
| ITTO20130405A1 (it) | Dispositivo di filtraggio panning, procedimento e prodotto informatico corrispondenti | |
| WO2012040594A2 (en) | System and method for all-in-focus imaging from multiple images acquired with hand-held camera | |
| Rawat et al. | Adaptive motion smoothening for video stabilization | |
| WO2008041167A2 (en) | Method and filter for recovery of disparities in a video stream | |
| Tanakian et al. | Digital video stabilization system by adaptive fuzzy filtering | |
| JP2015102945A5 (ja) | 画像処理方法、撮像装置、画像処理装置 | |
| Song et al. | A novel real-time digital video stabilization algorithm based on the improved diamond search and modified Kalman filter | |
| JP6570304B2 (ja) | 映像処理装置、映像処理方法およびプログラム | |
| JP6132610B2 (ja) | 画像処理装置、及び、画像処理方法 | |
| Peng et al. | Integration of image stabilizer with video codec for digital video cameras |