DE102011103423A1 - System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen - Google Patents

System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen Download PDF

Info

Publication number
DE102011103423A1
DE102011103423A1 DE102011103423A DE102011103423A DE102011103423A1 DE 102011103423 A1 DE102011103423 A1 DE 102011103423A1 DE 102011103423 A DE102011103423 A DE 102011103423A DE 102011103423 A DE102011103423 A DE 102011103423A DE 102011103423 A1 DE102011103423 A1 DE 102011103423A1
Authority
DE
Germany
Prior art keywords
processor
alignment
time series
pass filter
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102011103423A
Other languages
English (en)
Other versions
DE102011103423B4 (de
Inventor
Osar Nestares
Yoram Gat
Horst W. Haussecker
Igor V. Kozintsev
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tahoe Research Ltd
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE102011103423A1 publication Critical patent/DE102011103423A1/de
Application granted granted Critical
Publication of DE102011103423B4 publication Critical patent/DE102011103423B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Verfahren und Systeme zum Generieren von hochakkuraten Abschätzungen der 3D-Ausrichtung einer Kamera innerhalb eines globalen Bezugsframes. Ausrichtungsabschätzungen können von einem bildbasierten Anordnungsverfahren hergestellt werden. Andere Ausrichtungsabschätzungen können von einem kamerabefestigten Ausrichtungssensor genommen werden. Die anordnungsabgeleiteten Abschätzungen können in einen Hochpassfilter eingegeben werden. Die Ausrichtungsabschätzungen von dem Ausrichtungssensor können verarbeitet und in einen Tiefpassfilter eingegeben werden. Die Ausgaben des Hochpassfilters und des Tiefpassfilters werden verschmolzen, wobei eine stabilisierte Videosequenz hergestellt wird.

Description

  • HINTERGRUND
  • Abschätzen der 3D-Ausrichtung einer Kamera in einer Videosequenz innerhalb eines globalen Bezugsframes ist ein Problem, das auftreten kann, wenn Videostabilisierung in einer virtuellen dreidimensionalen (3D) Umgebung sowie bei Navigation und anderen Anwendungen adressiert wird. Diese Aufgabe erfordert die Eingabe eines oder mehr Ausrichtungssensoren (z. B. Gyroskop, Akzelerometer und/oder Kompass), die an der Kamera befestigt sein können, um 3D-Ausrichtung in einem geographischen Bezugsframe bereitzustellen. Hochfrequenzrauschen in den Sensormesswerten kann es jedoch schwierig gestalten, die akkuraten Ausrichtungsabschätzungen zu erhalten, die für visuell stabile Darstellung einer Videosequenz erforderlich sind. Dies kann insbesondere zutreffen, wenn das Video mit der Kamera erlangt wird, da es Hochfrequenzausrichtungsänderungen unterläuft (d. h. Jitter). Beispiele können z. B. ein Videobild aus einem sich bewegenden Auto oder während des Gehens beinhalten. Außerdem kann die Qualität eines Ausrichtungssensors ein herkömmliches Problem in solchen Kontexten sein, speziell für die kostengünstigen Sensoren, die in kommerziellen und Mobiltelefonkameras verfügbar sind, was zu einer schlechten Genauigkeit führt, insbesondere unter dynamischen Bedingungen. Typische Werte für winkelige Effektivwerte-(root mean square, RMS)-Fehler können im Bereich zwischen 0,5 und mehr als 2 Grad liegen. Aus diesem Grund können solche Sensoren Kamerajitter nicht akkurat messen, was dazu führt, dass Videosequenzen keine stabile Szene zeigen können, wenn sie in dem Kontext einer 3D-Umgebung angezeigt werden.
  • Andererseits hat sich herausgestellt, dass bildbasierte Anordnung bei der Bildstabilisierung recht erfolgreich ist, wobei akkurate Frame-zu-Frame-Ausrichtungsabschätzungen bereitgestellt werden. Allerdings kann bildbasierte Anordnung über die Zeit hinweg aufgrund von Fehler- und Verzerrungsansammlungen und der Abwesenheit absoluter Ausrichtung anfangen zu driften.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN/FIGUREN
  • 1 ist ein Blockdiagramm, das die Architektur einer Ausführungsform veranschaulicht.
  • 2 ist ein Ablaufdiagramm, das einen Rotationsabschätzungs- und Anordnungsprozess gemäß einer Ausführungsform veranschaulicht.
  • 3 ist ein Ablaufdiagramm, das die Abschätzung von Euler-Winkeln gemäß einer Ausführungsform veranschaulicht.
  • 4 ist ein Ablaufdiagramm, das die Verwendung von Quaternionen in einem Verschmelzungsprozess gemäß einer Ausführungsform veranschaulicht.
  • 5 ist ein Blockdiagramm einer beispielhaften Computerumgebung, in der eine Software- oder Firmwareausführungsform gemäß einer Ausführungsform ausgeführt werden kann.
  • In den Zeichnungen bezeichnet/bezeichnen die ganz linke(n) Ziffer(n) einer Bezugsnummer die Zeichnung, in der die Bezugsnummer zum ersten Mal auftaucht.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Eine Ausführungsform wird nun unter Bezugnahme auf die Figuren beschrieben, bei denen gleiche Bezugsnummern identische oder funktional ähnliche Elemente bezeichnen. Ebenfalls bei den Figuren entspricht die ganz linke Ziffer einer jeden Bezugsnummer der Figur, bei der die Bezugsnummer zum ersten Mal verwendet wird. Obwohl spezifische Konfigurationen und Anordnungen erörtert werden, sollte es selbstverständlich sein, dass dies lediglich zum Zwecke der Veranschaulichung erfolgt. Ein Fachmann wird erkennen, dass weitere Konfigurationen und Anordnungen verwendet werden können, ohne vom Sinn und Umfang der Beschreibung abzuweichen. Für einen Fachmann ist es selbstverständlich, dass dies ebenfalls bei vielerlei anderen Systemen und Anwendungen, die sich von den hierin beschriebenen unterscheiden, eingesetzt werden kann.
  • Hierin offenbart sind Verfahren und Systeme zum Generieren von Abschätzungen der 3D-Ausrichtung einer Kamera innerhalb eines globalen Bezugsframes. Ausrichtungsabschätzungen können von einem bildbasierten Anordnungsverfahren hergestellt werden. Andere Ausrichtungsabschätzungen können von einem oder mehr kamerabefestigten Ausrichtungssensoren genommen werden. Die anordnungsabgeleiteten Abschätzungen können in einen Hochpassfilter eingegeben werden. Die Ausrichtungsabschätzungen von dem Ausrichtungssensor können verarbeitet und in einen Tiefpassfilter eingegeben werden. Die Ausgaben des Hochpassfilters und des Tiefpassfilters können verschmolzen werden, wobei eine stabilisierte Videosequenz hergestellt wird.
  • Die Gesamtarchitektur ist gemäß einer Ausführungsform in 1 gezeigt. Eine Videokamera 110 ist gezeigt. Kamera 110 kann eine digitale Videosequenz 120 ausgeben. Ein Rotationsabschätzungsmodul 130 kann Kamerarotation durch Berechnen einer Verschiebung zwischen zwei sukzessiven Frames abschätzen. Dies kann für jedes Paar an sukzessiven Frames ausgeführt werden. Die resultierenden Verschiebungen können an Bildanordnungsmodul 140 weitergegeben werden. Dieses Modul kann eine Ausrichtungszeitreihe generieren, die der Sequenz von angeordneten Bildern entspricht. Diese Ausrichtungszeitreihe kann sodann an einen Filter 150 weitergegeben werden. Bei der veranschaulichten Ausführungsform wird diese Ausrichtungszeitreihe durch einen Tiefpassfilter weitergegeben, dessen Ausgabe von der Ausrichtungszeitreihe abgezogen werden kann. Der Nettoeffekt dieser Anordnung ist es, eine Hochpassfilteroperation bei der Ausrichtungszeitreihe auszuführen. Bei einer alternativen Ausführungsform kann ein Hochpassfilter verwendet werden.
  • Videokamera 110 kann ebenfalls einen Ausrichtungssensor (nicht gezeigt) beinhalten. Der Ausrichtungssensor kann einen oder mehr von z. B. Akzelerometer, Kompass und Gyroskop beinhalten. Die Ausgabe des Ausrichtungssensors ist als Ausgabe 160 gezeigt. Diese Ausgabe kann sodann von Modul 170 verarbeitet werden, um eine Zeitreihe herzustellen, die die Änderungen bei der Ausrichtung von Kamera 110 aber einen Zeitraum wiedergibt. Diese Zeitreihe von Modul 170 kann sodann an Tiefpassfilter 180 weitergegeben werden. Die Ausgaben von den beiden Filtern können sodann kombiniert, oder verschmolzen, werden, um eine stabilisierte 3-D-Kameraausrichtung 185 herzustellen. Stabilisierte Ausrichtung 185 kann sodann verwendet werden, um eine Ausgabevideosequenz 195 herzustellen. Es ist anzumerken, dass bei einer Ausführungsform Filter 150 und 180 sowie Modul 185 physisch oder logisch in einem Sensorverschmelzungsmodul 190 kombiniert sein können.
  • Wie weiter nachstehend erörtert können Module 130, 140, 150, 170, 180 und 190 in Software, Firmware oder Hardware oder in einer Kombination davon implementiert sein.
  • Ein Prozess zum Abschätzen von Rotation und Bildanordnung ist in 2 gemäß einer Ausführungsform veranschaulicht. Bei 210 kann eine Gaußsche Mehrauflösungsdarstellung (multi-resolution representation, MRR) eines Eingabebildes berechnet werden. Konzeptionell kann solch eine Darstellung als eine Pyramidenstruktur betrachtet werden, wobei eine erste Darstellungs- oder Pyramidenschicht eine relativ grobe Darstellung des Bildes sein kann, und jede nachfolgende Darstellung eine feinere Darstellung des Bildes relativ zu der vorherigen Darstellung sein kann. Diese Mehrauflösungsdarstellung eines Bildes kann eine grob-zu-fein Abschätzungsstrategie ermöglichen. Bei einer Ausführungsform kann diese Mehrauflösungsdarstellung des Eingabebildes unter Verwendung eines binomischen B2 Filters (1/4, 1/2, 1/4) zum Zweck von Recheneffizienz berechnet werden.
  • Bei der Ausführungsform von 2 kann die Sequenz 220 bis 240 für jede Ebene der Pyramide ausgeführt werden, beginnend bei der gröbsten Ebene. Im Allgemeinen kann der Prozess auf einer Gradienteneinschränkung basieren, die annimmt, dass die Intensitäten zwischen zwei Bildern, die angeordnet (oder registriert) werden, auf einer Pixel-für-Pixel-Basis verschoben werden, während ihre Intensitätswerte bewahrt bleiben. Die Gradienteneinschränkung kann angegeben werden als dx(p)Ix(x) + dy(p)Iy(x) + ΔI(p) =0 (1) wobei I Bildintensität darstellt, d Verschiebung darstellt, und ΔI(p) = I2(p) –I1(p), wobei I2(p) und I1(p) die Bildintensitäten bei Pixel p sind.
  • Jedes Pixel in dem Bild kann eine Einschränkung und im Allgemeinen zwei Unbekannte beitragen. Es kann jedoch angenommen werden, dass Kamerarotationsjitter die Bildbewegung über die Kameratranslation dominiert, sodass die Verschiebung zwischen zwei Bildern ausgedrückt werden kann als
    Figure 00040001
    wobei x1 bei homogenen Bildkoordinaten der Ort von Pixel p ist, x2 = Px1 und Fettdruck P eine bestimmte projektive Transformierung ist, die abhängig ist von drei Parametern, die die 3D-Kamerarotation und die zwei Brennweiten der Bilder beschreiben (wobei eine einfache diagonale Kamerakalibrierungsmatrix angenommen wird):
    Figure 00050001
    wobei f1 und f2 die entsprechenden Brennweiten sind, und R die 3D-Rotationsmatrix ist, die der Kamerarotation entspricht. Die Rotationsmatrix kann parametrisiert werden unter Verwendung von Euler-Winkeln ω = (ωx, ωy, ωz), die einem (x, y, z) Grundsatz entsprechen. Eine kleine Winkelnäherung kann verwendet werden,
    Figure 00050002
  • Beim Kombinieren von (1), (2) und (3) kann die folgende Einschränkung bei jedem Pixel erhalten werden:
    Figure 00050003
  • Angenommen, dass die Brennweiten beider Bilder von der Kamera bereitgestellt werden, dann ist diese Einschränkung in dem Euler-Winkelvektor ω linear.
  • Bei 220 kann jede Iteration beginnen, indem Einschränkungen von einer Abtastung von Pixeln von einem ersten Eingabebild gesammelt werden. Die Orte, von denen die Einschränkungen gebildet werden, können gemäß einer Ausführungsform unter Verwendung eines rechteckigen Abtastgitters in dem Bezugsframe des ersten Eingabebildes gewählt werden. Mit diesen Pixeln und ihren Einschränkungen kann ein Vektor ω für jedes Pixel abgeschätzt werden. Der Prozess zum Abschätzen dieser Winkel wird gemäß einer Ausführungsform nachstehend detaillierter beschrieben.
  • Mit den resultierenden Abschätzungen der Euler-Winkel kann bei 230 eine Rotationsmatrix R gemäß (3) vorstehend bestimmt werden. Nach Bestimmung dieser Matrix kann bei 240 die projektive Transformierung P gemäß (2) vorstehend berechnet werden. Mit jeder Iteration kann die Transformierung P mit der Transformierung P kombiniert werden, die aus der vorherigen Iteration resultiert ist, d. h. aus der vorherigen Auflösungsebene.
  • Bei 250 kann die Verschiebung d(p) als die abgeschätzte Interframekamerarotation berechnet werden. Bei 260 können der Eingabeframe und sein nachfolgender Frame gemäß der abgeschätzten Kamerarotation angeordnet werden. Bei einer Ausführungsform kann bilineare Interpolation verwendet werden, um die verschobenen Intensitätswerte des nachfolgenden Bildes bei den bezeichneten Pixelorten zu erhalten.
  • Bei einer Ausführungsform kann es wünschenswert sein, Probleme zu vermeiden, die von plötzlichen Änderungen bei der Aufnahme verursacht werden. Solche Probleme werden manchmal durch das automatische Aufnahmemerkmal von Kameras aufgeworfen. Um solche Probleme zu vermeiden, können die Bilder vorverarbeitet werden, um ihre gemittelte und Standardabweichung vor der Anordnung auszugleichen.
  • 3 veranschaulicht die Abschätzung von Euler-Winkeln (220 vorstehend) detaillierter. Bei 310 kann eine Einschränkung in der Form von Gleichung (4) für jedes abgetastete Pixel bei der gegebenen Auflösungsebene erzeugt werden. Dies resultiert in einer Gleichung für jedes abgetastete Pixel. Der resultierende Satz an Gleichungen stellt ein überbestimmtes System von Gleichungen dar, die jeweils in ω linear sind. Bei 320 kann dieses System von Gleichungen gelöst werden. Bei der veranschaulichten Ausführungsform kann das System unter Verwendung eines M-Abschätzers mit einer Tukey-Funktion gelöst werden.
  • 4 veranschaulicht das Verschmelzen von Ausrichtungsinformationen, abgeleitet von dem/n Ausrichtungssensor(en), mit angeordneten Bildinformationen. Bei 410 kann eine Zeitreihe, die die angeordneten Bildinformationen darstellt, als Rotationsquatemionen qi(t) modelliert werden. Bei 420 kann eine Zeitreihe, die die Ausrichtungsinformationen darstellt, abgeleitet von dem/den Ausrichtungssensor(en), als Quaternionen qs(t) modelliert werden. Das passende Filter kann bei den Quaternionen qs(t) und qi(t) bei Berechnung von verschmolzenen Quaternionen qf(t) ausgeführt werden, wie nachstehend in Gleichung 5 angezeigt.
  • Figure 00070001
  • Hier sind qi(t), qs(t) und qf(t) das angeordnete Bild, Ausrichtung bzw. verschmolzene Quaternionen, g(t) ist ein Tiefpassfilter; der Faltungsoperator * kennzeichnet das Falten einer jeden der Komponenten der Quaternion mit dem Faltungskern; und ∥ ist die Quaternionnnorm.
  • Es ist anzumerken, dass bei unterschiedlichen Ausführungsformen unterschiedliche Tiefpassfilter verwendet werden können. Ein bestimmter Tiefpassfilter kann beispielsweise basierend auf den bestimmten Sensorcharakteristika gewählt werden. Bei einer Ausführungsform kann beispielsweise ein Gaußscher Tiefpassfilter mit einer Standardabweichung von σ = 0,5 s verwendet werden.
  • Außerdem kann bei einer Ausführungsform das Falten unter Verwendung einer separaten Faltungsmaske implementiert werden, wobei die Anzahl an Abgriffen gleich ist zu 2[2σfr] + 1 wobei fr die Framegeschwindigkeit des Videos ist, die gleich sein kann zu der Abtastfrequenz der Ausrichtungszeitreihe.
  • Bei einer Ausführungsform können, nach Filtern und Hinzufügen der Quaternionen von beiden Quellen, die resultierenden Quaternionen keine anständigen 3D-Rotationen darstellen, und können zu der Einheitsnorm renormiert werden.
  • Ein oder mehr hierin offenbarte Merkmale können in Hardware, Software, Firmware und Kombinationen davon implementiert sein, einschließlich separater und integrierter Schaltkreislogik, anwendungsspezifischer integrierter Schaltkreis-(application specific integrated circuit, ASIC)-Logik und Mikrocontrollern, und können als Teil eines domainspezifischen integrierten Schaltkreisgehäuses oder einer Kombination von integrierten Schaltkreisgehäusen implementiert sein. Der Begriff Software, wie hierin verwendet, bezieht sich auf einen Computerprogrammartikel, einschließlich einem nicht-transitorischen computerlesbaren Medium, in dem Computerprogrammlogik gespeichert ist, um ein Computersystem zu veranlassen, ein oder mehr Merkmale und/oder Kombinationen von Merkmalen, die hierin offenbart sind, auszuführen.
  • Eine Software- oder Firmwareausführungsform der hierin beschriebenen Verarbeitung ist veranschaulicht in 5. In dieser Figur kann System 500 einen Prozessor 520 und einen Speicherkörper 510 beinhalten, der ein oder mehr computerlesbare Medien beinhalten kann, die Computerprogrammlogik 540 speichern können. Speicher 510 kann beispielsweise als eine Festplatte und ein Laufwerk, ein Wechselmedium, wie z. B. eine Compact Disk, ein ROM-(read-only memory)- oder RAM-(random access memory)-Gerät oder eine Kombination davon, implementiert sein. Prozessor 520 und Speicher 510 können unter Verwendung einer von vielen Technologien, die einem Fachmann bekannt sind, wie z. B. einem Bus, in Kommunikation stehen. In Speicher 510 enthaltene Computerprogrammlogik 540 kann von Prozessor 520 gelesen und ausgeführt werden. Ein oder mehr I/O-(Eingabe-/Ausgabe)-Ports und/oder I/O-(Eingabe-/Ausgabe)-Geräte, kollektiv als I/O 530 gezeigt, können ebenfalls mit Prozessor 520 und Speicher 510 verbunden sein.
  • Computerprogrammlogik 540 kann Anordnungsverarbeitungslogik 550 beinhalten. Diese Logik kann für das Ausführen der Verarbeitung verantwortlich sein, die beispielsweise in 2 und 3 veranschaulicht ist. Logik 550 kann deshalb beispielsweise Logik zum Berechnen Gaußscher Mehrauflösungsdarstellungen von Eingabebildern beinhalten. Logik 550 kann ebenfalls Logik zum Abschätzen von Euler-Winkeln, zum Bestimmen einer Rotationsmatrix R, und zum Bestimmen einer projektiven Transformierung P beinhalten. Logik 550 kann ebenfalls Logik zum Berechnen der Verschiebung d(x) beinhalten, was in einer angeordneten Bildzeitreihe resultiert.
  • Computerprogrammlogik 540 kann ebenfalls Ausrichtungsverarbeitungslogik 560 umfassen. Logik 560 kann für das Verarbeiten der Ausgabe eines Ausrichtungssensors und zum Generieren einer entsprechenden Ausrichtungszeitreihe verantwortlich sein.
  • Computerprogrammlogik 540 kann ebenfalls Verschmelzungslogik 570 umfassen. Logik 570 kann für das Ausführen des Filterns der Ausrichtungszeitreihe und der angeordneten Bildzeitreihe, das Modellieren dieser Informationen als Quaternionen, und das Berechnen der verschmolzenen Quaternionen verantwortlich sein.
  • Verfahren und Systeme werden hierin mit Hilfe funktionaler Bausteine offenbart, die deren Funktionen, Merkmale und Beziehungen veranschaulichen. Zumindest einige der Grenzen dieser funktionalen Bausteine wurden mm besseren Verständnis der Beschreibung hierin willkürlich definiert. Alternative Grenzen können definiert werden, solange deren spezifizierte Funktionen und Beziehungen angemessen durchgerührt werden.
  • Obwohl hierin verschiedene Ausführungsformen offenbart sind, sollte es selbstverständlich sein, dass diese lediglich beispielhaft und nicht einschränkend dargelegt wurden. Es ist für Fachleute offensichtlich, dass verschiedene Änderungen hinsichtlich Form und Detail daran vorgenommen werden können, ohne von dem Geist und Umfang der hierin offenbarten Verfahren und Systeme abzuweichen. Somit sollte die Bandbreite und der Umfang der Ansprüche nicht durch eine der beispielhaften Ausführungsformen, die hierin offenbart sind, eingeschränkt werden.

Claims (15)

  1. Verfahren, umfassend: Empfangen von Ausgabe von einem Ausrichtungssensor einer Videokamera; Formatieren der Ausgabe von dem Ausrichtungssensor als eine Ausrichtungszeitreihe; Anwenden eines Tiefpassfilters bei der Ausrichtungszeitreihe, um gefilterte Ausrichtungsinformationen herzustellen; Empfangen einer Videosequenz von der Videokamera; Abschätzen von dreidimensionaler (3D) Interframekamerarotation für die Videosequenz; Anordnen sukzessiver Bilder der Videosequenz unter Verwendung der abgeschätzten Kamerarotation; Formatieren der angeordneten Bilder als eine angeordnete Bildzeitreihe; Anwenden eines Hochpassfilters bei der angeordneten Bildzeitreihe, um gefilterte angeordnete Bildinformationen herzustellen; und Kombinieren der gefilterten angeordneten Bildinformationen mit den gefilterten Ausrichtungsinformationen, um eine stabilisierte Videosequenz herzustellen, wobei das Vorherstehende unter Verwendung eines angemessen programmierten Prozessors ausgeführt wird.
  2. Verfahren nach Anspruch 1, wobei das Abschätzen umfasst: Berechnen einer Gaußschen Mehrauflösungsdarstellung (multi-resolution representation, MRR) eines ersten der sukzessiven Bilder; für jede Ebene der MRR, fortschreitend von groben zu feinen Ebenen, Ausführen einer Iteration der folgenden Sequenz: für jede einer Vielzahl von Pixeln in dem ersten Bild, Definieren einer Einschränkung
    Figure 00110001
    dadurch Bilden eines überbestimmten linearen Systems; Lösen des Systems zur Abschätzung des Vektors ω = (ωx, ωy, ωz); Erzeugen einer Rotationsmatrix R,
    Figure 00110002
    unter Verwendung von R, Berechnen einer Projektionstransformierung P,
    Figure 00110003
    wobei x1 und x2 homogene Bildkoordinaten sind, und f1 und f2 entsprechende Brennweiten sind; und Kombinieren von P mit einer Projektionstransformierung von der vorherigen Iteration, um eine Projektionstransformierung der derzeitigen Iteration zu erzeugen; und Verwenden einer finalen Projektionstransformierung P zum Berechnen einer Verschiebung d(x).
  3. Verfahren nach Anspruch 2, wobei das Lösen des überbestimmten linearen Systems das Lösen des Systems unter Verwendung eines robusten M-Abschätzers mit einer Tukey-Funktion unter Verwendung einer IRLS-(iterative re-weighted least squares)-Strategie umfasst.
  4. Verfahren nach Anspruch 1, wobei die Ausrichtungszeitreihe und die angeordnete Bildzeitreihe als Quaternionen dargestellt sind, und wobei ein Tiefpassfilter einen Gaußschen Tiefpassfilter mit einer Standardabweichung σ = 0,5 Sekunden umfasst.
  5. Verfahren nach Anspruch 4, wobei das Kombinieren der gefilterten angeordneten Bildinformationen und der gefilterten Ausrichtungsinformationen Generieren einer verschmolzenen Quaternion umfasst gemäß
    Figure 00120001
    wobei qi(t), qs(t) und qf(t) das angeordnete Bild, Ausrichtung bzw. verschmolzene Quaternionen sind, g(t) ein Tiefpassfilter ist, ein Faltungsoperator * das Falten einer jeden der Komponenten der Quaternion mit einem Faltungskern kennzeichnet, und ∥ die Quaternionnorm ist, wobei das Falten eine separate Faltungsmaske verwendet, wobei die Anzahl an Abgriffen gleich ist zu 2[2σfr] + 1.
  6. System, umfassend: einen Prozessor; und einen mit dem Prozessor in Kommunikation stehenden Speicher, wobei der Speicher zum Speichern einer Vielzahl von Verarbeitungsanweisungen dient, um den Prozessor anzuweisen: die Ausgabe von einem Ausrichtungssensor einer Videokamera zu empfangen; die Ausgabe von dem Ausrichtungssensor als eine Ausrichtungszeitreihe zu formatieren; einen Tiefpassfilter bei der Ausrichtungszeitreihe anzuwenden, um gefilterte Ausrichtungsinformationen herzustellen; eine Videosequenz von der Videokamera zu empfangen; dreidimensionale (3D) Interframekamerarotation für die Videosequenz abzuschätzen; sukzessive Bilder der Videosequenz unter Verwendung der abgeschätzten Kamerarotation anzuordnen; die angeordneten Bilder als eine angeordnete Bildzeitreihe zu formatieren; einen Hochpassfilter bei der angeordneten Bildzeitreihe anzuwenden, um gefilterte angeordnete Bildinformationen herzustellen; und die gefilterten angeordneten Bildinformationen mit den gefilterten Ausrichtungsinformationen zu kombinieren, um eine stabilisierte Videosequenz herzustellen.
  7. System nach Anspruch 6, wobei die Verarbeitungsanweisungen zum Veranlassen des Prozessors zum Abschätzen Verarbeitungsanweisungen umfassen, um den Prozessor zu veranlassen: eine Gaußsche Mehrauflösungsdarstellung (multi-resolution representation, MRR) eines ersten der sukzessiven Bilder zu berechnen; für jede Ebene der MRR, fortschreitend von groben zu feinen Ebenen, eine Iteration der folgenden Sequenz auszuführen: für jede einer Vielzahl von Pixeln in dem ersten Bild, Definieren einer Einschränkung
    Figure 00130001
    dadurch Bilden eines überbestimmten linearen Systems; Lösen des Systems zur Abschätzung des Vektors ω = (ωx, ωy, ωz); Erzeugen einer Rotationsmatrix R,
    Figure 00130002
    unter Verwendung von R, Berechnen einer Projektionstransformierung P,
    Figure 00140001
    wobei x1 und x2 homogene Bildkoordinaten sind, und f1 und f2 entsprechende Brennweiten sind; und Kombinieren von P mit einer Projektionstransformierung von der vorherigen Iteration, um eine Projektionstransformierung der derzeitigen Iteration zu erzeugen; und Verwenden einer finalen Projektionstransformierung P zum Berechnen einer Verschiebung d(x).
  8. System nach Anspruch 7, wobei die Verarbeitungsanweisungen zum Veranlassen des Prozessors zum Lösen des überbestimmten linearen Systems Verarbeitungsanweisungen umfassen, um den Prozessor zu veranlassen: das System unter Verwendung eines robusten M-Abschätzers mit einer Tukey-Funktion unter Verwendung einer IRLS-(iterative re-weighted least squares)-Strategie zu lösen.
  9. System nach Anspruch 6, wobei die Ausrichtungszeitreihe und die angeordnete Bildzeitreihe als Quaternionen dargestellt sind, und wobei der Tiefpassfilter einen Gaußschen Tiefpassfilter mit einer Standardabweichung σ = 0,5 Sekunden umfasst.
  10. System nach Anspruch 9, wobei die Verarbeitungsanweisungen zum Veranlassen des Prozessors zum Kombinieren der gefilterten angeordneten Bildinformationen und der gefilterten Ausrichtungsinformationen Verarbeitungsanweisungen umfassen, um den Prozessor zu veranlassen, eine verschmolzene Quaternion zu generieren gemäß
    Figure 00140002
    wobei qi(t), qs(t) und qf(t) das angeordnete Bild, Ausrichtung bzw. verschmolzene Quaternionen sind, g(t) ein Tiefpassfilter ist, ein Faltungsoperator * das Falten einer jeden der Komponenten der Quaternion mit einem Faltungskern kennzeichnet, und ∥ die Quaternionnorm ist, wobei die Faltung eine separate Faltungsmaske verwendet, wobei die Anzahl an Abgriffen gleich ist zu 2[2σfr] + 1.
  11. Computerprogrammartikel, der ein computerverwendbares Medium mit darauf gespeicherter Computerprogrammlogik umfasst, wobei die Computersteuerlogik umfasst: Logik, die so konfiguriert ist, dass sie einen Prozessor veranlasst, Ausgabe von einem Ausrichtungssensor einer Videokamera zu empfangen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, die Ausgabe von dem Ausrichtungssensor als eine Ausrichtungszeitreihe zu formatieren; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, einen Tiefpassfilter bei der Ausrichtungszeitreihe anzuwenden, um gefilterte Ausrichtungsinformationen herzustellen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, eine Videosequenz von der Videokamera zu empfangen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, dreidimensionale (3D) Interframekamerarotation für die Videosequenz abzuschätzen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, sukzessive Bilder der Videosequenz unter Verwendung der abgeschätzten Kamerarotation anzuordnen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, die angeordneten Bilder als eine angeordnete Bildzeitreihe zu formatieren; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, einen Hochpassfilter bei der angeordneten Bildzeitreihe anzuwenden, um gefilterte angeordnete Bildinformationen herzustellen; und Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, die gefilterten angeordneten Bildinformationen mit den gefilterten Ausrichtungsinformationen zu kombinieren, um eine stabilisierte Videosequenz herzustellen.
  12. Computerprogrammartikel nach Anspruch 11, wobei die Computersteuerlogik weiter umfasst: Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, eine Gaußsche Mehrauflösungsdarstellung (multi-resolution representation, MRR) eines ersten der sukzessiven Bilder zu berechnen; Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, für jede Ebene der MRR eine Iteration der folgenden Sequenz auszuführen, Fortschreitend von groben zu feinen Ebenen: für jede einer Vielzahl von Pixeln in dem ersten Bild, Definieren einer Einschränkung
    Figure 00160001
    dadurch Bilden eines überbestimmten linearen Systems; Lösen des Systems zur Abschätzung des Vektors ω = (ωx, ωy, ωz); Erzeugen einer Rotationsmatrix R,
    Figure 00160002
    unter Verwendung von R, Berechnen einer Projektionstransformierung P,
    Figure 00160003
    wobei x1 und x2 homogene Bildkoordinaten sind, und f1 und f2 entsprechende Brennweiten sind; und Kombinieren von P mit einer Projektionstransformierung von der vorherigen Iteration, um eine Projektionstransformierung der derzeitigen Iteration zu erzeugen; und Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, eine finale Projektionstransformierung P zum Berechnen einer Verschiebung d(x) zu verwenden.
  13. Computerprogrammartikel nach Anspruch 12, wobei die Computersteuerlogik weiter umfasst: Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, das überbestimmte lineare System unter Verwendung eines robusten M-Abschätzers mit einer Tukey-Funktion unter Verwendung einer IRLS-(iterative re-weighted least squares)-Strategie zu lösen.
  14. Computerprogrammartikel nach Anspruch 11, wobei die Ausrichtungszeitreihe und die angeordnete Bildzeitreihe als Quaternionen dargestellt sind, und wobei ein Tiefpassfilter einen Gaußschen Tiefpassfilter mit einer Standardabweichung σ = 0,5 Sekunden umfasst.
  15. Computerprogrammartikel nach Anspruch 14, wobei die Computersteuerlogik, die so konfiguriert ist, dass sie den Prozessor veranlasst, die gefilterten angeordneten Bildinformationen mit den gefilterten Ausrichtungsinformationen zu kombinieren, umfasst: Logik, die so konfiguriert ist, dass sie den Prozessor veranlasst, eine verschmolzene Quaternion zu generieren gemäß
    Figure 00170001
    wobei qi(t), qs(t) und qf(t) das angeordnete Bild, Ausrichtung bzw. verschmolzene Quaternionen sind, g(t) ein Tiefpassfilter ist, ein Faltungsoperator * das Falten einer jeden der Komponenten der Quaternion mit einem Faltungskern kennzeichnet, und ∥ die Quaternionnorm ist, wobei die Faltung eine separate Faltungsmaske verwendet, wobei die Anzahl an Abgriffen gleich ist zu 2[2σfr] + 1.
DE102011103423.8A 2010-06-11 2011-06-06 System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen Active DE102011103423B4 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35398210P 2010-06-11 2010-06-11
US61/353,982 2010-06-11
US12/888,712 2010-09-23
US12/888,712 US8531504B2 (en) 2010-06-11 2010-09-23 System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates

Publications (2)

Publication Number Publication Date
DE102011103423A1 true DE102011103423A1 (de) 2012-02-23
DE102011103423B4 DE102011103423B4 (de) 2019-07-25

Family

ID=44279578

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102011103423.8A Active DE102011103423B4 (de) 2010-06-11 2011-06-06 System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen

Country Status (6)

Country Link
US (1) US8531504B2 (de)
KR (1) KR101314487B1 (de)
CN (1) CN102289804B (de)
DE (1) DE102011103423B4 (de)
GB (1) GB2481098B (de)
TW (1) TWI479881B (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896713B2 (en) * 2011-08-15 2014-11-25 Apple Inc. Motion-based video stabilization
WO2013109261A1 (en) 2012-01-18 2013-07-25 Intel Corporation Intelligent computational imaging system
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
US9516223B2 (en) * 2012-06-06 2016-12-06 Apple Inc. Motion-based image stitching
US9874636B2 (en) 2012-06-08 2018-01-23 Intel Corporation Device, system and method of orientation estimation of a mobile device
US9116001B2 (en) 2012-06-14 2015-08-25 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
US9123135B2 (en) 2012-06-14 2015-09-01 Qualcomm Incorporated Adaptive switching between vision aided INS and vision only pose
US20140015851A1 (en) * 2012-07-13 2014-01-16 Nokia Corporation Methods, apparatuses and computer program products for smooth rendering of augmented reality using rotational kinematics modeling
US9542585B2 (en) 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
IL233684B (en) 2014-07-17 2018-01-31 Shamir Hanan Stabilizing and displaying remote images
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
US20160182822A1 (en) * 2014-12-19 2016-06-23 Sony Corporation System, method, and computer program product for determiing a front facing view of and centering an omnidirectional image
US10708571B2 (en) 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
EP3378221B1 (de) 2015-11-16 2022-01-12 Google LLC Stabilisierung auf der grundlage von daten eines beschleunigungsmessers
US11477382B2 (en) 2016-02-19 2022-10-18 Fotonation Limited Method of stabilizing a sequence of images
EP3417606B1 (de) * 2016-02-19 2020-08-12 FotoNation Limited Verfahren zur stabilisierung einer bildersequenz
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
CN106534833B (zh) * 2016-12-07 2018-08-07 上海大学 一种联合空间时间轴的双视点立体视频稳定方法
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
US10534837B2 (en) * 2017-11-13 2020-01-14 Samsung Electronics Co., Ltd Apparatus and method of low complexity optimization solver for path smoothing with constraint variation
US20210250504A1 (en) * 2020-02-08 2021-08-12 John T. Buck Systems for leveling and orienting trail cameras
US11729505B2 (en) 2021-02-10 2023-08-15 Samsung Electronics Co., Ltd. Image signal processor, electronic device, and image stabilization method
US20240037793A1 (en) * 2022-07-27 2024-02-01 Gopro, Inc. Systems, methods, and apparatus for piggyback camera calibration

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130646A (ja) 1991-11-08 1993-05-25 Toshiba Corp 立体カメラ装置
US6278466B1 (en) 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
EP1050850A1 (de) 1999-05-03 2000-11-08 THOMSON multimedia Verfahren zur Bestimmung einer dominanten Bewegung zwischen zwei Bildern
US7292261B1 (en) 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
US6798897B1 (en) 1999-09-05 2004-09-28 Protrack Ltd. Real time image registration, motion detection and background replacement using discrete local motion estimation
JP2001210757A (ja) 2000-01-25 2001-08-03 Toshiba Corp 樹脂封止型半導体素子
US6665423B1 (en) 2000-01-27 2003-12-16 Eastman Kodak Company Method and system for object-oriented motion-based video description
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
JP2002209208A (ja) 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
DE60320169T2 (de) 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
EP1376471A1 (de) 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Verfahren der Bewegungsschätzung zur Stabilisierung einer Bildsequenz
US7433497B2 (en) 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7649549B2 (en) 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US7548659B2 (en) 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
JP5130646B2 (ja) * 2005-06-06 2013-01-30 ソニー株式会社 記憶装置
US7558405B2 (en) 2005-06-30 2009-07-07 Nokia Corporation Motion filtering for video stabilization
JP4332525B2 (ja) 2005-12-16 2009-09-16 ソフトバンクモバイル株式会社 移動体通信端末
US20070291104A1 (en) * 2006-06-07 2007-12-20 Wavetronex, Inc. Systems and methods of capturing high-resolution images of objects
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
FR2903200B1 (fr) * 2006-06-29 2008-12-19 Thales Sa Stabilisation hybride d'images pour camera video
US20080112630A1 (en) 2006-11-09 2008-05-15 Oscar Nestares Digital video stabilization based on robust dominant motion estimation
US8228366B2 (en) 2006-12-15 2012-07-24 Thomson Licensing System and method for interactive visual effects compositing
US7843451B2 (en) 2007-05-25 2010-11-30 Google Inc. Efficient rendering of panoramic images, and applications thereof
US8103134B2 (en) 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
US8335955B2 (en) * 2008-06-24 2012-12-18 Siemens Aktiengesellschaft System and method for signal reconstruction from incomplete data
US20100141761A1 (en) 2008-12-08 2010-06-10 Mccormack Kenneth Method and system for stabilizing video images
US8862987B2 (en) 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
CN101694716A (zh) * 2009-10-10 2010-04-14 北京理工大学 一种针对多点目标的立体视觉光学跟踪系统

Also Published As

Publication number Publication date
DE102011103423B4 (de) 2019-07-25
GB201108768D0 (en) 2011-07-06
CN102289804B (zh) 2014-03-19
CN102289804A (zh) 2011-12-21
US8531504B2 (en) 2013-09-10
TW201218748A (en) 2012-05-01
GB2481098B (en) 2013-10-16
KR101314487B1 (ko) 2013-10-07
KR20110135831A (ko) 2011-12-19
US20110304694A1 (en) 2011-12-15
GB2481098A (en) 2011-12-14
TWI479881B (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
DE102011103423B4 (de) System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen
DE69434657T2 (de) System und Verfahren zur elektronischen Bildstabilisierung
EP3186952B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE112016004731T5 (de) Erweitern von Mehrfachansicht-Bilddaten mit synthetischen Objekten unter Verwendung von IMU und Bilddaten
DE202014010843U1 (de) Ausrichten von bodenbasierten Bildern mit Luftbildern
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE102004049676A1 (de) Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
EP1947604A1 (de) Bild-entfaltungs- und supra-auflösungsverfahren für sequenzen und mengen von bildern und anwendungen dafür
WO2005101308A2 (de) Verfahren zur rotationskompensation sphärischer bilder
CN104735360B (zh) 光场图像处理方法和装置
DE102007021518A1 (de) Verfahren zum Verarbeiten eines Videodatensatzes
DE102018123402A1 (de) Bildunschärfekorrekturvorrichtung und steuerverfahren
US20120076403A1 (en) System and method for all-in-focus imaging from multiple images acquired with hand-held camera
EP3539085B1 (de) 3d-referenzierung
Zamani et al. Multiple-frames super-resolution for closed circuit television forensics
JP2003141529A (ja) 画像再構成法及び画像再構成装置
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
Bätz et al. Multi-image super-resolution using a locally adaptive denoising-based refinement
DE102012211961A1 (de) Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
DE102017115587A1 (de) Verfahren zum Bestimmen einer räumlichen Unsicherheit in Bildern eines Umgebungsbereiches eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
Soe et al. A simple PSF parameters estimation method for the de-blurring of linear motion blurred images using wiener filter in OpenCV
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
CN105469399A (zh) 一种面向混合噪声的人脸超分辨率的重建方法及装置
DE102016209662A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Übergangs zwischen zwei Anzeigebildern, und Fahrzeug
Yan et al. Super-resolution reconstruction for license plate image in video surveillance system

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R130 Divisional application to

Ref document number: 102011123097

Country of ref document: DE

R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005232000

Ipc: H04N0023600000

R081 Change of applicant/patentee

Owner name: TAHOE RESEARCH, LTD., IE

Free format text: FORMER OWNER: INTEL CORPORATION, SANTA CLARA, CALIF., US

R082 Change of representative

Representative=s name: DENNEMEYER & ASSOCIATES S.A., DE