DE202018106983U1

DE202018106983U1 - Kombinierte mechanische und elektronische Bildstabilisierung

Info

Publication number: DE202018106983U1
Application number: DE202018106983.7U
Authority: DE
Original assignee: GoPro Inc
Current assignee: GoPro Inc
Priority date: 2017-12-11
Filing date: 2018-12-06
Publication date: 2019-03-29
Anticipated expiration: 2028-12-07
Also published as: CN109951631B; US20190182424A1; US20230059888A1; CN109951631A; US11496684B2

Abstract

System, umfassend:
einen Bildsensor, der dazu ausgelegt ist, ein Bild zu erfassen;
einen oder mehrere Bewegungssensoren, die dazu ausgelegt sind, eine Bewegung des Bildsensors zu detektieren;
ein mechanisches Stabilisierungssystem einschließlich Gimbals und Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors zu steuern;
ein elektronisches Bildstabilisierungsmodul, das dazu ausgelegt ist, Bilder um Rotationen des Bildsensors zu korrigieren; und
eine Verarbeitungsvorrichtung, die ausgelegt ist, um:
eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren zu bestimmen;
einen Ausrichtungssollwert für den Bildsensor zu bestimmen;
auf Basis der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert das mechanische Stabilisierungssystem aufzurufen, um die Ausrichtung des Bildsensors abzugleichen;
das Bild aus dem Bildsensor zu empfangen;
eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen;
auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln; und
ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen.

Description

TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf Bildstabilisierung zur Bilderfassung.
HINTERGRUND
Bilderfassungseinrichtungen, wie zum Beispiel Kameras, können Content, wie Bilder oder Videos, erfassen. Licht kann aufgenommen und über eine Linse fokussiert und von einem Bildsensor in ein elektronisches Bildsignal konvertiert werden. Das Bildsignal kann von einem Bildsignalprozessor (Image Signal Processor, ISP) verarbeitet werden, um ein Bild zu bilden, das gespeichert und/oder codiert werden kann. In einigen Ausführungsformen können mehrere Bilder oder Video-Frames von unterschiedlichen Bildsensoren räumlich benachbarten oder überlappenden Content enthalten, der zusammengefügt werden kann (Stitching), um ein größeres Bild mit einem größeren Ansichtsfeld zu bilden.
KURZDARSTELLUNG
Hier werden Ausführungsformen der Bildstabilisierung zur Bilderfassung offenbart.
In einem ersten Aspekt kann der in dieser Spezifikation beschriebene Gegenstand in Systemen verwirklicht werden, die einen Bildsensor umfasesn, der dazu ausgelegt ist, ein Bild zu erfassen; ein mechanisches Stabilisierungssystem einschließlich Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors zu steuern, damit sie mit einem Ausrichtungssollwert übereinstimmt; und ein elektronisches Bildstabilisierungsmodul, das dazu ausgelegt ist, während der Erfassung des Bildes das Bild um eine Rotation des Bildsensors zu korrigieren, die Ausrichtungsabweichungen zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert entspricht.
Der in dieser Spezifikation beschriebene Gegenstand kann des Weiteren umfassen, einen Ausrichtungssollwert für einen Bildsensor zu bestimmen; auf Basis einer Sequenz von Ausrichtungsschätzwerten für den Bildsensor und dem Ausrichtungssollwert ein mechanisches Stabilisierungssystem aufzurufen, um eine Ausrichtung des Bildsensors hin zum Ausrichtungssollwert abzugleichen; ein Bild aus dem Bildsensor zu empfangen; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen; auf Basis der Ausrichtungsabweichung ein elektronisches Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln; und ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen.
In einem zweiten Aspekt kann der in dieser Spezifikation beschriebene Gegenstand in Systemen verwirklicht werden, die Folgendes umfassen: einen Bildsensor, der dazu ausgelegt ist, ein Bild zu erfassen, einen oder mehrere Bewegungssensoren, die dazu ausgelegt sind, Bewegung des Bildsensors zu detektieren, ein mechanisches Stabilisierungssystem einschließlich Gimbals und Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors zu steuern, ein elektronisches Bildstabilisierungsmodul, das dazu ausgelegt ist, Bilder um Rotationen des Bildsensors zu korrigieren, und eine Verarbeitungsvorrichtung, die ausgelegt ist, um: eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren zu bestimmen; einen Ausrichtungssollwert für den Bildsensor zu bestimmen; auf Basis der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert das mechanische Stabilisierungssystem aufzurufen, um die Ausrichtung des Bildsensors abzugleichen; das Bild aus dem Bildsensor zu empfangen; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen; auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln; und ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen.
Diese und andere Aspekte der vorliegenden Offenbarung werden in der folgenden ausführlichen Beschreibung, den beigefügten Ansprüchen und den zugehörigen Figuren offenbart.
Figurenliste
Die Offenbarung ist am besten anhand der folgenden ausführlichen Beschreibung zu verstehen, wenn sie in Verbindung mit den zugehörigen Zeichnungen gelesen wird. Es ist zu betonen, dass die verschiedenen Merkmale der Zeichnungen gemäß der üblichen Praxis nicht maßstabsgetreu sind. Vielmehr sind die Abmaße der verschiedenen Merkmale der Übersichtlichkeit halber beliebig vergrößert oder verkleinert.

1 ist ein Blockdiagramm eines beweglichen Bildgebungssystems und High-Level-Komponenten.
2A ist eine bildliche Veranschaulichung einer beweglichen Bildgebungsanordnung.
2B ist eine bildliche Veranschaulichung der Bildgebungseinrichtung.
2C ist eine bildliche Veranschaulichung einer Steuerung und einer Nutzerschnittstelle der beweglichen Bildgebungsanordnung.
2D ist eine bildliche Veranschaulichung der Bildgebungseinrichtung der 2B in einem Bewegungsmechanismus.
3A ist ein Blockdiagramm eines Beispiels für ein System, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist.
3B ist ein Blockdiagramm eines Beispiels für ein System, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist.
4 ist ein Blockdiagramm eines Beispiels für ein System, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist.
5 ist ein Blockdiagramm eines Beispiels für ein System, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist.
6 ist ein Flussdiagramm eines Beispiels für einen Prozess zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung.
7 ist ein Flussdiagramm eines Beispiels für einen Prozess zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung.
8 ist ein Flussdiagramm eines Beispiels für einen Prozess zum Bestimmen einer Rotation auf Basis einer Sequenz von Ausrichtungsschätzwerten für eine Bildersequenz.

AUSFÜHRLICHE BESCHREIBUNG
Dieses Dokument enthält die Offenbarung von Systemen und einer Vorrichtung zur Bilderfassung mit kombinierter mechanischer und elektronischer Bildstabilisierung. Elektronische Bildstabilisierung (Electronic Image Stabilization, EIS) und mechanische Stabilisierungssysteme (Mechanical Stabilization Systems, MSS) versuchen, das gleiche Problem unter Verwendung ähnlicher Daten zu lösen. Typische Ausführungsformen arbeiten nicht korrekt zur gleichen Zeit. Typische elektronische Bildstabilisierungsmodule können Gyroskopdaten verwenden, um rotatorische Bewegung der Kamera um die X-, Y und Z-Achsen des Kamerarahmens zu korrigieren. Typische mechanische Stabilisierungssysteme können Gyroskop- und/oder Beschleunigungsaufnehmerdaten wie auch optional Magnetometer-, Barometer- und Daten aus Global Positioning Systemen verwenden, um Rollbewegung in der X-, Y- und Z-Achse eines Gimbalrahmens ebenso wie translatorische Bewegung in der X-, Y- und Z-Achse des Gimbalrahmens zu unterdrücken. Ein mechanisches Stabilisierungssystem kann dazu ausgelegt sein, Bewegung zu unterdrücken, während ein elektronisches Bildstabilisierungsmodul Bewegungsartefakte in einem erfassten Bild korrigiert (z. B. in einem Video-Frame). Ein mechanisches Stabilisierungssystem arbeitet im Gimbalbezugssystem (das für jede Achse unterschiedlich sein kann), während ein elektronisches Bildstabilisierungsmodul auf dem Kamerabezugssystem arbeitet.
Mechanische Bildstabilisierung stützt sich gewöhnlich auf das Verwenden von Motoren mit hohem Drehmoment und hoher Bandbreite, um sicherzustellen, dass die Ausrichtung der stabilisierten Kamera der gewünschten Ausrichtung exakt folgt. Dieser Ansatz weist etliche Nachteile auf. Erstens weisen Motoren inhärente Beschränkungen in Bezug auf die Steuerbandbreite auf. Zum Beispiel können die Motoren in ihrer Fähigkeit beschränkt sein, hochfrequente Vibrationen zu unterdrücken, die auf der Kamera sichtbar werden können (z. B. Jitter- oder Jello-Artefakte). Zweitens weisen Motoren inhärente Beschränkungen in Bezug auf das maximale Drehmoment auf. Zum Beispiel kann ein mechanisches Stabilisierungssystem in seiner Fähigkeit beschränkt sein, Störgrößen mit hohem Drehmoment zu unterdrücken (z. B. einen starken Stoß beim Aufkommen nach einem Sprung). Drittens können das Maximieren der Steuerbandbreite und des Drehmoments zu schweren, teuren und großen Motoren führen, falls man sich nur auf mechanische Stabilisierung stützt.
Statt sich nur auf mechanische Stabilisierung zu stützen, können auch elektronische Bildstabilisierungs- (EIS-) Verfahren und elektronische Rolling-Shutter-(Electronic Rolling Shutter, ERS-) Kompensation eingesetzt werden. ERS ist dazu ausgelegt, Rolling-Shutter-Artefakte zu entfernen (die z. B. durch sehr hochfrequente Bewegungen bewirkt werden). EIS ist dazu ausgelegt, das Filmmaterial durch Entfernen eines Teils der hochfrequenten rotatorischen Bewegung der Kamera zu glätten. Wenn EIS und ERS direkt auf mechanisch stabilisiertes Filmmaterial angewendet werden, können sie die Ergebnisse sogar schlechter machen. Dies kann darauf zurückzuführen sein, dass die ERS- und EIS-Logik, die versucht, das Bild zu stabilisieren, nicht das Ziel hat, es zur gleichen Ausrichtung zu stabilisieren. Vielmehr stimmen die Kriterien, nach denen die gewünschte ERS-/EIS-Korrektur ausgewählt wird, gewöhnlich nicht mit den mechanischen Gimbal-Stabilisierungskriterien überein. Zum Beispiel arbeiten mechanische Stabilisierungssysteme typischerweise innerhalb eines spezifischen Bereichs, und wenn der Nutzer die Einrichtung bewegt (z. B. in einem langsamen Schwenk), wird das mechanische Stabilisierungssystem auf fließende Weise folgen. Dies kann durch das EIS-System als unbeabsichtigte Bewegung interpretiert werden. Das Ergebnis kann abgehackte Bewegung in der Bildersequenz (z. B. Video-Frames) sein, die am Ende einer Bilderfassungs- und Verarbeitungs-Pipeline ausgegeben wird.
Das Verwenden eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls zur gleichen Zeit im gleichen Bilderfassungssystem kann zu einer Interferenz zwischen den Dynamiken der beiden Systeme führen, was sogar die Bild- (z. B. Video-) Qualität verschlechtern kann. Ein anderes Problem ist, dass ein mechanisches Stabilisierungssystem hohe Leistungsaufnahme erfordern und eine Batterie eines Bilderfassungssystems entleeren kann. Ein anderes Problem ist, dass ein elektronisches Bildstabilisierungsmodul rechnerisch komplex sein kann und erhebliche Rechenressourcen verbrauchen kann (z. B. Prozessorzyklen oder Speicher). Ein anderes Problem ist, dass ein mechanisches Stabilisierungssystem typischerweise Motoren aufweist, die überhitzen können, wenn zu viel Leistung aufgenommen wird.
Es wird eine Technik vorgeschlagen, in der, statt die mechanische Stabilisierung unabhängig und parallel mit EIS und/oder ERS laufen zu lassen, ein sequentieller Ansatz verwendet wird, wenn die Stabilisierungskriterien der mechanischen und elektrischen Stabilisierung aufeinander ausgerichtet werden. Die zugrunde liegende Idee ist es, einen Trajektoriengenerator zu nehmen, der einen Ausrichtungssollwert für die Kamera bereitstellt (z. B. eine gewünschte Ausrichtung). Das mechanisches Stabilisierungssystem versucht, den Ausrichtungssollwert zu erreichen. Die Abweichung zwischen dem Ausrichtungssollwert und der tatsächlichen Ausrichtung der Kamera während der Erfassung eines Bildes oder eines Abschnitts eines Bildes kann geschätzt und dann durch ein elektronisches Bildstabilisierungsmodul kompensiert werden. Für Systeme, die einen elektronischen Rolling-Shutter verwenden, können Ausrichtungsabweichungen für jeweilige Abschnitte eines Bildes (z. B. Linien oder Pixelzeilen) bestimmt werden, und dann kann ein Warp-Mapping berechnet und auf ein Bild angewendet werden, um die EIS- und ERS-Kompensation umzusetzen, die die abschnittsweise (z. B. zeilenweise) Ausrichtungsabweichung berücksichtigt. Indem der Ausrichtungssollwert und/oder die Ausrichtungsabweichung(en) für ein Bild vom mechanischen Stabilisierungssystem in das elektronische Bildstabilisierungsmodul eingebracht werden, kann das elektronische Bildstabilisierungsmodul in die Lage versetzt werden, diese Daten zu verwenden, um erwünschte/absichtliche Bewegung zu ignorieren, während unbeabsichtigte Bewegung und Abweichung korrigiert werden. Das Ergebnis kann in der resultierenden Bildersequenz als die fließende Bewegung wahrgenommen werden, die beabsichtigt ist.
In einigen Ausführungsformen hat ein Trajektoriengenerator Zugriff auf aktuelle und frühere Daten, jedoch nicht auf zukünftige Daten. Eine verbesserte Kameratrajektorie für die EIS-Kompensation kann bestimmt werden, indem die zukünftige Kamerabewegung berücksichtigt wird (d. h. Informationen über die Bewegung während der Erfassung späterer Bilder in einer Bildersequenz), indem eine gewisse Verzögerung der Algorithmenverarbeitung eingebracht wird. Bilder und die entsprechenden Ausrichtungsschätzwerte und/oder Ausrichtungsabweichungen für eine Bildersequenz können in einem Puffer gespeichert werden, um die EIS-Verarbeitung in einer verzögerten Art und Weise abzuwarten. Diese Pufferung kann die Berücksichtigung aller Ausrichtungen des Bildes im Puffer ermöglichen, wenn eine Trajektorie (z. B. eine Sequenz von EIS-Rotationen) für das elektronische Bildstabilisierungsmodul bestimmt wird (z. B. durch einen schnellen Trajektoriengenerator). Die Ausgabe eines schnellen Trajektoriengenerators, der die Ausrichtungsdaten aus dem Puffer berücksichtigt, kann dann auf das älteste Bild im Puffer angewendet werden, um ein stabilisiertes Bild zu bestimmen, das der Pufferverzögerung unterworfen ist. Dieser Prozess kann für neue Bilder wiederholt werden.
Die vorgeschlagenen Techniken und Systeme zum Kombinieren eines mechanischen Stabilisierungssystems und eines elektronischen Bildstabilisierungsmoduls können gegenüber herkömmlichen Bildstabilisierungssystemen Vorteile bieten. Zum Beispiel kann die Qualität der stabilisierten Bilder verbessert sein, die Leistungsaufnahme eines mechanischen Stabilisierungssystems kann für eine gegebene Bildqualität reduziert sein, der Verbrauch an Rechenressourcen in einem Bilderfassungssystem kann reduziert sein und/oder das Überhitzen der Motoren in einem mechanischen Stabilisierungssystem kann vermieden werden oder reduziert sein.
Die Ausführungsformen werden ausführlich unter Bezugnahme auf die Zeichnungen beschrieben, die als Beispiele bereitgestellt werden, um es Fachleuten zu ermöglichen, die Technologie einzusetzen. Die Figuren und Beispiele sollen nicht den Schutzumfang der vorliegenden Offenbarung auf eine einzelne Ausführungsformen oder Umsetzungsform beschränken, und andere Ausführungsformen und Umsetzungsformen sind durch Austausch von oder Kombination mit einigen oder allen der beschriebenen oder veranschaulichten Elemente möglich. Wann immer es zweckmäßig ist, werden in den Zeichnungen durchweg die gleichen Bezugszeichen verwendet, um auf gleiche oder ähnliche Teile Bezug zu nehmen.
Die 1 ist ein Blockdiagramm eines beweglichen Bildgebungssystems 10 und High-Level-Komponenten. Das bewegliche Bildgebungssystem 10 kann zwei Hauptkomponenten aufweisen: eine bewegliche Bildgebungsanordnung 20 (Movable Imaging Assembly, MIA) und eine externe Einrichtung 50, wie zum Beispiel eine MIA-Steuerung mit einer Nutzerschnittstelle. Diese Komponenten können über eine Verknüpfung 55 kommunizierend verbunden sein. Die Verknüpfung 55 kann drahtlos oder drahtgebunden sein. Andere Komponenten können ebenfalls im beweglichen Bildgebungssystem 10 enthalten sein. Zum Beispiel kann die bewegliche Bildgebungsanordnung 20 eine Bildgebungseinrichtung 100 umfassen, wie zum Beispiel eine Kamera (der Begriff „Kamera“, wie er hier verwendet wird, ist umfassend definiert, so dass er irgendeine Form von Bildgebungseinrichtung umfasst), die verwendet werden kann, um Stand- und Videobilder zu erfassen. Die bewegliche Bildgebungsanordnung 20 kann eine bewegliche Plattform 40 umfassen, die in der Position und/oder rotatorisch in Bezug auf einen festen Bezugsuntergrund bewegt werden kann. Die bewegliche Bildgebungsanordnung 20 kann auch einen Bewegungsmechanismus 30 umfassen, der es der Bildgebungseinrichtung 100 gestattet, sich in der Position und/oder rotatorisch in Bezug auf die bewegliche Plattform 40 zu bewegen.
In einigen Ausführungsformen kann die externe Einrichtung 50 einem Smartphone, einem Tablet-Computer, einem Phablet, einer Smart Watch, einem transportierbaren Computer und/oder einer anderen Einrichtung entsprechen, die dazu ausgelegt ist, Nutzereingaben zu empfangen und Informationen mit der Bildgebungseinrichtung 100, dem Bewegungsmechanismus 30 und/oder der beweglichen Plattform 40 individuell oder mit der beweglichen Bildgebungsanordnung 20 als Ganzes zu kommunizieren.
In einer oder mehreren Ausführungsformen kann die Verknüpfung 55 irgendeine drahtlose Schnittstellenkonfiguration nutzen, z. B. WiFi, Bluetooth (BT), eine zellulare Datenverknüpfung, ZigBee, eine Nahfeldkommunikations- (NFC-) Verknüpfung, z. B. unter Verwendung des ISO/IEC 14443 Protokolls, einer ANT+-Verknüpfung und/oder einer anderen drahtlosen Kommunikationsverknüpfung. In einigen Ausführungsformen kann die Verknüpfung 55 unter Verwendung einer drahtgebundenen Schnittstelle herbeigeführt werden, z. B. HDMI, USB, Digital Video Interface, Display Port Interface (z. B. die digitale Anzeigeschnittstelle, die von der Video Electronics Standards Association (VESA) entwickelt worden ist, Ethernet, Thunderbolt) und/oder eine andere Schnittstelle.
Die UI der externen Einrichtung 50 kann eine Software-Anwendung betreiben (z. B. GoPro Studio®, GoPro App® und/oder eine andere Anwendung), die dazu ausgelegt ist, eine Vielzahl von Operationen in Bezug auf die Kamerakonfiguration, das Steuern von Videoerfassung und/oder die Anzeige von Videos, die von der Bildgebungseinrichtung 100 erfasst worden sind, durchzuführen. Eine Anwendung (z. B. GoPro App®) kann einem Nutzer ermöglichen, kurze Video-Clips zu erstellen und Video-Clips mit einem Cloud-Dienst zu teilen (z. B. Instagram®, Facebook®, YouTube®, Dropbox®); eine komplette Fernsteuerung der Funktionen der Bildgebungseinrichtung 100 durchzuführen; live Videos vorzuschauen, die zur Auswahl des Bildausschnitts erfasst werden; wichtige Momente während der Aufzeichnung zum Lokalisieren und/oder Abspielen von Video-Höhepunkten zu markieren (z. B. HiLight Tag®, View HiLight Tags in GoPro Camera Roll®); eine Kamera-Software drahtlos zu steuern und/oder andere Funktionen durchzuführen. Verschiedene Methoden können zum Konfigurieren der Bildgebungseinrichtung 100 und/oder zum Anzeigen der erfassten Informationen genutzt werden.
Zur Veranschaulichung: die UI der externen Einrichtung 50 kann eine Nutzereinstellung empfangen, welche die Bildauflösung (z. B. 3840 Pixel mal 2160 Pixel), Bildrate (z. B. 60 Frames pro Sekunde (fps)) und/oder andere Einstellungen (z. B. Position) in Bezug auf eine Aktivität (z. B. Mountainbike-Fahren) charakterisiert, die vom Nutzer erfasst wird. Die UI der externen Einrichtung 50 kann diese Einstellungen an die Bildgebungseinrichtung 100 über die Verknüpfung 55 kommunizieren.
Ein Nutzer kann die UI der externen Einrichtung 50 nutzen, um Content zu betrachten, der von der Bildgebungseinrichtung 100 erfasst worden ist. Eine Anzeige der UI der externen Einrichtung 50 kann als ein Viewport in einen 3D-Raum des Contents fungieren. In einigen Ausführungsformen kann die UI der externen Einrichtung 50 zusätzliche Informationen (z.B. Metadaten) zur Bildgebungseinrichtung 100 kommunizieren. Zur Veranschaulichung: die UI der externen Einrichtung 50 kann der Bildgebungseinrichtung 100 die Ausrichtung der UI der externen Einrichtung 50 in Bezug auf ein gegebenes Koordinatensystem bereitstellen, um die Bestimmung einer Viewport-Position oder von Abmaßen zum Betrachten eines Abschnitts des Panorama-Contents oder beides zu ermöglichen. Zur Veranschaulichung: ein Nutzer kann die UI der externen Einrichtung 50 über einen Bogen im Raum rotieren (schwenken). Die UI der externen Einrichtung 50 kann Anzeigeausrichtungsinformationen an die Bildgebungseinrichtung 100 unter Verwendung einer Kommunikationsschnittstelle, wie zum Beispiel der Verknüpfung 55, kommunizieren. Die Bildgebungseinrichtung 100 kann einen codierten Bitstrom bereitstellen, der dazu ausgelegt ist, das Betrachten eines Abschnitts des Contents zu ermöglichen, der einem Abschnitt der Umgebung der Anzeigeposition entspricht, wenn die Bildgebungseinrichtung 100 die Bahn durchläuft. Dementsprechend gestatten Anzeigeausrichtungsinformationen, die von der UI der externen Einrichtung 50 an die Bildgebungseinrichtung 100 gesendet werden, ein vom Nutzer auswählbares Betrachten des erfassten Bildes und/oder Videos.
In vielen Instanzen ist es wünschenswert, mit der beweglichen Bildgebungsanordnung 20 ein Ziel zu verfolgen (zu dem eines oder mehrere Gegenstände zählen können). Verschiedene Formen des Verfolgens können genutzt werden, einschließlich derjenigen, die nachstehend und in der vorläufigen US-Patentanmeldung Nr. 62/364.960 , eingereicht am 21. Juli 2016 und durch Bezugnahme hier in ihrer Gänze aufgenommen, erörtert werden. Ein Verfolgungssystem 60 kann genutzt werden, um die beschriebenen Formen der Verfolgung umzusetzen. Das Verfolgungssystem 60 kann einen Prozessor und Algorithmen umfassen, die zum Verfolgen des Ziels verwendet werden. Das Verfolgungssystem 60 wird in gestrichelten Linien gezeigt, da es komplett in der beweglichen Anordnung 20 oder komplett in der externen Einrichtung 50 enthalten sein kann oder das Abschnitte des Verfolgungssystems 60 sich sowohl in der beweglichen Bildgebungsanordnung 20 als auch in der externen Einrichtung 50 befinden oder in diesen dupliziert sein können. Ein Spracherkennungssystem 70 kann ebenfalls genutzt werden, um mit dem Verfolgungssystem 60 zu interagieren und Befehle auszugeben (z. B. Befehle, die ein Ziel identifizieren oder abgleichen).
Die 2A - 2D sind bildliche Veranschaulichungen von Ausführungsformen der in der 1 gezeigten Komponenten.
Die 2A ist eine bildliche Veranschaulichung der beweglichen Bildgebungsanordnung 20. In der gezeigten beispielhaften Ausführungsform umfasst die bewegliche Bildgebungsanordnung 20 eine bewegliche Plattform 40, die eine Quadcopter-Drohne ist. Die bewegliche Bildgebungsanordnung 20 könnte irgendeine Form von Luftfahrzeug oder irgendeine Form von beweglicher Einrichtung sein, die in Bezug auf einen festen Untergrund beweglich ist, der bewegliche mechanische Systeme umfassen könnte, die am Boden befestigt sind. Wie in der 2A gezeigt wird, ist die Bildgebungseinrichtung 100 vor der beweglichen Plattform 40 montiert, so dass sie in eine Richtung auf einer Achse der beweglichen Plattform 40 weist. Allerdings erfolgt in verschiedenen Ausführungsformen das Montieren der Bildgebungseinrichtung 100 an der beweglichen Plattform 40 unter Verwendung des Bewegungsmechanismus 30.
Die 2B ist eine bildliche Veranschaulichung der Bildgebungseinrichtung 100. In der 2B ist die Bildgebungseinrichtung 100 eine Kamera GoPro Hero4®, allerdings kann irgendeine Art von Bildgebungseinrichtung 100 genutzt werden. Die Bildgebungseinrichtung 100 kann eine Videokameraeinrichtung umfassen. Die 2B zeigt auch eine Linse 130 der Kamera zusammen mit einem Anzeigebildschirm 147.
Die 2C ist eine bildliche Veranschaulichung einer externen Einrichtung 50, insbesondere einer MIA-Steuerung und einer Nutzerschnittstelle. Die Nutzerschnittstelle kann des Weiteren ein Anzeigesystem 51 mit einer Anzeigeeinrichtung 52 umfassen. Die MIA-Steuerung kann des Weiteren eine Kommunikationsschnittstelle umfassen, über die sie Befehle sowohl zum Betrieb der beweglichen Plattform 40, wie zum Beispiel des UAV (Unmanned Aerial Vehicle) oder der Drohne, als auch zum Betrieb der Bildgebungseinrichtung 100 empfangen kann. Zu den Befehlen können Bewegungsbefehle, Konfigurationsbefehle und andere Arten von Betriebssteuerbefehlen zählen.
Die 2D ist eine bildliche Veranschaulichung der Bildgebungseinrichtung 100 der 2B in einem Bewegungsmechanismus 30. Der Bewegungsmechanismus 30 koppelt die Bildgebungseinrichtung 100 mit der beweglichen Plattform 40. Die Ausführungsform des in der 2D gezeigten Bewegungsmechanismus 30 ist ein Drei-Achsen-Gimbal-Mechanismus, der zulässt, dass die Bildgebungseinrichtung 100 um drei unabhängige Achsen gedreht wird. Allerdings kann der Bewegungsmechanismus 30 irgendeine Art von translatorischen und/oder rotatorischen Elementen umfassen, die rotatorische und/oder translatorische Bewegung in ein, zwei oder drei Dimensionen zulassen.
Die 3A ist ein Blockdiagramm eines Beispiels für ein System 300, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System 300 umfasst eine Bilderfassungseinrichtung 310 (z.B. eine Kamera oder eine Drohne), die eine Verarbeitungsvorrichtung 312 umfasst, die dazu ausgelegt ist, Bilder aus einen oder mehreren Bildsensoren 314 zu empfangen. Die Bilderfassungseinrichtung 310 umfasst Gimbals und Motoren 316, die Aktuatoren eines mechanischen Stabilisierungssystems sind, das dazu ausgelegt ist, eine Ausrichtung des einen oder der mehreren Bildsensoren 314 zu steuern (z. B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 316 können durch eine Steuerung des mechanischen Stabilisierungssystems gesteuert werden, das durch die Verarbeitungsvorrichtung 312 umgesetzt werden kann (z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul). Die Verarbeitungsvorrichtung 312 kann dazu ausgelegt sein, eine Bildsignalverarbeitung (z. B. Filtern, Tone Mapping, Stitching und/oder Codieren) durchzuführen, um Ausgabebilder auf Basis von Bilddaten aus dem Bildsensor 314 zu generieren. Die Verarbeitungsvorrichtung 312 kann ein elektronisches Bildstabilisierungsmodul (das z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul umgesetzt ist) umfassen, das dazu ausgelegt ist, Bilder um Rotationen des einen oder der mehreren Bildsensoren 314 zu korrigieren. Die Bilderfassungseinrichtung 310 umfasst einen oder mehrere Bewegungssensoren 318, die dazu ausgelegt sind, Bewegung des einen oder der mehreren Bildsensoren 314 zu detektieren. Der eine oder die mehreren Bewegungssensoren 318 können dem mechanischen Stabilisierungssystem und/oder dem elektronischen Bildstabilisierungsmodul Rückkopplungssignale bereitstellen. Die Bilderfassungseinrichtung 310 umfasst eine Kommunikationsschnittstelle 322 zum Übertragen von Bildern an andere Einrichtungen. Die Bilderfassungseinrichtung 310 umfasst eine Nutzerschnittstelle 320, die es einem Nutzer gestattet, Bilderfassungsfunktionen zu steuern und/oder Bilder zu betrachten. Die Bilderfassungseinrichtung 310 umfasst eine Batterie 324 zum Bestromen der Bilderfassungseinrichtung 310. Zum Beispiel kann das System 300 verwendet werden, um in dieser Offenbarung beschriebene Prozesse umzusetzen, wie zum Beispiel den Prozess 600 der 6 und den Prozess 700 der 7.
Die Verarbeitungsvorrichtung 312 kann einen oder mehrere Prozessoren umfassen, die Einzel- oder Mehrprozessorkerne aufweisen. Die Verarbeitungsvorrichtung 312 kann Speicher, wie zum Beispiel eine Direktzugriffsspeichereinrichtung (RAM, Random Access Memory), Flash-Speicher oder irgendeine andere geeignete Art von Speichereinrichtung, wie zum Beispiel einen nichtflüchtigen computerlesbaren Speicher, umfassen. Der Speicher der Verarbeitungsvorrichtung 312 kann ausführbare Anweisungen und Daten umfassen, auf die von einem oder mehreren Prozessoren der Verarbeitungsvorrichtung 312 zugegriffen werden kann. Zum Beispiel kann die Verarbeitungsvorrichtung 312 ein oder mehr DRAM-Module umfassen, wie zum Beispiel ein Double Data Rate Synchronous Dynamic Random Access Memory (DDR-SDRAM). In einigen Ausführungsformen kann die Verarbeitungsvorrichtung 312 einen Digital-Signal-Prozessor (DSP) umfassen. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung 312 eine anwendungsspezifische integrierte Schaltung (ASIC, Application Specific Integrated Circuit) umfassen. Zum Beispiel kann die Verarbeitungsvorrichtung 312 einen kundenspezifischen Bildsignalprozessor umfassen. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung 312 mehrere Verarbeitungseinheiten in unterschiedlichen Abschnitten der Bilderfassungseinrichtung 310 aufweisen. Zum Beispiel kann die Verarbeitungsvorrichtung 312 einen Prozessor auf einer beweglichen Plattform (z. B. der beweglichen Plattform 40) und einen Prozessor in einer Bildgebungseinrichtung (z. B. der Bildgebungseinrichtung 100) umfassen, die durch die Gimbals und Motoren 316 verbunden sind.
Die Verarbeitungsvorrichtung 312 kann ein elektronisches Bildstabilisierungsmodul umfassen, das dazu ausgelegt ist, Bilder um Rotationen eines Bildsensors zu korrigieren. Zum Beispiel kann das elektronische Bildstabilisierungsmodul durch Software umgesetzt werden, die durch die Verarbeitungsvorrichtung 312 ausgeführt wird. Das elektronische Bildstabilisierungsmodul kann Sensordaten (z. B. Gyroskopdaten) und/oder Ausrichtungsschätzwerte für den Bildsensor als Eingaben aufnehmen, eine korrigierende Rotation bestimmen und die korrigierende Rotation auf ein Bild aus dem Bildsensor anwenden, um ein stabilisiertes Bild zu ermitteln.
Der eine oder die mehreren Bildsensoren 314 sind dazu ausgelegt, Bilder zu erfassen. Der eine oder die mehreren Bildsensoren 314 sind dazu ausgelegt, Licht eines gewissen Spektrums (z. B. des sichtbaren Spektrums oder des Infrarotspektrums) zu detektieren und Informationen, die ein Bild ausmachen, als elektrische Signale (z. B. Analog- oder Digitalsignale) zu übermitteln. Zum Beispiel können der eine oder die mehreren Bildsensoren 314 ladungsgekoppelte Bildwandler (CCD, Charge-Coupled Devices) oder aktive Pixelsensoren in Complementary Metal-Oxide-Semiconductor (CMOS) umfassen. Der eine oder die mehreren Bildsensoren 314 können Licht detektieren, das durch die jeweilige Linse (z. B. eine Fischaugenlinse) einfällt. In einigen Ausführungsformen umfassen der eine oder die mehreren Bildsensoren 314 Digital-Analog-Wandler. In einigen Ausführungsformen weisen der eine oder die mehreren Bildsensoren 314 jeweilige Ansichtsfelder auf, die sich überlappen.
Das mechanische Stabilisierungssystem für den einen oder die mehreren Bildsensoren 314 umfasst die Gimbals und Motoren 316. Die Gimbals und Motoren 316 können Teile eines Bewegungsmechanismus (z. B. des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 316 können den einen oder die mehreren Bildsensoren 314 mit einer sich bewegenden Plattform verbinden und ihre Ausrichtung steuern. Zum Beispiel kann die Bilderfassungseinrichtung 310 eine Drohne umfassen, die mit einem Gehäuse des Bildsensors bzw. der Bildsensoren 314 durch die Gimbals des mechanischen Stabilisierungssystems gekoppelt ist. Die Gimbals und Motoren 316 können sich über mehrere Achsen erstrecken (z. B. ein Drei-Achsen-Gimbalsatz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann eine Steuerung umfassen (z. B. eine Proportional-Integral-Differential- (PID-) Steuerung). Zum Beispiel kann die Steuerung des mechanischen Stabilisierungssystems durch die Verarbeitungsvorrichtung 312 umgesetzt werden (z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul).
Der eine oder die mehreren Bewegungssensoren 318 sind dazu ausgelegt, Bewegung des einen oder der mehreren Bildsensoren 314 zu detektieren. Zum Beispiel können der eine oder die mehreren Bewegungssensoren 318 Teile einer inertialen Messeinheit (die z. B. Gyroskope, Beschleunigungsaufnehmer und/oder Magnetometer umfasst) umfassen, die in einem Gehäuse mit dem einen oder den mehreren Bildsensoren 314 montiert ist. In einigen Ausführungsformen können der eine oder die mehreren Bewegungssensoren 318 Teile einer inertialen Messeinheit umfassen, die in einer beweglichen Plattform der Bilderfassungseinrichtung 310 montiert ist. In einigen Ausführungsformen umfassen der eine oder die mehreren Bewegungssensoren 318 Sensoren (z. B. Magnetcodierer, optische Codierer und/oder Potentiometer), die den Zustand der Gimbals und Motoren 316 detektieren, um eine relative Ausrichtung des Bildsensors und einer beweglichen Plattform der Bilderfassungseinrichtung 310 zu messen. Zum Beispiel können der eine oder die mehreren Bewegungssensoren 318 Codierer umfassen, die dazu ausgelegt sind, eine Position und Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne oder einer handgeführten Batteriebasis) zu detektieren. Die Verarbeitungsvorrichtung 312 kann dazu ausgelegt sein, eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren 318 zu bestimmen. Zum Beispiel kann das Bestimmen der Sequenz von Ausrichtungsschätzwerten umfassen, quadratische Schätzung auf Sensordaten aus mehreren von dem einen oder den mehreren Bewegungssensoren 318 anzuwenden.
Die Verarbeitungsvorrichtung 312 kann dazu ausgelegt sein, das mechanische Stabilisierungssystem und das elektronische Bildstabilisierungsmodul kombiniert aufzurufen, um Verzerrung erfasster Bilder aufgrund von Bewegung der Bilderfassungseinrichtung 310 abzuschwächen. Die Verarbeitungsvorrichtung 312 kann dazu ausgelegt sein, eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren zu bestimmen; einen Ausrichtungssollwert für den Bildsensor zu bestimmen; auf Basis der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert das mechanische Stabilisierungssystem aufzurufen, um die Ausrichtung des Bildsensors abzugleichen; das Bild aus dem Bildsensor zu empfangen; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen; und auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln. Die Verarbeitungsvorrichtung 312 kann dazu ausgelegt sein, ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen. In einigen Ausführungsformen ist die Verarbeitungsvorrichtung dazu ausgelegt, eine Bildersequenz zu speichern, die nach dem Bild in einem Puffer erfasst worden ist; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis von Ausrichtungsschätzwerten aus der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen. Zum Beispiel kann die Verarbeitungsvorrichtung 312 dazu ausgelegt sein, eine Trajektorie auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis der Trajektorie zu bestimmen. Zum Beispiel kann die Verarbeitungsvorrichtung 312 dazu ausgelegt sein, eine Sequenz von Ausrichtungsabweichungen auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz und dem Ausrichtungssollwert entsprechen, zu bestimmen; und einen Filter (z. B. einen Tiefpassfilter) auf die Sequenz von Ausrichtungsabweichungen anzuwenden, um die Trajektorie zu ermitteln. In einigen Ausführungsformen wird das Bild mit einem elektronischen Rolling-Shutter erfasst, die Ausrichtungsabweichung ist eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und die Verarbeitungsvorrichtung 312 ist dazu ausgelegt, eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitts des Bildes zu bestimmen; und auf Basis der zweiten Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht, um das stabilisierte Bild zu ermitteln. Zum Beispiel kann die Verarbeitungsvorrichtung 312 dazu ausgelegt sein, den Prozess 600 der 6 oder den Prozess 700 der 7 umzusetzen.
Die Bilderfassungseinrichtung 310 kann eine Nutzerschnittstelle 320 umfassen. Zum Beispiel kann die Nutzerschnittstelle 320 eine LCD-Anzeige umfassen, um Bilder und/oder Nachrichten für einen Nutzer darzustellen. Zum Beispiel kann die Nutzerschnittstelle 320 einen Taster oder Schalter umfassen, der es einer Person ermöglicht, die Bilderfassungseinrichtung 310 manuell ein- und auszuschalten. Zum Beispiel kann die Nutzerschnittstelle 320 einen Verschlusstaster zum Aufnehmen von Bildern umfassen.
Die Bilderfassungseinrichtung 310 kann eine Kommunikationsschnittstelle 322 umfassen, die Kommunikationen mit einer Personal-Computer-Einrichtung (z. B. einem Smartphone, einem Tablet, einem Laptop-Computer oder einem Desktop-Computer) ermöglichen kann. Zum Beispiel kann die Kommunikationsschnittstelle 322 verwendet werden, um Befehle zu empfangen, welche die Bilderfassung und -verarbeitung in der Bilderfassungseinrichtung 310 steuern. Zum Beispiel kann die Kommunikationsschnittstelle 322 verwendet werden, um Bilddaten an eine Personal-Computer-Einrichtung zu übertragen. Zum Beispiel kann die Kommunikationsschnittstelle 322 eine drahtgebundene Schnittstelle umfassen, wie zum Beispiel eine High-Definition Multimedia Interface (HDMI), eine Universal Serial Bus-(USB-) Schnittstelle oder eine FireWire-Schnittstelle. Zum Beispiel kann die Kommunikationsschnittstelle 322 eine drahtlose Schnittstelle umfassen, wie zum Beispiel eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle.
Die Bilderfassungseinrichtung 310 kann eine Batterie 324 umfassen, welche die Bilderfassungseinrichtung 310 und/oder ihre Peripheriegeräte bestromt. Zum Beispiel kann die Batterie 324 drahtlos oder über eine Mikro-USB-Schnittstelle aufgeladen werden.
Die 3B ist ein Blockdiagramm eines Beispiels für ein System 330, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System 330 umfasst eine Bilderfassungseinrichtung 340 und eine Personal-Computer-Einrichtung 360, die über eine Kommunikationsverknüpfung 350 kommunizieren. Die Bilderfassungseinrichtung 340 umfasst einen oder mehrere Bildsensoren 342, die dazu ausgelegt sind, Bilder zu erfassen. Die Bilderfassungseinrichtung 340 umfasst eine Kommunikationsschnittstelle 348, die dazu ausgelegt ist, Bilder über die Kommunikationsverknüpfung 350 zur Personal-Computer-Einrichtung 360 zu übertragen. Die Personal-Computer-Einrichtung 360 umfasst eine Verarbeitungsvorrichtung 362, die dazu ausgelegt ist, unter Verwendung der Kommunikationsschnittstelle 366 Bilder von dem einen oder den mehreren Bildsensoren 342 zu empfangen. Die Bilderfassungseinrichtung 340 umfasst Gimbals und Motoren 344, die Aktuatoren eines mechanischen Stabilisierungssystems sind, das dazu ausgelegt ist, eine Ausrichtung des einen oder der mehreren Bildsensoren 342 zu steuern (z. B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 344 können durch eine Steuerung des mechanischen Stabilisierungssystems gesteuert werden, die durch die Verarbeitungsvorrichtung 362 umgesetzt werden kann (z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul) und den Motoren 344 Steuersignale über die Kommunikationsverknüpfung 350 bereitstellt. Die Verarbeitungsvorrichtung 362 kann dazu ausgelegt sein, eine Bildsignalverarbeitung (z. B. Filtern, Tone Mapping, Stitching und/oder Codieren) durchzuführen, um Ausgabebilder auf Basis von Bilddaten aus dem einen oder den mehreren Bildsensoren 342 zu generieren. Die Verarbeitungsvorrichtung 362 kann ein elektronisches Bildstabilisierungsmodul (das z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul umgesetzt ist) umfassen, das dazu ausgelegt ist, Bilder um Rotationen des einen oder der mehreren Bildsensoren 342 zu korrigieren. Die Bilderfassungseinrichtung 340 umfasst einen oder mehrere Bewegungssensoren 346, die dazu ausgelegt sind, eine Bewegung des einen oder der mehreren Bildsensoren 342 zu detektieren. Der eine oder die mehreren Bewegungssensoren 346 können dem mechanischen Stabilisierungssystem und/oder dem elektronischen Bildstabilisierungsmodul Rückkopplungssignale bereitstellen (z. B. über die Kommunikationsverknüpfung 350). Zum Beispiel kann das System 330 verwendet werden, um in dieser Offenbarung beschriebene Prozesse umzusetzen, wie zum Beispiel den Prozess 600 der 6 und den Prozess 700 der 7.
Der eine oder die mehreren Bildsensoren 342 sind dazu ausgelegt, Bilder zu erfassen. Der eine oder die mehreren Bildsensoren 342 sind dazu ausgelegt, Licht eines gewissen Spektrums (z. B. des sichtbaren Spektrums oder des Infrarotspektrums) zu detektieren und Informationen, die ein Bild ausmachen, als elektrische Signale (z. B. Analog- oder Digitalsignale) zu übermitteln. Zum Beispiel können der eine oder die mehreren Bildsensoren 342 ladungsgekoppelte Bildwandler (CCD, Charge-Coupled Devices) oder aktive Pixelsensoren in Complementary Metal-Oxide-Semiconductor (CMOS) umfassen. Der eine oder die mehreren Bildsensoren 342 können Licht detektieren, das durch die jeweilige Linse (z. B. eine Fischaugenlinse) einfällt. In einigen Ausführungsformen umfassen der eine oder die mehreren Bildsensoren 342 Digital-Analog-Wandler. In einigen Ausführungsformen weisen der eine oder die mehreren Bildsensoren 342 jeweilige Ansichtsfelder auf, die sich überlappen.
Die Verarbeitungsvorrichtung 362 kann einen oder mehrere Prozessoren umfassen, die Einzel- oder Mehrprozessorkerne aufweisen. Die Verarbeitungsvorrichtung 362 kann Speicher, wie zum Beispiel eine Direktzugriffsspeichereinrichtung (RAM, Random Access Memory), Flash-Speicher oder irgendeine andere geeignete Art von Speichereinrichtung, wie zum Beispiel einen nichtflüchtigen computerlesbaren Speicher, umfassen. Der Speicher der Verarbeitungsvorrichtung 362 kann ausführbare Anweisungen und Daten umfassen, auf die von einem oder mehreren Prozessoren der Verarbeitungsvorrichtung 362 zugegriffen werden kann. Zum Beispiel kann die Verarbeitungsvorrichtung 362 ein oder mehr DRAM-Module umfassen, wie zum Beispiel ein Double Data Rate Synchronous Dynamic Random Access Memory (DDR-SDRAM). In einigen Ausführungsformen kann die Verarbeitungsvorrichtung 362 einen Digital-Signal-Prozessor (DSP) umfassen. In einigen Ausführungsformen kann die Verarbeitungsvorrichtung 362 eine anwendungsspezifische integrierte Schaltung (ASIC, Application Specific Integrated Circuit) umfassen. Zum Beispiel kann die Verarbeitungsvorrichtung 362 einen kundenspezifischen Bildsignalprozessor umfassen.
Die Verarbeitungsvorrichtung 362 kann ein elektronisches Bildstabilisierungsmodul umfassen, das dazu ausgelegt ist, Bilder um Rotationen eines Bildsensors zu korrigieren. Zum Beispiel kann das elektronische Bildstabilisierungsmodul durch Software umgesetzt werden, die durch die Verarbeitungsvorrichtung 362 ausgeführt wird. Das elektronische Bildstabilisierungsmodul kann Sensordaten (z. B. Gyroskopdaten) und/oder Ausrichtungsschätzwerte für den Bildsensor als Eingaben aufnehmen, eine korrigierende Rotation bestimmen und die korrigierende Rotation auf ein Bild aus dem Bildsensor anwenden, um ein stabilisiertes Bild zu ermitteln.
Das mechanische Stabilisierungssystem für den einen oder die mehreren Bildsensoren 342 umfasst die Gimbals und Motoren 344. Die Gimbals und Motoren 344 können Teile eines Bewegungsmechanismus (z. B. des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 344 können den einen oder die mehreren Bildsensoren 342 mit einer sich bewegenden Plattform verbinden und ihre Ausrichtung steuern. Zum Beispiel kann die Bilderfassungseinrichtung 340 eine Drohne umfassen, die mit einem Gehäuse des Bildsensors bzw. der Bildsensoren 342 durch die Gimbals des mechanischen Stabilisierungssystems gekoppelt ist. Die Gimbals und Motoren 344 können sich über mehrere Achsen erstrecken (z. B. ein Drei-Achsen-Gimbalsatz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem kann eine Steuerung umfassen (z. B. eine Proportional-Integral-Differential- (PID-) Steuerung). Zum Beispiel kann die Steuerung des mechanischen Stabilisierungssystems durch die Verarbeitungsvorrichtung 362 umgesetzt werden (z. B. als ein Software-Modul oder ein spezialisiertes Hardware-Modul).
Der eine oder die mehreren Bewegungssensoren 346 sind dazu ausgelegt, eine Bewegung des einen oder der mehreren Bildsensoren 342 zu detektieren. Zum Beispiel können der eine oder die mehreren Bewegungssensoren 346 Teile einer inertialen Messeinheit (die z. B. Gyroskope, Beschleunigungsaufnehmer und/oder Magnetometer umfasst) umfassen, die in einem Gehäuse mit dem einen oder den mehreren Bildsensoren 342 montiert ist. In einigen Ausführungsformen können der eine oder die mehreren Bewegungssensoren 346 Teile einer inertialen Messeinheit umfassen, die in einer beweglichen Plattform der Bilderfassungseinrichtung 340 montiert ist. In einigen Ausführungsformen umfassen der eine oder die mehreren Bewegungssensoren 346 Sensoren (z. B. Magnetcodierer, optische Codierer und/oder Potentiometer), die den Zustand der Gimbals und Motoren 344 detektieren, um eine relative Ausrichtung des Bildsensors und einer beweglichen Plattform der Bilderfassungseinrichtung 340 zu messen. Zum Beispiel können der eine oder die mehreren Bewegungssensoren 346 Codierer umfassen, die dazu ausgelegt sind, eine Position und Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne oder einer handgeführten Batteriebasis) zu detektieren. Die Verarbeitungsvorrichtung 362 kann dazu ausgelegt sein, eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren 346 zu bestimmen. Zum Beispiel kann das Bestimmen der Sequenz von Ausrichtungsschätzwerten umfassen, quadratische Schätzung auf Sensordaten aus mehreren von dem einen oder den mehreren Bewegungssensoren 346 anzuwenden.
Die Verarbeitungsvorrichtung 362 kann dazu ausgelegt sein, das mechanische Stabilisierungssystem und das elektronische Bildstabilisierungsmodul kombiniert aufzurufen, um Verzerrung erfasster Bilder aufgrund von Bewegung der Bilderfassungseinrichtung 340 abzuschwächen. Die Verarbeitungsvorrichtung 362 kann dazu ausgelegt sein, eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren zu bestimmen; einen Ausrichtungssollwert für den Bildsensor zu bestimmen; auf Basis der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert das mechanische Stabilisierungssystem aufzurufen, um die Ausrichtung des Bildsensors abzugleichen; das Bild aus dem Bildsensor zu empfangen; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen; und auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln. Die Verarbeitungsvorrichtung 362 kann dazu ausgelegt sein, ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen. In einigen Ausführungsformen ist die Verarbeitungsvorrichtung dazu ausgelegt, eine Bildersequenz zu speichern, die nach dem Bild in einem Puffer erfasst worden ist; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis von Ausrichtungsschätzwerten aus der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen. Zum Beispiel kann die Verarbeitungsvorrichtung 362 dazu ausgelegt sein, eine Trajektorie auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis der Trajektorie zu bestimmen. Zum Beispiel kann die Verarbeitungsvorrichtung 362 dazu ausgelegt sein, eine Sequenz von Ausrichtungsabweichungen auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz und dem Ausrichtungssollwert entsprechen, zu bestimmen; und einen Filter (z. B. einen Tiefpassfilter) auf die Sequenz von Ausrichtungsabweichungen anzuwenden, um die Trajektorie zu ermitteln. In einigen Ausführungsformen wird das Bild mit einem elektronischen Rolling-Shutter erfasst, die Ausrichtungsabweichung ist eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und die Verarbeitungsvorrichtung 362 ist dazu ausgelegt, eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitts des Bildes zu bestimmen; und auf Basis der zweiten Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht, um das stabilisierte Bild zu ermitteln. Zum Beispiel kann die Verarbeitungsvorrichtung 362 dazu ausgelegt sein, den Prozess 600 der 6 oder den Prozess 700 der 7 umzusetzen.
Die Kommunikationsverknüpfung 350 kann eine drahtgebundene Kommunikationsverknüpfung oder eine drahtlose Kommunikationsverknüpfung sein. Die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 können Kommunikationen über die Kommunikationsverknüpfung 350 ermöglichen. Zum Beispiel können die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 eine High-Definition Multimedia Interface (HDMI), eine Universal Serial Bus- (USB-) Schnittstelle, eine FireWire-Schnittstelle, eine Bluetooth-Schnittstelle, eine ZigBee-Schnittstelle und/oder eine Wi-Fi-Schnittstelle umfassen. Zum Beispiel können die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 verwendet werden, um Bilddaten von der Bilderfassungseinrichtung 340 zur Personal-Computer-Einrichtung 360 zu übertragen, um eine Bildsignalverarbeitung (z. B. Filtern, Tone Mapping, Stitching und/oder Codieren) durchzuführen, um Ausgabebilder auf Basis von Bilddaten aus dem einen oder den mehreren Bildsensoren 342 zu generieren. Zum Beispiel können die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 verwendet werden, um Bewegungssensordaten aus der Bilderfassungseinrichtung 340 zur Personal-Computer-Einrichtung 360 zur Verarbeitung in einer Steuerung eines mechanischen Stabilisierungssystems und/oder eines elektronischen Bildstabilisierungssystems zu übertragen. Zum Beispiel können die Kommunikationsschnittstelle 348 und die Kommunikationsschnittstelle 366 verwendet werden, um Steuersignale aus der Personal-Computer-Einrichtung 360 zur Bilderfassungseinrichtung 340 zum Steuern der Gimbals und Motoren 344 eines mechanischen Stabilisierungssystems zu übertragen.
Die Personal-Computer-Einrichtung 360 kann eine Nutzerschnittstelle 364 umfassen. Zum Beispiel kann die Nutzerschnittstelle 364 eine Touchscreen-Anzeige umfassen, um Bilder und/oder Nachrichten für einen Nutzer darzustellen und Befehle von einem Nutzer zu empfangen. Zum Beispiel kann die Nutzerschnittstelle 364 einen Taster oder Schalter umfassen, der es einer Person ermöglicht, die Personal-Computer-Einrichtung 360 manuell ein- und auszuschalten. In einigen Ausführungsformen können Befehle (z. B. Videoaufzeichnung starten, Videoaufzeichnung stoppen, Foto aufnehmen oder Verfolgungsziel auswählen), die über die Nutzerschnittstelle 364 empfangen werden, über die Kommunikationsverknüpfung 350 weiter zur Bilderfassungseinrichtung 340 geleitet werden.
Die 4 ist ein Blockdiagramm eines Beispiels für ein System 400, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System umfasst Folgendes: einen Bildsensor 410, der dazu ausgelegt ist, ein Bild zu erfassen; ein mechanisches Stabilisierungssystem 420, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors 410 zu steuern; ein elektronisches Bildstabilisierungsmodul 430, das dazu ausgelegt ist, Bilder um Rotationen des Bildsensors zu korrigieren; ein Bewegungsverfolgungsmodul 440 einschließlich eines oder mehrerer Bewegungssensoren, das dazu ausgelegt ist, die Bewegung des Bildsensors 410 zu detektieren und Eingaben für das mechanische Stabilisierungssystem 420 und/oder das elektronische Bildstabilisierungsmodul 430 bereitzustellen; und einen Ausrichtungssollwertgenerator 450, der dazu ausgelegt ist, einen Ausrichtungssollwert für den Bildsensor zu bestimmen. Das elektronische Bildstabilisierungsmodul 430 kann dazu ausgelegt sein, ein Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung des mechanischen Stabilisierungssystems 420 entspricht, um ein stabilisiertes Bild zu ermitteln. Zum Beispiel kann das System 400 verwendet werden, um in dieser Offenbarung beschriebene Prozesse umzusetzen, wie zum Beispiel den Prozess 600 der 6 und den Prozess 700 der 7.
Das System 400 umfasst einen Bildsensor 410, der dazu ausgelegt ist, ein Bild 412 zu erfassen. Der Bildsensor 410 kann dazu ausgelegt sein, Licht eines gewissen Spektrums (z. B. des sichtbaren Spektrums oder des Infrarotspektrums) zu detektieren und Informationen, die ein Bild ausmachen, als elektrische Signale (z. B. Analog- oder Digitalsignale) zu übermitteln. Zum Beispiel kann der Bildsensor 410 ladungsgekoppelte Bildwandler (CCD) oder aktive Pixelsensoren in Complementary Metal-Oxide-Semiconductor (CMOS) umfassen. Der Bildsensor 410 kann Licht detektieren, das durch eine Linse (z. B. eine Fischaugenlinse) einfällt. In einigen Ausführungsformen umfasst der Bildsensor 410 einen Digital-Analog-Wandler.
Das System 400 umfasst ein mechanisches Stabilisierungssystem 420 einschließlich Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors 410 zu steuern, damit sie mit einem Ausrichtungssollwert übereinstimmt. In diesem Beispiel umfasst das mechanische Stabilisierungssystem 420 Gimbals und Motoren 422, die Aktuatoren sind, die verwendet werden, um eine Ausrichtung des Bildsensors 410 zu steuern (z. B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 422 können Teile eines Bewegungsmechanismus (z. B. des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 422 können den Bildsensor 410 mit einer beweglichen Plattform verbinden und die Ausrichtung des Bildsensors 410 mit der beweglichen Plattform steuern. Zum Beispiel kann das System 400 eine Drohne umfassen (z. B. die bewegliche Plattform 40), die durch das mechanische Stabilisierungssystem 420 mit einem Gehäuse des Bildsensors 410 gekoppelt ist. Die Gimbals und Motoren 422 können sich über mehrere Achsen erstrecken (z. B. ein Drei-Achsen-Gimbalsatz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem 420 kann eine Steuerung 424 umfassen (z. B. eine Proportional-Integral-Differential- (PID-) Steuerung). Zum Beispiel kann die Steuerung 424 des mechanischen Stabilisierungssystems 420 als ein Software-Modul oder als ein spezialisiertes Hardware-Modul umgesetzt werden (z. B. durch die Verarbeitungsvorrichtung 312). Die Steuerung 424 kann einen Ausrichtungssollwert 426 aus dem Ausrichtungssollwertgenerator 450 aufnehmen, der ein Verfolgungssystem umfassen kann (z. B. das Verfolgungssystem 60). Die Steuerung 424 kann zur Unterdrückung von Bewegungen ausgelegt sein, die vom Ausrichtungssollwert 426 (z. B. einer aktuellen Ausrichtung) abweichen. Die Gimbals und Motoren 422 werden verwendet, um Kräfte 428 (z. B. Drehmomente oder Verschiebungen) zu generieren, um das Steuern einer Ausrichtung und/oder Position des Bildsensors 410 zu betätigen. Zum Beispiel können die Kräfte 428 dazu dienen, den Bildsensor 410 stabil auf ein Ziel ausgerichtet zu halten, während sich eine verbundene bewegliche Plattform (z. B. eine Drohne) bewegt.
Das System 400 umfasst ein elektronisches Bildstabilisierungsmodul 430, das dazu ausgelegt ist, während der Erfassung des Bildes 412 Bilder um Rotationen des Bildsensors 410 zu korrigieren, die Ausrichtungsabweichungen 434 zwischen der Ausrichtung des Bildsensors 410 und dem Ausrichtungssollwert 426 entsprechen. Zum Beispiel kann das elektronische Bildstabilisierungsmodul 430 durch Software umgesetzt werden, die durch eine Verarbeitungsvorrichtung (z. B. einen Bildsignalprozessor) ausgeführt wird. Das elektronische Bildstabilisierungsmodul 430 kann Ausrichtungsabweichungen 434 als Eingaben aufnehmen, eine korrigierende Rotation bestimmen und die korrigierende Rotation auf das Bild 412 aus dem Bildsensor 410 anwenden, um ein stabilisiertes Bild 432 zu ermitteln. Das Korrigieren um Rotationen auf Basis der Ausrichtungsabweichung 434, die aus dem mechanischen Stabilisierungssystem 420 eingebracht wird, kann eine Interferenz zwischen den Dynamiken des mechanischen Stabilisierungssystems 420 und den Dynamiken des elektronischen Bildstabilisierungsmoduls 430 verhindern oder reduzieren und die Bildqualität des stabilisierten Bildes 432 verbessern. Zum Beispiel können gewisse höherfrequente Bewegungen des Bildsensors 410 (z. B. Vibrationen) zu schnell sein, um effizient durch das mechanische Stabilisierungssystem 420 unterdrückt zu werden, und können somit eine Verzerrung des Bildes 412 bewirken. Diese verbleibende Verzerrung kann im Ganzen oder zum Teil durch digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul 430 korrigiert werden.
Das System 400 umfasst ein Bewegungsverfolgungsmodul 440 einschließlich eines oder mehrerer Bewegungssensoren, das dazu ausgelegt ist, Bewegung des Bildsensors 410 zu detektieren und eine Sequenz 448 von Ausrichtungsschätzwerten für den Bildsensor 410 zu bestimmen. Das Bewegungsverfolgungsmodul 440 umfasst eine inertiale Messeinheit 442, die verwendet werden kann, um Änderungen in der Position und Ausrichtung des Bildsensors 410 zu detektieren. Zum Beispiel kann die inertiale Messeinheit 442 einen Drei-Achsen-Beschleunigungsaufnehmer, ein Drei-Achsen-Gyroskop und/oder ein Drei-Achsen-Magnetometer umfassen. Das Bewegungsverfolgungsmodul 440 umfasst Codierer 444 (z. B. Magnetcodierer, optische Codierer und/oder interferometrische Lasercodierer), die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors 410 relativ zu einer beweglichen Plattform (z. B. einer Drohne) zu detektieren, die durch die Gimbals und Motoren 422 verbunden ist. Das Bewegungsverfolgungsmodul 440 umfasst einen Global Positioning System (GPS-) Empfänger 446, der verwendet werden kann, um Änderungen in einer Position des Bildsensors 410 zu detektieren. Das Bewegungsverfolgungsmodul 440 kann ein Sensorfusionsmodul zum Kombinieren von Daten aus verschiedenen Sensoren des Bewegungsverfolgungsmoduls 440 umfassen, um die Sequenz von Schätzwerten der Position und/oder Ausrichtung des Bildsensors 410 zu bestimmen. Zum Beispiel kann das Bestimmen der Sequenz 448 von Ausrichtungsschätzwerten umfassen, quadratische Schätzung auf Sensordaten aus der inertialen Messeinheit 442, den Codierern 444 und/oder dem GPS-Empfänger 446 anzuwenden. Das mechanische Stabilisierungssystem 420 kann die Sequenz 448 von Ausrichtungsschätzwerten als Eingaben aufnehmen und die Sequenz 448 von Ausrichtungsschätzwerten als Rückkopplung zum Steuern der Ausrichtung des Bildsensors 410 verwenden.
Das System 400 umfasst einen Ausrichtungssollwertgenerator 450 zum Lenken einer Ausrichtung des Bildsensors 410. Der Ausrichtungssollwertgenerator 450 kann einen Ausrichtungssollwert 426 für den Bildsensor bestimmen. Der Ausrichtungssollwert 426 kann auf Basis von Sensordaten und/oder Ausrichtungsschätzwerten 452 aus dem Bewegungsverfolgungsmodul 440 bestimmt werden. In einigen Ausführungsformen wird der Ausrichtungssollwert 426 bestimmt, um eine stabile Ausrichtung aufrechtzuerhalten (ausgewählt z. B. auf Basis früherer Ausrichtungsschätzwerte für die Bildsensoren 410). In einigen Ausführungsformen wird der Ausrichtungssollwert 426 bestimmt, um ein Objekt zu verfolgen und es in einem Ansichtsfeld des Bildsensors 410 zu halten. Zum Beispiel kann der Ausrichtungssollwertgenerator 450 ein Verfolgungsmodul (z. B. das Verfolgungssystem 60) umfassen, das dazu ausgelegt ist, ein Objekt zu verfolgen (z. B. eine Person). Ein Objekt kann durch einen Nutzer zur Verfolgung ausgewählt werden. Zum Beispiel kann ein Objekt unter Verwendung von Computervisionstechniken und/oder Beacon-Signalen aus dem Objekt verfolgt werden. Der Ausrichtungssollwert 426 kann periodisch aktualisiert werden (z. B. mit der Bildrate, mit der Hälfte der Bildrate oder mit dem Zehnfachen der Bildrate für den Bildsensor 410). Der Ausrichtungssollwert 426 kann eine Ausrichtung und/oder Position des Bildsensors 410 spezifizieren. Zum Beispiel kann der Ausrichtungssollwert 426 eine Quaternion umfassen. In einigen Ausführungsformen kann der Ausrichtungssollwert 426 zwölf Freiheitsgrade spezifizieren (z. B. drei Winkel, drei Winkelgeschwindigkeiten, drei Positionskoordinaten und drei Geschwindigkeiten). Zum Beispiel kann der Ausrichtungssollwertgenerator 450 als Software umgesetzt werden, die durch eine Verarbeitungsvorrichtung (z. B. die Verarbeitungsvorrichtung 312) ausgeführt wird.
Die 5 ist ein Blockdiagramm eines Beispiels für ein System 500, das zur Bilderfassung mit Bildstabilisierung ausgelegt ist. Das System umfasst Folgendes: einen Bildsensor 510, der dazu ausgelegt ist, ein Bild zu erfassen; ein mechanisches Stabilisierungssystem 520, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors 510 zu steuern; ein elektronisches Bildstabilisierungsmodul 530, das dazu ausgelegt ist, Bilder um Rotationen des Bildsensors zu korrigieren; ein Bewegungsverfolgungsmodul 540 einschließlich eines oder mehrerer Bewegungssensoren, das dazu ausgelegt ist, die Bewegung des Bildsensors 510 zu detektieren und Eingaben für das mechanische Stabilisierungssystem 520 und/oder das elektronische Bildstabilisierungsmodul 530 bereitzustellen; einen langsamen Trajektoriengenerator 550, der dazu ausgelegt ist, eine Sequenz von Ausrichtungssollwerten 526 für den Bildsensor zu bestimmen; einen Puffer 560 zum Speichern einer Bildersequenz; und einen schnellen Trajektoriengenerator 570, der dazu ausgelegt ist, eine Sequenz von Rotationen 574 zur Korrektur durch das elektronische Bildstabilisierungsmodul 530 auf Basis von Ausrichtungsabweichungen 572 für die im Puffer 560 gespeicherte Bildersequenz zu bestimmen. Das elektronische Bildstabilisierungsmodul 530 kann dazu ausgelegt sein, ein Bild um eine Rotation 574 aus dem schnellen Trajektoriengenerator 570 zu korrigieren, die der Ausrichtungsabweichung des mechanischen Stabilisierungssystems 520 entspricht, um ein stabilisiertes Bild zu ermitteln. Das Speichern einer Bildersequenz (z. B. Video-Frames) im Puffer 560 kann eine Verarbeitungsverzögerung bereitstellen, um nichtkausales vorausschauendes Filtern zu ermöglichen, um eine fließendere Sequenz von Rotationen 574 zur Korrektur durch das elektronische Bildstabilisierungsmodul 530 zu bestimmen, was die Qualität des resultierenden stabilisierten Bildes 532 verbessern kann. Zum Beispiel kann das System 500 verwendet werden, um in dieser Offenbarung beschriebene Prozesse umzusetzen, wie zum Beispiel den Prozess 700 der 7.
Das System 500 umfasst einen Bildsensor 510, der dazu ausgelegt ist, ein Bild 512 zu erfassen. Der Bildsensor 510 kann dazu ausgelegt sein, Licht eines gewissen Spektrums (z. B. des sichtbaren Spektrums oder des Infrarotspektrums) zu detektieren und Informationen, die ein Bild ausmachen, als elektrische Signale (z. B. Analog- oder Digitalsignale) zu übermitteln. Zum Beispiel kann der Bildsensor 510 ladungsgekoppelte Bildwandler (CCD) oder aktive Pixelsensoren in Complementary Metal-Oxide-Semiconductor (CMOS) umfassen. Der Bildsensor 510 kann Licht detektieren, das durch eine Linse (z. B. eine Fischaugenlinse) einfällt. In einigen Ausführungsformen umfasst der Bildsensor 510 einen Digital-Analog-Wandler.
Das System 500 umfasst ein mechanisches Stabilisierungssystem 520 einschließlich Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors 510 zu steuern, damit sie mit einem Ausrichtungssollwert übereinstimmt. In diesem Beispiel umfasst das mechanische Stabilisierungssystem 520 Gimbals und Motoren 522, die Aktuatoren sind, die verwendet werden, um eine Ausrichtung des Bildsensors 510 zu steuern (z. B. eine Ausrichtung in Bezug auf eine bewegliche Plattform). Die Gimbals und Motoren 522 können Teile eines Bewegungsmechanismus (z. B. des Bewegungsmechanismus 30) sein. Die Gimbals und Motoren 522 können den Bildsensor 510 mit einer beweglichen Plattform verbinden und die Ausrichtung des Bildsensors 510 mit der beweglichen Plattform steuern. Zum Beispiel kann das System 500 eine Drohne umfassen (z. B. die bewegliche Plattform 40), die durch das mechanische Stabilisierungssystem 520 mit einem Gehäuse des Bildsensors 510 gekoppelt ist. Die Gimbals und Motoren 522 können sich über mehrere Achsen erstrecken (z. B. ein Drei-Achsen-Gimbalsatz mit bürstenlosen Gleichstrommotoren). Das mechanische Stabilisierungssystem 520 kann eine Steuerung 524 umfassen (z. B. eine Proportional-Integral-Differential- (PID-) Steuerung). Zum Beispiel kann die Steuerung 524 des mechanischen Stabilisierungssystems 520 als ein Software-Modul oder als ein spezialisiertes Hardware-Modul umgesetzt werden (z. B. durch die Verarbeitungsvorrichtung 312). Die Steuerung 524 kann einen Ausrichtungssollwert 526 aus dem langsamen Trajektoriengenerator 550 aufnehmen, der ein Verfolgungssystem umfassen kann (z. B. das Verfolgungssystem 60). Die Steuerung 524 kann zur Unterdrückung von Bewegungen ausgelegt sein, die vom Ausrichtungssollwert 526 (z. B. einer aktuellen Ausrichtung) abweichen. Die Gimbals und Motoren 522 werden verwendet, um Kräfte 528 (z. B. Drehmomente oder Verschiebungen) zu generieren, um das Steuern einer Ausrichtung und/oder Position des Bildsensors 510 zu betätigen. Zum Beispiel können die Kräfte 528 dazu dienen, den Bildsensor 510 stabil auf ein Ziel ausgerichtet zu halten, während sich eine verbundene bewegliche Plattform (z. B. eine Drohne) bewegt.
Das System 500 umfasst ein elektronisches Bildstabilisierungsmodul 530, das dazu ausgelegt ist, während der Erfassung eines Bildes 512 Bilder um Rotationen des Bildsensors 510 zu korrigieren, die Ausrichtungsabweichungen 534 zwischen der Ausrichtung des Bildsensors 510 und dem Ausrichtungssollwert 526 entsprechen. Zum Beispiel kann das elektronische Bildstabilisierungsmodul 530 durch Software umgesetzt werden, die durch eine Verarbeitungsvorrichtung (z. B. einen Bildsignalprozessor) ausgeführt wird. Das elektronische Bildstabilisierungsmodul 530 kann Rotationen 574 aus dem schnellen Trajektoriengenerator 570 als Eingaben aufnehmen, eine korrigierende Rotation bestimmen und die korrigierende Rotation auf ein Bild 562 aus dem Puffer 560 anwenden (z. B. das älteste Bild in einer im Puffer 560 gespeicherten Sequenz von Bildern), um ein stabilisiertes Bild 532 zu ermitteln. Das Korrigieren um Rotationen auf Basis der Ausrichtungsabweichungen 572, die aus dem mechanischen Stabilisierungssystem 520 eingebracht werden, kann eine Interferenz zwischen den Dynamiken des mechanischen Stabilisierungssystems 520 und den Dynamiken des elektronischen Bildstabilisierungsmoduls 530 verhindern oder reduzieren und die Bildqualität des stabilisierten Bildes 532 verbessern. Zum Beispiel können gewisse höherfrequente Bewegungen des Bildsensors 510 (z. B. Vibrationen) zu schnell sein, um effizient durch das mechanische Stabilisierungssystem 520 unterdrückt zu werden, und können somit eine Verzerrung des Bildes 562 bewirken. Diese verbleibende Verzerrung kann im Ganzen oder zum Teil durch digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul 530 korrigiert werden.
Das System 500 umfasst ein Bewegungsverfolgungsmodul 540 einschließlich eines oder mehrerer Bewegungssensoren, das dazu ausgelegt ist, Bewegung des Bildsensors 510 zu detektieren und eine Sequenz 548 von Ausrichtungsschätzwerten für den Bildsensor 510 zu bestimmen. Das Bewegungsverfolgungsmodul 540 umfasst eine inertiale Messeinheit 542, die verwendet werden kann, um Änderungen in der Position und Ausrichtung des Bildsensors 510 zu detektieren. Zum Beispiel kann die inertiale Messeinheit 542 einen Drei-Achsen-Beschleunigungsaufnehmer, ein Drei-Achsen-Gyroskop und/oder ein Drei-Achsen-Magnetometer umfassen. Das Bewegungsverfolgungsmodul 540 umfasst Codierer 544 (z. B. Magnetcodierer, optische Codierer und/oder interferometrische Lasercodierer), die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors 510 relativ zu einer beweglichen Plattform (z. B. einer Drohne) zu detektieren, die durch die Gimbals und Motoren 522 verbunden ist. Das Bewegungsverfolgungsmodul 540 umfasst einen Global Positioning System (GPS-) Empfänger 546, der verwendet werden kann, um Änderungen in einer Position des Bildsensors 510 zu detektieren. Das Bewegungsverfolgungsmodul 540 kann ein Sensorfusionsmodul zum Kombinieren von Daten aus verschiedenen Sensoren des Bewegungsverfolgungsmoduls 540 umfassen, um die Sequenz von Schätzwerten der Position und/oder Ausrichtung des Bildsensors 510 zu bestimmen. Zum Beispiel kann das Bestimmen der Sequenz 548 von Ausrichtungsschätzwerten umfassen, eine quadratische Schätzung auf Sensordaten aus der inertialen Messeinheit 542, den Codierern 544 und/oder dem GPS-Empfänger 546 anzuwenden. Das mechanische Stabilisierungssystem 520 kann die Sequenz 548 von Ausrichtungsschätzwerten als Eingaben aufnehmen und die Sequenz 548 von Ausrichtungsschätzwerten als Rückkopplung zum Steuern der Ausrichtung des Bildsensors 510 verwenden.
Das System 500 umfasst einen langsamen Trajektoriengenerator 550 zum Lenken einer Ausrichtung des Bildsensors 510. Der langsame Trajektoriengenerator 550 kann eine Sequenz von Ausrichtungssollwerten 526 bestimmen, die eine gewünschte Trajektorie für den Bildsensor 510 spezifizieren. Die Ausrichtungssollwerte 526 können auf Basis von Sensordaten und/oder Ausrichtungsschätzwerten 552 aus dem Bewegungsverfolgungsmodul 540 bestimmt werden. In einigen Ausführungsformen wird die Sequenz von Ausrichtungssollwerten 526 bestimmt, um eine stabile Ausrichtung aufrechtzuerhalten (ausgewählt z. B. auf Basis früherer Ausrichtungsschätzwerte für den Bildsensor 510). In einigen Ausführungsformen wird die Sequenz von Ausrichtungssollwerten 526 bestimmt, um ein Objekt zu verfolgen und es in einem Ansichtsfeld des Bildsensors 510 zu halten. Zum Beispiel kann der langsame Trajektoriengenerator 550 ein Verfolgungsmodul (z. B. das Verfolgungssystem 60) umfassen, das dazu ausgelegt ist, ein Objekt zu verfolgen (z. B. eine Person). Ein Objekt kann durch einen Nutzer zur Verfolgung ausgewählt werden (z. B. über eine Touchscreen-Nutzerschnittstelle). Zum Beispiel kann ein Objekt unter Verwendung von Computervisionstechniken und/oder Beacon-Signalen aus dem Objekt verfolgt werden. Der Ausrichtungssollwert 526 kann periodisch aktualisiert werden (z. B. mit der Bildrate, mit der Hälfte der Bildrate oder mit dem Zehnfachen der Bildrate für den Bildsensor 510). Der Ausrichtungssollwert 526 kann eine Ausrichtung und/oder Position des Bildsensors 510 spezifizieren. Zum Beispiel kann der Ausrichtungssollwert 526 eine Quaternion umfassen. In einigen Ausführungsformen kann der Ausrichtungssollwert 526 zwölf Freiheitsgrade spezifizieren (z. B. drei Winkel, drei Winkelgeschwindigkeiten, drei Positionskoordinaten und drei Geschwindigkeiten). Zum Beispiel kann der langsame Trajektoriengenerator 550 als Software umgesetzt werden, die durch eine Verarbeitungsvorrichtung (z. B. die Verarbeitungsvorrichtung 312) ausgeführt wird.
Das System 500 umfasst einen Puffer 560 zum Speichern einer Bildersequenz (z. B. Video-Frames), die vom Bildsensor 510 erfasst worden sind. Zum Beispiel kann der Puffer 560 ein Ringpuffer sein, der die neuesten Bilder speichert, die in einer Sequenz über eine festgelegte Zeitspanne erfasst worden sind (z. B. ein Puffer für die letzten 0,5, 1 oder 2 Sekunden der Video-Frames). Zum Beispiel kann ein neues Bild 512 über ein ältestes Bild geschrieben werden, das im Puffer 560 gespeichert ist, nachdem das älteste Bild durch das elektronische Bildstabilisierungsmodul 530 verarbeitet worden ist. Der Puffer 560 kann auch zusammen mit dem Bild 512 eine Ausrichtungsabweichung 534 empfangen, die einem neuen Bild 512 entspricht, das im Puffer 560 gespeichert worden ist.
Das System 500 umfasst einen schnellen Trajektoriengenerator 570, der dazu ausgelegt ist, eine Sequenz 574 von Rotationen auf Basis von Ausrichtungsabweichungen 572 zu bestimmen, die den Bildern im Puffer 560 entsprechen. Auf eine Sequenz von Ausrichtungsabweichungen 572, die mit der im Puffer 560 gespeicherten Bildersequenz verknüpft sind, kann durch den schnellen Trajektoriengenerator 570 zugegriffen werden. Zum Beispiel kann ein Tiefpassfilter auf die Sequenz 572 von Ausrichtungsabweichungen angewendet werden, um die zu korrigierende Sequenz 574 von Rotationen zu bestimmen. Der schnelle Trajektoriengenerator 570 kann ebenfalls Ausrichtungsabweichungen für ältere Bilder in der Bildersequenz berücksichtigen, die vorher durch das elektronische Bildstabilisierungsmodul 530 verarbeitet und aus dem Puffer 560 gelöscht worden sind, wenn die Sequenz 574 von Rotationen einschließlich einer Rotation für ein Bild 562 bestimmt wird, das kurz vor der Verarbeitung durch das elektronische Bildstabilisierungsmodul 530 steht. Zum Beispiel kann das elektronische Bildstabilisierungsmodul 530 dazu ausgelegt sein, eine Rotation aus der Sequenz 574 von Rotationen zu verwenden, die einem ältesten im Puffer 560 gespeicherten Bild 562 entspricht.
Die 6 ist ein Flussdiagramm eines Beispiels für einen Prozess 600 zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung. Der Prozess 600 umfasst Folgendes: eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus einem oder mehreren Bewegungssensoren zu bestimmen 610; einen Ausrichtungssollwert für einen Bildsensor zu bestimmen 620; auf Basis der Sequenz von Ausrichtungsschätzwerten für den Bildsensor und dem Ausrichtungssollwert ein mechanisches Stabilisierungssystem aufzurufen 630, um eine Ausrichtung des Bildsensors hin zum Ausrichtungssollwert abzugleichen; ein Bild aus dem Bildsensor zu empfangen 640; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen 650; auf Basis der Ausrichtungsabweichung ein elektronisches Bildstabilisierungsmodul aufzurufen 660, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln; und ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen 670. Zum Beispiel kann der Prozess 600 durch das bewegliche Bildgebungssystem 10 der 1, das System 300 der 3A, das System 330 der 3B oder das System 400 der 4 umgesetzt werden. Zum Beispiel kann der Prozess 600 durch eine Bilderfassungseinrichtung umgesetzt werden, wie die in der 3A gezeigte Bilderfassungseinrichtung 310. Zum Beispiel kann der Prozess 600 durch eine Personal-Computer-Einrichtung umgesetzt werden, wie zum Beispiel die Personal-Computer-Einrichtung 360.
Der Prozess 600 umfasst das Bestimmen 610 einer Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus einem oder mehreren Bewegungssensoren (z. B. dem einen oder den mehreren Bewegungssensoren 318). Zu dem einen oder den mehreren Bewegungssensoren kann eine inertiale Messeinheit (z. B. die inertiale Messeinheit 442) zählen, die verwendet werden kann, um Änderungen in Position und Ausrichtung des Bildsensors zu detektieren. Zu dem einen oder den mehreren Bewegungssensoren können Codierer (z. B. Magnetcodierer, optische Codierer und/oder interferometrische Lasercodierer) zählen, die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne) zu detektieren, die durch die Gimbals und Motoren des mechanischen Stabilisierungssystems verbunden ist. Der eine oder die mehreren Bewegungssensoren können Potentiometer umfassen, die einen Zustand der Gimbals und Motoren und somit eine Position und/oder Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne), die durch die Gimbals und Motoren verbunden ist, detektieren. Daten aus dem einen oder den mehreren Bewegungssensoren können kombiniert werden, um die Sequenz von Schätzwerten der Ausrichtung des Bildsensors zu bestimmen 610. Zum Beispiel kann das Bestimmen 610 der Sequenz von Ausrichtungsschätzwerten umfassen, eine quadratische Schätzung auf Sensordaten aus dem einen oder den mehreren Bewegungssensoren anzuwenden. In einigen Ausführungsformen kann zu einem Ausrichtungsschätzwert der Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft oder einen Horizont zählen. Zum Beispiel können Sensormesswerte aus einer inertialen Messeinheit verwendet werden, um eine Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft zu schätzen. In einigen Ausführungsformen kann zu einem Ausrichtungsschätzwert der Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform (z. B. eine Drohne oder ein Handgerät) zählen. In einigen Ausführungsformen zählen zur Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform und ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft.
Der Prozess 600 umfasst das Bestimmen 620 eines Ausrichtungssollwerts für einen Bildsensor. Der Ausrichtungssollwert kann auf Basis von Sensordaten und/oder Ausrichtungsschätzwerten bestimmt werden 620, die eine Ausrichtung und/oder eine Position des Bildsensors wiedergeben. In einigen Ausführungsformen wird der Ausrichtungssollwert bestimmt 620, um eine stabile Ausrichtung aufrechtzuerhalten (ausgewählt z. B. auf Basis früherer Ausrichtungsschätzwerte für den Bildsensor). Zum Beispiel kann ein neuer Ausrichtungsschätzwert oder ein Mittelwert von neuen Ausrichtungsschätzwerten verwendet werden, um den Ausrichtungssollwert in dem Bemühen zu bestimmen 620, den Bildsensor beim Vorhandensein von Vibrationen oder anderer Bewegung einer befestigten beweglichen Plattform (z. B. einer Drohne) stabil zu halten. In einigen Ausführungsformen wird der Ausrichtungssollwert bestimmt 620, um ein Objekt zu verfolgen und es in einem Ansichtsfeld des Bildsensors zu halten. Zum Beispiel kann ein Verfolgungsmodul (z. B. das Verfolgungssystem 60), das dazu ausgelegt ist, ein Objekt (z. B. eine Person) zu verfolgen, aufgerufen werden, um den Ausrichtungssollwert zu bestimmen 620. Ein Objekt kann durch einen Nutzer zur Verfolgung ausgewählt werden. Zum Beispiel kann ein Objekt unter Verwendung von Computervisionstechniken und/oder Beacon-Signalen aus dem Objekt verfolgt werden. Der Ausrichtungssollwert kann periodisch bestimmt werden 620 (z. B. mit der Bildrate, mit der Hälfte der Bildrate oder mit dem Zehnfachen einer Bildrate für den Bildsensor). Der Ausrichtungssollwert kann eine Ausrichtung und/oder eine Position des Bildsensors spezifizieren. Zum Beispiel kann der Ausrichtungssollwert eine Quaternion umfassen. In einigen Ausführungsformen kann der Ausrichtungssollwert zwölf Freiheitsgrade spezifizieren (z. B. drei Winkel, drei Winkelgeschwindigkeiten, drei Positionskoordinaten und drei Geschwindigkeiten). Zum Beispiel kann der Ausrichtungssollwert unter Verwendung von Software bestimmt werden 620, die durch eine Verarbeitungsvorrichtung (z. B. die Verarbeitungsvorrichtung 312) ausgeführt wird.
Der Prozess 600 umfasst, auf Basis einer Sequenz von Ausrichtungsschätzwerten für den Bildsensor und dem Ausrichtungssollwert ein mechanisches Stabilisierungssystem (z. B. das mechanische Stabilisierungssystem 420) aufzurufen 630, um eine Ausrichtung des Bildsensors hin zum Ausrichtungssollwert abzugleichen. Zum Beispiel kann das mechanische Stabilisierungssystem Gimbals und Motoren umfassen (z. B. die Gimbals und Motoren 316), die von Proportional-Integral-Differential- (PID-) Steuerungen gesteuert werden. Zum Beispiel kann das mechanische Stabilisierungssystem dadurch aufgerufen werden 630, dass eine Software-Ausführungsform einer Steuerung des mechanischen Stabilisierungssystems aufgerufen und/oder ausgeführt wird und sie veranlasst wird, dass sie auf Basis der Sequenz von Ausrichtungsschätzwerten Eingabedaten verarbeitet, um Steuersignale zum Ansteuern der Aktuatoren (z. B. der Gimbals und Motoren 316) zu erzeugen, um die Ausrichtung und/oder die Position des Bildsensors zu steuern. Zum Beispiel kann das mechanische Stabilisierungssystem dadurch aufgerufen werden 630, dass Daten, die auf der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert basieren, in eine spezielle Hardware-Ausführungsform einer Steuerung des mechanischen Stabilisierungssystems eingegeben werden und sie veranlasst wird, die Eingabedaten zu verarbeiten, um Steuersignale zum Ansteuern von Aktuatoren (z. B. der Gimbals und Motoren 316) zu erzeugen, um die Ausrichtung und/oder die Position des Bildsensors zu steuern. Das Aufrufen 630 des mechanischen Stabilisierungssystems kann unerwünschte Bewegung des Bildsensors und verknüpfte Verzerrungen (z. B. Unschärfe und Wackeln zwischen Video-Frames) reduzieren.
Der Prozess 600 beinhaltet das Empfangen 640 eines Bildes aus dem Bildsensor. Der Bildsensor kann Teil eines Bilderfassungssystems sein (z. B. des beweglichen Bildgebungssystems 10, der Bilderfassungseinrichtung 310 oder der Bilderfassungseinrichtung 340). In einigen Ausführungsformen kann der Bildsensor an einer Verarbeitungsvorrichtung befestigt sein, die den Prozess 600 umsetzt. Zum Beispiel kann das Bild aus dem Bildsensor über einen Bus empfangen werden 640. In einigen Ausführungsformen kann das Bild über eine Kommunikationsverknüpfung (z. B. die Kommunikationsverknüpfung 350) empfangen werden 640. Zum Beispiel kann das Bild über eine drahtlose oder drahtgebundene Kommunikationsschnittstelle empfangen werden 640 (z. B. Wi-Fi, Bluetooth, USB, HDMI, Wireless USB, Nahfeldkommunikation (Near Field Communication, NFC), Ethernet, einen Funkfrequenz-Transceiver und/oder andere Schnittstellen). Zum Beispiel kann das Bild über die Kommunikationsschnittstelle 366 empfangen werden 640. Zum Beispiel kann das Bild als ein Eingabebildsignal empfangen werden 640, das jeden Pixelwert in einem definierten Format darstellen kann, wie zum Beispiel einem RAW-Bildformat. In einigen Ausführungsformen kann das Bild ein Video-Frame sein, d. h. eines aus einer Bildersequenz eines Videos. In einigen Ausführungsformen wird das Bild direkt aus dem Bildsensor ohne Zwischen-Bildverarbeitung empfangen 640. In einigen Ausführungsformen wird das Bild empfangen 640, nachdem es einer Zwischen-Bildverarbeitung unterzogen worden ist (z. B. Korrektur von toten Pixeln, Bandverarbeitung, Entkoppeln von Vertikalaustastung, räumliche Rauschreduzierung und/oder zeitliche Rauschreduzierung).
Der Prozess 600 umfasst, eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen 650. Die Ausrichtungsabweichung kann als eine relative Ausrichtung oder Rotation (z. B. als Quaternion gespeichert) bestimmt werden 650, die während der Erfassung des Bildes den Ausrichtungssollwert zu einem Ausrichtungsschätzwert für den Bildsensor in Bezug setzt. In einigen Ausführungsformen wird ein elektronischer Rolling-Shutter durch den Bildsensor verwendet, um das Bild zu erfassen, und mehrere Ausrichtungsabweichungen können für jeweilige Abschnitte des Bildes (z. B. Pixelzeilen) bestimmt werden 650, die zu etwas unterschiedlichen Zeiten erfasst werden. Zum Beispiel können eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und eine zweite Ausrichtungsabweichung, die mit einem zweiten Abschnitt des Bildes verknüpft ist, bestimmt werden 650.
Der Prozess 600 umfasst, auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul (z. B. das elektronische Bildstabilisierungsmodul 430) aufzurufen 660, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln. Zum Beispiel kann das elektronische Bildstabilisierungsmodul dadurch aufgerufen werden 660, dass eine Software-Ausführungsform des elektronischen Bildstabilisierungsmoduls aufgerufen und/oder ausgeführt wird und sie veranlasst wird, Eingabedaten, die der Ausrichtungsabweichung entsprechen, zu verarbeiten, um eine korrigierende Rotationstransformation für das Bild aus dem Bildsensor zu bestimmen und anzuwenden, um das Bild zu stabilisieren (z. B. in Bezug auf andere Bilder in der Sequenz von Video-Frames). Zum Beispiel kann das elektronische Bildstabilisierungsmodul dadurch aufgerufen werden 660, dass Daten, die auf der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert basieren, in eine spezielle Hardware-Ausführungsform des elektronischen Bildstabilisierungsmoduls eingegeben werden und sie veranlasst wird, die Eingabedaten zu verarbeiten, um eine korrigierende Rotationstransformation für das Bild aus dem Bildsensor zu bestimmen und darauf anzuwenden, um das Bild zu stabilisieren. In einigen Ausführungsformen ist die durch das elektronische Bildstabilisierungsmodul korrigierte Rotation die Ausrichtungsabweichung oder eine Inverse der Ausrichtungsabweichung. Zum Beispiel kann die durch das elektronische Bildstabilisierungsmodul korrigierte Rotation von einer Sequenz von Ausrichtungsabweichungen für jeweilige Bilder in einer Bildersequenz (z. B. vorherige Video-Frames) interpoliert werden. In einigen Ausführungsformen wird das Bild mit einem elektronischen Rolling-Shutter erfasst, und es gibt eine Vielzahl an Ausrichtungsabweichungen für jeweilige Abschnitte des Bildes (z. B. eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und eine zweite Ausrichtungsabweichung, die mit einem zweiten Abschnitt des Bildes verknüpft ist), die zu unterschiedlichen Zeiten erfasst werden. Zum Beispiel kann eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitts des Bildes bestimmt werden, und auf Basis der zweiten Ausrichtungsabweichung kann das elektronische Bildstabilisierungsmodul aufgerufen werden 660, um den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht, um das stabilisierte Bild zu ermitteln.
Das Korrigieren des Bildes um eine Rotation, die der Ausrichtungsabweichung entspricht, kann eine Interferenz zwischen den Dynamiken des mechanischen Stabilisierungssystems und den Dynamiken des elektronischen Bildstabilisierungsmoduls verhindern oder reduzieren und die Bildqualität des stabilisierten Bildes verbessern. Zum Beispiel können gewisse höherfrequente Bewegungen des Bildsensors (z. B. Vibrationen) zu schnell sein, um effizient durch das mechanische Stabilisierungssystem unterdrückt zu werden, und können somit eine Verzerrung des Bildes bewirken. Diese verbleibende Verzerrung kann im Ganzen oder zum Teil durch digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul korrigiert werden.
Der Prozess 600 umfasst, ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen 670. In einigen Ausführungsformen ist das Ausgabebild das stabilisierte Bild. In einigen Ausführungsformen kann das stabilisierte Bild einer zusätzlichen Bildverarbeitung (z. B. wahrnehmungsbasiertes Tone Mapping, Objektivverzeichnungskorrektur, elektronische Rolling-Shutter-Korrektur, Stitching mit Parallaxenausgleich und Blending, um Bilder aus mehreren Bildsensoren zu kombinieren, und/oder Ausgabeprojektion) unterzogen werden, um das Ausgabebild zu bestimmen. Zum Beispiel kann das Ausgabebild zu einer externen Einrichtung (z. B. einer Personal-Computer-Einrichtung) zum Anzeigen oder Speichern übertragen werden 670. Zum Beispiel kann das Ausgabebild im Speicher einer Verarbeitungsvorrichtung (z. B. der Verarbeitungsvorrichtung 312 oder der Verarbeitungsvorrichtung 362) gespeichert werden 670. Zum Beispiel kann das Ausgabebild in der Nutzerschnittstelle 320 oder in der Nutzerschnittstelle 364 angezeigt werden 670. Zum Beispiel kann das Ausgabebild über die Kommunikationsschnittstelle 322 übertragen werden 670.
Die 7 ist ein Flussdiagramm eines Beispiels für einen Prozess 700 zur Bilderfassung mit mechanischer und elektronischer Bildstabilisierung. Der Prozess 700 umfasst, eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus einem oder mehreren Bewegungssensoren zu bestimmen 710; einen Ausrichtungssollwert für einen Bildsensor zu bestimmen 720; auf Basis der Sequenz von Ausrichtungsschätzwerten für den Bildsensor und dem Ausrichtungssollwert ein mechanisches Stabilisierungssystem aufzurufen 730, um eine Ausrichtung des Bildsensors hin zum Ausrichtungssollwert abzugleichen; ein Bild aus dem Bildsensor zu empfangen 740; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen 750; eine Bildersequenz zu speichern 752, die nach dem Bild in einem Puffer erfasst worden ist; eine Rotation, die der Ausrichtungsabweichung entspricht, auf Basis von Ausrichtungsschätzwerten aus der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen 754; auf Basis der Ausrichtungsabweichung ein elektronisches Bildstabilisierungsmodul aufzurufen 760, um das Bild um die Rotation zu korrigieren, um ein stabilisiertes Bild zu ermitteln; und ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen 770. Das Speichern einer Bildersequenz (z. B. Video-Frames) in einem Puffer kann eine Verarbeitungsverzögerung bereitstellen, um nichtkausales vorausschauendes Filtern zu ermöglichen, um eine fließendere Sequenz von Rotationen zur Korrektur durch das elektronische Bildstabilisierungsmodul zu bestimmen, was die Qualität der resultierenden stabilisierten Bilder verbessern kann. Zum Beispiel kann der Prozess 700 durch das bewegliche Bildgebungssystem 10 der 1, das System 300 der 3A, das System 330 der 3B oder das System 400 der 4 umgesetzt werden. Zum Beispiel kann der Prozess 700 durch eine Bilderfassungseinrichtung umgesetzt werden, wie die in der 3A gezeigte Bilderfassungseinrichtung 310. Zum Beispiel kann der Prozess 700 durch eine Personal-Computer-Einrichtung umgesetzt werden, wie zum Beispiel die Personal-Computer-Einrichtung 360.
Der Prozess 700 umfasst das Bestimmen 710 einer Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus einem oder mehreren Bewegungssensoren (z. B. dem einen oder den mehreren Bewegungssensoren 318). Zu dem einen oder den mehreren Bewegungssensoren kann eine inertiale Messeinheit (z. B. die inertiale Messeinheit 442) zählen, die verwendet werden kann, um Änderungen in Position und Ausrichtung des Bildsensors zu detektieren. Zu dem einen oder den mehreren Bewegungssensoren können Codierer (z. B. Magnetcodierer, optische Codierer und/oder interferometrische Lasercodierer) zählen, die verwendet werden können, um eine Position und/oder Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne) zu detektieren, die durch die Gimbals und Motoren des mechanischen Stabilisierungssystems verbunden ist. Der eine oder die mehreren Bewegungssensoren können Potentiometer umfassen, die einen Zustand der Gimbals und Motoren und somit eine Position und/oder Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform (z. B. einer Drohne), die durch die Gimbals und Motoren verbunden ist, detektieren. Daten aus dem einen oder den mehreren Bewegungssensoren können kombiniert werden, um die Sequenz von Schätzwerten der Ausrichtung des Bildsensors zu bestimmen 710. Zum Beispiel kann das Bestimmen 710 der Sequenz von Ausrichtungsschätzwerten beinhalten, eine quadratische Schätzung auf Sensordaten aus dem einen oder den mehreren Bewegungssensoren anzuwenden. In einigen Ausführungsformen kann zu einem Ausrichtungsschätzwert der Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft oder einen Horizont zählen. Zum Beispiel können Sensormesswerte aus einer inertialen Messeinheit verwendet werden, um eine Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft zu schätzen. In einigen Ausführungsformen kann zu einem Ausrichtungsschätzwert der Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform (z. B. eine Drohne oder ein Handgerät) zählen. In einigen Ausführungsformen zählen zur Sequenz von Ausrichtungsschätzwerten ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform und ein Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft.
Der Prozess 700 umfasst das Bestimmen 720 eines Ausrichtungssollwerts für einen Bildsensor. Der Ausrichtungssollwert kann auf Basis von Sensordaten und/oder Ausrichtungsschätzwerten bestimmt werden 720, die eine Ausrichtung und/oder eine Position des Bildsensors wiedergeben. In einigen Ausführungsformen wird der Ausrichtungssollwert bestimmt 720, um eine stabile Ausrichtung aufrechtzuerhalten (ausgewählt z. B. auf Basis früherer Ausrichtungsschätzwerte für den Bildsensor). Zum Beispiel kann ein neuer Ausrichtungsschätzwert oder ein Mittelwert von neuen Ausrichtungsschätzwerten verwendet werden, um den Ausrichtungssollwert in dem Bemühen zu bestimmen 720, den Bildsensor beim Vorhandensein von Vibrationen oder anderer Bewegung einer befestigten beweglichen Plattform (z. B. einer Drohne) stabil zu halten. In einigen Ausführungsformen wird der Ausrichtungssollwert bestimmt 720, um ein Objekt zu verfolgen und es in einem Ansichtsfeld des Bildsensors zu halten. Zum Beispiel kann ein Verfolgungsmodul (z. B. das Verfolgungssystem 60), das dazu ausgelegt ist, ein Objekt (z. B. eine Person) zu verfolgen, aufgerufen werden, um den Ausrichtungssollwert zu bestimmen 720. Ein Objekt kann durch einen Nutzer zur Verfolgung ausgewählt werden. Zum Beispiel kann ein Objekt unter Verwendung von Computervisionstechniken und/oder Beacon-Signalen aus dem Objekt verfolgt werden. Der Ausrichtungssollwert kann periodisch bestimmt werden 720 (z. B. mit der Bildrate, mit der Hälfte der Bildrate oder mit dem Zehnfachen einer Bildrate für den Bildsensor). Der Ausrichtungssollwert kann eine Ausrichtung und/oder eine Position des Bildsensors spezifizieren. Zum Beispiel kann der Ausrichtungssollwert eine Quaternion umfassen. In einigen Ausführungsformen kann der Ausrichtungssollwert zwölf Freiheitsgrade spezifizieren (z. B. drei Winkel, drei Winkelgeschwindigkeiten, drei Positionskoordinaten und drei Geschwindigkeiten). Zum Beispiel kann der Ausrichtungssollwert unter Verwendung von Software bestimmt werden 720, die durch eine Verarbeitungsvorrichtung (z. B. die Verarbeitungsvorrichtung 312) ausgeführt wird.
Der Prozess 700 umfasst, auf Basis einer Sequenz von Ausrichtungsschätzwerten für den Bildsensor und dem Ausrichtungssollwert ein mechanisches Stabilisierungssystem (z. B. das mechanische Stabilisierungssystem 420) aufzurufen 730, um eine Ausrichtung des Bildsensors hin zum Ausrichtungssollwert abzugleichen. Zum Beispiel kann das mechanische Stabilisierungssystem Gimbals und Motoren umfassen (z. B. die Gimbals und Motoren 316), die von Proportional-Integral-Differential- (PID-) Steuerungen gesteuert werden. Zum Beispiel kann das mechanische Stabilisierungssystem dadurch aufgerufen werden 730, dass eine Software-Ausführungsform einer Steuerung des mechanischen Stabilisierungssystems aufgerufen und/oder ausgeführt wird und sie veranlasst wird, dass sie auf Basis der Sequenz von Ausrichtungsschätzwerten Eingabedaten verarbeitet, um Steuersignale zum Ansteuern der Aktuatoren (z. B. der Gimbals und Motoren 316) zu erzeugen, um die Ausrichtung und/oder die Position des Bildsensors zu steuern. Zum Beispiel kann das mechanische Stabilisierungssystem dadurch aufgerufen werden 730, dass Daten, die auf der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert basieren, in eine spezielle Hardware-Ausführungsform einer Steuerung des mechanischen Stabilisierungssystems eingegeben werden und sie veranlasst wird, die Eingabedaten zu verarbeiten, um Steuersignale zum Ansteuern von Aktuatoren (z. B. der Gimbals und Motoren 316) zu erzeugen, um die Ausrichtung und/oder die Position des Bildsensors zu steuern. Das Aufrufen 730 des mechanischen Stabilisierungssystems kann unerwünschte Bewegung des Bildsensors und verknüpfte Verzerrungen (z. B. Unschärfe und Wackeln zwischen Video-Frames) reduzieren.
Der Prozess 700 umfasst das Empfangen 740 eines Bildes aus dem Bildsensor. Der Bildsensor kann Teil eines Bilderfassungssystems sein (z. B. des beweglichen Bildgebungssystems 10, der Bilderfassungseinrichtung 310 oder der Bilderfassungseinrichtung 340). In einigen Ausführungsformen kann der Bildsensor an einer Verarbeitungsvorrichtung befestigt sein, die den Prozess 700 umsetzt. Zum Beispiel kann das Bild aus dem Bildsensor über einen Bus empfangen werden 740. In einigen Ausführungsformen kann das Bild über eine Kommunikationsverknüpfung (z. B. die Kommunikationsverknüpfung 350) empfangen werden 740. Zum Beispiel kann das Bild über eine drahtlose oder drahtgebundene Kommunikationsschnittstelle empfangen werden 740 (z. B. Wi-Fi, Bluetooth, USB, HDMI, Wireless USB, Nahfeldkommunikation (Near Field Communication, NFC), Ethernet, einen Funkfrequenz-Transceiver und/oder andere Schnittstellen). Zum Beispiel kann das Bild über die Kommunikationsschnittstelle 366 empfangen werden 740. Zum Beispiel kann das Bild als ein Eingabebildsignal empfangen werden 740, das jeden Pixelwert in einem definierten Format darstellen kann, wie zum Beispiel einem RAW-Bildformat. In einigen Ausführungsformen kann das Bild ein Video-Frame sein, d. h. eines aus einer Bildersequenz eines Videos. In einigen Ausführungsformen wird das Bild direkt aus dem Bildsensor ohne Zwischen-Bildverarbeitung empfangen 740. In einigen Ausführungsformen wird das Bild empfangen 740, nachdem es einer Zwischen-Bildverarbeitung unterzogen worden ist (z. B. Korrektur von toten Pixeln, Bandverarbeitung, Entkoppeln von Vertikalaustastung, räumliche Rauschreduzierung und/oder zeitliche Rauschreduzierung).
Der Prozess 700 umfasst, eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen 750. Die Ausrichtungsabweichung kann als eine relative Ausrichtung oder Rotation (z. B. als Quaternion gespeichert) bestimmt werden 750, die während der Erfassung des Bildes den Ausrichtungssollwert zu einem Ausrichtungsschätzwert für den Bildsensor in Bezug setzt. In einigen Ausführungsformen wird ein elektronischer Rolling-Shutter durch den Bildsensor verwendet, um das Bild zu erfassen, und mehrere Ausrichtungsabweichungen können für jeweilige Abschnitte des Bildes (z. B. Pixelzeilen) bestimmt werden 750, die zu etwas unterschiedlichen Zeiten erfasst werden. Zum Beispiel können eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und eine zweite Ausrichtungsabweichung, die mit einem zweiten Abschnitt des Bildes verknüpft ist, bestimmt werden 750.
Der Prozess 700 umfasst, eine Bildersequenz, die nach dem Bild in einem Puffer (z. B. dem Puffer 560) erfasst worden ist, zu speichern 752. Der Puffer kann eine Verarbeitungsverzögerung bereitstellen, um ein nichtkausales vorausschauendes Filtern zu ermöglichen, um eine fließendere Sequenz von Rotationen zur Korrektur durch das elektronische Bildstabilisierungsmodul zu bestimmen. Zum Beispiel kann der Puffer ein Ringpuffer sein, der die neuesten Bilder speichert, die in einer Sequenz über eine festgelegte Zeitspanne erfasst worden sind (z. B. ein Puffer für die letzten 0,5, 1 oder 2 Sekunden der Video-Frames). Wenn zum Beispiel ein neues Bild erfasst wird, kann das neue Bild über ein ältestes Bild geschrieben werden, das im Puffer gespeichert ist, nachdem das älteste Bild durch das elektronische Bildstabilisierungsmodul verarbeitet worden ist. Der Puffer kann auch eine Ausrichtungsabweichung und/oder einen Ausrichtungsschätzwert speichern, die einem neuen Bild entsprechen, das im Puffer zusammen mit dem Bild gespeichert ist.
Der Prozess 700 umfasst, die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis von Ausrichtungsschätzwerten aus der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen 754. Zum Beispiel kann die Rotation für ein ältestes Bild, das im Puffer gespeichert ist, als eine Rotation in einer geglätteten Sequenz von Rotationen (z. B. einer Trajektorie) bestimmt werden 754, die auf Basis einer Sequenz von Ausrichtungsschätzwerten und/oder jeweiligen Ausrichtungsabweichungen bestimmt wird, die einer Bildersequenz einschließlich der Sequenz neuerer Bilder entsprechen, die im Puffer gespeichert sind. In einigen Ausführungsformen umfasst das Bestimmen 754 der Rotation, eine Trajektorie (z. B. einer Sequenz von EIS-Rotationen) auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis der Trajektorie zu bestimmen. Zum Beispiel kann das Bestimmen der Trajektorie 700 umfassen, eine Sequenz von Ausrichtungsabweichungen auf Basis der Sequenz von Ausrichtungsschätzwerten zu bestimmen, die der Bildersequenz und dem Ausrichtungssollwert entsprechen, und einen Filter (z. B. einen Tiefpassfilter) auf die Sequenz von Ausrichtungsabweichungen anzuwenden, um die Trajektorie zu ermitteln. Zum Beispiel kann der Prozess 800 der 8 umgesetzt werden, um die Rotation zu bestimmen 754, die der Ausrichtungsabweichung entspricht.
Der Prozess 700 umfasst, auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul (z. B. das elektronische Bildstabilisierungsmodul 430) aufzurufen 760, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln. Zum Beispiel kann das elektronische Bildstabilisierungsmodul dadurch aufgerufen werden 760, dass eine Software-Ausführungsform des elektronischen Bildstabilisierungsmoduls aufgerufen und/oder ausgeführt wird und sie veranlasst wird, Eingabedaten, die der Ausrichtungsabweichung entsprechen, zu verarbeiten, um eine korrigierende Rotationstransformation für das Bild aus dem Bildsensor zu bestimmen und anzuwenden, um das Bild zu stabilisieren (z. B. in Bezug auf andere Bilder in der Sequenz von Video-Frames). Zum Beispiel kann das elektronische Bildstabilisierungsmodul dadurch aufgerufen werden 760, dass Daten, die auf der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert basieren, in eine spezielle Hardware-Ausführungsform des elektronischen Bildstabilisierungsmoduls eingegeben werden und sie veranlasst wird, die Eingabedaten zu verarbeiten, um eine korrigierende Rotationstransformation für das Bild aus dem Bildsensor zu bestimmen und darauf anzuwenden, um das Bild zu stabilisieren. In einigen Ausführungsformen ist die durch das elektronische Bildstabilisierungsmodul korrigierte Rotation die Ausrichtungsabweichung oder eine Inverse der Ausrichtungsabweichung. Zum Beispiel kann die durch das elektronische Bildstabilisierungsmodul korrigierte Rotation von einer Sequenz von Ausrichtungsabweichungen für jeweilige Bilder in einer Bildersequenz (z. B. vorherige Video-Frames) interpoliert werden. In einigen Ausführungsformen wird das Bild mit einem elektronischen Rolling-Shutter erfasst, und es gibt eine Vielzahl an Ausrichtungsabweichungen für jeweilige Abschnitte des Bildes (z. B. eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und eine zweite Ausrichtungsabweichung, die mit einem zweiten Abschnitt des Bildes verknüpft ist), die zu unterschiedlichen Zeiten erfasst werden. Zum Beispiel kann eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitts des Bildes bestimmt werden, und auf Basis der zweiten Ausrichtungsabweichung kann das elektronische Bildstabilisierungsmodul aufgerufen werden 760, um den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht, um das stabilisierte Bild zu ermitteln.
Das Korrigieren des Bildes um eine Rotation, die der Ausrichtungsabweichung entspricht, kann Interferenz zwischen den Dynamiken des mechanischen Stabilisierungssystems und den Dynamiken des elektronischen Bildstabilisierungsmoduls verhindern oder reduzieren und die Bildqualität des stabilisierten Bildes verbessern. Zum Beispiel können gewisse höherfrequente Bewegungen des Bildsensors (z. B. Vibrationen) zu schnell sein, um effizient durch das mechanische Stabilisierungssystem unterdrückt zu werden, und können somit eine Verzerrung des Bildes bewirken. Diese verbleibende Verzerrung kann im Ganzen oder zum Teil durch digitale Bildverarbeitung im elektronischen Bildstabilisierungsmodul korrigiert werden.
Der Prozess 700 umfasst, ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen 770. In einigen Ausführungsformen ist das Ausgabebild das stabilisierte Bild. In einigen Ausführungsformen kann das stabilisierte Bild einer zusätzlichen Bildverarbeitung (z. B. wahmehmungsbasiertes Tone Mapping, Objektiwerzeichnungskorrektur, elektronische Rolling-Shutter-Korrektur, Stitching mit Parallaxenausgleich und Blending, um Bilder aus mehreren Bildsensoren zu kombinieren, und/oder Ausgabeprojektion) unterzogen werden, um das Ausgabebild zu bestimmen. Zum Beispiel kann das Ausgabebild zu einer externen Einrichtung (z. B. einer Personal-Computer-Einrichtung) zum Anzeigen oder Speichern übertragen werden 770. Zum Beispiel kann das Ausgabebild im Speicher einer Verarbeitungsvorrichtung (z. B. der Verarbeitungsvorrichtung 312 oder der Verarbeitungsvorrichtung 362) gespeichert werden 770. Zum Beispiel kann das Ausgabebild in der Nutzerschnittstelle 320 oder in der Nutzerschnittstelle 364 angezeigt werden 770. Zum Beispiel kann das Ausgabebild über die Kommunikationsschnittstelle 322 übertragen werden 770.
Die 8 ist ein Flussdiagramm eines Beispiels für einen Prozess 800 zum Bestimmen einer Rotation auf Basis einer Sequenz von Ausrichtungsschätzwerten für eine Bildersequenz. Der Prozess 800 umfasst, eine Sequenz von Ausrichtungsabweichungen auf Basis einer Sequenz von Ausrichtungsschätzwerten, die einer Bildersequenz entsprechen, und einem Ausrichtungssollwert zu bestimmen 810; einen Filter auf die Sequenz von Ausrichtungsabweichungen anzuwenden 820, um die Trajektorie zu ermitteln; und die Rotation, die einer Ausrichtungsabweichung entspricht, für ein Bild in der Bildersequenz auf Basis der Trajektorie zu bestimmen 830. Zum Beispiel kann der Prozess 800 durch das bewegliche Bildgebungssystem 10 der 1, das System 300 der 3A, das System 330 der 3B oder das System 400 der 4 umgesetzt werden. Zum Beispiel kann der Prozess 800 durch eine Bilderfassungseinrichtung umgesetzt werden, wie die in der 3A gezeigte Bilderfassungseinrichtung 310. Zum Beispiel kann der Prozess 800 durch eine Personal-Computer-Einrichtung umgesetzt werden, wie zum Beispiel die Personal-Computer-Einrichtung 360.
Der Prozess 800 umfasst, eine Sequenz von Ausrichtungsabweichungen auf Basis einer Sequenz von Ausrichtungsschätzwerten, die einer Bildersequenz (z. B. Video-Frames) entsprechen, und einem Ausrichtungssollwert zu bestimmen 810. Der Ausrichtungssollwert kann für alle Bilder in der Bildersequenz der gleiche sein, oder der Ausrichtungssollwert kann sich zwischen Bildern in der Bildersequenz ändern. Ein Ausrichtungsschätzwert für ein Bild kann mit einem entsprechenden Ausrichtungssollwert kombiniert werden, um eine Ausrichtungsabweichung für das Bild zu jedem Zeitpunkt zwischen der Erfassung des Bildes und der Verwendung der Ausrichtungsabweichung zum Bestimmen einer EIS-Rotation zu bestimmen. In einigen Ausführungsformen werden Ausrichtungsschätzwerte für jeweilige Bilder in der Bildersequenz separat von einem oder mehreren entsprechenden Werten des Ausrichtungssollwerts gespeichert, während die entsprechenden Bilder im Puffer gespeichert werden und auf die EIS-Verarbeitung warten. Eine Ausrichtungsabweichung für ein Bild in der Bildersequenz kann dann bestimmt werden 810, wenn es erforderlich ist (z. B. durch den schnellen Trajektoriengenerator 570). In einigen Ausführungsformen werden Ausrichtungsabweichungen für jeweilige Bilder in der Bildersequenz zum Zeitpunkt der Erfassung bestimmt 810 und mit entsprechenden Bildern, die auf die EIS-Verarbeitung warten, im Puffer gespeichert.
Der Prozess 800 umfasst, einen Filter auf die Sequenz von Ausrichtungsabweichungen anzuwenden 820, um die Trajektorie (z. B. eine Sequenz von EIS-Rotationen) zu ermitteln. Zum Beispiel kann ein Tiefpassfilter angewendet werden 820, um die Sequenz von Ausrichtungsabweichungen zu glätten oder zu interpolieren, um die Trajektorie zu ermitteln. Zum Beispiel kann der Tiefpassfilter ein Hamming-Fenster umfassen, das auf die Ausrichtungsabweichung zentriert ist, die einem Bild entspricht, das gerade durch das elektronische Bildstabilisierungsmodul verarbeitet wird, welches das älteste im Puffer gespeicherte Bild sein kann.
Der Prozess 800 umfasst, die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis der Trajektorie zu bestimmen 830. Zum Beispiel kann die Rotation als Rotation oder Inverse einer Rotation von der Trajektorie bestimmt werden 830, die einem Bild entspricht, das gerade durch das elektronische Bildstabilisierungsmodul verarbeitet wird, welches das älteste im Puffer gespeicherte Bild sein kann.
Es sei angemerkt, dass die in Bezug auf die 6-7 beschriebenen Prozesse und ähnliche Prozesse auf mehrere Bilder von unterschiedlichen Bildsensoren einer Bilderfassungsvorrichtung angewendet werden können (z. B. die in der 1 gezeigte bewegliche Bildgebungsanordnung 20, das System 300 der 3A oder das System 330 der 3B). Die resultierenden stabilisierten Bilder können unter Verwendung einer Stitching-Operation kombiniert werden.
Obwohl die Offenbarung in Verbindung mit bestimmten Ausführungsformen beschrieben worden ist, versteht es sich, dass die Offenbarung nicht auf die offenbarten Ausführungsformen beschränkt werden soll, sondern vielmehr verschiedene Modifikationen und äquivalente Anordnungen abdecken soll, die im Schutzumfang der beigefügten Ansprüche enthalten sind, wobei dem Schutzumfang die weiteste Auslegung gewährt werden soll, um so alle solchen Modifikationen und äquivalenten Strukturen zu umfassen, wie es gemäß der Gesetzgebung zulässig ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62364960 [0023]

Claims

System, umfassend: einen Bildsensor, der dazu ausgelegt ist, ein Bild zu erfassen; einen oder mehrere Bewegungssensoren, die dazu ausgelegt sind, eine Bewegung des Bildsensors zu detektieren; ein mechanisches Stabilisierungssystem einschließlich Gimbals und Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors zu steuern; ein elektronisches Bildstabilisierungsmodul, das dazu ausgelegt ist, Bilder um Rotationen des Bildsensors zu korrigieren; und eine Verarbeitungsvorrichtung, die ausgelegt ist, um: eine Sequenz von Ausrichtungsschätzwerten auf Basis von Sensordaten aus dem einen oder den mehreren Bewegungssensoren zu bestimmen; einen Ausrichtungssollwert für den Bildsensor zu bestimmen; auf Basis der Sequenz von Ausrichtungsschätzwerten und dem Ausrichtungssollwert das mechanische Stabilisierungssystem aufzurufen, um die Ausrichtung des Bildsensors abzugleichen; das Bild aus dem Bildsensor zu empfangen; eine Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung des Bildes zu bestimmen; auf Basis der Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um das Bild um eine Rotation zu korrigieren, die der Ausrichtungsabweichung entspricht, um ein stabilisiertes Bild zu ermitteln; und ein Ausgabebild auf Basis des stabilisierten Bildes zu speichern, anzuzeigen oder zu übertragen.
System nach Anspruch 1, das eine Drohne umfasst, die mit einem Gehäuse des Bildsensors durch die Gimbals des mechanischen Stabilisierungssystems gekoppelt ist.
System nach Anspruch 1 oder 2, wobei die Verarbeitungsvorrichtung ausgelegt ist, um: eine Bildersequenz zu speichern, die nach dem Bild in einem Puffer erfasst worden ist; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis von Ausrichtungsschätzwerten aus der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen.
System nach Anspruch 3, wobei die Verarbeitungsvorrichtung ausgelegt ist, um: eine Trajektorie auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, zu bestimmen; und die Rotation, die der Ausrichtungsabweichung entspricht, auf Basis der Trajektorie zu bestimmen.
System nach Anspruch 4, wobei die Verarbeitungsvorrichtung ausgelegt ist, um: eine Sequenz von Ausrichtungsabweichungen auf Basis der Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, und dem Ausrichtungssollwert zu bestimmen; und einen Filter auf die Sequenz von Ausrichtungsabweichungen anzuwenden, um die Trajektorie zu ermitteln.
System nach einem der Ansprüche 1 bis 5, wobei das Bild mit einem elektronischen Rolling-Shutter erfasst wird, die Ausrichtungsabweichung eine erste Ausrichtungsabweichung ist, die mit einem ersten Abschnitt des Bildes verknüpft ist, und die Verarbeitungsvorrichtung zu Folgendem ausgelegt ist: eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitts des Bildes zu bestimmen; und auf Basis der zweiten Ausrichtungsabweichung das elektronische Bildstabilisierungsmodul aufzurufen, um den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht, um das stabilisierte Bild zu ermitteln.
System nach einem der Ansprüche 1 bis 6, wobei der eine oder die mehreren Bewegungssensoren Codierer umfassen, die dazu ausgelegt sind, eine Position und eine Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform zu detektieren.
System nach einem der Ansprüche 1 bis 7, wobei der Ausrichtungssollwert eine Quaternion umfasst.
System nach einem der Ansprüche 1 bis 8, wobei das elektronische Bildstabilisierungsmodul durch Software umgesetzt ist, die durch die Verarbeitungsvorrichtung ausgeführt wird.
System nach einem der Ansprüche 1 bis 9, wobei eine Ausrichtung in der Sequenz von Ausrichtungsschätzwerten einen Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform und einen Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft umfasst.
System nach einem der Ansprüche 1 bis 10, wobei die Gimbals und Motoren des mechanischen Stabilisierungssystems durch Proportional-Integral-Differential-Steuerungen gesteuert werden.
System, umfassend: einen Bildsensor, der dazu ausgelegt ist, ein Bild zu erfassen; ein mechanisches Stabilisierungssystem einschließlich Motoren, das dazu ausgelegt ist, eine Ausrichtung des Bildsensors zu steuern, damit sie mit einem Ausrichtungssollwert übereinstimmt; und ein elektronisches Bildstabilisierungsmodul, das dazu ausgelegt ist, während der Erfassung des Bildes das Bild um eine Rotation des Bildsensors zu korrigieren, die einer oder mehreren Ausrichtungsabweichungen zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert entspricht.
System nach Anspruch 12, das eine Drohne umfasst, die mit einem Gehäuse des Bildsensors durch das mechanische Stabilisierungssystem gekoppelt ist.
System nach einem der Ansprüche 12 bis 13, das einen Ausrichtungssollwertgenerator umfasst, der ein Verfolgungssystem umfasst, das dazu ausgelegt ist, den Ausrichtungssollwert zu bestimmen, um ein Objekt zu verfolgen und das Objekt in einem Ansichtsfeld des Bildsensors zu halten.
System nach einem der Ansprüche 12 bis 14, umfassend: einen Puffer, der dazu ausgelegt ist, eine Bildersequenz zu speichern, die durch den Bildsensor erfasst worden ist; und einen schnellen Trajektoriengenerator, der dazu ausgelegt ist, eine Sequenz von Rotationen auf Basis von Ausrichtungsabweichungen, die Bildern im Puffer entsprechen, zu bestimmen, wobei das elektronische Bildstabilisierungsmodul dazu ausgelegt ist, eine Rotation aus der Sequenz von Rotationen zu verwenden, die einem ältesten im Puffer gespeicherten Bild entspricht.
System nach Anspruch 15, wobei der schnelle Trajektoriengenerator ausgelegt ist, um: eine Sequenz von Ausrichtungsabweichungen auf Basis einer Sequenz von Ausrichtungsschätzwerten, die der Bildersequenz entsprechen, und dem Ausrichtungssollwert zu bestimmen; einen Filter auf die Sequenz von Ausrichtungsabweichungen anzuwenden, um eine Trajektorie zu ermitteln; und auf Basis der Trajektorie die Rotation aus der Sequenz von Rotationen zu bestimmen, die einem ältesten im Puffer gespeicherten Bild entspricht.
System nach Anspruch 12, umfassend: ein Bewegungsverfolgungsmodul einschließlich eines oder mehrerer Bewegungssensoren, das dazu ausgelegt ist, Bewegung des Bildsensors zu detektieren und eine Sequenz von Ausrichtungsschätzwerten für den Bildsensor zu bestimmen, wobei das mechanische Stabilisierungssystem dazu ausgelegt ist, die Sequenz von Ausrichtungsschätzwerten als Eingaben aufzunehmen und die Sequenz von Ausrichtungsschätzwerten als Rückkopplung zum Steuern der Ausrichtung des Bildsensors zu verwenden.
System nach Anspruch 17, wobei der eine oder die mehreren Bewegungssensoren Codierer umfassen, die dazu ausgelegt sind, eine Position und eine Ausrichtung des Bildsensors relativ zu einer beweglichen Plattform zu detektieren, die durch das mechanische Stabilisierungssystem am Bildsensor befestigt ist, wobei wenigstens eine der einen oder der mehreren Ausrichtungsabweichungen auf der Position und der Ausrichtung des Bildsensors relativ zur beweglichen Plattform basiert.
System nach einem der Ansprüche 17 bis 18, wobei eine Ausrichtung in der Sequenz von Ausrichtungsschätzwerten einen Schätzwert der Ausrichtung des Bildsensors in Bezug auf eine bewegliche Plattform und einen Schätzwert der Ausrichtung des Bildsensors in Bezug auf die Gravitationskraft umfasst.
System nach einem der Ansprüche 12 bis 19, wobei das Bild mit einem elektronischen Rolling-Shutter erfasst wird, die eine oder die mehreren Ausrichtungsabweichungen eine erste Ausrichtungsabweichung, die mit einem ersten Abschnitt des Bildes verknüpft ist, und eine zweite Ausrichtungsabweichung zwischen der Ausrichtung des Bildsensors und dem Ausrichtungssollwert während der Erfassung eines zweiten Abschnitt des Bildes umfassen, und das elektronische Bildstabilisierungsmodul ausgelegt ist, um: auf Basis der zweiten Ausrichtungsabweichung den zweiten Abschnitt des Bildes um eine Rotation zu korrigieren, die der zweiten Ausrichtungsabweichung entspricht.
System nach einem der Ansprüche 12 bis 20, wobei der Ausrichtungssollwert eine Quaternion umfasst.
System nach einem der Ansprüche 12 bis 21, wobei das mechanische Stabilisierungssystem von Motoren angetriebene Gimbals umfasst und die Motoren des mechanischen Stabilisierungssystems durch Proportional-Integral-Differential-Steuerungen gesteuert werden.