AT523556A1

AT523556A1 - Verfahren zur Bildkorrektur

Info

Publication number: AT523556A1
Application number: ATA50141/2020A
Authority: AT
Inventors: Ponticelli Dipl Ing Martin; Dohr Dipl Ing Dr Techn Bsc Stephan; Muick Msc Marc; Gruber Dipl Ing Dr Techn Michael
Original assignee: Vexcel Imaging Gmbh
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2021-09-15
Also published as: TW202138755A; WO2021170745A1

Abstract

Verfahren zur Bildkorrektur einer Aufnahme (1) einer Geländestruktur (2), wobei die Aufnahme (1) von einer beweglichen Kamera (3) aufgenommen wird. Zumindest ein Bildpunkt (B) der Aufnahme (1) wird einem Geländepunkt (G) der Geländestruktur (2) zugeordnet. Eine Trajektorie des Geländepunkts (G) wird ermittelt, welche eine Relativbewegung des Geländepunkts (G) gegenüber der Kamera (3) während einer Aufnahmedauer beschreibt. Für die Ermittlung der Trajektorie werden Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und Geodaten des Geländepunkts (G) berücksichtig. Anhand von Bildwanderungen der Bildpunkte (B) wird ein Optimierungsproblem modelliert und durch Lösen des Optimierungsproblems wird ein korrigiertes Bild ermittelt.

Description

15

20

25

30

35

VX-4159 AT

Verfahren zur Bildkorrektur

Die gegenständliche Offenbarung betrifft ein Verfahren zur Bildkorrektur einer Aufnahme einer Geländestruktur, wobei die Aufnahme von einer beweglichen Kamera aufgenommen

wird.

In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem zur Erstellung von Aufnahmen von Geländestrukturen, wobei das Bildaufnahmesystem eine in einem Fahrzeug, vorzugsweise einem Luftfahrzeug, lagedefiniert montierbare Kamera mit zumindest einem Bildsensor und zumindest einer Optikeinheit aufweist und wobei das

Bildaufnahmesystem eine Steuerelektronik, und eine Speichereinheit aufweist.

Bei der Aufnahme von Geländestrukturen von einem bewegten Fahrzeug aus ergeben sich aufgrund der Bewegung während der Belichtungszeit Bildunschärfen, die sich mit erheblichem technischen Aufwand zwar einschränken, aber nicht vollständig vermeiden

lassen.

Zur Verringerung der Bildunschärfe ist es beispielsweise bekannt, den Bildsensor der Kamera während der Belichtungszeit mittels eines Piezoantriebs in einer auf eine Bewegung des Fahrzeuges (also beispielsweise auf die Fluggeschwindigkeit eines Flugzeugs oder eines anderen Fluggeräts) abgestimmten Bewegung zu verschieben, sodass jedes Pixel des Bildsensors möglichst genau auf einen bestimmten Geländepunkt ausgerichtet bleibt. Dadurch kann jedoch nur eine bekannte Vorwärtsbewegung des Fahrzeuges ausgeglichen werden. Andere Bewegungen und Beschleunigungen, insbesondere ein Nicken, Gieren oder Rollen des Fahrzeuges, wie es bei Flugzeugen beispielsweise beim Durchfliegen von

Turbolenzen auftreten kann, kann auf diese Weise nicht ausgeglichen werden.

Bis zu einem gewissen Ausmaß können störende und unerwartete Bewegungen des Fahrzeugs durch eine stabilisierende Kameraaufhängung ausgeglichen werden, doch auch

dieser sind technische Grenzen gesetzt.

Eine weitere Verbesserung der Bildschärfe ist mithilfe von Bildschärfungsalgorithmen erzielbar. Dabei werden üblicherweise Faltungsmatrizen errechnet und auf die einzelnen Bildbereiche angewendet, wobei eine Faltungsmatrix entweder für einen einzelnen Pixel, für einen Pixelbereich oder für das gesamte Bild verwendet werden kann. Da in unterschiedlichen Bildbereichen einer Aufnahme oft unterschiedliche Gründe für die Unschärfe vorliegen, kann ein besseres Ergebnis erzielt werden, wenn unterschiedliche

Faltungsmatrizen auf die unterschiedlichen Bildbereiche angewendet werden.

Der Fachartikel „Accurate Motion Deblurring using Camera Motion Tracking and Scene

Depth“, Hyeoungho Bae et al., 2013 IEEE Workshop on Applications of Computer Vision,

15

20

25

30

35

VX-4159 AT

offenbart die Ermittlung einer Faltungsmatrix („Blur Kernel“) zur Bildschärfung, wobei eine Kamerabewegung während der Aufnahme berücksichtigt wird. Weiters wird auf Basis einer Sensormessung ein Tiefenprofil erstellt und bei der Erstellung von Faltungsmatrizen für

unterschiedliche Bildbereiche berücksichtigt.

Der Fachartikel „Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data", C.A. Shah et al., International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIX-B1, 2012, betrifft die Bildschärfung von Flugaufnahmen. Nicken, Gieren und/oder Rollen des Flugzeugs während der Aufnahme werden mit einer inertialen Messeinheit (Englisch: „inertial measurement unit“ — IMU)

gemessen und bei der Erstellung des Blur Kernels berücksichtigt.

US 9,445,003 B1 offenbart ein Bildschärfungsverfahren, das sowohl Beschleunigungen der Kamera, die auf Basis von IMU-Daten ermittelt werden, als auch eine detailliertes Tiefenprofil

(gegebenenfalls auf Pixelbasis) berücksichtigt.

US 8,619,082 B1 offenbart die Ermittlung eines Tiefenprofils einer Aufnahme und deren

Benutzung zur Bildschärfung. Das Tiefenprofil wird durch eine Bildanalyse ermittelt.

Aufgrund der schnellen Entwicklung von modernen Mappingtechniken werden immer höhere Ansprüche an die Qualität von Geländeaufnahmen gestellt. Gleichzeitig sollen die Vorrichtungen und Verfahren zur Aufnahme von Geländeaufnahmen günstiger werden. Es besteht daher ein Bedarf an Vorrichtungen und Verfahren, die mit möglichst geringem

Aufwand Geländeaufnahmen hoher Qualität erstellen können.

Es ist ein Ziel der gegenständlichen Offenbarung, Vorrichtungen und Verfahren bereitzustellen, mit denen die Qualität von Geländeaufnahmen verbessert werden kann. Insbesondere soll das Verfahren für Senkrechtaufnahmen und für Schrägaufnahmen gleichermaßen geeignet sein, wobei insbesondere bei Schrägbildaufnahmen aus einem Luftfahrzeug die Besonderheiten der Aufnahmegeometrie berücksichtigt werden können. Dies ist besonders für die Erstellung von 3D-Geländeaufnahmen hilfreich, bei denen mehrere, unter zur Bodenebene schrägen Winkeln aufgenommene Aufnahmen miteinander

Zu komplexen 3d-Modellen kombiniert werden.

Diese und weitere Ziele werden in einem ersten Aspekt durch ein Verfahren der eingangs genannten Art erreicht, bei dem zumindest ein Bildpunkt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei eine Trajektorie des Geländepunkts ermittelt wird, welche eine Relativbewegung des Geländepunkts gegenüber der Kamera während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und

Geodaten des Geländepunkts berücksichtig werden, wobei anhand von Bildwanderungen

31207

15

20

25

30

35

VX-4159 AT

der Bildpunkte ein Optimierungsproblem modelliert wird und wobei durch Lösen des

Optimierungsproblems ein korrigiertes Bild ermittelt wird.

Das Verfahren erlaubt es darüber hinaus, dass verschiedene Ursachen der Bildwanderung (insbesondere Bildwanderung durch Vorwärtsbewegung im Gegensatz zu Bildwanderung

durch Änderungen der Blickwinkel) beliebig aktiviert oder deaktiviert werden können.

In einer vorteilhaften Ausführungsform kann die Kamera an bzw. in einem Fahrzeug, insbesondere einem Luftfahrzeug angeordnet werden. Dadurch lassen sich hochauflösende

Geländeaufnahmen erstellen.

In vorteilhafter Weise kann die Kamera in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet werden. Dies verbessert die Genauigkeit der Aufnahmen abermals, wobei die Ausgleichbewegungen der Montagestruktur

bei der Modellierung des Optimierungsproblems berücksichtigt werden.

In einer weiteren vorteilhaften Ausführungsform können bei der Modellierung des Optimierungsproblems Unschärfen berücksichtigt werden, die aufgrund von Bodenerhebungen, wie etwa Hochhäusern, Bergen oder ähnlichem, entstehen. Dies ist insbesondere bei Flugaufnahmen aus niedriger Höhe bzw. bei Aufnahmen mit hoher

Brennweite vorteilhaft.

Für die Ermittlung der Trajektorie können die Beschleunigungen in vorzugsweise allen translatorischen und rotatorischen Freiheitsgraden ermittelt und daraus die entsprechenden Bewegungen abgeleitet werden. Auf diese Weise lassen sich sehr genaue Trajektorien

erstellen.

In vorteilhafter Weise können die Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und/oder die Geodaten des Geländepunkts durch Daten ergänzt werden, die aus der Planung des Aufnahmeprojekts bekannt sind. Dadurch lassen sich Berechnungsfehler vermeiden und die Genauigkeit des

Verfahrens erhöhen.

Gemäß einer vorteilhaften Ausführungsform können zumindest eine Einstellung und/oder Eigenschaft einer Optikeinheit der Kamera bei der Modellierung des Optimierungsproblems berücksichtigt werden. Dies ermöglicht einerseits ein Auswechseln bzw. Verstellen der Optikeinheit während eines Aufnahmeprojekts, andererseits wird die erreichbare Bildschärfe erhöht.

In vorteilhafter Weise können bei der Modellierung des Optimierungsproblems die Brennweiten für Farbe und Panchromatik, die sich gegebenenfalls unterscheiden können, berücksichtigt werden. Dadurch kann für jeden Kanal unabhängig eine optimierte

Bildschärfung erfolgen.

4120

15

20

25

30

35

VX-4159 AT

Gemäß einer weiteren Ausführungsform kann das Verfahren zur Bildschärfung durch eine Bildanalyse ergänzt werden. Dadurch lassen sich einerseits fehlerhafte Daten ermitteln und

ausgleichen, andererseits kann die Auflösung der Daten verbessert werden.

In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem der eingangs genannten Art, wobei die Steuerungselektronik eine erste Schnittstelle zur Verbindung mit einem Trägheitsnavigationssystem, welches eine in Bezug auf die Kamera definierte Beschleunigungs- und/oder Geschwindigkeitsermittlung erlaubt, und eine zweite Schnittstelle zur Verbindung mit einem Positionsbestimmungssystem, welches eine in Bezug auf die Kamera definierte Positionsermittlung erlaubt, aufweist, wobei die Steuerelektronik ausgebildet ist, auf eine mit der Kamera gemachte Aufnahme eines der hierin offenbarten Verfahren auszuführen und die Aufnahme in der Speichereinheit zu speichern. Ein solches

Bildaufnahmesystem erlaubt eine vorteilhafte Umsetzung der hierin offenbarten Verfahren.

In vorteilhafter Weise kann die Kamera an bzw. in einem Fahrzeug, insbesondere einem

Luftfahrzeug montiert sein.

Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Kamera in einer bewegbaren

Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet sein.

Eine weitere vorteilhafte Ausführungsform kann vorsehen, dass die Kamerasteuerung die Einstellung der Optikeinheit und die Bilderzeugung durch den Bildsensor steuert. Dadurch

können die entsprechenden Daten auf einfache Weise berücksichtigt werden.

In vorteilhafter Weise kann die erste Schnittstelle und/oder die zweite Schnittstelle zur Anbindung an einen Datenbus des Fahrzeuges implementiert sind, wobei der Datenbus eine Datenübermittlung von einem Trägheitsnavigationssystem des Fahrzeuges und/oder einem Positionsbestimmungssystem des Fahrzeuges erlaubt. Dadurch kann der Aufbau des eigentlichen Bildaufnahmesystems vereinfacht werden, indem Daten von im Fahrzeug

implementierten Geräten verwendet werden.

Die gegenständliche Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1 bis 2 näher erläutert, die beispielhaft, schematisch und nicht einschränkend vorteilhafte

Ausgestaltungen der Erfindung zeigen. Dabei zeigt

Fig.1 eine schematische Darstellung einer in einem Flugzeug montierten Kamera zur

Erstellung von Geländeaufnahmen und Fig. 2 eine schematische Darstellung eines Bildaufnahmesystems.

In Fig. 1 ist schematisch ein Fahrzeug 5 (insbesondere ein Luftfahrzeug, beispielsweise ein Flugzeug, eine Drone oder ein Zeppelin) dargestellt, welches sich über einer Geländestruktur 2 hinwegbewegt und dabei mit einer an dem Fahrzeug 5 montierten Kamera 3

Geländeaufnahmen erstellt. In Fig. 1 ist in einer schematischen Darstellung eine Aufnahme

15

20

25

30

35

VX-4159 AT

1, die in der dargestellten Position von dem Fahrzeug 5 aufgenommen werden kann,

beispielhaft dargestellt.

Mithilfe von Geodaten kann jedem Punkt der Geländestruktur 2 (in Fig. 1 ist ein Geländepunkt G beispielhaft dargestellt) eine eindeutig definierte räumliche Lage zugeordnet werden, wobei im dargestellten Fall jeder Punkt einem raumfesten Geokoordinatensystem (x, y, z) zugeordnet werden kann. Beispielsweise lässt sich die Position des Geländepunkts G in dem Geokoordinatensystem durch den Vektor G=(xe, ye, Ze) beschreiben und die Position des Fahrzeugs 5 (bzw. eines Referenzpunkts dieses Fahrzeugs 5) lässt sich durch

den Vektor P=(xp, yp, Zp) beschreiben.

Dem Fahrzeug 5 ist ein körperfestes Koordinatensystem (x‘, y‘, z‘) zugeordnet, wobei der Koordinatenursprung der Einfachheit halber im Punkt P liegend dargestellt ist. Das Fahrzeug 5 kann in Bezug auf das Geokoordinatensystem Bewegungen und Beschleunigungen in allen sechs Freiheitsgraden ausführen, wobei die Position, Geschwindigkeit und Beschleunigung des Fahrzeuges 5 durch die Lage, Bewegung und Beschleunigung des körperfesten Koordinatensystems in Bezug auf das Geokoordinatensystem beschreibbar

sind.

Die Kamera 3 kann in dem Fahrzeug 5 fix montiert sein, sodass sich seine Lage in Bezug auf das körperfeste Koordinatensystem nicht ändert. In Fig. 1 ist beispielsweise die Kamera 3 genau im Koordinatenursprung des körperfesten Koordinatensystems des Fahrzeugs 5 angeordnet. Der Punkt P definiert somit auch die Position der Kamera. Gegebenenfalls kann die Kamera 3 auch in einer bewegbaren Montagestruktur angeordnet sein, beispielsweise einer stabilisierenden Kameraaufhängung, welche Bewegungen des Fahrzeugs 5 bis zu einem gewissen Ausmaß ausgleicht, sodass die Ausrichtung der Kamera 3 in Bezug auf eine Fahrt- bzw. Flugrichtung möglichst konstant bleibt. In dem Fall kann ein weiteres körperfestes, mit der Kamera 3 mitbewegtes Koordinatensystem definiert sein, wobei die Beziehung zwischen dem körperfesten Koordinatensystem des Fahrzeugs 5 und dem körperfesten Koordinatensystem der Kamera 3 stets bekannt sind, sodass die Lage der

Kamera 3 in Bezug auf das Geokoordinatensystem eindeutig definiert ist.

Die Lage der Kamera 3 und deren mit einer Optikeinheit 13 eingestelltes Sichtfeld 15 bestimmen in Verbindung mit der Form der Geländestruktur 2 einen Aufnahmebereich 14, der in Fig. 1 schematisiert als Strich-Punkt-Linie angedeutet ist. Der Übersichtlichkeit halber ist die Geländestruktur 2 in Fig. 1 als zweidimensionale Linie dargestellt, es ist jedoch klar, dass der Aufnahmebereich 14 eine Fläche ist, die einer im Wesentlichen rechteckigen

Projektion auf die Geländestruktur 2 entspricht.

Die in der dargestellten Lage von der Kamera 3 gemachte Aufnahme 1 ist in Fig. 1

schematisch dargestellt, wobei ein Bildpunkt B dem Geländepunkt G zugeordnet werden

6120”

15

20

25

30

35

VX-4159 AT

kann. Tatsächlich ist diese Zuordnung jedoch nicht immer eindeutig, da sich die Position des Fahrzeugs 5 und der Kamera 3 während der für die Aufnahme erforderlichen Belichtungszeit nicht nur in Flugrichtung weiterbewegt hat, sondern dabei gegebenenfalls auch andere translatorische und/oder rotatorische Bewegungen aufgetreten sind. Während eine translatorische Bewegung quer zur Bewegungsrichtung (also in Richtung der Achsen y‘ und z‘) den Aufnahmebereich 14 nur sehr geringfügig verschiebt, und daher manchmal auch vernachlässigt werden kann, hat jede Rotation um eine der Achsen (die im Zusammenhang mit Flugfahrzeugen üblicherweise als Rollen, Nicken und Gieren bezeichnet werden) eine sehr deutliche Verschiebung des Aufnahmebereichs 14 zur Folge. Dabei kann sich die Position des Geländepunkts G in der Aufnahme 1 (dies entspricht zum Beginn der Aufnahme dem Bildpunkt B) während der Belichtungszeit über mehrere Pixel verschieben, was eine Bildunschärfe zur Folge hat. Die Bewegung des Bildpunkts von der Position B zur Position B‘ ist in Fig. 1 durch eine Strichlinie dargestellt. Die Strichlinie entspricht einer zweidimensionalen Abbildung einer dreidimensionalen Trajektorie T des Geländepunkts G in dem körperfesten Koordinatensystem der Kamera 3 zwischen dem Beginn der Belichtung

(Position B) und dem Ende der Belichtung (Position B‘).

Als „Trajektorie“ wird im Zusammenhang mit der gegenständlichen Offenbarung die Bewegung eines Punktes in Bezug auf ein bestimmtes Koordinatensystem bezeichnet. Beispielsweise kann die Bewegung jedes Geländepunkts G in Bezug auf das körperfeste Koordinatensystem des Flugzeugs 5 oder der Kamera 3 als dreidimensionale (oder, wenn auch der Zeitliche Verlauf betrachtet wird, vierdimensionale) Trajektorie definiert werden oder es kann die Bewegung des Bildpunkts von der Position B zur Position B‘ in der Aufnahme 1 als zweidimensionale (oder, bei Berücksichtigung des Zeitverlaufs,

dreidimensionale) Trajektorie definiert werden.

Bei genauer Kenntnis des Verlaufs der Trajektorie T ist es möglich, für den entsprechenden Bildpunkt (bzw. für einen definierten Bildbereich) ein sehr wirkungsvolles Modell für die Abbildung der Bewegungsunschärfe zu erstellen, welches die tatsächlichen Verhältnisse sehr gut berücksichtigt. Dabei können nicht nur die translatorischen und rotatorischen Bewegungen und Beschleunigungen der Kamera 3 in allen Richtungen berücksichtig werden, sondern es kann auch die Unschärfe berücksichtigt werden, die, etwa aufgrund von Bodenerhebungen wie Hochhäuser, Berge oder ähnlichem, durch die Entfernung eines Geländepunkts von der Schärfeebene, auf die die Optikeinheit 13 der Kamera 3 eingestellt

ist, entstehen kann.

In vielen Fällen kann die Berücksichtigung der Entfernung der Geländepunkte jedoch vernachlässigt werden, etwa wenn die maximale Abweichung der Geländepunkte von der Schärfeebene zu gering ist, um relevante Unschärfen zu erzeugen, und daher vernachlässigt

werden kann. In dem Fall kann es ausreichend sein, wenn lediglich die Trajektorie des

71260

15

20

25

30

VX-4159 AT

Bildpunkts B, der den Geländepunkt G repräsentiert, in der Bildebene der Aufnahme 1 für die

Modellierung der Bewegungsunschärfe berücksichtigt wird.

Um die Bewegungsunschärfe modellieren zu können, können an sich bekannte Algorithmen verwendet werden, wie sie in der einschlägigen Fachliteratur beschrieben sind, wobei der Fachmann in der Lage ist, bei Kenntnis der hierin offenbarten Lehren die geeigneten

Algorithmen auszuwählen und zu implementieren.

Eine Modellierung von Bewegungsunschärfen ist beispielsweise in den folgenden

Publikationen offenbart:

„Fast Motion Deblurring Using Sensor-Aided Motion Trajectory Estimation”, Lee et. al., 2014. “Single Image Deblurring Using Motion Density Functions”, Gupta et. al. 2010.

“Image Deblurring using Inertial Measurement Sensors”, Joshi et. al., 2010.

“Blind restoration of aerial imagery degraded by spatially varying motion blur”, Punnappurath,

Rajagopalan, Seetharaman, 2014.

Die Inhalte der oben zitierten Druckschriften werden für die Jurisdiktionen, in denen dies

möglich ist, zum Inhalt der vorliegenden Beschreibung bzw. Anmeldung gemacht

Gemäß der gegenständlichen Offenbarung wird die Trajektorie T des Geländepunktes G (beziehungsweise des entsprechenden Bildpunkts B) während der Aufnahmedauer (d.h. der Belichtungsdauer) ermittelt. Dazu können Geodaten des Geländepunkts G, sowie Positionsdaten, Bewegungsdaten und gegebenenfalls Beschleunigungsdaten der Kamera

ausgewertet werden.

Die Geodaten des Geländepunkts G können beispielsweise aus im Internet verfügbaren oder proprietären Datenbanken erhalten werden. Eine beispielhafte verwendbare Datensammlung

von Geländepunkten ist beispielsweise unter dem Internetlink

Aa N a EEE FEN LEN rf: b ODSTKSTSHCIEL SU UNE SUFORS VerTugbar.

Im Folgenden wird die Modellierung der Bewegungsunschärfe, sowie die Erstellung und Lösung eines darauf aufbauenden Optimierungsproblems gemäß einer vorteilhaften

Ausführungsform der hierin offenbarten Lehren detailliert beschrieben.

Aufgrund der aufgezeichneten Kamerabewegungen und gegebenenfalls der Geodaten des Aufnahmebereichs lässt sich für jeden Bildpunkt im aufgenommenen, unscharfen Bild (g) der Pfad des Bildpunktes im zu berechnenden, geschärtften, Bild (f) angeben. Somit lässt sich, aufgrund der errechneten Trajektorien, jeder Pixel im unscharfen Bild (g) als gewichtete Summe der Pixel im (unbekannten) geschärtften Bild (f) darstellen. Wird die Trajektorie für jeden Pixel beschrieben, resultiert daraus ein lineares Gleichungssystem, das das

aufgenommene, unscharfe, Bild (g) in Abhängigkeit des noch unbekannten, zu errechnenden

15

20

25

30

35

VX-4159 AT

Bildes (f) darstellt (A f = g, f ist zu berechnen). Die dabei erstellte Matrix (A) beschreibt zeilenweise für jeden Pixel im unscharfen Bild (g) die Trajektorie, die dieser Pixel im geschärften Bild (f) zurücklegt. Da diese Matrix im Allgemeinen nicht invertierbar ist, wird die Lösung dieses Problems auf ein Minimierungsproblem zurückgeführt, welches mit bekannten mathematischen Methoden, wie z.B. ‚Conjugate Gradient ‘, mit Hilfe der Fourier

Transformation oder mit anderen iterativen Algorithmen gelöst werde kann.

Optional kann auch bildübergreifend für jeden Pixel die gleiche Trajektorie angenommen werden (z.B. bei vernachlässigbaren Änderungen der Kamerarotationen während der Aufnahme). In diesem Fall kann das unscharfe Bild (g) als Faltung des über dem gesamten Bild konstanten Blur-Kernels (Trajektorie der Bildpunkte) mit dem zu errechnenden, geschärften Bild (f) dargestellt werden (a * f = g). In diesem Fall spricht man auch von einer Faltungsmatrix (a). Auch hierfür wird die Lösung (Invertierung) dieser Faltungsoperation auf die Lösung eines mathematischen Minimierungsproblems zurückgeführt, was sich jedoch aufgrund der Darstellung als Faltung (a * f = g, f ist zu berechnen) effizient lösen lässt. Ändert sich die Trajektorie innerhalb des gesamten Bildes nur langsam (z.B. für Oblique Images), können optional auch überlappende Bildabschnitte definiert werden, innerhalb deren der Blur-Kernel als konstant angenommen werden kann. In diesem Fall können die jeweiligen unscharfen Bildabschnitte ebenfalls als Faltung der Blur-Kernel mit den geschärften, noch unbekannten, Bildabschnitten modelliert werden. Somit kann für jeden Bildabschnitt ein zugehöriges Minimierungsproblem aufgestellt und effizient gelöst werden. Das geschärfte Gesamtbild kann anschließend anhand der Lösungen in den jeweiligen Bildabschnitten berechnet werden. Die Anzahl und die Wahl der Bildabschnitte hängen

davon ab, wie stark sich die Trajektorien der Bildpunkte innerhalb des Bildes unterscheiden.

Alternativ oder zusätzlich können andere Bildbearbeitungsalgorithmen, wie z.B. Denoising oder Demosaicing, auch im Zuge des Ausgleichs der Bewegungsunschärfe angewandt

werden.

In Fig. 2 sind die Komponenten eines Bildaufnahmesystems 4 dargestellt, anhand derer die

Funktionsweise der hierin offenbarten Verfahren zur Bildschärfung erläutert wird.

Das Bildaufnahmesystem 4 umfasst eine Kamera 3 mit zumindest einer Optikeinheit 13 und zumindest einem Bildsensor 12, auf den die Optikeinheit 13 einstellbar ist. Die Kamera 3 kann in dem Fahrzeug 5 in einer Montagestruktur 17 befestigt werden, wobei die Ausrichtung des Kamera 3 in Bezug auf das Fahrzeug 5 entweder unveränderlich ist (fixe Montage) oder wobei die Ausrichtung der Kamera 3 in Bezug auf das Fahrzeug in definierter und bekannter Weise veränderbar ist, beispielsweise im Rahmen einer stabilisierenden Kameraaufhängung. Die Montagestruktur 17 ist in Fig. 2 stark schematisiert dargestellt. Entsprechend

verwendbare Montagestrukturen 17 sind im Fachbereich an sich bekannt.

9/20”

15

20

25

30

35

VX-4159 AT

Die Kamera 3 umfasst eine Kamerasteuerung 16, welche beispielsweise die Einstellung der Optikeinheit 13 und die Bilderzeugung durch den Bildsensor 12 steuert. Dabei kann die Kamerasteuerung 16 auch die Verschlusszeit steuern, welche die Aufnahmedauer bzw. Belichtungsdauer jeder Aufnahme definiert. Die Verschlusszeit kann durch einen mechanischen Verschluss, durch eine elektronische Shuttertechnik (z.B. die als „global shutter“ oder „rolling shutter“ bezeichnete Auslesung eines CMOS-Bildsensors), oder durch

eine Kombination dieser Techniken gesteuert werden.

Die Kamerasteuerung 16 weist eine Datenverbindung zu einer Steuerelektronik 6 auf, welche die Verwaltung und Verarbeitung der von der Kamera 3 gemachten Aufnahmen ausführt. Die Steuerelektronik 6 hat Zugriff auf eine Speichereinheit 11, in der die Aufnahmen, sowie weitere Daten, wie etwa während der Aufnahme aufgezeichnete Geodaten, Positionsdaten, Bewegungsdaten und/oder Beschleunigungsdaten gespeichert werden können. Die Steuerelektronik 6 kann in einem herkömmlichen Computer implementiert sein oder es kann eine zu diesem Zweck spezifisch hergestellte Steuerelektronik 6 verwendet werden. Gegebenenfalls können die Steuerelektronik 6 und die

Kamerasteuerung 16 auch in einem einzigen Gerät kombiniert sein.

Die Steuerelektronik 6 weist eine erste Schnittstelle 7 und eine zweite Schnittstelle 9 auf, wobei die erste Schnittstelle 7 eine Datenanbindung an ein Trägheitsnavigationssystem 8 erlaubt und wobei die zweite Schnittstelle 9 eine Datenanbindung an eine Positionsbestimmungssystem 10 erlaubt. In der in Fig. 2 dargestellten beispielhaften Ausführungsform sind das Trägheitsnavigationssystem 8 und das Positionsbestimmungssystem 10 extern angebundene Geräte, wobei es sich beispielsweise um Sensoren bzw. Einheiten des Fahrzeugs 5 handeln kann. Die Schnittstellen 7, 9 können beispielsweise als Anbindungen an einen Datenbus des Fahrzeuges 5 implementiert sein, wenn diese eine Übermittlung der Daten von Trägheitsnavigationssystem 8 und Positionsbestimmungssystem 10 erlaubt. Alternativ können das Trägheitsnavigationssystem 8 und/oder das Positionsbestimmungssystem 10 als Teil des Bildaufnahmesystems 4 implementiert sein, wie dies in Fig. 2 durch das interne Trägheitsnavigationssystem 8‘ schematisch angedeutet ist, welches über eine interne Schnittstelle 7‘ mit der Steuerelektronik 6 verbunden ist. Beispielsweise kann somit das Bildaufnahmesystem 4 eine Schnittstelle 9 für das Positionsbestimmungssystem 10 des Fahrzeugs 5 und ein internes Trägheitsnavigationssystem 8‘ aufweisen, welches die Beschleunigungen der Kamera 3

direkt an dieser misst.

Mithilfe der von dem Positionsbestimmungssystem 10 ermittelten Daten können die Positionsdaten der Kamera 3 (zum Beispiel eine Geoposition und eine Höhe über Grund

bzw. Flughöhe) und die Bewegungsdaten der Kamera 3 (zumindest entlang der

„-9

15

20

25

30

35

VX-4159 AT

Hauptbewegungsrichtung des Fahrzeugs 5, beispielsweise die als „Ground Speed“

bezeichnete Geschwindigkeit über Grund) ermittelt werden.

Mithilfe der vom Trägheitsnavigationssystem 8 ermittelten Daten können insbesondere die Beschleunigungen in allen translatorischen und rotatorischen Freiheitsgraden ermittelt werden, woraus sich in bekannter Weise auch die entsprechenden Bewegungen ableiten lassen. Gegebenenfalls können die Ausgleichsbewegungen einer stabilisierenden Kameraaufhängung ebenfalls berücksichtigt werden, falls eine solche Aufhängung

verwendet wird.

Zu Anbietern von Trägheitsnavigationssystemen 8 und/oder Positionsbestimmungssystemen 10, die im Zusammenhang mit den hierin offenbarten Verfahren und Vorrichtungen verwendet werden können, zählen beispielsweise die Firmen Applanix, IGI Systems oder

Novatel.

Die in Fig. 2 dargestellten Komponenten, Datenverbindungen und Systemgrenzen sind rein beispielhaft und sollen nicht einschränkend ausgelegt werden. Beispielsweise können die Kamerasteuerung 16 und die Steuerelektronik 6 als ein einziges Gerät ausgeführt sein. Andererseits können die hierin offenbarten Funktionen der Kamerasteuerung 16 und der Steuerelektronik 6 auch von einer Vielzahl von miteinander kommunizierenden Geräten

ausgeführt werden.

Die Steuerelektronik 6 ist in der Lage, die Positions-, Bewegungs- und Beschleunigungsdaten der Kamera 3 mit dem Geokoordinatensystem in Beziehung zu setzen. Damit ist es möglich, unter Verwendung dieser Daten und der Geodaten der Geländestruktur 2 bei jeder Aufnahme 1 für Geländepunkte G im Sichtfeld 15 der Kamera beziehungsweise für Bildpunkte B in der Aufnahme 1 eine Trajektorie T zu erstellen. Dadurch kann die Bewegung des Bildpunkts von der Position B zur Position B‘ (der dem Geländepunkt G zugeordnet ist) über den Bildbereich der Aufnahme 1, und gegebenenfalls auch die Entfernung des Geländepunkts G von der Kamera 3 zu jedem Zeitpunkt während der Aufnahme ermittelt werden. Somit kann anhand dieser Daten für jeden Bildpunkt eine Trajektorie beschrieben werden und diese in die Modellierung der Bewegungsunschärfe der Aufnahme einfließen. Durch Lösen des daraus resultierenden Optimierungsproblems können zahlreiche Bildunschärfen der Aufnahme 1 ausgeglichen und damit ein Bild optimaler Schärfe erstellt werden. Das Modell kann dabei entweder unterschiedliche Unschärfen einzelner Pixel bzw. verschiedener Bildbereiche, oder eine einheitliche Unschärfe der

gesamten Aufnahme 1 abbilden.

Gegebenenfalls können die Daten durch Daten ergänzt werden, die aus der Planung des entsprechenden Aufnahmeprojekts bekannt sind. So können beispielsweise die

Aufnahmepositionen und Geländeinformationen vorab definiert werden.

11/50”

15

20

25

VX-4159 AT

Gegebenenfalls können unterschiedliche Sichtfelder berücksichtigt werden, die sich durch unterschiedliche Einstellungen der Optikeinheit 13 oder durch eine Auswechslung der Optikeinheit 13 oder durch mehr als eine Optikeinheit gebildete Kamera ergeben können. Weiters kann auch die jeweilige Fokussierungseinstellung berücksichtigt werden, die die Entfernung der Schärfeebene von der Kamera 3 definiert. Gegebenenfalls können auch unterschiedliche Brennweiten für Farbe und Panchromatik verwenden werden, wobei die

Korrekturen dann jeweils mit unterschiedlichen Parametern durchzuführen sind.

Die hierin offenbarten Verfahren können ohne zusätzliche Entfernungssensoren und ohne eine aufwändige Bildauswertung ausgeführt werden. Gegebenenfalls kann jedoch das Bildschärfungsverfahren zusätzlich durch eine Bildanalyse verbessert werden. Beispielsweise kann die Position markanter Geländepunkte ermittelt und damit die Trajektorien der einzelnen Bildpunkte zur Erhöhung der Genauigkeit korrigiert werden. Beispielweise können Höhenmodelle die a posteriori erstellt werden, für eine (adaptive)

Anpassung der Trajektorien der Bildpunkte verwendet werden.

Die in den einzelnen Ausgestaltungen und Beispielen angegebenen einzelnen Merkmale und Varianten können (sofern nicht an Ort und Stelle etwas anderes ausgeführt ist) mit denen der anderen Beispiele und Ausgestaltungen frei kombiniert und insbesondere zur Kennzeichnung der Erfindung in den Ansprüchen ohne zwangläufige Mitnahme der anderen

Details der jeweiligen Ausgestaltung bzw. des jeweiligen Beispiels verwendet werden.

In der Beschreibung und den Ansprüchen bedeutet die Ausdrücke „im Wesentlichen“ oder „etwa“, sofern nichts anderes an Ort und Stelle angegeben ist, eine Abweichung von bis zu 10 % des angegebenen Wertes, wenn es physikalisch möglich ist, sowohl nach unten als auch nach oben, ansonsten nur in die sinnvolle Richtung, bei Gradangaben (Winkel und

Temperatur) sind damit + 10° gemeint.

-11

15

20

Bezugszeichen: Aufnahme (1)

Geländestruktur (2)

Kamera (3) Bildaufnahmesystem (4) Fahrzeug (5)

Steuerelektronik (6)

erste Schnittstelle (7) Trägheitsnavigationssystem (8) zweite Schnittstelle (9) Positionsbestimmungssystem (10) Speichereinheit (11)

Bildsensor (12)

Optikeinheit (13) Aufnahmebereich 14

Sichtfeld 15

Kamerasteuerung 16

Montagestruktur 17

VX-4159 AT

Claims

15 20 25 30 VX-4159 AT Patentansprüche

1. Verfahren zur Bildkorrektur einer Aufnahme (1) einer Geländestruktur (2), wobei die Aufnahme (1) von einer beweglichen Kamera (3) aufgenommen wird, dadurch gekennzeichnet, dass zumindest ein Bildpunkt (B) der Aufnahme (1) einem Geländepunkt (G) der Geländestruktur (2) zugeordnet wird, wobei eine Trajektorie des Geländepunkts (G) ermittelt wird, welche eine Relativbewegung des Geländepunkts (G) gegenüber der Kamera (3) während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und Geodaten des Geländepunkts (G) berücksichtig werden, wobei anhand von Bildwanderungen der Bildpunkte (B) ein Optimierungsproblem modelliert wird und wobei

durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Kamera (3) an bzw. in

einem Fahrzeug (5), insbesondere einem Luftfahrzeug angeordnet wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kamera (3) in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung

angeordnet wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei der Modellierung des Optimierungsproblems Unschärfen berücksichtigt werden, die aufgrund

von Bodenerhebungen, wie etwa Hochhäusern, Bergen oder ähnlichem, entstehen.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für die Ermittlung der Trajektorie die Beschleunigungen in vorzugsweise allen translatorischen und rotatorischen Freiheitsgraden ermittelt und daraus die entsprechenden Bewegungen

abgeleitet werden.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Lage‚ Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und/oder die Geodaten des Geländepunkts (G) durch Daten ergänzt werden, die

aus der Planung des Aufnahmeprojekts bekannt sind.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zumindest eine Einstellung und/oder Eigenschaft einer Optikeinheit (13) der Kamera (3) bei

der Modellierung des Optimierungsproblems berücksichtigt wird.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei der Modellierung des Optimierungsproblems die Brennweiten für Farbe und Panchromatik, die sich gegebenenfalls

unterscheiden können, berücksichtigt werden.

14 150°

15

20

25

30

VX-4159 AT

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das

Verfahren zur Bildschärfung durch eine Bildanalyse ergänzt wird.

10. Bildaufnahmesystem (4) zur Erstellung von Aufnahmen (1) von Geländestrukturen (2), wobei das Bildaufnahmesystem (4) eine in einem Fahrzeug (5), vorzugsweise einem Luftfahrzeug, lagedefiniert montierbare Kamera (3) mit zumindest einem Bildsensor (12) und zumindest einer Optikeinheit (13) aufweist und wobei das Bildaufnahmesystem (4) eine Steuerelektronik (6), und eine Speichereinheit (11) aufweist, dadurch gekennzeichnet, dass die Steuerungselektronik (6) eine erste Schnittstelle (7) zur Verbindung mit einem Trägheitsnavigationssystem (8), welches eine in Bezug auf die Kamera (3) definierte Beschleunigungs- und/oder Geschwindigkeitsermittlung erlaubt, und eine zweite Schnittstelle (9) zur Verbindung mit einem Positionsbestimmungssystem (10), welches eine in Bezug auf die Kamera (3) definierte Positionsermittlung erlaubt, aufweist, wobei die Steuerelektronik (6) ausgebildet ist, auf eine mit der Kamera (3) gemachte Aufnahme (1) ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen und die Aufnahme (1) in der Speichereinheit (11)

Zu speichern.

11. Bildaufnahmesystem (4) nach Anspruch 10, dadurch gekennzeichnet, dass die Kamera

(3) an bzw. in einem Fahrzeug (5), insbesondere einem Luftfahrzeug montiert ist.

12. Bildaufnahmesystem (4) nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass die Kamera (3) in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden

Kameraaufhängung angeordnet ist.

13. Bildaufnahmesystem (4) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Kamerasteuerung (16) die Einstellung der Optikeinheit (13) und

die Bilderzeugung durch den Bildsensor (12) steuert.

14. Bildaufnahmesystem (4) nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die erste Schnittstelle (7) und/oder die zweite Schnittstelle (9) zur Anbindung an einen Datenbus des Fahrzeuges (5) implementiert sind, wobei der Datenbus eine Datenübermittlung von einem Trägheitsnavigationssystem (8) des Fahrzeuges (5)

und/oder einem Positionsbestimmungssystem (10) des Fahrzeuges (5) erlaubt.