-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung und insbesondere der vorteilhaften Verwendung, von Wellenlängenabweichungen, insbesondere zur Dispersionskalibration, von Aufnahmen eines Multilinsen-Kamerasystems. Das Multilinsen-Kamerasystem ist dabei bevorzugt ein Kamerasystem zur (hyper-)spektralen Aufnahme von Bildern.
-
In vielen Bereichen der Wirtschaft und Wissenschaft werden Kameras verwendet, die zusätzlich zu einer Ortsauflösung eine spektrale Auflösung besitzen (Spektralkameras), welche oftmals über das sichtbare Spektrum hinausgeht („Multispektralkameras“). Beispielsweise werden bei Vermessungen der Erdoberfläche aus der Luft oftmals Kameras eingesetzt, die nicht nur eine normale RGB-Farbauflösung besitzen, sondern ein hochaufgelöstes Spektrum ggf. bis in den UV- oder Infrarotbereich hinein liefern. Mittels dieser Messungen ist z.B. eine Erkennung einzelner Bepflanzungsbereiche in landwirtschaftlich genutzten Gebieten möglich. Damit kann beispielsweise der Wachstumszustand oder die Gesundheit von Pflanzen oder die Verteilung verschiedener chemischer Elemente wie Chlorophyll oder Lignin bestimmt werden.
-
Zu diesen Messungen hat sich in den letzten Jahrzehnten eine spektral hochauflösende Bildnahmetechnik bewährt, die als „Hyperspectral Imaging“ bezeichnet wird. Dieses Hyperspectral Imaging erlaubt beispielsweise eine Erkennung und Unterscheidung verschiedener chemischer Elemente aufgrund des ortsaufgelöst aufgenommenen Spektrums.
-
Bei einem typischen Aufbau eines (hyper-)spektralen Kamerasystems ist eine Linsenmatrix vor einem Bildsensor angeordnet, welches ein Motiv in Form vieler verschiedener Bilder (eines pro Linse) auf den Bildsensor abbildet. Ein solches Kamerasystem wird auch als „Multilinsen-Kamerasystem“ bezeichnet. Mittels eines Filterelements, z.B. einem Mosaikfilter oder einem linearvariablen Filter, zwischen Linsenmatrix und Bildsensor wird jedes der Bilder in einem anderen Spektralbereich aufgenommen. Man erhält eine Vielzahl von Abbildungen des Motivs in unterschiedlichen Spektralbereichen („Kanälen“).
-
Nachteil des Standes der Technik ist jedoch, dass die aufgenommenen Bilder nicht optimal miteinander vergleichbar sind. Sie bedürfen noch der Kalibration. Insbesondere bei einer Aufnahme von Objekten mit unterschiedlichem Abstand zum Kamerasystem (z.B. eines Objekts vor einem Hintergrund bzw. zwei oder mehr Objekten in unterschiedlicher Distanz) führen unterschiedliche Strahlengänge bei der Aufnahme durch ein Filterelement des Kamerasystems dazu, dass eine spektrale Einordnung eines Objekts ungenau ist.
-
Aufgabe der vorliegenden Erfindung war es, die Nachteile des Standes der Technik zu überwinden und ein Verfahren zur Bestimmung von Wellenlängenabweichungen eines Multilinsen-Kamerasystems, insbesondere zu dessen Kalibration und/oder Verbesserung der spektralen Auflösung zur Verfügung zu stellen.
-
Diese Aufgabe wird durch ein Verfahren und eine Vorrichtung gemäß den Ansprüchen gelöst.
-
Ein erfindungsgemäßes Verfahren zur Bestimmung (und vorteilhaften Verwendung) von Wellenlängenabweichungen von Aufnahmen eines Multilinsen-Kamerasystems, insbesondere zur Dispersionskalibration und/oder der Verbesserung der spektralen Auflösung, umfasst die folgenden Schritte:
- - Ermittlung einer spektralen Sensitivität („Farbfeld“) für einen Bereich eines Filterelements des Multilinsen-Kamerasystems, welcher einem vorbestimmten Bereich eines Bildsensors des Multilinsen-Kamerasystems zugeordnet ist,
- - Bestimmung der Zentralwellenlänge für mindestens zwei Pixel des vorbestimmten Bereichs des Bildsensors basierend auf der ermittelten spektralen Sensitivität (dem ermittelten Farbfeld),
- - Modifikation des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. dem entsprechenden Bereich des Bildsensors) aufgenommen worden sind und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen.
-
Die spektrale Sensitivität eines Bereichs des Filterelements gibt wieder, welche Farbe (Wellenlänge) welches Pixel des Bildsensors hinter dem Filterelement aufnimmt. Im idealen Falle ist dies Licht mit einer einzigen (Zentral-)Wellenlänge, im Realfall eine Wellenlängenverteilung mit einer Zentralwellenlänge. Diese spektrale Sensitivität wird hier auch als „Farbfeld“ bezeichnet, da sie ein Feld (Bereich) umfasst, in dem abhängig vom Filterelement unterschiedliche Farben vorherrschen. Bei idealen Filterelementen wird dieses Farbfeld zumeist linear veränderlich (linearvaribaler Filter) oder konstant und stufig (Mosaikfilter) verlaufen. Ein Bereich des Bildsensors, welcher zur Aufnahme einer Bildes dient, sollte einen klar definierten (linear variierenden / stufig-konstanten) Verlauf des Farbfeldes aufweisen. In der Realität kommt es bei vielen Filterelementen jedoch auf die Strecke an, die das Licht bei Propagation durch das Filterelement in diesem zurücklegt. In einem Bereich eines Mosaikfilters mit einem winkelabhängigen Filterverhalten , welcher nur für eine einzige Zentralwellenlänge ausgestaltet ist, wird bei einem geraden Einfall eine andere Zentralwellenlänge gemessen wie bei einem schrägen Einfall. Auch wenn sich diese Unterschiede in der Praxis auf einige nm beschränken, führen sie dennoch zu systematischen Messfehlern und beeinflussen eine Auswertung von Spektralbildern negativ. Außerdem lässt sich dieser Effekt vorteilhaft zur Verbesserung der spektralen Auflösung nutzen, wie im Folgenden beschrieben werden wird.
-
Wohlgemerkt betrifft die hier erläuterte Betrachtung in erster Linie Effekte, die durch unterschiedliche Lichtwege im Filter hervorgerufen werden. Die Erfindung selber kann aber nicht nur diese Effekte beherrschen, sondern auch Inhomogenitäten im Filterelement oder Wellenlängenabweichungen in Bildern durch linearvariable Filterelemente.
-
Das Farbfeld umfasst somit Informationen über die Zentralwellenlängen des Lichtes, welches durch ein Filterelement hindurch auf die Pixel des vorgegebenen Bereichs des Bildsensors trifft. Bevorzugt umfasst das Farbfeld noch für die Pixel bzw. für Gruppen von Pixeln Informationen über die Winkelabhängigkeit der Zentralwellenlänge des durchscheinenden Lichtes. Dies verbessert die Genauigkeit weiter, da das Licht von Objekten, die aus einer näheren Distanz aufgenommen werden unter einem etwas anderen Winkel durch das Filtersystem propagiert als Licht von ferneren Objekten.
-
Die Ermittlung des Farbfeldes erfolgt für denjenigen Bereich des Filterelements, durch den das Licht zur Aufnahme eines Bildes oder mehrerer Bilder für einen vorbestimmten Bereich des Bildsensors fällt. Für den Fall, dass nur ein einziges Bild mit dem Verfahren modifiziert werden soll bzw. ein entsprechender Bereich des Bildsensors, ist es der Bereich zur Aufnahme des betreffenden Bildes, das Verfahren kann aber durchaus auch zur gleichzeitigen Modifikation mehrerer Bilder dienen, wobei der vorbestimmte Bereich auf dem Bildsensors entsprechend groß ist.
-
Die Ermittlung des Farbfeldes kann durch eine direkte Messung erfolgen. Dazu erfolgt eine Aufnahme und/oder Bereitstellung von einem Bild eines Motivs, welches von dem multispektralen Multilinsen-Kamerasystem in einem Spektralbereich aufgenommen worden ist. Eine genauere Beschreibung einer solchen Aufnahme bzw. Bereitstellung folgt weiter unten.
-
Alternativ oder zusätzlich kann die Ermittlung des Farbfeldes auch durch eine Berechnung des Verhaltens des Filters bei Einstrahlung einer Wellenlänge mit unterschiedlichen Einfallswinkeln unter Berücksichtigung der Abbildungseigenschaften der diesem Bereich des Bildsensors zugeordneten Optik des Multilinsen-Kamerasystems erfolgen.
-
Wie oben bereits gesagt wurde, ist zu beachten, dass bei der Aufnahme eines Bildes mit einem Bereich des Bildsensors das Licht zu unterschiedlichen Pixeln des Bildes mit unterschiedlichen Einfallswinkeln durch den Filter verläuft. Dadurch, und ggf. auch durch Inhomogenitäten der Dicke des Filters über den betreffenden Bereich durchläuft das Licht zu unterschiedlichen Pixeln des Bildsensors unterschiedliche Strecken durch das Filterelement. Je nach Art des Filterelements (oder Bereich des Filterelements) kann sich daraus eine Verschiebung der Filtereigenschaft ergeben. Ist z die zentrale Wellenlänge des Filters für Licht unter dem Winkel a, so kann sich für Licht, welches unter dem Winkel b durch den Filter tritt, eine zentrale Wellenlänge z ± Δz ergeben.
-
Diese Zentralwellenlänge wird nun für mindestens zwei Pixel, bevorzugt für alle Pixel für eine vorbestimmte Interessensregion (engl.: „Region of Interest“, ROI) des vorbestimmten Bereichs eines Bildsensors bestimmt. Hierzu ist jedoch zu beachten, das (mindestens) zwei Pixel bevorzugt in demjenigen Bereich liegen, der zur Aufnahme eines einzigen Bildes bestimmt ist. Dient der Bereich des Bildsensors der Aufnahme mehrerer Bilder, so sollte dieser Schritt für mindestens zwei Pixel für jedes Bild erfolgen.
-
Betrachtet man pro „Bild“ die Zentralwellenlängen von zwei Pixeln, so lässt sich bei der Annahme eines linearen Verlaufs der Zentralwellenlänge über die Pixel eine Modifikationsfunktion für alle Pixel ermitteln („Stützfunktion“). Sollte der Verlauf nicht linear sein, ist es bevorzugt für mehr als zwei Pixel Zentralwellenlängen zu bestimmen und daraus eine Modifikationsfunktion zu ermitteln. Ein sehr genaues Ergebnis erhält man, wenn man die Zentralwellenlängen aller Pixel des Bereichs betrachtet. Die Modifikationsfunktion hat den Vorteil, dass nicht für alle Pixel die Zentralwellenlängen ermittelt werden müssen, sondern diese auch durch die Modifikationsfunktion vorgegeben werden können.
-
Mit den bestimmten Zentralwellenlängen wird nun der Bereich des Bildsensors und/oder entsprechende Bilder, die mit dem Bildsensor aufgenommen worden sind, modifiziert. Alternativ oder zusätzlich wird ein ergänzender Datensatz zu den Bildern oder zur Steuerung der Bildaufnahme erzeugt. Modifikation und Datensatzerzeugung sind dabei zumeist gleichbedeutend, da in digitalisierten Systemen eine Modifikation auf einem Datensatz beruhen kann, der eingelesen und zur Modifikation von Bildsensoren oder Daten verwendet wird.
-
Die Modifikation kann eine Adaption sein, insbesondere eine Kalibration. Sie kann aber auch eine Hinzufügung von Bildinformationen zu einem Bild umfassen, z.B. die Hinzufügung von ergänzenden Spektralinformationen oder Informationen zur Abstrahlcharakteristik eines Objekts. Diese ergänzenden Informationen können z.B. in Bilddaten direkt vorliegen oder als ein zusätzlicher Datensatz, also „außerhalb“ eines Bildes aber mit diesem Verbunden. Bei Betrachtung des Bildes kann dann auf diesen Datensatz zurückgegriffen werden. Sofern die entsprechenden Daten vorhanden sind und eine Recheneinheit „weiß“, wo diese Daten zu finden sind, ist es gleichwertig, ob ergänzende Daten in einer Bilddatei oder in einem separaten Datensatz vorliegen. Ähnliches gilt für ergänzende Daten zu dem Bildsensor. Es ist für eine Modifikation eines Bildsensors im Grunde unerheblich, ob eine Kalibrierung direkt bei der Aufnahme erfolgt oder die aufgenommenen Rohdaten (oder ggf die rekonstruierten Daten) kalibriert werden. Somit können auch Daten zur Modifikation des Bildsensors in Form eines ergänzenden Datensatzes vorliegen.
-
Für eine Kalibration sollte das aufgenommene Bild ein uniformes Motiv darstellen, damit jedes Pixel des Bildes schwerpunktsmäßig dasselbe sieht. Ein bevorzugtes Motiv ist eine uniforme Fläche oder das Licht eines Lambert-Strahlers bzw. einer Lichtquelle, die auf einem Lambert-Streuer trifft. Wird nur ein Bild aufgenommen, ist es von Vorteil, dass das Licht ungefähr diejenige Wellenlänge aufweist, die dem Spektralkanal des Bildes entspricht (wobei eine schmalbandige Abstrahlung bevorzugt ist), werden mehrere Bilder aufgenommen, sollte das Motiv die Wellenlängen aller Spektralkanäle umfassen. Es ist hier jedoch auch möglich, dass mehrere Bilder sequentiell aufgenommen werden, wobei das Motiv bzw. die Wellenlänge entsprechend wechseln kann.
-
Eine Aufnahme von (mindestens) einem Bild eines Motivs mit dem multispektralen Multilinsen-Kamerasystem in einem Spektralbereich (also in Form einer Messung in einem Spektralkanal des Multilinsen-Kamerasystems) ist dem Fachmann bekannt und wird von dem (bekannten) multispektralen Multilinsen-Kamerasystem in bekannter Weise angefertigt. Ein Multilinsen-Kamerasystem zur (multi- / hyper-) spektralen Aufnahme von Bildern umfasst einen flächigen Bildsensor, ein ortssensitives spektrales Filterelement und ein Abbildungssystem. Das Abbildungssystem umfasst dabei eine flächige Linsenmatrix mit einer Vielzahl von Einzellinsen, welche so angeordnet sind, dass sie zu einem ersten Aufnahmezeitpunkt eine Vielzahl von rasterförmig angeordneten ersten Abbildungen eines Motivs in einem ersten Bereich auf dem Bildsensor erzeugen. Die Linsen sind z.B. sphärische Linsen, Zylinderlinsen, holographische Linsen oder Fresnellinsen oder Linsensysteme (z.B. Objektive) aus mehreren solcher Linsen.
-
Flächige Bildsensoren sind dem Fachmann im Grunde bekannt. Es handelt sich hierbei besonders bevorzugt um Pixeldetektoren, welche eine elektronische Aufnahme von Bildpunkten („Pixeln“) erlauben. Bevorzugte Pixeldetektoren sind CCD-Sensoren (CCD: „charge-coupled device“; dt. „ladungsgekoppeltes Bauteil“) oder CMOS-Sensoren (CMOS: „Complementary metal-oxide-semiconductor“; dt. „sich ergänzender Metall-Oxid-Halbleiter“). Besonders bevorzugt sind auf Silizium basierende Sensoren, aber auch InGaAs-Sensoren sowie auf Bleioxid oder Graphen basierte Sensoren, insbesondere für Wellenlängenbereiche außerhalb des sichtbaren Bereichs.
-
Ein spektrales Filterelement, welches so gestaltet ist, dass es an unterschiedlichen Positionen der Fläche des Filterelements unterschiedliche Spektralanteile von auftreffendem Licht transmittiert und andere Spektralanteile nicht transmittiert, wird hier als „ortssensitives spektrales Filterelement“ bezeichnet, wobei es auch als „ortsabhängiges spektrales Filterelement“ bezeichnet werden könnte. Es dient dazu, die durch das Abbildungssystem erzeugten Abbildungen auf dem Bildsensor nach unterschiedlichen (kleinen) Spektralbereichen zu filtern.
-
Für die Anordnung des Filterelements gibt es mehrere Möglichkeiten. Das Filterelement kann beispielsweise direkt vor der Linsenmatrix positioniert sein oder zwischen Linsenmatrix und Bildsensor. Es ist auch bevorzugt, dass Komponenten des Abbildungssystems als Filterelement ausgestaltet sind, insbesondere die Linsenmatrix. Beispielsweise kann das Substrat der Linsenmatrix als Filterelement ausgestaltet sein.
-
Eine Linsenmatrix im Sinne der Erfindung umfasst eine Vielzahl von Linsen die rasterförmig zueinander, also in einer regelmäßigen Anordnung, angeordnet sind, insbesondere auf einem Träger. Die Linsen sind bevorzugt in regelmäßigen Zeilen und Spalten oder versetzt zueinander angeordnet. Besonders bevorzugt ist eine rechteckige bzw. quadratische oder eine hexagonale Anordnung. Die Linsen können beispielsweise sphärische Linsen oder zylindrische Linsen sein, aber auch asphärische Linsen sind in einigen Anwendungsfällen bevorzugt.
-
In der Regel zeigen bei (multi- / hyper-) spektralen Aufnahmen stets ähnliche Bilder desselben Motivs. Durch das Filterelement werden diese Bilder mit jeweils unterschiedlichen (Licht)Wellenlängen bzw. in unterschiedlichen Wellenlängenbereichen vom Bildsensor aufgenommen.
-
Die Bilder liegen als digitale Bilder vor, deren Bildelemente als „Pixel“ bezeichnet werden. Diese Pixel liegen an vorbestimmten Stellen des Bildsensors, so dass jedes Bild ein Koordinatensystem von Pixelpositionen besitzt. Im Rahmen von multispektralen Aufnahmen werden die Bilder häufig auch als „Kanäle“ bezeichnet.
-
Da die aufgenommenen Bilder typischerweise in einem Bildspeicher abgespeichert werden, können diese auch für das Verfahren von dort abgerufen werden. Das Verfahren kann selbstverständlich auch mit „alten“ Bildern arbeiten, die aufgenommen worden sind und nun einfach aus einem Speicher für das Verfahren eingelesen und dadurch bereitgestellt werden.
-
Die Zentralwellenlängen bzw. die Modifikationsfunktion kann in einem x,y,λ-Raum vorliegen, wobei x und y die Bildkoordinaten sind, bzw. die entsprechenden Koordinaten des Bildsensors und λ(x,y) die den jeweiligen Koordinaten zugeordnete Zentralwellenlänge bzw. der betreffende Modifikationswert.
-
Eine erfindungsgemäße Vorrichtung zur Bestimmung von Wellenlängenabweichungen, insbesondere zur Dispersionskalibration und/oder der Verbesserung der spektralen Auflösung, von Aufnahmen eines Multilinsen-Kamerasystems umfasst die folgenden Komponenten:
- - Eine Ermittlungseinheit ausgelegt zur Ermittlung eines Farbfeldes eines Bereichs eines Filterelements des Multilinsen-Kamerasystems, welcher einem vorbestimmten Bereich eines Bildsensors des Multilinsen-Kamerasystems zugeordnet ist. Diese Ermittlungseinheit kann ein Rechensystem umfassen (oder als Softwaremodul in einem Rechensystem vorliegen), welches dieses Farbfeld aus Sensorinformationen ermittelt und/oder aus vorgegebenen Informationen zum Filter und ggf. auch vom abzubildenden Motiv (z.B. Abstand) errechnet.
- - Eine Bestimmungseinheit ausgelegt zur Bestimmung der Zentralwellenlänge für mindestens zwei Pixel des vorbestimmten Bereichs des Bildsensors basierend auf dem ermittelten Farbfeld. Diese Bestimmungseinheit kann durch eine Recheneinheit realisiert werden (oder als Softwaremodul in einem Rechensystem vorliegen), die Sensordaten des Bildsensors auswerten und daraus die Zentralwellenlänge bestimmen kann.
- - Eine Verarbeitungseinheit ausgelegt zur Modifikation der Einstellungen des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. dem Bereich des Bildsensors) aufgenommen worden sind und/oder zur Erzeugung eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen. Diese Verarbeitungseinheit kann durch eine Recheneinheit realisiert werden (oder als Softwaremodul in einem Rechensystem vorliegen), die auf den Bildsensor oder dessen Bildspeicherplätze zugreifen oder Bilddaten verändern kann. Wenn diese Verarbeitungseinheit nur zur Modifikation von Bildern oder des Bildsensors dient, kann sie auch als „Modifikationseinheit“ bezeichnet werden.
-
Ein erfindungsgemäßes Multilinsen-Kamerasystem umfasst eine erfindungsgemäße Vorrichtung und/oder ist zur Durchführung eines erfindungsgemäßen Verfahrens ausgelegt.
-
Im Folgenden werden bevorzugte Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass ein bevorzugtes Multilinsen-Kamerasystem auch analog zu der entsprechenden Beschreibung des Verfahrens ausgestaltet sein kann und insbesondere auch einzelne Merkmale verschiedener Ausführungsbeispiele miteinander kombiniert werden können.
-
Bei einem bevorzugten Verfahren erfolgt die Ermittlung des Farbfeldes durch eine Aufnahme und/oder Bereitstellung von einem Bild eines Motivs durch das multispektrale Multilinsen-Kamerasystem und/oder durch eine Berechnung des Verhaltens des Filters bei Einstrahlung einer Wellenlänge mit unterschiedlichen Einfallswinkeln unter Berücksichtigung der Abbildungseigenschaften der diesem Bereich zugeordneten Optik des Multilinsen-Kamerasystems. Dem Farbfeld liegt also eine Messung zugrunde oder eine Berechnung, wobei beides auch kombiniert werden kann.
-
Bei einem bevorzugten Verfahren wird im Rahmen der Bestimmung der Zentralwellenlänge eine Modifikationsfunktion („Stützfunktion“) für die Pixel des vorbestimmten Bereichs des Bildsensors basierend auf den ermittelten Zentralwellenlängen von mindesten zwei Pixeln ermittelt. Zur Modifikation (insbesondere zur Adaption, z.B. zur Kalibration) des Bereichs des Bildsensors und/oder von Bildern, die mit diesem Bildsensor (bzw. diesem Bereich des Bildsensors) aufgenommen worden sind, wird dann diese Modifikationsfunktion verwendet. Auf diese Weise kann auch eine Modifikation, insbesondere eine Kalibration, für Bereiche eines Bildes erfolgen, für die kein Farbfeld vorliegt. Es können auch weitere Bilder mit dieser Modifikationsfunktion adaptiert werden, wobei das Farbfeld für diese Bilder ähnlich sein sollte.
-
Bei einem bevorzugten Verfahren werden bei der Ermittlung des Farbfeldes diesem Informationen über die Winkelabhängigkeit für die Zentralwellenlänge des durchscheinenden Lichtes hinzugefügt. Damit kann eine Modifikation auch bei unterschiedlichen Lichtwegen (z.B. unterschiedliche Abständen eines Motivs bzw. Objekts) erfolgen. Bei der Modifikation wird dabei der Abstand von Elementen eines Motivs berücksichtigt, wobei bevorzugt das Farbfeld für Pixel des Bildsensors in Abhängigkeit von dem Abstand der dort abgebildeten Bereiche des Motivs zum Kamerasystem ermittelt wird.
-
Bei einem bevorzugten Verfahren erfolgt zusätzlich eine Parallaxenbestimmung von Aufnahmen, umfassend die Schritte:
- - Aufnahme und/oder Bereitstellung von mindestens zwei Bildern eines Objekts aufgenommen von dem multispektralen Multilinsen-Kamerasystem in unterschiedlichen Spektralbereichen,
- - Erkennung des Objekts in den aufgenommenen Bildern mittels digitaler Objekterkennung und Erstellung eines virtuellen Objekts aus der erkannten Abbildung des Objekts,
- - Ermittlung von Koordinaten des virtuellen Objekts in den Bildern in Form von absoluten Bildkoordinaten und/oder relativer Bildkoordinaten zu anderen Elementen in den Bildern,
- - Bestimmung der Parallaxe des Objekts aus den ermittelten Koordinaten und der bekannten Position der Aufnahmeorte der Bilder auf einem Bildsensor des Multilinsen-Kamerasystems
- - bevorzugt: Bestimmung des Abstandes des Objektes vom Multilinsen-Kamerasystem und/oder von einem weiteren Objekt im Bild basierend auf der bestimmten Parallaxe und Verwendung dieses Abstandes zur Ermittlung des Farbfeldes und/oder der Zentralwellenlänge.
-
Gemäß einem bevorzugten Verfahren umfasst die Modifikation (die hier eine Adaption ist) eine Kalibration des Bereichs des Bildsensors oder der Bilder, die mit diesem Bereich aufgenommen worden sind. Die vorbeschriebenen Maßnahmen zur Modifikation werden hier also bevorzugt zur Kalibration des Bildsensors oder von Bildern eingesetzt, so dass die spektrale Information je Pixel entsprechend angepasst wird. Ist das Farbfeld nicht konstant, so ist nun bekannt, welche Spektralinformation die Pixel des betreffenden Bereichs widerspiegeln. Bevorzugt ist dabei die Modifikationsfunktion eine Kalibrationsfunktion, die für Pixel des Bereichs des Bildsensors oder von mit diesem Bereich aufgenommenen Bildern einen Kalibrationswert basierend auf dem Farbfeld umfasst, mit dem die betreffenden Pixel kalibriert werden.
-
Gemäß einem bevorzugten Verfahren umfasst die Modifikation eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors, wobei in einem Bild mindestens zwei Pixel ermittelt werden, deren Zentralwellenlängen bekannt sind und die zu einem Bildbereich gehören, für den ein annähernd gleiches Spektrum angenommen wird. Die Pixel liegen also an unterschiedlichen Koordinaten eines Bildes und weisen daher aufgrund der vorangehend geschilderten Dispersionseffekte, Fehler des Filters oder einfach wegen der Verwendung eines linear-variierenden Filters hier unterschiedliche Zentralwellenlängen auf. Im Folgenden wird angenommen, dass die Pixel alle zu einem einzigen Objekt des Motivs gehören, wobei als Objekt ein Bereich angenommen wird, der annähernd dasselbe Spektrum hat (wobei „annähernd“ bedeutet: im Bereich der gewünschten Messgenauigkeit). In diesem Fall geben all diese Pixel Spektralinformationen wieder wie sie an allen Koordinaten der Pixel vorherrschen sollten (aufgrund des annähernd gleichen Spektrums). Hierzu erfolgt in dem Bild bevorzugt eine Objekterkennung wie sie hier bereits an anderen Stellen beschrieben wird. Die spektralen Informationen der Pixel werden nun zu einer spektralen Gesamtinformation für mindestens eines der Pixel (bevorzugt für Pixelgruppen oder alle Pixel) zusammengefasst.
-
Selbstverständlich kann dieses (und das folgende) Verfahren für unterschiedliche Spektralkanäle (Spektralbilder) durchgeführt werden, was zu einer Verbesserung der spektralen Auflösung führt.
-
Gemäß einem weiteren bevorzugten Verfahren umfasst die Modifikation ebenfalls eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors. Dieses Verfahren bedient sich des gleichen Prinzips wie das vorangehend beschriebene Verfahren: Zwei Pixel die individuelle (unterschiedliche) Zentralwellenlängen haben und aus einem Bereich stammen, der annähernd dasselbe Spektrum hat, ergänzen die spektrale Gesamtinformation. Waren es im vorangehenden Verfahren Pixel in demselben Bild aber an unterschiedlichen Stellen eines Objekts, so werden im Folgenden Pixel an derselben Stelle eines Objekts aber in unterschiedlichen Bilder betrachtet. Bevorzugt können beide Verfahren angewendet werden, um die Spektralinformation weiter zu verfeinern. Besonders gut eignet sich für beide Verfahren ein Multilinsen-Kamerasystem mit einem linear-variablen Filterelement, wobei in diesem Fall mit dem Begriff „unterschiedliche Bilder“ auch unterschiedliche Bildregionen oder unterschiedliche Teil-Bilder gemeint sein können, da das Filterelement über ein Bild hinweg einen linearen Verlauf einer Zentralwellenlänge aufweist.
-
Das bevorzugte weitere Verfahren umfasst die folgenden zusätzlichen Schritte:
- - Aufnahme von mindestens zwei Bildern mit demselben Bereich des Bildsensors vom selben Motiv aus anderen Blickwinkeln oder mit einem verschobenen Motiv. Die Bilder können z.B. zu unterschiedlichen Zeiten bei einer Relativbewegung von Kamerasystem und Motiv aufgenommen werden oder das Motiv in dem Bereich des Bildsensors verschoben werden. Wichtig ist, dass die Bilder nicht identisch sind, sondern zumindest ein Objekt des Motivs in den Bildern an unterschiedlichen Koordinaten abgebildet wird und/oder aus unterschiedlichen Blickwinkeln. Letzteres kann bereits aufgrund von Dispersionseffekten auch an derselben Bildposition unterschiedliche Zentralwellenlängen hervorrufen. Selbstverständlich können mehrere Bilder aufgenommen werden, wobei jedes zusätzliche Bild eine Verbesserung des Spektrums darstellt. Eine Änderung des Blickwinkels kann sich auch durch eine Verkippung des Filterelements ergeben oder durch eine laterale Relativ-Verschiebung von Filterelement und Linsenmatrix, da es bei dem Blickwinkel auf denjenigen Winkel ankommt, mit dem eintreffendes Licht durch das Filterelement tritt. An Stelle des Begriffs „Blickwinkel“ könnte also auch der Begriff „Filterdurchtrittswinkel“ verwendet werden, wobei „Blickwinkel“ jedoch die Verständlichkeit verbessert.
- - Ermittlung von Pixeln der Bilder, die gleichen Bereichen des Motivs entsprechen. Die Pixel liegen also an denselben Stellen des Motivs (aber nicht unbedingt des Bildes). Nach den vorhergehenden Ausführungen ist klar, dass diese Pixel typischerweise an unterschiedlichen Bildkoordinaten liegen und sollten sie an denselben Bildkoordinaten liegen aufgrund unterschiedlicher Blickwinkel unterschiedliche Zentralwellenlängen haben sollten. Selbst verständlich können einige der Pixel auch identische Zentralwellenlängen haben, dies würde nur keinen Informationsgewinn darstellen.
- - Ermittlung der Zentralwellenlänge der jeweiligen Pixel. Normalerweise erhält man eine Gruppe von Pixeln mit jeweils unterschiedlichen Zentralwellenlängen.
- - Zusammenfassung der spektralen Informationen der Pixel zu einer spektralen Gesamtinformation für mindestens eines der Pixel (bevorzugt für alle Pixel). Die betreffenden Pixel enthalten also nun die spektralen Informationen der jeweils anderen Pixel.
-
Alternativ oder zusätzlich erfolgt eine Ermittlung des Blickwinkels, unter dem die Pixel abgebildet worden sind aus der Zentralwellenlänge und Bestimmung der Intensitäten der Pixel in Abhängigkeit von dem Blickwinkel.
-
Aus den Blickwinkeln, unter denen ein Objekt (oder ein Pixel) in unterschiedlichen Spektralbereichen gesehen wird, also an unterschiedlichen Bereichen des Bildsensors kann auch die Abstrahlcharakteristik des Objekts (oder Pixels) ermittelt werden. Dabei wird die Intensität des Objekts (oder Pixels) in unterschiedlichen Kanälen aufgenommen und gegen den Bickwinkel aufgetragen. Insbesondere wird die Auftragung in Form einer bidirektionalen Reflektionsverteilungsfunktion vorgenommen (engl.: Bidirectional reflectance distribution fuction, BRDF). Dieser Blickwinkel ergibt sich dabei z.B. aus dem Ort auf dem Bildsensor. Besonders bevorzugt ist es, wenn das Objekt (Pixel) aus zwei unterschiedlichen Blickwinkeln der Kamera betrachtet wird.
-
Zwar wird das Objekt in den Bildern in der Regel in unterschiedlichen Spektralkanälen dargestellt, jedoch kann im einfachsten Fall angenommen werden, dass die Abstrahlcharakteristik für alle Wellenlängen gleich ist und die (wellenlängenabhängige) Intensität je Kanal könnte mit dem bekannten Spektrum des Objekts normiert werden. Alternativ kann natürlich das Objekt im gleichen Kanal aus zwei oder mehr Blickwinkeln aufgenommen werden und eine Normierung der Intensität der Spektralkanäle daraus erfolgen.
-
Es ist insbesondere bevorzugt, dass das Motiv nach der Aufnahme des ersten Bildes auf dem Bildsensor verschoben wird, dies kann beispielsweise dadurch geschehen, dass ein Spiegel oder eine Linsenmatrix des Multilinsen-Kamerasystems verkippt wird. Es kann auch eine ganze Serie von Bilder aufgenommen werden, insbesondere mittels einer solchen Verkippung. Durch die Verschiebung werden identische Punkte oder Bereiche des Motive auf unterschiedlichen Pixeln des Bildsensors abgebildet. eine damit einhergehende Verschiebung der Zentralwellenlänge kann wie vorangehend beschrieben zur Verbesserung der spektralen Auflösung verwendet werden. Beispielsweise kann zuerst ein erstes Bild aufgenommen werden und dann eine Sequenz aus mehreren Bildern während einer Verschiebung aufgenommen werden, insbesondere in Form eines Films, mit einer geringeren räumlichen Auflösung oder mit einer verminderten Belichtungszeit, um die spektrale Auflösung des ersten Bildes zu verbessern. Alternativ oder zusätzlich kann aber auch eine oben erwähnte laterale Relativverschiebung von Filterelement und Linsenmatrix erfolgen und/oder ein Wechsel des Filterelements, z.B. durch ein Filterrad oder einen Austausch des Filters.
-
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen Mosaik-Filter. Bevorzugt ist das Mosaik des Mosaik-Filters so angeordnet, dass große Wellenlängenschritte innen sind, während kleinere Intervalle außen sind. Bei einer bevorzugten Form des Mosaik-Filters ist ein Farbmosaik, insbesondere ein Farbglasmosaik, auf einer Seite eines Substrats, bevorzugt Glas, aufgebracht, insbesondere aufgedampft. Gemäß einer vorteilhaften Ausführungsform ist auf der Vorderseite eines Substrats das Filterelement (ein Mosaik-Filter oder ein anderer Filter) aufgebracht und auf der Rückseite des Substrats die Linsenmatrix (z.B. aufgeprägt). Bevorzugt transmittiert ein Mosaik-Filter für jede Einzellinse eine andere Wellenlänge.
-
Gemäß einer bevorzugten Ausführungsform umfasst das Filterelement einen linearvariablen Filter mit Filterlinien („Verlaufsfilter“), welcher bevorzugt im Hinblick auf die Ausrichtung der Filterlinien bezüglich der Linsenmatrix in einem Winkel zwischen 1° und 45° verdreht ist. Alternativ oder zusätzlich umfasst das Filterelement eine Filtermatrix, besonders bevorzugt einen Mosaik-Filter.
-
Gemäß einer bevorzugten Ausführungsform umfasst das Multilinsen-Kamerasystem eine Aperturmaske zwischen Linsenmatrix und Bildsensor, wobei Aperturen auf der Aperturmaske entsprechend den Linsen der Linsenmatrix positioniert sind und die Aperturmaske so positioniert ist, dass Licht der Abbildungen der einzelnen Linsen durch Aperturen der Aperturmaske tritt. Die Aperturmaske weist also das gleiche Muster wie die Linsenmatrix auf, wobei statt der Linsen dort Aperturen vorliegen.
-
Zur Bestimmung von Wellenlängenabweichungen, insbesondere zur Verbesserung der Ergebnisse bei der Dispersionskalibration oder der Verbesserung der spektralen Auflösung, können noch Modifikationsverfahren, insbesondere Kalibrationsschritte, erfolgen, die auch unabhängig von dem oben vorgestellten erfindungsgemäßen Verfahren einen Vorteil für Aufnahmen mit einem ein Multilinsen-Kamerasystem darstellen. Hier ergibt sich das Problem, dass ein nicht optimal kalibriertes Multilinsen-Kamerasystem nicht optimale Aufnahme liefert. Eine Modifikation mit jedem einzelnen der nachfolgenden alternativen Möglichkeiten, alleine oder in Kombination miteinander, verbessert die Aufnahme eines Multilinsen-Kamerasystems.
-
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasystem dient der Identifikation einer interessierenden Region (engl: Region of Interest oder kurz: ROI). Es umfasst die folgenden Schritte:
- - Aufnahme eines Bildes mit dem multispektralen Multilinsen-Kamerasystem, wobei dieses Bild bevorzugt eine uniforme Helligkeitsverteilung aufweist bzw. eine so große Helligkeit aufweist, dass eine Überbelichtung des Bildsensors auftritt. Eine Überbelichtung hat den Vorteil, dass in diesem Falle Regionen in einem aufgenommenen Bild sichtbar werden, die durch Abschirmungseffekte (z.B. durch Aperturränder) weniger Licht erhalten. Diese Bereiche sollten nicht mehr zur ROI dazugehören, da nicht sichergestellt ist, dass die Bildinformationen hier optimal sind (durch die Abschirmungseffekte). Es ergibt sich ein Bild, bei dem jeweils nur der für die ROI sichtbare Bereich beleuchtet ist.
- - Kreuzkorrelation des Bildes mit einem Vergleichsbild, insbesondere mit einem Referenzbild (z.B. einem Idealsensorbild).
- - Optional: Durchführung einer Hough-Transformation. Mittels dieser Hough-Transformation können die Winkel der Bilder in Übereinstimmung gebracht werden.
- - Auswahl desjenigen Bereichs aus den Bildern, der gemäß der Autokorrelation und/oder Kreuzkorrelation die höchste Ähnlichkeit aufweist. Diese Auswahl umfasst bevorzugt eine Vereinzelung des ausgewählten Bereichs oder eine Begrenzung eines Bildausschnitts auf diesen ausgewählten Bereich. Bevorzugt erfolgt in diesem Rahmen eine entsprechende vorbestimmte Definition im Referenzbild oder des Referenzbildes und eine Objektsegmentierung des aufgenommenen Bildes.
-
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasystem dient der Korrektur von Linsenfehlern. Es umfasst die folgenden Schritte:
- - Aufnahme eines Bildes eines vorbekannten Optik-Targets abgebildet durch eine zu überprüfende Linse des Multilinsen-Kamerasystems. Es ist dabei bevorzugt, dass eine Aufnahme jedes Kanals des Multilinsen-Kamerasystems erfolgt, damit das gesamte System auf Linsenfehler untersucht werden kann.
- - Berechnung der optischen Linsenfehler basierend auf diesen Aufnahmen und den bekannten Maßen des Optik-Targets, bevorzugt mit einem Levenberg-Marquard-Algorithmus mittels der bestimmten Linsenparameter.
-
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasystem dient der Kalibrierung von Projektionsfehlern. Es umfasst die folgenden Schritte:
- - Bereitstellung eines Bildes (Aufnahme oder Auslesen aus einem Datenspeicher) eines vorbekannten Optik-Targets mit dem multispektralen Multilinsen-Kamerasystem.
- - Erkennung des Targets im Bild und bevorzugt Ermittlung von mindestens drei Koordinaten von charakterisierenden Punkten des Targets. Charakterisierende Punkte sind z.B. Ecken des Targets.
- - Anwenden einer inversen Homographie. Dies ist eine eine Kollineation des 2-dimensionalen reellen projektiven Raumes auf sich, also eine Bildprojektion im Raum, die von einem Algorithmus mit einem (digitalen) Bild durchgeführt werden kann. Dabei wird eine Anpassung des Targets an ein Target vorgenommen, wie es unter einem bestimmten Abstand ohne Projektionsfehler abgebildet werden würde. Eine solche ideale Abbildung ist bekannt, da die Eigenschaften der Abbildungsoptik bekannt sind und das Target bekannt ist. Bevorzugt werden dabei nur Koordinaten von charakterisierenden Referenzpunkten verwendet und Koordinaten der entsprechenden charakterisierenden Punkte des im Bild erkannten Targets auf die Referenzpunkte registriert. Dieses bevorzugte Verfahren erlaubt durch die Verwendung der Homogrpahie eine Korrektur der Translation (Verschiebung), Rotation, Scherung und Skalierung.
-
Ein bevorzugtes Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasystem dient der Verbesserung dessen Auflösung. Es umfasst die folgenden Schritte:
- - Aufnahme von mindestens zwei Bildern, wobei verglichen mit dem jeweils anderen Bild ein Bild eine höhere Ortsauflösung hat und das andere Bild eine höhere spektrale Auflösung hat. Es wird dabei bevorzugt eine Vielzahl von Bildern niedriger Ortsauflösung in unterschiedlichen Spektralbereichen und ein Pan-Bild bzw. ein Graustufenbild mit einer höheren Ortsauflösung aufgenommen.
-
Optional kann das Multilinsen-Kamerasystem noch zusätzlich kalibriert werden, insbesondere mit einem vorangehend beschriebenen Verfahren zur Kalibrierung von Projektionsfehlern. Besonders bevorzugt erfolgt vorher eine Bestimmung der Parallaxe von Objekten in den Bildern und eine Kompensation der Parallaxe.
- - Extrapolation eines räumlich oder spektral hochauflösdenden Bildes aus den mindestens zwei Bildern. Dabei wird die höhere Ortsauflösung des einen Bildes dazu verwendet die Ortsauflösung des Bildes mit der höheren spektralen Auflösung zu verbessern und/oder die höhere spektralen Auflösung des anderen Bildes wird dazu verwendet die spektralen Auflösung des Bildes mit der höheren Ortsauflösung zu verbessern.
-
Insbesondere wird in der bevorzugten Vielzahl von Einzelkanälen (Spektralbildern) die Ortsauflösung basierend auf den Informationen des Bildes mit der höheren Ortsauflösung vergrößert. Dabei wird bevorzugt das bekannte Prinzip des Pan-Sharpening angewandt. In diesem Rahmen wird ausgenutzt, dass, wenn man das Motiv betrachtet, zu einem Pixel eines Bildes eines Spektralkanals eine Gruppe von Pixeln des Bildes mit der höheren Ortsauflösung gehört, z.B. 10x10 Pixel aus dem Pan-Bild. Es wird nun bevorzugt aus einem Pixel eines (Spektral-) Bildes eine entsprechende Gruppe von Pixeln erzeugt (z.B. 10x10 spektrale Pixel), indem die Form des Spektrums aus dem ursprünglichen Spektralpixel verwenden wird, die Helligkeit jedoch vom Pan-Bild.
-
Alternativ oder ergänzend kann die spektrale Auflösung des Bildes mit der höheren Ortsauflösung verbessert werden. Existiert wie oben gesagt ein erstes Bild mit einer höheren Ortsauflösung und einer geringeren spektralen Auflösung (es müssen jedoch mehr als drei Kanäle vorhanden sein) und ein zweites Bild mit einer geringeren Ortsauflösung und einer höheren spektralen Auflösung, ist dies möglich. Die spektrale Auflösung des ersten Bildes wird verbessert, so dass (nahezu) eine spektrale Auflösung des zweiten Bildes erreicht wird, indem man die fehlenden spektralen Kanäle für das erste Bild aus den Informationen des zweiten Bildes interpoliert. Dies erfolgt bevorzugt dadurch dass ein Pixel des zweiten Bildes einer zusammenhängenden Pixelgruppe des ersten Bildes zugeordnet wird und dieser Pixelgruppe die spektrale Informationen des Pixels des zweiten Bildes zugeordnet wird. Dies kann z.B. so erfolgen, dass bei einer Z-mal größeren räumlichen Auflösung des ersten Bildes jeder Block aus ZxZ Pixeln des ersten Bildes (Pixelgruppe) einem Pixel des zweiten Bildes an der entsprechenden (die Blöcke berücksichtigenden) Bildposition zugeordnet wird.
-
Das Ergebnis kann jedoch noch verbessert werden, indem eine Objekterkennung innerhalb des ersten Bildes (bzw. in den Pixelgruppen) erfolgt. Dabei wird die Annahme zugrundegelegt, dass die Spektren innerhalb eines Objekts annähernd gleich sind. Die Objekterkennung kann noch mit Informationen des zweiten Bildes verbessert werden, in dem Teile von Objekten mit unterschiedlichen Spektren voneinander separiert und als eigenständige Objekte behandelt werden. Es können danach z.B. unterschiedliche aneinander grenzende Bereiche im ersten Bild vorliegen, die durch Kanten voneinander getrennt sind. Nun werden innerhalb einer Pixelgruppe im ersten Bild Bereiche unterschiedlicher Objekte unterschiedlich behandelt, indem diesen unterschiedliche Spektren zugewiesen werden. Bei homogenen Pixelgruppen ist es einfach: diesen wird die spektrale Information des entsprechenden Pixels des zweiten Bildes zugewiesen (s. vorangehendes Verfahren). Befinden sich in einer Pixelgruppe Teile unterschiedlicher Objekte, so werden für das eine Objekt die spektralen Informationen des zweiten Bildes für dieses eine Objekt verwendet und für das andere Objekt die spektralen Informationen des zweiten Bildes für dieses andere Objekt. Für jedes weitere Objektteil wird entsprechend verfahren. Da in diesem Falle die spektralen Informationen des entsprechenden Pixels im zweiten Bild eine Faltung unterschiedlicher Objekt-Spektren sein könnten, können hier die Spektren benachbarter Pixel im zweiten Bild hinzugezogen werden, die Informationen zu den betreffenden Objekten enthalten. Alternativ oder ergänzend kann eine zusätzliche Objekterkennung im zweiten Bild erfolgen, welchen den Objekten des ersten Bildes entsprechen und diesen Objekten aus den Informationen des zweiten Bildes entsprechende Spektralinformationen zugewiesen werden.
-
Wenn die Farbkanäle jeweils nicht homogen sind (also die Zentralwellenlänge für die Pixel in einem Kanal (Bild) über die Bildebene hinweg jeweils einem Verlauf folgt), können diese Informationen zusätzlich zu einer Verbesserung des Spektrums dienen. Hierzu wird wieder von der Annahme ausgegangen, dass innerhalb eines Objektes das Spektrum homogen ist, zumindest bezüglich zweier benachbarter Punkte innerhalb des Objekts. Bei nicht-homogenen Farbkanälen wird das Spektrum zweier benachbarter Pixel bei Aufnahme eines homogenen Motivs leicht differieren. Das eine Pixel „sieht“ das Motiv mit der Wellenlänge w. das zweite mit der Wellenlänge w±Δw. Stellt man nun in einem Bild fest, dass die beiden Pixel ein (als homogen angenommenes) Objekt darstellen, so kann diesem Objekt nicht nur die Wellenlänge w, sondern auch die Wellenlänge w±Δw zugeordnet werden und das Spektrum des Objekts diesbezüglich verfeinert werden.
-
In einem beispielhaften Fall, in dem das eine Bild eine Ortsauflösung von 50x50 Pixeln und eine spektrale Auflösung von 500 Kanälen hat und das andere Bild eine Ortsauflösung von 500x500 Pixeln und eine spektrale Auflösung von 10 Kanälen, so könnte die Ortsinformation eines resultierenden Bildes mittels (Teil-)Pan-Sharpening auf 500x500 gebracht werden, und das Spektrum mittels „Spektralsharpening“ auf 500, das Ergebnis wäre eine Ortsauflösung von 500x500 Pixeln bei einer spektralen Auflösung von 500 Kanälen.
-
Das folgende Verfahren kann sehr einfach mit dem vorangehend beschriebenen kombiniert werden, benötigt jedoch in seiner grundsätzlichen Form nicht zwingend zwei Bilder. Auch aus einem einzelnen Bild kann eine genauere spektrale Information ermittelt werden.
-
Bevorzugt werden zu jedem Spektrum eines Pixels die Spektren zumindest der direkt benachbarten Pixel hinzugefügt. Diese benachbarten Spektren beinhalten, wie gesagt, andere Wellenlängeninformationen (andere Stützstellen wegen anderer Zentralwellenlängen). Dieses einfache Verfahren erhöht zwar die Auflösung der Spektren, kann jedoch in den Übergangsbereichen zwischen unterschiedlichen Objekten eines Motivs zu Fehlern führen.
-
Das Ergebnis kann jedoch auch hier noch verbessert werden, indem eine Objekterkennung innerhalb des Bildes erfolgt. Dabei wird wieder die Annahme zugrundegelegt, dass die Spektren innerhalb eines Objekts annähernd homogen sind. Sollten die Spektren innerhalb eines Objekts stark differieren, kann auch wieder eine Objektsegmentierung durchgeführt werden in dem Teile von Objekten mit unterschiedlichen Spektren voneinander separiert und als eigenständige Objekte behandelt werden. Es können danach z.B. unterschiedliche aneinander grenzende Bereiche im Bild vorliegen, die durch Kanten voneinander getrennt sind. Nun werden die Spektren von Pixeln innerhalb eines Objekts, insbesondere den Pixeln aus dem Zentrum des Objekts miteinander vereinigt. Diese Vereinigung kann darin bestehen, dass die Spektren jeweils benachbarter Pixel vereinigt werden oder auch die Spektren aller Pixel. Ersteres ergibt selbst bei leicht inhomogenen Objekten eine annehmbare Verbesserung, das zweite bei homogenen Objekten eine sehr große Auflösung. Beide Alternativen können miteinander kombiniert werden, in dem ein Objekt in konzentrische Bereiche unterteilt wird und die Spektren der Pixel dieser Bereiche kombiniert werden.
-
Bevorzugte weitere Kalibrationsverfahren für ein multispektrales Multilinsen-Kamerasystem sind bekannte Verfahren zur Kalibration des Dunkelstroms und/oder Kalibrationen zum Weißabgleich und/oder eine radiometrische Kalibrierung und/oder eine Kalibration im Rahmen der Photo Response Non Uniformity („PRNU“).
-
Beispiele für bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung sind in den Abbildungen dargestellt.
- 1 zeigt ein Multilinsen-Kamerasystem gemäß dem Stand der Technik.
- 2 zeigt eine Szene einer Aufnahme.
- 3 zeigt von oben eine Szene einer Aufnahme und ein Multilinsen-Kamerasystem mit einem Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung.
- 4 zeigt ein Beispiel für einen Dispersionseffekt.
- 5 zeigt ein Beispiel zur Zentralwellenlänge und zur Modifikationsfunktion.
- 6 zeigt ein Beispiel zur Spektralverbesserung für ein aufgenommenes Bild.
- 7 zeigt ein weiteres Beispiel zur Spektralverbesserung für zwei aufgenommene Bilder.
- 8 zeigt ein beispielhaftes Blockdiagramm für das erfindungsgemäße Verfahren.
-
1 zeigt schematisch ein Multilinsen-Kamerasystem 1 zur hyperspektralen Aufnahme von Bildern gemäß dem Stand der Technik in einer perspektivischen Darstellung. Das Multilinsen-Kamerasystem 1 umfasst einen flächigen Bildsensor 3, und eine flächige Linsenmatrix 2 aus gleichförmigen Einzellinsen 2a, welche so angeordnet ist, dass sie von einem Motiv M eine Vielzahl von rasterförmig angeordneten ersten Abbildungen AS (s. z.B. ausschließlich die kleinen ersten Abbildungen AS in 5) auf dem Bildsensor 3 erzeugt. Der Übersicht halber ist nur eine der Einzellinsen 2a mit einem Referenzzeichen versehen.
-
Zur Verbesserung der Qualität der ersten Abbildungen AS ist eine Aperturmaske 5 zwischen Bildsensor 3 und Linsenmatrix 2 angeordnet. Jede Apertur 5a der Aperturmaske 5, ist einer Einzellinse 2a zugeordnet und genau hinter dieser angeordnet. Zum Erhalt der spektralen Informationen ist ein Filterelement 4 zwischen Aperturmaske 5 und Bildsensor 3 angeordnet. Dieses Filterelement 4 kann in anderen Ausführungen auch vor der Linsenmatrix angeordnet sein (s. z.B. 8). In dem hier dargestellten Fall handelt es sich bei dem Filterelement 4 um einen linearvariablen Filter, der gegenüber dem Bildsensor etwas verdreht ist. Jede Abbildung hat damit ihren Mittelpunkt bei einem anderen Längenwellenbereich des Filterelements. Somit liefert jede erste Abbildung AS auf dem Bildsensor eine andere spektrale Information und die Gesamtheit der ersten Abbildungen AS dient zur Erstellung eines Bildes mit spektralen Informationen.
-
2 zeigt eine Szene einer Aufnahme eines Motivs M. Dieses Motiv umfasst ein Haus, welches hier als Hintergrund H dient und einen Baum als Objekt O im Vordergrund. Dieses Motiv wird durch ein Multilinsen-Kamerasystem 1 aufgenommen.
-
3 zeigt das Motiv M aus 2 von oben. Das Multilinsen-Kamerasystem 1 umfasst hier ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 6. Diese Vorrichtung umfasst eine Datenschnittstelle 7, eine Ermittlungseinheit 8, eine Bestimmungseinheit 9 und eine Verarbeitungseinheit 10.
-
Die Datenschnittstelle 7 ist zum Empfang von den Bildern ausgelegt, die von dem Multilinsen-Kamerasystem 1 aufgenommen worden sind. Sie kann beispielsweise auf den Bildsensor direkt zugreifen, auf eine Speichereinheit oder mit einem Netzwerk kommunizieren.
-
Die Ermittlungseinheit 8 ist zur Ermittlung eines Farbfeldes F eines Bereichs eines Filterelements 4 des Multilinsen-Kamerasystems 1, welcher einem vorbestimmten Bereich eines Bildsensors 3 des Multilinsen-Kamerasystems 1 zugeordnet ist ausgelegt.
-
Die Bestimmungseinheit 9 ist zur Bestimmung der Zentralwellenlänge Z für mindestens zwei Pixel P1, P2 des vorbestimmten Bereichs des Bildsensors 3 basierend auf dem ermittelten Farbfeld F, ausgelegt.
-
Die Verarbeitungseinheit 10 ist zum Modifizieren der Einstellungen des Bereichs des Bildsensors 3 ausgelegt und/oder von Bildern B, die mit diesem Bildsensor 3 aufgenommen worden sind. Die Modifikation wird basierend auf den bestimmten Zentralwellenlängen Z durchgeführt. Alternativ oder zusätzlich ist die Verarbeitungseinheit zur Erzeugung eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme ausgelegt.
-
4 zeigt ein Beispiel für einen Dispersionseffekt. Zwei Lichtstrahlen (Pfeile) mit einem ausgedehnten Spektrum treten im unterschiedlichen Winkel durch ein Filterelement 6 hindurch und legen daher im Filterelement 6 eine unterschiedliche Strecke zurück. Dies kann zu einer Verschiebung der Zentralwellenlänge Z führen. Zudem kann das Filterelement 6 an unterschiedlichen Orten unterschiedliche Wellenlängen durchlassen, was ebenfalls zu unterschiedlichen Zentralwellenlängen führt (selbst wenn die Lichtstrahlen parallel wären).
-
5 zeigt ein Beispiel zur Zentralwellenlänge Z (links) und zur Modifikationsfunktion, die hier eine Adaptionsfunktion A (rechts) ist. Für einen Lichtstrahl mit einem breiten Spektrum, der durch ein Filterelement 6 tritt (s. z.B. 4) ergibt sich nach dem Durchtritt ein schmales Spektrum mit einer Zentralwellenlänge Z. Trägt man für ein Pixelfeld mit den Koordinaten x und y alle Zentralwellenlängen Z oder von diesen Zentralwellenlängen Z abgeleitete Kalibrationswerte in ein Schaubild ein, welches die Koordinaten x und y mit einer Wellenlänge A vereinigt (z.B. die Zentralwellenlänge Z), dann erhält man beispielsweise eine Verteilung, wie rechts dargestellt. Dies wäre eine beispielhafte Darstellung der Werte einer Adaptionsfunktion A als Beispiel für eine Modifikationsfunktion.
-
6 zeigt ein Beispiel zur Spektralverbesserung für ein aufgenommenes Bild B. In diesem Beispiel wird angenommen, dass die gesamte Krone des Baumes, der hier das Objekt O darstellt, dasselbe Spektrum hat, d.h. jedes Pixel P1, P2, welches die Krone des Baumes wiedergibt, sollte einen Wert desselben Spektrums wiedergeben. Da die Pixel P1, P2 jedoch an unterschiedlichen Orten liegen, haben sie auch unterschiedliche Zentralwellenlängen Z (s. z.B: die rechte Verteilung aus 5). Dies bedeutet, dass die Intensität der beiden Pixel P1, P2 eine Information eines jeweils unterschiedlichen Teils eines Gesamtspektrums wiedergibt. Jedem Pixel P1, P2 kann also die Zentralwellenlänge Z beider Pixel P1, P2 zugeordnet werden.
-
7 zeigt ein weiteres Beispiel zur Spektralverbesserung für zwei aufgenommene Bilder. Das Prinzip ist sehr ähnlich zu 8 mit dem Unterschied, dass die beiden Pixel an unterschiedlichen Koordinaten zweier unterschiedlicher Bilder liegen, aber an derselben Objektkoordinate des Baumes (Objekt O). Auch hier gibt jedes Pixel P1, P2, einen Wert desselben Spektrums wieder. Da die Pixel P1, P2 jedoch an unterschiedlichen Bereichen des Bildsensors 3 liegen, haben sie auch unterschiedliche Zentralwellenlängen Z (s. z.B: die rechte Verteilung aus 5). Dies bedeutet, dass die Intensität der beiden Pixel P1, P2 eine Information eines jeweils unterschiedlichen Teils eines Gesamtspektrums wiedergibt. Jedem Pixel P1, P2 kann also die Zentralwellenlänge Z beider Pixel P1, P2 zugeordnet werden.
-
8 zeigt ein beispielhaftes Blockdiagramm für das erfindungsgemäße Verfahren zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems 1.
-
In Schritt I erfolgt eine Ermittlung eines Farbfeldes F für einen Bereich eines Filterelements 4 des Multilinsen-Kamerasystems 1, welcher einem vorbestimmten Bereich eines Bildsensors 3 des Multilinsen-Kamerasystems 1 zugeordnet ist.
-
In Schritt II erfolgt eine Bestimmung der Zentralwellenlänge Z für mindestens zwei Pixel (P1, P2) des vorbestimmten Bereichs des Bildsensors 3 basierend auf dem ermittelten Farbfeld F.
-
In Schritt III erfolgt eine Modifikation des Bereichs des Bildsensors 3 und/oder von Bildern B, B1, die mit diesem Bildsensor 3 aufgenommen worden sind, und/oder Erzeugen eines ergänzenden Datensatzes zu den Bildern oder zur Steuerung der Bildaufnahme, basierend auf den bestimmten Zentralwellenlängen Z.
-
Bevorzugte Modifikationen sind in Schritt 3 noch genauer aufgeschlüsselt.
-
In Schritt lila erfolgt eine Kalibration (als Beispiel für eine Modifikation) des Bereichs des Bildsensors 3 oder der Bilder B, die mit diesem Bereich aufgenommen worden sind (s. hierzu auch 6).
-
In Schritt IIIb erfolgt eine Verbesserung der spektralen Information der Aufnahmen des Bildsensors 3, wobei in einer Anzahl von Bildern B, B1 mindestens zwei Pixel P1, P2 ermittelt werden, deren Zentralwellenlängen Z bekannt sind und die zu einem Bildbereich gehören, für den ein gleiches Spektrum angenommen wird und wobei die spektralen Informationen der Pixel P1, P2 zu einer spektralen Gesamtinformation für mindestens eines der Pixel P1, P2 zusammengefasst wird (s. hierzu auch 7). Solch eine Verbesserung der spektralen Information kann eine Modifikation eines Bildes darstellen oder in Form eines ergänzenden Datensatzes vorliegen.
-
Abschließend wird angemerkt, dass die Verwendung der unbestimmten Artikel, wie z.B. „ein“ oder „eine“, nicht ausschließt, dass die betreffenden Merkmale auch mehrfach vorhanden sein können. So kann „ein“ auch als „mindestens ein“ gelesen werden. Begriffe wie „Einheit“ oder „Vorrichtung“ schließen nicht aus, dass die betreffenden Elemente aus mehreren zusammenwirkenden Komponenten bestehen können, die nicht unbedingt in einem gemeinsamen Gehäuse untergebracht sind, auch wenn der Fall eines umfassenden Gehäuses bevorzugt ist. Im Bereich der Optik kann insbesondere das Element der Linse aus einer einzelnen Linse oder einem System von Linsen oder einem Objektiv bestehen ohne dass dies einer genauen Differenzierung bedarf.
-
Bezugszeichenliste
-
- 1
- Multilinsen-Kamerasystem
- 2
- Linsenmatrix
- 2a
- Einzellinse
- 3
- Bildsensor
- 4
- Filterelement
- 5
- Aperturmaske
- 5a
- Apertur
- 6
- Vorrichtung
- 7
- Datenschnittstelle
- 8
- Ermittlungseinheit
- 9
- Bestimmungseinheit
- 10
- Verarbeitungseinheit
- A
- Adaptionsfunktion
- B
- Bild
- B1
- Bild
- F
- Farbfeld
- H
- Hintergrund
- M
- Motiv
- O
- Objekt
- Z
- Zentralwellenlänge
