-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft ein Verfahren zur digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation oder Verzeichnung eines Abbildungssystems, insbesondere eines digitalen Abbildungssystems. Ferner betrifft die vorliegende Erfindung ein Verfahren zum Betrieb eines Abbildungssystems, insbesondere eines digitalen Abbildungssystems. Weiter ist die vorliegende Erfindung auf ein Abbildungssystem, insbesondere ein digitales Abbildungssystem und auf ein Computerprogrammprodukt zur Durchführung des Verfahrens zur digitalen Abberationskorrektur und ein digitales Speichermedium umfassend das Computerprogrammprodukt gerichtet.
-
Stand der Technik
-
Verzeichnungen oder Abberationen sind grundsätzlich in jedem Abbildungssystem in gewissem Umfang gegeben und beschreiben je nach Typ der Verzeichnung oder Abberation Abbildungsfehler bei der Abbildung eines externen Bildes oder Gegenstands auf eine Abbildungsebene. Die chromatische Abberation oder chromatische Verzeichnung rührt in allererster Linie daher, dass der Brechungsindex von optischen Elementen, nicht wie in der klassischen Strahlenoptik verallgemeinert, vom Licht, insbesondere von der Wellenlänge des Lichts, unabhängig ist, sondern vielmehr eine Funktion der Wellenlänge oder Frequenz darstellt oder umfasst. Dies bedeutet, dass beispielsweise im sichtbaren Bereich an einer Linse blaues Licht stärker gebeugt wird als rotes Licht und folglich für ein mehrfarbiges Bild keine einheitliche Abbildungsebene oder eine einheitliche Brennweite der Linse erzeugt wird.
-
Da die Brechzahl oder der Brechungsindex tatsächlich von der Wellenlänge des Lichts oder der elektromagnetischen Strahlung abhängig ist, wird die chromatische Abberation oder chromatische Verzeichnung zur wesentlichen oder maßgeblichen Fehlerquelle eines Abbildungssystems, je größer die Bandbreite des elektromagnetischen Spektrums ist, welches mit dem Abbildungssystem abgebildet werden soll.
-
Damit ist eine Abberationskorrektur ganz besonders für multispektrale Abbildungssysteme, insbesondere multispektrale Kamerasysteme erforderlich. Unter einem multispektralen Abbildungssystem soll an dieser Stelle ein Abbildungssystem verstanden werden, bei dem nicht nur eine Abbildung von elektromagnetischer Strahlung oder Licht im sichtbaren Bereich sondern auch in anderen beispielsweise angrenzenden Wellenlängenbereichen, beispielsweise dem nahen Infrarotspektrum (NIR-Spektrum) oder dem UV-Spektrum abgebildet werden soll. Derartige multispektrale Abbildungssysteme kommen in unterschiedlichen technologischen Anwendungsgebieten zum Einsatz. Beispielhaft seien an dieser Stelle multispektrale Abbildungssysteme genannt, die im Bereich der Agrar- und/oder Geoinformationssysteme zum Einsatz kommen. Dabei können ganz unterschiedliche Größenordnungen des abzubildenden Bilds vorliegen. Beim sogenannten Geo-Imaging werden, bevorzugt aus großer Höhe, wie beispielsweise von Fluggeräten oder von Satelliten, Bilder der Erdoberfläche aufgenommen und mit unterschiedlichen Zwecken weiterverarbeitet. Alternativ kann jedoch auch auf sehr kleiner Skala, beispielsweise im Rahmen von einigen Quadratdezimetern oder Quadratmetern die Erdoberfläche oder eine sonstige Bildebene abgebildet werden, um mit den Vorteilen der multispektralen Abbildungssysteme entsprechende Rückschlüsse über die Erdoberfläche oder Bildebene ziehen zu können.
-
Um jedoch Abbildungen solcher multispektralen Abbildungssysteme besonders zuverlässig Informationen entnehmen zu können oder Informationen aus den Abbildungen generieren zu können, ist es, wie oben bereits angedeutet wesentlich, dass eine Korrektur der chromatischen Verzeichnung oder Abberation vorgenommen wird.
-
In bisherigen Ansätzen wird diese Korrektur der chromatischen Verzeichnung durch eine individuelle Korrektur des Einzelbildes, beispielsweise im Rahmen von Struktur- oder Kantenerkennung durchgeführt. Dies bedeutet, dass die jeweiligen Abbildungskanäle, beispielsweise Farbkanäle, des Abbildungssystems oder des Abbildungssensors des Abbildungssystems für jedes Abbild, welches während des Betriebs des Abbildungssystems erzeugt wird auf charakteristische Strukturen, beispielsweise Kanten hin untersucht wird, wobei dann anschließend eine digitale Beeinflussung der entsprechenden Sensordaten des Abbildungssensors der jeweiligen einem Wellenlängenbereich oder Wellenlängenabschnitt des elektromagnetischen Spektrums zugeordneten Sensordaten oder Sensorelemente erfolgt, um die Bilder der jeweiligen Kanäle oder die jeweiligen Farben zu superpostionieren und damit die chromatische Abberation zu kompensieren.
-
Diese Herangehensweise ist jedoch verhältnismäßig aufwendig, was die Rechenleistung des Abbildungssystems betrifft, da während des Betriebs des Abbildungssystems jedes aufgenommene Abbild eines Bildes zunächst durch entsprechende Strukturerkennung und anschließende Entzerrung bearbeitet werden muss, bevor ein entsprechend multispektrales Abbild fertiggestellt, erzeugt oder ausgegeben werden kann.
-
Ein weiterer Nachteil an der aus dem Stand der Technik bekannten Herangehensweise ist darin zu sehen, dass die, insbesondere vollautomatische, Erkennung von Strukturen, beispielsweise Kanten, in den jeweiligen Teilbildern oder Farbkanälen eines durch einen digitalen Abbildungssensor erzeugten Abbilds, nur eine bestimmte endliche Zuverlässigkeit erreicht, insbesondere bei Strukturen oder Kanten, die in gewissen Wellenlängenbereichen des elektromagnetischen Spektrums weniger gut oder überhaupt nicht abgebildet werden.
-
Ausgehend von diesem Stand der Technik liegt die Aufgabe der vorliegenden Erfindung darin Verfahren und Vorrichtungen vorzuschlagen, bei denen eine Abberationskorrektur, insbesondere eine Korrektur der chromatischen Abberation einfacher, zuverlässiger und effektiver erfolgen kann.
-
Offenbarung der Erfindung
-
Bei dem erfindungsgemäßen Verfahren zur digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation, eines Abbildungssystems umfassend zumindest eine Abbildungsoptik zur Abbildung eines Bildes auf zumindest einen Abbildungssensor und einen Abbildungsspeicher zur Speicherung der digitalen Abbilder des Bildes mittels Sensorsignalen des Abbildungssensors, wobei der zumindest eine Abbildungssensor zumindest zwei Gruppen von Sensorelementen umfasst, welche jeweils einem abzubildenden Bereich des elektromagnetischen Spektrums zugeordnet sind und wobei die Sensorsignale der unterschiedlichen Gruppen von Sensorelementen zumindest zeitweise getrennt gespeichert werden wird die oben genannten Aufgabe durch die folgenden Verfahrensschritte gelöst:
- Zunächst erfolgt die Erzeugung und Speicherung von zumindest einem Abbild eines Kalibrierungsbildes, insbesondere eines Kalibrierungsmusters. Bei der Erzeugung und Speicherung des Abbildes oder des zumindest einen Abbildes des Kalibrierungsbildes ist darauf zu achten, dass die vom Kalibrierungsbild oder Kalibrierungsmuster umfassten oder dargestellten Strukturen eine möglichst gute Abbildungseigenschaft in allen Bereichen des elektromagnetischen Spektrums aufweisen, die mit dem besagten Abbildungssystem gebildet werden sollen oder für die entsprechende Sensorelemente vom Abbildungssensor umfasst sind.
-
In einem weiteren Verfahrensschritt erfolgt die Bestimmung und Speicherung der intrinsischen Parameter des Abbildungssystems für jede Gruppe von Sensorelementen anhand des zumindest einen Abbilds des Kalibrierungsbildes. Für die Bestimmung der intrinsischen Abbildungseigenschaften oder intrinsischen Parameter des Abbildungssystems sind verschiedene Vorgehensweisen ausgehend von einem Kalibrierungsbild oder Kalibrierungsmuster bekannt. Auf die Details der jeweiligen Verfahren soll an dieser Stelle nicht im Detail eingegangen werden. Der Vollständigkeit halber wird aber darauf verwiesen, dass eine entsprechend standardisierte Ermittlung der intrinsischen Kameraparameter oder Parameter des Abbildungssystems beispielsweise in „industrielle Bildverarbeitung“ von Axel Springhoff (ISBN: 978-3-642-13096-0) beschrieben ist. An dieser Stelle sei der Vollständigkeit halber noch darauf hingewiesen, dass die einem entsprechenden Bereich oder Abschnitt des Spektrums der elektromagnetischen Strahlung zugeordnete Sensorelemente des Abbildungssensors auch als Kanäle oder Farbkanäle des Abbildungssensors verstanden werden können. Hinsichtlich der zumindest zeitweise getrennten Speicherung der Sensorsignale der jeweiligen Sensorelemente oder Kanäle soll vorgesehen sein, dass die entsprechenden Sensorsignale zumindest mit einer entsprechenden Kennzeichnung oder Identifikation des jeweiligen Kanals oder der jeweiligen Gruppen von Sensorelementen gespeichert werden. Nicht zwangsläufig erforderlich ist eine datentechnisch gruppierte oder in sonstiger Weise organisierte, getrennte Speicherung der Sensorsignale. Gleichzeitig ist eine derartige strukturierte oder organisierte Speicherung durchaus möglich.
-
Im Anschluss an die Bestimmung der intrinsischen Abbildungsparameter des Abbildungssystems erfolgt gemäß des erfindungsgemäßen Verfahrens eine Bestimmung und Speicherung einer Abbildungsvorschrift zur Rektifizierung oder Entzerrung von Abbildern der jeweiligen Gruppe von Sensorelementen oder des jeweiligen Kanals. Diese Abbildungsvorschrift wird aus den zuvor bestimmten intrinsischen Parametern oder Abbildungsparametern des Abbildungssystems abgeleitet.
-
Die Speicherung kann in dem auch zur Speicherung der Abbilder verwendeten Systemspeicher vorgenommen werden. Es kann alternativ oder zusätzlich aber auch eine Speicherung in einem weiteren oder separaten Speicher des Abbildungssystems vorgenommen werden. Die besagte Abbildungsvorschrift zur Rektifizierung oder Entzerrung wird nach ihrer Erstellung/Bestimmung und Speicherung auf ein oder auf das Abbild des Kalibrierungsbildes oder Kalibrierungsmusters angewendet, wobei die jeweilige Abbildungsvorschrift zur Rektifizierung auf den Kanal oder auf die Sensorsignale einer Gruppe von Sensorelementen angewendet wird, für die sie erstellt wurde. Dies bedeutet, dass beispielsweise die Abbildungsvorschrift, die für die Gruppe von Sensorelementen erstellt wurde, die blaues, sichtbares Licht, abbilden auf besagte Sensorsignale der Gruppe von Sensorelementen des Abbildes angewendet werden, um eine Entzerrung oder Rektifizierung zu erreichen.
-
Daraus entsteht für jeden Kanal oder für jede Gruppe von Sensorelementen des Abbildungssensors ein für sich genommen entzerrtes oder rektifiziertes Abbilds des Kalibrierungsbildes, insbesondere des Kalibrierungsmusters, wobei jedoch nach wie vor die chromatische Verzeichnung oder chromatische Abbration unkompensiert vorliegt.
-
In einem weiteren erfindungsgemäßen Verfahrensschritt wird in jedem der rektifizierten Abbilder des Kalibrierungsbildes, insbesondere Kalibrierungsmuster, besser gesagt für jeden rektifizierten Kanal des Abbilds des Kalibrierungsbildes, insbesondere Kalibrierungsmusters, eine Erkennung von charakteristischen Punkten und/oder Bereichen durchgeführt. Bei der Erkennung von Punkten können beispielsweise Mittelpunkte, Schwerpunkte oder Symmetriepunkte von geometrischen Formen des Kalibrierungsbildes erkannt werden. Bei den Bereichen können beispielsweise Linien, Kanten oder zweidimensionale Flächen der geometrischen Formen des Abbildungsbildes erkannt werden.
-
In einem weiteren erfindungsgemäßen Verfahrensschritt werden Abbildungsvorschriften bestimmt und gespeichert, welche eine deckungsgleiche Anordnung der charakteristischen Punkte und/oder Bereiche in den rektifizierten Abbildungen der jeweiligen Gruppe von Sensorelementen oder den jeweiligen Kanälen des Abbildungssensors erreichen. Mit diesen Abbildungsvorschriften, und insbesondere mit der Anwendung der besagten Abbildungsvorschriften kann zusammen, mit den vorab bereits erstellten Abbildungsvorschriften zur Rektifizierung der Abbildungen auf der Grundlage der intrinsischen Abbildungsparameter für jedes nachfolgend aufgenommene Abbild eine Abbildungskorrektur durchgeführt werden, die sowohl die intrinsischen Kameraparameter berücksichtigt und gleichzeitig auch die chromatische Abberation oder chromatische Verzeichnung des Abbildungssystems kompensiert.
-
Ohne den Vorteilen und vorteilhaften Wirkungen im Hinblick auf das unten eingehende beschriebene Verfahren zum Betrieb eines Abbildungssystems vorwegzugreifen sei an dieser Stelle bereits erwähnt, dass der wesentliche Vorteil des erfindungsgemäßen Verfahrens darin besteht, dass einerseits ein optimal auf das Abbildungssystem abgestimmtes Kalibrierungsbild, insbesondere Kalibrierungsmuster, genutzt werden kann, um die Kompensation der chromatischen Abberation zu bewirken und dass darüber hinaus diese Kalibrierung nur einmalig durchgeführt werden muss, um anschließend jedes Abbild eines Bildes für die jeweiligen Kanäle oder für die jeweiligen Sensorsignale der Gruppen von Sensorelementen über die entsprechenden Abbildungsvorschriften, die jeweils einer Gruppe von Sensorelementen oder einem Kanal zugeordnet sind, zu bearbeiten, insbesondere zu korrigieren. Die entsprechenden Abbildungsvorschriften können, wie weiter unten noch erläutert werden wird, jedoch verhältnismäßig einfach gehalten werden, sodass mit sehr geringem Rechenaufwand die jeweils erzeugten oder aufgenommenen Abbilder eines Bilds korrigiert werden können, wobei zusätzlich eine Korrektur unabhängig vom Inhalt des Abbilds oder vom Gegenstand des Bildes erfolgen kann und somit die digitale Bildkorrektur, insbesondere die digitale Korrektur der chromatischen Abberation gerade nicht mehr vom Einsatz des Abbildungssystems und dem jeweils einzelnen Abbild abhängig ist, da die Korrektur der chromatischen Abberation auf einem entsprechend qualitativ hochwertigen und auf das Abbildungssystems abgestimmten Kalibrierungsbild oder Kalibrierungsmuster basiert, welches zudem ggf. unter optimalen Abbildungsbedingungen erzeugt wurde.
-
Der Grundgedanke der vorliegenden Erfindung kann folglich darin gesehen werden statt einer individuellen Bildkorrektur eines jeden aufgenommenen Abbilds eines digitalen Abbildungssystems mit ihren entsprechenden Schwächen eine einmalige und robuste Kalibrierung des Abbildungssystems vorzunehmen, die anschließend für jedes Abbild zum Einsatz kommen kann und unter deutlich geringerem Aufwand deutlich bessere Resultate, insbesondere hinsichtlich der Abberationskorrektur liefert.
-
Gemäß einer ersten vorteilhaften Ausführungsform des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass eine Mehrzahl von Abbildern des Kalibrierungsbildes, insbesondere Kalibrierungsmusters, erzeugt und gespeichert werden, in denen das Kalibrierungsbild gegenüber dem Abbildungssystems bewegt wird, wobei die intrinsischen Parameter des Abbildungssystems für jede Gruppe von Sensorelementen oder für jeden Kanal, anhand der Mehrzahl von Abbildern des Kalibrierungsbildes, insbesondere Kalibrierungsmusters, bestimmt und gespeichert werden. Die Vorgehensweise mit einem an sich statischen aber insgesamt gegenüber dem Abbildungssystem bewegten Kalibrierungsbildes führt zu einer sehr zuverlässigen und robusten Erkennung und Bestimmung der intrinsischen Abbildungsparameter des Systems. Selbstverständlich ist bei der Bewegung des Kalibrierungsbildes oder Kalibrierungsmusters darauf zu achten, dass die Bewegung im Hinblick auf die Belichtungszeit nicht zu schnell ausfällt. Gleichermaßen ist bei der Bewegung des Kalibrierungsbildes weiter darauf zu machten, dass sich das Kalibrierungsbild während der Erzeugung der Mehrzahl von Abbildern vollständig oder zumindest zum Großteil in einem Bildausschnitt oder Abbildungssektor befindet, der von dem Abbildungssystem, insbesondere der Abbildungsoptik erfasst und auf den Abbildungssensor abgebildet wird.
-
In diesem Fall oder in dieser Ausführungsform kann das erfindungsgemäße Verfahren nach der Erzeugung der ersten Abbildungsvorschriften zur Rektifizierung oder Entzerrung der jeweiligen Kanäle oder Sensorsignale von Gruppen von Sensorelementen, mit einer einzelnen Abbildung des Kalibrierungsbildes, insbesondere Kalibrierungsmusters, fortgeführt werden, wobei gerade wesentlich ist, dass die nachfolgende Durchführung des Verfahrens, nämlich die Anwendung der Abbildungsvorschriften auf ein einzelnes oder ein gemeinsames Bild und die nachfolgende Erkennung von Punkten und/oder Bereichen in den jeweiligen Kanälen, Teilbildern oder Abbildungen der jeweiligen Gruppe von Sensorelementen, mit ein und demselben (Gesamt-)Bild durchgeführt wird, da nur dann eine entsprechende Korrektur der chromatischen Verzeichnung oder chromatischen Abberation bei einer oder mittels einer Bestimmung entsprechende Abbildevorschriften zur deckungsgleichen Anordnung der charakteristischen Punkte und/oder Bereiche ermöglicht wird.
-
Gemäß einer weiteren vorteilhaften Ausführungsform des Verfahrens kann zudem vorgesehen sein, dass die Bestimmung der Abbildungsvorschriften zur deckungsgleichen Anordnung der charakteristischen Punkte und/oder Bereiche eine Definition von Bezugssensorelementen oder die Definition eines Bezugskanals umfasst und die Bestimmung von Abbildungsvorschriften der Abbildungen der verbleibenden Gruppen von Sensorelementen im Bezug auf das Abbild der Bezugssensorelemente oder Bezugsgruppe von Sensorelementen durchgeführt wird. Dies hat verschiedene Vorteile. Einerseits wird durch großen Aufwand ein Bezugssystem oder ein Bezugsraum für das Abbildungssystem definiert. Andererseits wird die Anzahl an Abbildungsvorschriften reduziert, da lediglich für die verbleibenden Kanäle oder Gruppen von Sensorelementen ohne den Bezugskanal oder die Bezugsgruppe entsprechende Abbildungsvorschriften bestimmt werden müssen. Gleichermaßen muss auch während des Betriebs des Abbildungssystems jeweils nur für die verbleibenden Kanäle oder Gruppen, abgesehen vom Bezugskanal oder der Bezugsgruppe die entsprechende Transformation der Sensorsignale anhand der Abbildungsvorschriften durchgeführt werden.
-
In einer weiteren besonders vorteilhaften Ausführungsform des Verfahrens kann zudem vorgesehen sein, dass mit zumindest einer Gruppe von Sensorelementen Strahlung im sichtbaren Bereich des elektromagnetischen Spektrums abgebildet wird. Dementsprechend ist das Abbildungssystem zumindest zur Abbildung eines Teils des elektromagnetischen Spektrums im sichtbaren Bereich geeignet. Es kann jedoch ausdrücklich vorgesehen sein, dass das Abbildungssystem nur einen Teil des ersichtbaren Spektrums abbildet. Beispielsweise kann vorgesehen sein, dass lediglich zwei Gruppen von Sensorelementen eine entsprechende Empfindlichkeit oder Abbildungseignung im sichtbaren Spektrum aufweisen und mit den beiden Gruppen beispielsweise Strahlung im roten und grünen Farbspektrum abgebildet wird. Alternativ können jedoch auch weitere Kanäle vorgesehen sein. Beispielsweise können drei Kanäle im sichtbaren Bereich vorgesehen sein, welche die Farben oder Farbbereiche rot, grün und blau abbilden.
-
Gemäß einer weiteren vorteilhaften Ausführungsform kann vorgesehen sein, dass mit zumindest einer Gruppe von Sensorelementen Strahlung im infraroten Bereich, insbesondere im nahe infraroten Bereich (NIR), des elektromagnetischen Spektrums abgebildet wird.
-
Besonders bevorzugt kann vorgesehen sein, dass zumindest ein Kanal oder eine Gruppe von Sensorelementen den sichtbaren Bereich und ein weiterer Kanal oder eine weitere Gruppe von Sensorelementen einen nicht sichtbaren Bereich, insbesondere einen IR- oder NIR-Bereich des elektromagnetischen Spektrums abdeckt oder abbildet. Ganz besonders vorteilhaft kann vorgesehen sein, dass zwei Gruppen von Sensorelementen für die Farben oder die Farbbereiche rot und grün vorgesehen sind und ein weiterer Kanal oder eine weitere Gruppe von Sensorelementen zur Abbildung von IR- oder NIR-Strahlung vorgesehen ist.
-
Gemäß einer weiteren besonders vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens kann vorgesehen sein, dass die Abbildungsvorschriften als Abbildungsmatrizen oder als Transformationsmatrizen erstellt werden, welche auf die Abbildungen der jeweiligen Gruppe von Sensorelementen angewandt werden. Eine derartige Ausgestaltung der Abbildungsvorschriften ermöglicht eine besonders effektive Anwendung, insbesondere wenn die Sensorsignale als zweidimensionale Anordnung von Abbildungspunkten oder Pixel erzeugt und gespeichert werden.
-
Dabei können sowohl die Abbildungsvorschriften zur Rektifizierung auf der Basis der intrinsischen Parameter des Abbildungssystems als auch die Abbildungsvorschriften zur deckungsgleichen Anordnung der identifizierten charakteristischen Punkte und/oder Bereiche des Kalibrierungsbildes, insbesondere Kalibrierungsmusters , als Abbildungsmatrizen oder als Transformationsmatrizen erstellt und gespeichert werden.
-
Die oben genannte Aufgabe wird bei einem Verfahren zum Betrieb eines Abbildungssystems zur digitalen Abbildung eines Bildes, wobei das Abbildungssystem zumindest eine Abbildungsoptik zur Abbildung eines Bildes auf zumindest einen Abbildungssensor und einen Abbildungsspeicher zur Speicherung des digitalen Abbilds des Bildes mittels Sensorsignalen des Abbildungssensors umfasst und wobei der zumindest eine Abbildungssensor zumindest zwei Gruppen von Sensorelementen umfasst, welche jeweils einem abzubildenden Bereich des elektromagnetischen Spektrums zugeordnet sind und wobei die Sensorsignale der unterschiedlichen Gruppen von Sensorelementen zumindest zeitweise getrennt oder trennbar voneinander gespeichert werden dadurch gelöst, dass im Rahmen einer Initialisierung des Abbildungssystems einmalig ein Verfahren zur digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation gemäß des vorangehend beschriebenen Verfahrens durchgeführt wird.
-
Dadurch wird wie oben bereits angedeutet, ein Betrieb eines Abbildungssystems ermöglicht, bei dem die jeweils im Nachgang zur Initialisierung oder Kalibrierung erstellten und gespeicherten Abbilder nur noch mit entsprechenden Abbildungsvorschriften gemäß des erfindungsgemäßen Kalibrierungsverfahrens oder Abberationskorrekturverfahrens korrigiert werden müssen, die jeweiligen Abbilder aber im weitesten Sinne vollständig automatisiert und standardisiert weiterverarbeitet werden können. Dies bedeutet, dass insbesondere während des Betriebs des Abbildungssystems zur Erzeugung von Abbildern eines Bilds der Realität, keine Erkennung von Kanten oder sonstigen charakteristischen Elementen in den Abbildern erfolgen muss, um eine Behebung der chromatischen Verzeichnung am jeweiligen Abbild vornehmen zu können.
-
Dadurch wird der Betrieb des Abbildungssystems erheblich vereinfacht und effektiviert, da die initiale Berechnung der Kompensation der chromatischen Abberation nur einmalig durchgeführt und nachfolgend nur noch angewendet werden muss.
-
Am erfindungsgemäßen Verfahren zum Betrieb eines Abbildungssystems zeigt sich auch, dass die vorangehend beschriebene Ausgestattung der Erfindung im Rahmen der Abberationskorrektur und des Verfahrens zur Abberationskorrektur auch dadurch besonders vorteilhaft ist, dass es auf grundsätzlich jedes Kamerasystem anwendbar ist, sofern das Kamerasystem mit unterschiedlichen Kanälen/Farbkanälen oder entsprechenden Gruppen von Sensorelementen des Sensorelements arbeitet. Es kann jedoch auch eine vergleichbare Ausgestaltung des Kamera- oder Abbildungssystems vorgesehen sein, bei dem ggf. unterschiedliche Sensoren in unterschiedlichen Bereichen des elektromagnetischen Spektrums zugeordnet sind. Auch bei einer derartigen Ausgestaltung kann das Verfahren zur Korrektur der Abberation durchgeführt werden, bevorzugt im Rahmen der Initialisierung des Abbildungssystems. Das Verfahren zur Korrektur der Abberation, insbesondere der chromatischen Abberation, zeichnet sich also insgesamt dadurch aus, dass es weitestgehend unabhängig vom jeweiligen Abbildungssystem, von den jeweils abgebildeten Bereichen des elektromagnetischen Spektrums und unabhängig von der anschließenden Verwendung oder dem anschließenden Einsatz des Abbildungssystems verwendet werden kann, um eine robuste und den Betrieb des Systems effizient gestaltende Kalibrierung oder Kompensation der chromatischen Abberation ermöglicht.
-
Gemäß einer vorteilhaften Ausgestaltungsform des Verfahrens zum Betrieb eines Abbildungssystems kann vorgesehen sein, dass im Anschluss an eine Initialisierung des Abbildungssystems die Abbildungen der Gruppen von Sensorelementen grundsätzlich mit den Abbildungsvorschriften beeinflusst und/oder korrigiert werden, die im Rahmen der Initialisierung bestimmt und gespeichert wurden.
-
Gemäß einer weiteren, besonders vorteilhaften Ausführungsform des Verfahrens zum Betrieb eines Abbildungssystems kann vorgesehen sein, dass mit dem Abbildungssystem im Anschluss an Initialisierung automatische Objekterkennung, insbesondere multispektrale Objekterkennung, durchgeführt wird. In diesem Zusammenhang hat sich als besonders vorteilhaft herausgestellt, wenn im Rahmen der automatischen Objekterkennung, beispielsweise der Erkennung von organischen Strukturen, beispielsweise Pflanzen, Pflanzenteilen od.dgl., eine möglichst einfache und gleichermaßen effektive Kompensation der chromatischen Verzeichnung ermöglicht wird, das die Objekterkennung, insbesondere die Objekterkennung von organischen Strukturen, in der Regel mit Abbildungssystemen durchgeführt wird, die im sichtbaren und im infraroten, insbesondere im nahen infraroten Bereich abbilden und die entsprechenden Abbilder einem Erkennungsalgorithmus unterziehen.
-
Dementsprechend kann die chromatische Abberation in den jeweiligen Abbildern, insbesondere im Vergleich zwischen dem blauen oder violetten Bereich des sichtbaren Lichts einerseits und dem nahen infraroten Bereich andererseits eine deutliche Verzeichnis verursachen, welche mitunter die automatische Objekterkennung erschwert oder vollständig verhindert. Eine Online- oder Onethe-fly-Korrektur von Verzeichnungsartefakten, insbesondere der chromatischen Abberation, kann dabei mit erheblichem Rechenaufwand verbunden sein, der entsprechende Anforderungen an das Abbildungssystem stellt.
-
Das oben genannte Problem wird ebenfalls durch ein Computerprogrammprodukt zur Durchführung einer digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation, eines Abbildungssystems umfassend das eingangs beschriebene Verfahren gelöst.
-
Ebenfalls wird die oben genannte Aufgabe durch ein digitales Speichermedium umfassend ein Computerprogrammprodukt gelöst, welches zur Durchführung einer digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation, gemäß des eingangs beschriebenen Verfahrens eingerichtet ist.
-
Schließlich führt die vorliegende Erfindung zur Lösung des oben genannten Problems auch auf ein Abbildungssystem, welches dadurch gekennzeichnet ist, das eine digitale Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation, gemäß des eingangs beschriebenen Verfahrens vorgenommen, insbesondere im Rahmen einer Initialisierung des Abbildungssystems vorgenommen wurde.
-
Vorteilhafte Ausgestaltungen und Einzelheiten der vorliegenden Erfindung werden nachfolgend mit Bezug auf die lediglich rein schematischen Figuren erläutert.
-
Figurenliste
-
- 1 einen schematischen Ablaufplan des erfindungsgemäßen Verfahrens zur digitalen Abberationskorrektur;
- 2 eine schematische Darstellung eines Ausschnitts oder eines Teils des erfindungsgemäßen Verfahrens zur digitalen Abberationskorrektur.
-
Ausführungsformen der Erfindung
-
1 zeigt ein schematisches Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur digitalen Abberationskorrektur, insbesondere zur Korrektur der chromatischen Abberation, eines Abbildungssystems. In einem ersten Verfahrensschritt S1 erfolgt die Erzeugung und Speicherung von zumindest einem Abbild eines Kalibrierungsbildes, insbesondere eines Kalibrierungsmusters. Alternativ kann im Verfahrensschritt S1 auch eine Erzeugung und Speicherung einer Vielzahl oder Mehrzahl von Abbildern eines Kalibrierungsbildes, insbesondere eines Kalibrierungsmusters erzeugt werden. Im letztgenannten Fall kann zudem vorgesehen sein, dass die unterschiedlichen Abbilder des Kalibrierungsbildes, insbesondere des Kalibrierungsmusters, in einem bewegten Zustand erzeugt und gespeichert werden, wobei als bewegter Zustand ein Zustand verstanden werden soll, bei dem das Kalibrierungsbild gegenüber dem Abbildungssystem bewegt wird. Die Ausgestaltung der Erstellung und Speicherung des Abbildes oder der Abbilder des Kalibrierungsbildes hängt im Wesentlichen davon ab, welches Verfahren oder welches Vorgehen genutzt werden soll, um die intrinsischen Parameter des Abbildungssystems zu bestimmen um daraus, wie nachfolgend noch beschrieben, Abbildungsvorschriften für das Abbildungssystem, insbesondere die Gruppen von Sensorelementen des Abbildungssensors, zu erzeugen. Die entsprechenden Verfahren zur Erkennung oder Rechnung der intrinsischen Abbildungsparameter sind weitestgehend bekannt. Dementsprechend wird je nach angewendetem Verfahren die entsprechende Grundlage, insbesondere auch in Form der Erzeugung und Speicherung von Abbildern eines Kalibrierungsbildes, vorgesehen.
-
Im vorliegenden Beispiel soll davon ausgegangen werden, dass das Kalibrierungsbild als Kalibrierungsmuster ausgeführt ist und in einer Anordnung einer Vielzahl von kreis- oder ellipsenförmigen geometrischen Strukturen besteht. Die Ausdehnung der Strukturen ist, insbesondere im Bezug auf die Entfernung in der das Abbildungsmuster im Rahmen des Verfahrens vor dem Abbildungssystem angeordnet wird, so gewählt, dass zumindest eine Vielzahl von Sensorelementen des jeweiligen Kanals oder der jeweiligen Gruppe von Sensorelementen des Abbildungssensors jeweils eine geometrische Kalibrierungsstruktur, bevorzugt einen Kreis, abbildet. Dadurch wird ermöglicht, dass im Rahmen der nachfolgenden Verfahrensschritte, insbesondere im Rahmen der Ermittlung von charakteristischen Punkten oder Bereichen des Kalibrierungsmusters, eine zuverlässige Erkennung und Bestimmung der Punkte und Bereiche durchgeführt werden kann.
-
Bevorzugt werden, fünfzig bis hundert Bilder des Kalibrierungsmusters erzeugt.
-
In einem nachfolgenden Verfahrensschritt S2 erfolgt im Rahmen einer an sich bekannten Berechnung oder Rückrechnung die Bestimmung und Speicherung der intrinsischen Parameter des Abbildungssystems für die Gruppen von Sensorelementen anhand der im Verfahrensschritt S1 erzeugten Abbilder oder des erzeugten Abbilds des Kalibrierungsmusters. Dabei kann an sich das bekannte Verfahren zur Bestimmung der intrinsischen Parameter des Abbildungssystems zum Einsatz kommen. Die Speicherung kann ggf. in einem Abbildungsspeicher erfolgen. Es kann aber auch ein alternativer Speicher des Abbildungssystems für die Speicherung der intrinsischen Parameter vorgesehen sein.
-
In einem nachfolgenden Verfahrensschritt S3 erfolgt anschließend die Bestimmung und Speicherung einer Abbildungsvorschrift zur Rektifizierung oder Entzerrung von Abbildern des Abbildungssystems, jeweils für die einzelnen Gruppen von Sensorelementen. Die besagte Abbildungsvorschrift entspricht also einer Entzerrung der erzeugten Abbilder unter Berücksichtigung der intrinsischen Abbildungsparameter des Systems. Dadurch werden kanalabhängig oder für die jeweilige Gruppe von Sensorelementen die Bildverzerrungen, hervorgerufen durch Verzeichnungen der Abbildungsoptik, kompensiert und als entsprechende Abbildungsvorschrift, bevorzugt als Transformationsmatrizen pro Farbkanal oder pro Gruppe von Sensorelementen erreicht.
-
In einem nachfolgenden Verfahrensschritt S4 schließt sich ein Teil des erfindungsgemäßen Verfahrens an, auf den auch im Rahmen der 2 nochmals eingegangen werden wird.
-
Zunächst wird im Verfahrensschritt S4 auf ein Abbild, besser gesagt auf alle Kanäle oder Gruppen von Sensorelementen, die im vorangehenden Verfahrensschritt S3 bestimmte Abbildungsvorschrift, selbstredend die für den jeweiligen Kanal oder für die jeweilige Gruppe bestimmte Abbildungsvorschrift, angewendet. Sofern im Verfahrensschritt S1 eine Mehrzahl oder Vielzahl von Abbildern erzeugt und gespeichert wurde, kann sich somit im Rahmen des Verfahrensschritt S4 auf ein bestimmtes Abbild beschränkt werden, ggf. kann ein Verfahren vorgesehen sein, welches ermöglicht automatisch ein besonders geeignetes Abbild aus den vorliegenden Abbildern des Kalibrierungsmusters auszuwählen. Dadurch entstehen für den jeweiligen Kanal oder für die jeweilige Gruppe von Sensorelementen des Abbildungssensors, rektifizierte Bilder, in denen die Verzeichnungen aufgrund der Abbildungsoptik bereits korrigiert sind.
-
In einem nachfolgenden Verfahrensschritt S5 wird in den so korrigierten oder rektifizierten Abbildern des Kalibrierungsmusters eine Erkennung von charakteristischen Punkten und/oder Bereichen durchgeführt. Beispielsweise können in dem oben genannten Beispiel des Kalibrierungsmusters, die Mittelpunkte oder Schwerpunkte der kreis- oder ellipsenförmigen Strukturen ermittelt oder erkannt werden.
-
In einem nachfolgenden Verfahrensschritt S6 kann anschließend die Bestimmung und Speicherung von Abbildungsvorschriften durchgeführt werden, welche dazu dient eine deckungsgleiche Anordnung der charakteristischen Punkte und/oder Bereiche in den Abbildungen der jeweiligen Gruppen von Sensorelementen oder den jeweiligen Kanälen oder Farbkanälen zu erreichen.
-
Dabei kann, wie mit Bezug zur 2 noch detaillierter beschrieben werden wird, nicht nur vorgesehen sein, dass die jeweils bestimmten charakteristischen Punkte und/oder Bereiche in Überdeckung oder zur Deckungsgleiche angeordnet werden. Es kann auch vorgesehen sein, dass aus den bestimmten charakteristischen Punkten und/oder Bereichen weitere geometrische Formen oder Strukturen abgeleitet werden und diese abgeleiteten Formen und/oder Strukturen zur Deckungsgleiche gebracht werden.
-
In einem das Verfahren abschließenden Verfahrensschritt S7 werden die besagten Abbildungsvorschriften in einer vorteilhaften Form, beispielsweise als Abbildungs- oder Transformationsmatrizen, in einem Speicher gespeichert.
-
2 zeigt eine Ausführung eines Teils des erfindungsgemäßen Verfahrens anhand von einer beispielhaften Darstellung von Abbildern und veränderten Abbildern von drei unterschiedlichen Gruppen von Sensorelementen oder Farbkanälen. Beispielhaft sind drei Farbkanäle im Rahmen des sichtbaren Spektrums dargestellt. Die Kanäle oder Gruppen von Sensorelementen blau, grün und rot werden rein beispielhaft dargestellt. Da die chromatische Verzeichnung mit der zunehmenden Bandbreite des elektromagnetischen Spektrums zunimmt, kann auch ein Kanal oder eine Gruppe von Sensorelementen vorgesehen sein, der Strahlung außerhalb des sichtbaren Bereichs abbildet.
-
Im linken Bereich der 2 sind für den jeweiligen Kanal R, G und B die jeweils erzeugte oder abgebildete Abbildung eines Kalibrierungsmusters dargestellt. Das Kalibrierungsmuster ist als Punktmuster ausgeführt mit im Wesentlichen kreisförmigen Punkten. Die als S3 gekennzeichneten Abbildungen stellen eine beispielhafte Auswahl dar, aus der die Abbildungsvorschriften zur Rektifizierung der Abbilder gewonnen werden können. Die Verfahrensschritte S1 und S2 sind bereits durchgeführt, sodass auf aus deb als S3 gekennzeichneten Abbilder der Kanäle oder der Gruppen R, G und B die Abbildungsvorschriften bestimmt werden können. In der mittleren Spalte der 2, sind dann die entsprechend rektifizierten Abbildungen des gemeinsamen Abbilds des Kalibrierungsmusters der unterschiedlichen Gruppen von Sensorelementen, R, G und B dargestellt, die unter Kompensation der intrinsischen Abbildungsparameter des Abbildungssystems anhand der entsprechenden Abbildungsvorschriften korrigiert wurden. In diesen Abbildern, welche als S4 betitelt sind, wird anschließend die Erkennung von charakteristischen Punkten und/oder Bereichen durchgeführt. Vorliegend wird in den teilkorrigierten Abbildern S4 die Erkennung von Mittelpunkten oder Schwerpunkten der kreis- oder ellipsenförmigen Kalibrierungspunkte durchgeführt, wobei die entsprechenden Punkte zudem unter Berücksichtigung einer gewissen Vorschrift zu einem Pfad verbunden werden.
-
In der dritten Spalte S5 der 2sind die erkannten Punkte und Bereiche optisch dargestellt. Anschließend wird im Schritt S6 unter Definition eines Referenzkanals oder unter Definition einer Referenzgruppe von Sensorelementen eine Abbildungsvorschrift für die verbleibenden zwei Gruppen oder Kanäle, beispielsweise R und B ermittelt, die dazu dient die bestimmten charakteristischen Punkte und/oder die daraus abgeleiteten Strukturen, beispielsweise Pfade, in Deckungsgleichheit zu bringen. Mit diesen zwei Abbildungsvorschriften, für die Gruppe B und R wird dadurch die chromatische Verzeichnung oder chromatische Abberation kompensiert oder rückgängig gemacht.
-
Es werden also bei einem Abbildungssystem mit drei Gruppen von Sensorelementen oder drei Farbkanälen insgesamt fünf Abbildungsvorschriften oder fünf Transformationsmatrizen erstellt. Zunächst jeweils eine Abbildungsvorschrift pro Gruppe oder Kanal zur Rektifizierung der Abbildungen oder der Abbildung des Kalibrierungsbildes und danach nochmals zwei zur deckungsgleichen Anordnung der bestimmten oder erkannten charakteristischen Punkte und/oder Bereiche und damit zur Korrektur oder Kompensation der chromatischen Verzeichnung, wobei lediglich zwei Abbildungsvorschriften oder eine Abbildungsvorschrift weniger als Anzahl von Gruppen von Sensorelelemten/Kanälen, benötigt wird, da bevorzugt eine Gruppe oder ein Kanal als Referenz definiert wird und die verbleibenden Gruppen oder Kanäle auf diese Referenz abgestimmt oder registriert werden.
-
Mit den im Fall von drei Gruppen oder Kanälen insgesamt fünf erstellten Abbildungsvorschriften oder Transformationsmatrizen lassen sich anschließend, insbesondere während des Betriebs des Abbildungssystems, alle aufgenommenen Abbilder eines Bildes korrigieren.
