-
Die Erfindung betrifft ein computergesteuertes Verfahren zum automatischen Auswählen von Bildpunkten wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks, in einem einzigen radialsymmetrisch verzeichneten Bild eines von einer digitalen Kamera in einem Objektraum aufgenommenen Objekts, wobei das wenigstens eine radialsymmetrisch verzeichnete Bildkurvenstück bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera eine Gerade ergeben würde. Ferner betrifft die Erfindung ein digitales Speichermedium mit gespeicherten Anweisungen zum Ausführen des Verfahrens.
-
Bekannt ist, dass digitale Kameras mit kostengünstigen Linsen oder einem Weitwinkelobjektiv Objekte verzerrt aufnehmen. Solche kostengünstigen Kameras sind zum Beispiel in Smartphones integriert. Eine dominierende Ursache für verzerrt aufgenommene Bilder ist in der radialsymmetrisch verzerrenden Eigenschaft der verwendeten Objektive bzw. Linsen, welche auch als radialsymmetrische Verzeichnung bezeichnet wird, zu sehen. Mit solchen Objektiven werden Geraden in einem Objektraum als radialsymmetrisch verzerrte bzw. verzeichnete Kurven in der Bildebene einer Kamera abgebildet.
-
Weiterhin ist bekannt, dass der Abbildungsvorgang zwischen einem 3D-Objekt und einem 2D-Kamerabild üblicherweise mittels eines mathematischen Parametermodells einer Lochbildkamera mit Zentralperspektive beschrieben werden kann. Das an sich bekannte mathematische Modell einer zentralperspektivischen Abbildung ist skizzenhaft in 2 hinsichtlich einer beispielhaften in 1 gezeigten digitalen Kamera 10 dargestellt und beispielsweise in dem Fachbuch Photogrammetrie, Grundlagen, Verfahren, Anwendungen, von E. h. Kurt Schwidefsky et al., 7. Auflage, B. G. Teubner Stuttgart, S. 22ff beschrieben.
-
Die in 1 schematisch dargestellte beispielhafte digitale Kamera 10 kann einen Datenspeicher 11, einen Programmspeicher 12, eine Steuereinheit 18, ein Display 13 und eine Matrix aus CCD-Sensoren aufweisen kann, die eine Detektionsebene 16 bilden. Die Detektionsebene 16 fällt, wie 2 zeigt, mit der Bildebene 60 der digitalen Kamera 10 zusammen, welche im Display 13 dargestellt wird. Die Steuereinheit kann zum Beispiel als Mikrocontroller oder Mikroprozessor realisiert sein. Die Funktionsweise der digitalen Kamera 10 wird später noch detailliert erläutert.
-
In 2 ist ein Objektraumkoordinatensystem 100 eines Objektraums gezeigt, in dem ein Objektpunkt 40 liegt. Das Objektraumkoordinatensystem 100 kann ein bekanntes Weltkoordinatensystem sein kann. Weiterhin ist ein 3D-Bildkoordinatensystem 20 mit Drehrichtungen 21, 22 und 23 um die y“-, x“- bzw. z“-Achse gezeigt, wobei der Ursprung des Bildkoordinatensystems 20 im Projektionszentrum 90 der digitalen Kamera 10 liegt. In der Bildebene 60 liegt ein gedachtes 2D-Bildkoordinatensystem 30, dessen Ursprung im Bildhauptpunkt 50 liegt. Der Bildhauptpunkt 50 ist der Schnittpunkt der optischen Achse 70 des Objektives der Kamera 10 mit der Bildebene, wobei die optische Achse 70 senkrecht auf der Bildebene 60 steht. Im gezeigten Beispiel liegt der Bildhauptpunkt im Mittelpunkt der Bildebene 60. Ferner ist die Brennweite C der Kamera 10 eingezeichnet. Mit Hilfe dieser Angaben kann in an sich bekannter Weise bei verzerrungsfreier Abbildung der Zusammenhang zwischen einem Objektpunkt und dem dazugehörenden Bildpunkt mathematisch beschrieben werden.
-
Allerdings versagt dieses mathematische Modell, wenn billige Objektive oder Weitwinkel zum Einsatz kommen, die zu Abbildungsfehlern in der Bildebene führen.
-
In 2 ist die radialsymmetrische Verzeichnung des Kameraobjektives angedeutet, indem der vom Objektpunkt 40 kommende Abbildungsstrahl 80 durch das Projektionszentrum 90 geht und eine radialsymmetrische Verzeichnung erfährt, welche durch die Kurve 85 illustriert wird. Der Objektpunkt wird deshalb als radialsymmetrisch verzeichneter Bildpunkt 40‘ in der Bildebene 60 abgebildet.
-
Um nicht lineare radialsymmetrische Verzeichnungen, wie in 2 gezeigt, kompensieren zu können, werden radialsymmetrische Verzeichnungsparameter bestimmt, mit deren Hilfe radialsymmetrisch verzeichnete Bilder so korrigiert werden, als wären sie mit einer Lochbildkamera, d.h. verzerrungsfrei aufgenommen worden.
-
Die Güte der Bestimmung radialsymmetrischer Verzeichnungsparametern hängt unter anderem davon ab, welche Bildkurvenstücke in einem radialsymmetrisch verzeichneten Bild verwendet werden, um einen Satz optimierter radialsymmetrischer Verzeichnungsparameter zu bestimmen.
-
Aus dem Stand der Technik ist bekannt, gekrümmte Linien in einem radialsymmetrisch verzeichneten Bild auszuwählen, die in einem dreidimensionalen Objektraum eine Gerade beschreiben und nach einer radialsymmetrischen Verzeichnungskorrektur in der zweidimensionalen Bildebene der Kamera ebenfalls als Geraden abgebildet werden.
-
So ist beispielsweise aus der
DE 698 18 584 T2 ein Verfahren zur Gewinnung radialer Verzeichnungsparameter aus einem einzigen Kamerabild bekannt, bei dem beliebig ausgerichtete Linien von einem Benutzer ausgewählt werden, von denen der Benutzer weiß, dass diese Linien in einem dreidimensionalen Objektraum Geradenstücke sind.
-
In dem Aufsatz „ROBUST LINE-BASED CALIBRATION FROM A SINGLE VIEW“, University of Hannover, Information Technology Laboratory, Hannover, Germany beschreiben Thorsten Thormählen et al. ein Kalibrierungsverfahren für radialsymmetrisch verzeichnende Linsen, wobei in einem von einer Kamera aufgenommenen radialsymmetrisch verzeichneten Bild Linienstücke ausgewählt werden, die im dreidimensionalen Objektraum eine Gerade sind. Dieser Aufsatz ist im Internet unter der Adresse www.Informatik.Uni-Marburg.de/~Thormae/paper\MirA03-TTHBIW.pdf zu finden.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein computergesteuertes Verfahren zum automatischen Auswählen von Bildpunkten wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild zur Verfügung zu stellen, mit dem nicht nur Bildkurvenstücke, die in einem dreidimensionalen Objektraum eine Gerade sind, sondern auch Bildkurvenstücke aufgefunden werden können, die zwar bei einer verzerrungsfreien Aufnahme in der Bildebene einer Kamera als Gerade abgebildet werden, die aber, sofern sie in einer geeigneten Ebene eines dreidimensionalen Objektraums liegen, eine beliebige Kurvenform im Objektraum annehmen können.
-
Ein Kerngedanke der Erfindung kann darin gesehen werden, vollautomatisiert unter Steuerung eines Computers in einem digitalen Bild radialsymmetrisch verzeichnete Bildkurvenstücke mit Hilfe einer Symmetrieprüfung zu bestimmen, wobei die Bildkurvenstücke in einem Objektraum entweder Geradenstücke oder spezielle Linienstücke in speziellen Objektraumebenen sind, und zwar ohne dass im Objektraum eine zusätzliche Information über diese Geraden oder Linien vorliegen oder die Position oder Orientierung der aufnehmenden Kamera im Objektraum bekannt sein muss. Vorausgesetzt sei nur, dass das verwendete Objektiv der digitalen Kamera eine Abbildung radialsymmetrisch verzerrt und der Symmetriepunkt der Verzeichnung im Wesentlichen dem Bildhauptpunkt des in der Kamera verwendeten Bildkoordinatensystems entspricht oder die Ablage beziehungsweise Position des Symmetriepunktes der Verzeichnung im Bildkoordinatensystem ausreichend genau bekannt ist.
-
Das oben genannte technische Problem wird durch die Verfahrensschritte des Anspruchs 1 gelöst.
-
Demnach wird ein computergesteuertes Verfahren zum automatischen Auswählen von Bildpunkten wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild eines von einer digitalen Kamera in einem Objektraum aufgenommenen Objekts zur Verfügung gestellt, wobei das wenigstens eine radialsymmetrisch verzeichnete Bildkurvenstück bei verzeichnungsfreier Aufnahme auf ein Geradenstück in der Bildebene der digitalen Kamera abgebildet würde, wobei die digitale Kamera einen definierten Bildhauptpunkt und das radialsymmetrisch verzeichnete Bild einen Verzeichnungssymmetriepunkt, der in einer definierten Position relativ zum Bildhauptpunkt liegt, aufweisen.
-
Mit der Umschreibung, dass der Verzeichnungssymmetriepunkt in einer definierten Position relativ zum Bildhauptpunkt liegt, wird auch der Fall erfasst, dass der Verzeichnungssymmetriepunkt im Wesentlichen mit dem Bildhauptpunkt zusammenfällt.
-
Das Verfahren weist folgende automatisch ausgeführte Schritte auf:
- a) Extrahieren einer Vielzahl von radialsymmetrisch verzeichneten Bildpunkten, die wenigstens abschnittsweise ein Bildkurvenstück in einem einzelnen radialsymmetrisch verzeichneten Bild beschreiben, wobei das Bildkurvenstück nicht durch den Verzeichnungssymmetriepunkt verläuft;
- b) Auswählen aus den in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkten eines Bezugsbildpunktes, der den kleinsten Abstand zum Verzeichnungssymmetriepunkt des radialsymmetrisch verzeichneten Bildes aufweist und dessen Normale, die an der entsprechenden Stelle des Bildkurvenstück berechnet wird, durch den Verzeichnungssymmetriepunkt des radialsymmetrisch verzeichneten Bildes verläuft;
- c) Bestimmen von wenigstens einer Kurveneigenschaft in jedem der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte, wobei als wenigstens eine Kurveneigenschaft ein Krümmungsradius und/oder eine Tangente und/oder eine Normale in dem jeweiligen radialsymmetrisch verzeichneten Bildpunkt bestimmt wird;
- d) Prüfen in Abhängigkeit von den in Schritt c) bestimmten Kurveneigenschaften, ob zumindest einige der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte zu einer Geraden gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde, indem ein Maß für die Symmetrieeigenschaft des radialsymmetrisch verzeichneten Bildkurvenstücks bezüglich des Bezugsbildpunktes, der das radialsymmetrisch verzeichnete Bildkurvenstück in zwei Bildkurventeilstücke unterteilt, bestimmt und geprüft wird, ob das bestimmte Maß der Symmetrieeigenschaft jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt.
-
Bei der Symmetrieprüfung bzw. Symmetriebestimmung wird von der Tatsache Gebrauch gemacht, dass eine Gerade oder eine spezielle Kurve im Objektraum bei verzeichnungsfreier Aufnahme eine Gerade in der Bildebene der Digitalkamera ist. Auf dieser Geraden ist der Bezugsbildpunkt der Punkt, dessen Normale durch den Bildhauptpunkt geht, wobei der Bezugsbildpunkt durch eine radialsymmetrische Verzeichnung auf dieser Normalen verschoben wird. Zum Bezugsbildpunkt äquidistante Bildpunkte werden in ähnlicher Weise durch die radialsymmetrische Verzeichnung auf der jeweiligen Verbindungslinie, die den jeweiligen Bildpunkt mit dem Bildhauptpunkt verbindet, verschoben. Demzufolge ist eine radialsymmetrisch verzeichnete Bildkurve symmetrisch zu der im Bezugsbildpunkt bestimmten Normalen.
-
An dieser Stelle sei angemerkt, dass mittels der Bestimmung der Symmetrieeigenschaft des radialsymmetrisch verzeichneten Bildkurvenstücks nicht nur geeignete Bildpunkte des radialsymmetrisch verzeichneten Bildkurvenstücks schnell und zuverlässig gefunden, sondern auch wenigstens ein Ende des radialsymmetrisch verzeichneten Bildkurvenstücks gefunden werden kann.
-
Weiterhin sei angemerkt, dass die extrahierten Bildpunkte durch ihre Bildkoordinaten und gegebenenfalls durch deren Genauigkeiten beschrieben werden.
-
In vorteilhafter Weise wird in Schritt d) das Maß der Veränderung der Tangenten und/oder der Normalen und/oder der Krümmungsradien, welche jeweils in einem radialsymmetrisch verzeichneten Bildpunkt der beiden Bildkurventeilstücke bestimmt worden sind, zur Tangente und/oder Normalen und/oder zum Krümmungsradius, die im Bezugsbildpunkt bestimmt worden sind, bestimmt und anschließend geprüft, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt. Ein Toleranzbereich kann durch Gültigkeitsregeln definiert werden. Liegt das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs, dann werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde, gehörend ausgewählt.
-
Um nicht nur die Symmetrieeigenschaft des Bildkurvenstücks bezüglich des Bezugsbildpunktes zu bestimmen, sondern auch die Entwicklung der Kurveneigenschaften in einem Bildkurventeilstück bestimmen zu können, wird vorzugsweise in Schritt d) bezüglich jedes Bildkurventeilstücks das Maß der Veränderungen zwischen den Tangenten und/oder den Normalen und/oder den Krümmungsradien, welche in mindestens zwei benachbarten radialsymmetrisch verzeichneten Bildpunkten bestimmt worden sind, bestimmt und anschließend geprüft, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt. Wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkten als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde, gehörend ausgewählt.
-
Gemäß einer besonderen Weiterentwicklung wird an dem radialsymmetrisch verzeichneten Kurvenstück in dem Bezugsbildpunkt die Tangente bestimmt, wobei in Schritt d) geprüft wird, ob zumindest einige der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte zu einer Geraden in einer verzeichnungsfreien Bildebene gehören, die parallel zu der im Bezugsbildpunkt bestimmten Tangente verläuft. Auf diese Weise kann ohne vorherige Bestimmung einer Ausgleichsgeraden geprüft werden, ob die in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte zu einer Geraden in einer verzeichnungsfreien Bildebene gehören.
-
Um Ausreißer-Bildpunkte erkennen und eliminieren zu können, wird der senkrechte Abstand jedes in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunktes zur in dem Bezugsbildpunkt bestimmten Tangente berechnet, wobei Ausreißer-Bildpunkte in Abhängigkeit von dem in Schritt d) bestimmten Maß der Symmetrieeigenschaft und/oder dem senkrechten Abstand eines in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunktes zur in dem Bezugsbildpunkt berechneten Tangente erkannt und eliminiert werden.
-
Um zum Beispiel für eine Kalibrierung eines radialsymmetrisch verzeichneten Objektives einen geeigneten Satz optimaler radialsymmetrischer Verzeichnungsparameter bestimmen zu können, ist es hilfreich möglichst viele geeignete Bildpunkte zur Verfügung zu haben.
-
Demzufolge können die Verfahrensschritte a) bis d) für wenigstens ein weiteres radialsymmetrisch verzeichnetes Bildkurvenstück wiederholt werden, wobei in Abhängigkeit von den in Schritt c) bestimmten Kurveneigenschaften geprüft wird, ob die radialsymmetrisch verzeichneten Bildkurvenstücke zu einer einzigen Gerade gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde.
-
Vorzugsweise kann in Schritt d) die Länge des jeweiligen radialsymmetrisch verzeichneten Bildkurvenstücks und/oder die Länge wenigstens eines Bildkurventeilstücks bestimmt werden. In Abhängigkeit von der Länge können Bildkurvenstücke oder Bildkurventeilstücke aussortiert werden, wenn die Länge einen vorgegebenen Schwellenwert unterschreitet.
-
Das oben genannte technische Problem wird ferner durch die Merkmale des Anspruchs 8 gelöst.
-
Demnach wird eine digitales Speichermedium bereitgestellt, welches darauf gespeicherte Anweisungen enthält, die, wenn sie von einem Computer ausgeführt werden, das Verfahren ausführen. Der Computer kann als Mikroprozessor oder Mikrocontroller verwirklicht sein.
-
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den beiliegenden Zeichnungen näher erläutert. Es zeigen:
-
1 eine beispielhafte digitale Kamera,
-
2 ein schematisches Modell einer zentralperspektivischen Abbildung hinsichtlich der in 1 gezeigten digitalen Kamera,
-
3 drei Bildkurvenstücke eines von der digitalen Kamera aufgenommenen Bildes, wobei ein Bildkurvenstück teilweise verdeckt ist,
-
4 das in 3 gezeigte radialsymmetrisch verzeichnete Bildkurvenstück 130, welches von einem Objekt in einer geeigneten Ebene des Objektraums stammt, und bei verzerrungsfreier Aufnahme eine Gerade wäre,
-
5 einen vergrößerten Ausschnitt des in 3 gezeigten radialsymmetrisch verzeichneten Bildkurvenstücks 120, dessen Symmetrieeigenschaft in einem Bezugsbildpunkt bestimmt wird,
-
6 einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120, dessen Kurveneigenschaft in einem Punkt 210 bestimmt wird, und
-
7 das in 3 gezeigte teilweise verdeckte Bildkurvenstück.
-
Die in 1 gezeigte beispielhafte digitale Kamera 10 kann integraler Bestandteil eines Mobilfunktelefons, insbesondere eines Smartphones sein. In dem Programmspeicher 12 ist ein Bildverarbeitungsalgorithmus zum automatischen Erkennen von radialsymmetrisch verzeichneten Bildkurvenstücken und insbesondere zum automatischen Auswählen von Bildpunkten wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild eines von der digitalen Kamera 10 in einem Objektraum aufgenommenen Objekts gespeichert. In dem Datenspeicher 11 können die ausgewählten Bildpunkte wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks abgelegt werden. In den Datenspeicher 11 können auch alle von der digitalen Kamera 10 aufgenommenen Bilddaten gespeichert werden. Der Mikroprozessor 18 kann die Funktion einer Auswerte- und Steuereinrichtung ausüben, die unter Ausführung des im Programmspeicher 12 gespeicherten Algorithmus aus den im Datenspeicher 11 gespeicherten Bilddaten Bildpunkte wenigstens eines radialsymmetrischen Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild extrahieren und auswählen kann. Eingabewerte des Bildverarbeitungsalgorithmus sind folglich die Bildkoordinaten der extrahierten Bildpunkte, die das jeweilige Bildkurvenstück beschreiben und, wenn das Bildkurvenstück Bildkurventeilstücke umfasst, auch Information über die Zusammengehörigkeit bzw. über die Güte der Zusammengehörigkeit der Bildkurventeilstücke.
-
Wie bereits eingangs erläutert, ist in 2 ein schematisches Modell einer zentralperspektivischen Abbildung hinsichtlich der in 1 gezeigten digitalen Kamera dargestellt.
-
In 3 ist die Bildebene 60, die im Display 13 der digitalen Kamera 10 dargestellt wird, gezeigt. In der Bildebene 60 sind drei Bildkurvenstücke 110, 120, 130 dargestellt, wobei das Bildkurvenstück 110 durch den Symmetriepunkt 55 der Verzeichnung verläuft. Angenommen sei im Folgenden, dass der Symmetriepunkt 55 der Verzeichnung mit dem Bildhauptpunkt 50 zusammenfällt. Bei radialsymmetrisch verzeichnenden Objektiven ist bekannt, dass Kurven, wie zum Beispiel das Bildkurvenstück 110, welche durch den Symmetriepunkt 55 der Verzeichnungen laufen, jeweils Geraden sind, die keinen Beitrag zur Berechnung von radialsymmetrischen Verzeichnungsparameter liefern.
-
Angemerkt sei bereits an dieser Stelle, dass demzufolge der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus nur Bildkurvenstücke sucht, welche nicht durch den Symmetriepunkt 55 der Verzeichnung verlaufen.
-
Das Kurvenbildstück 120 sei abschnittsweise verdeckt oder unterbrochen, was durch eine entsprechende Aussparung 125 symbolisiert wird. Folglich weist das Bildkurvenstück 120 zwei Bildkurventeilstücke 120a und 120b auf. Bereits an dieser Stelle sei angemerkt, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus erkennen kann, ob und gegebenenfalls mit welcher Güte die beiden Bildkurventeilstücke 120a und 120b zusammengehören, d.h. das Bildkurvenstück 120 bilden.
-
Zu den Bildkurvenstücken 110, 120 und 130 gehören Objektraumkurven 110‘, 120‘ und 130‘, die im Objektraum Geraden sind.
-
4 dient zur Erläuterung der Tatsache, dass beliebige Linien in geeigneten Objektraumebenen bei verzerrungsfreier Aufnahme als Geraden in der Bildebene 60 abgebildet werden. 4 zeigt das Bildkurvenstück 130, dass unter Anwendung einer radialsymmetrischen Verzeichnung und der Zentralprojektion in den Objektraum zurück projiziert wurde. Als Ergebnis ergibt sich hieraus ein Objektraumebenenstück 150, dass durch zwei Objektraumgeraden 152 und 155 begrenzt wird. Die Begrenzungsgerade 152 wird in den verzeichneten Bildpunkt A abgebildet, während die Begrenzungsgerade 155 in den verzeichneten Bildpunkt E abgebildet wird. Alle Kurven 130‘ und 130‘‘, die auf der Begrenzungsgeraden 152 beginnen und auf der Begrenzungsgeraden 155 enden oder umgekehrt, werden in der Bildebene 60 auf das Bildkurvenstück 130 abgebildet. Das bedeutet, dass nicht nur Objektraumgeraden, wie zum Beispiel die Objektraumgerade 130‘, sondern auch beliebig gekrümmte Kurven, wie zum Beispiel die Objektraumkurve 130‘‘, in das radialsymmetrisch verzeichnete Bildkurvenstück 130 abgebildet werden. Bereits an dieser Stelle sei angemerkt, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus auch Bildkurvenstücke erkennen und Bildpunkte, die diese Bildkurvenstücke beschreiben, auswählen kann, die im Objektraum keine Geraden sein müssen.
-
Die Funktionsweise der digitalen Kamera 10 wird nachfolgend in Verbindung mit den 5 bis 7 näher erläutert.
-
Wir betrachten zunächst 5. Der Mikrocontroller 18 führt unter Anwendung des im Programmspeicher 12 gespeicherten Bildverarbeitungsalgorithmus automatisch folgende Schritte aus:
- a) Extrahieren einer Vielzahl von radialsymmetrisch verzeichneten Bildpunkten 170, 190, 200, die wenigstens abschnittsweise ein Bildkurvenstück 120, 120a, 120b in einem einzelnen radialsymmetrisch verzeichneten Bild beschreiben, wobei das Bildkurvenstück 120, 120a, 120b nicht durch den Verzeichnungssymmetriepunkt 55 verläuft, wobei beispielhaft angenommen wird, dass der Symmetriepunkt 55 der Verzeichnung mit dem Bildhauptpunkt 50 zusammenfällt;
- b) Auswählen aus den in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkten eines Bezugsbildpunktes 190, der den kleinsten Abstand zum Verzeichnungssymmetriepunkt 55 des radialsymmetrisch verzeichneten Bildes aufweist und dessen Normale 191, die an der entsprechenden Stelle des Bildkurvenstück 120, 120a, 120b berechnet wird, durch den Verzeichnungssymmetriepunkt 55 des radialsymmetrisch verzeichneten Bildes verläuft;
- c) Bestimmen von wenigstens einer Kurveneigenschaft in jedem der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte 170, 190, 200, wobei die wenigstens eine Kurveneigenschaft ein Krümmungsradius und/oder eine Tangente und/oder eine Normale 171, 191, 201 in dem jeweiligen radialsymmetrisch verzeichneten Bildpunkt 170, 190 bzw. 200 ist;
- d) Prüfen in Abhängigkeit von den in Schritt c) bestimmten Kurveneigenschaften, ob zumindest einige der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte 170, 200 zu einer Geraden 192‘ gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera 10 abgebildet würde, indem ein Maß für die Symmetrieeigenschaft des radialsymmetrisch verzeichneten Bildkurvenstücks 120, 120a, 120b bezüglich des Bezugsbildpunktes 190, der das radialsymmetrisch verzeichnete Bildkurvenstück 120, 120a, 120b in zwei Bildkurventeilstücke 120a und 120b unterteilt, bestimmt und geprüft wird, ob das bestimmte Maß der Symmetrieeigenschaft jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt.
-
In 5 ist die Gerade 192‘ die Gerade, die in der Bildebene 60 abgebildet würde, wenn das Bildkurvenstück 180 verzeichnungsfrei in der Bildebene 60 abgebildet wird. Sie ist deshalb eine Parallele zur Tangente 192, die in dem Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnet wird. 5 zeigt einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120.
-
Der einfacheren Erläuterung wegen sind in 5 lediglich die zwei bezüglich des Bezugsbildpunktes 190 symmetrisch angeordneten Bildpunkte 170 und 200 dargestellt, die das Bildkurventeilstück 120a bzw. 120b beschreiben. Mit „si“ ist jeweils der Abstand der Bildpunkte 170 und 200 zum Bezugsbildpunkt 190 bezeichnet, der auch als Bogenlänge auf dem Bildkurventeilstück 120 oder als Strecke auf der Tangente 191 vom Bildpunkt 190 zum Schnittpunkt der Normale im Bildpunkt 170 oder 200 gewertet werden kann. Mit 191 ist die im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnete Normale, mit 171 die im Bezugsbildpunkt 170 an dem Bildkurvenstück 120 berechnete Normale und mit 201 die im Bezugsbildpunkt 200 an dem Bildkurvenstück 120 berechnete Normale bezeichnet. Die Normale 191 im Bezugsbildpunkt bildet die Symmetrieachse bezüglich der beiden Bildkurventeilstücke 120a und 120b bzw. bezüglich der Bildpunkte 170 und 200. Mit 192 ist die im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnete Tangente bezeichnet. Nicht dargestellt sind die Tangenten in den Bildpunkten 170 und 200, die alternativ oder zusätzlich berechnet werden können. Alternativ oder zusätzlich können auch die Krümmungsradien in den Bildpunkten 170, 190 und 200 berechnet werden. Die die Tangenten und/oder Normalen und/oder Krümmungsradien repräsentierenden Daten können im Datenspeicher 11 abgelegt werden. Ebenso können alle Bildkoordinaten der Bildpunkte, beispielsweise der Bildpunkte 170, 190 und 200, die das Bildkurvenstück 120 beschreiben im Datenspeicher 11 abgelegt werden. Alternativ oder zusätzlich können auch der Winkel alpha 2, der von den Verbindungslinien 190-55 und 200-55 begrenzt wird, und der Winkel alpha 1, der von den Verbindungslinien 190-55 und 170-55 begrenzt wird, berechnet und im Datenspeicher 11 abgelegt werden.
-
Nunmehr werden Gültigkeitsregeln zur Bestimmung des Maßes der Symmetrieeigenschaft von radialsymmetrisch verzeichneten Bildkurvenstücken festgelegt. Die Gültigkeitsregeln legen z. B. das Maß oder den Toleranzbereich fest, innerhalb dessen die Differenz zwischen den Tangenten und/oder Normalen und/oder Krümmungsradien in zwei Bildpunkten, die symmetrisch bezüglich eines Bezugsbildpunktes, zum Beispiel die Symmetriepunkte 170 und 200 bezüglich des Bezugsbildpunktes 190, variieren darf, damit die beiden Bildpunkte einschließlich des Bezugsbildpunktes als zu einer Geraden gehörend ausgewählt werden können, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 abgebildet würde. Dies ist insbesondere der Fall, wenn die Bildkoordinaten der Bildpunkte 170 und 200 in einem vorgegebenen Toleranzbereich symmetrisch zur Normalen 191 im Bezugsbildpunkt 190 und/oder in einem vorgegebenen Toleranzbereich spiegelbildlich zur Normalen 191 sind.
-
Vorzugsweise legen die Gültigkeitsregeln das Maß oder den Toleranzbereich fest, und innerhalb dessen die Differenz zwischen der Tangente und/oder Normale und/oder des Krümmungsradius in einem ersten Bildpunkt, zum Beispiel dem Bildpunkt 170, und der Tangente und/oder Normale und/oder des Krümmungsradius im Bezugsbildpunkt 190 variieren darf, und innerhalb dessen die Differenz zwischen der Tangente und/oder Normale und/oder des Krümmungsradius in einem zweiten Bildpunkt, zum Beispiel dem Bildpunkt 170, und der Tangente und/oder Normale und/oder des Krümmungsradius im Bezugsbildpunktes 190 variieren darf, damit die beiden Bildpunkte 170 und 200 als symmetrisch zum Bezugsbildpunkt 190 erkannt werden, so dass die Bildpunkte 170, 190 und 200 als zu einer Geraden gehörend ausgewählt werden können, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 abgebildet würde.
-
Hierzu kann der Mikrocontroller 18 unter Anwendung des Bildverarbeitungsalgorithmus folgende Schritte ausführen:
In Schritt d) wird das Maß der Veränderung bzw. die Differenz der Tangenten und/oder der Normalen und/oder der Krümmungsradien, welche jeweils in einem radialsymmetrisch verzeichneten Bildpunkt 170 und 200 der beiden Bildkurventeilstücke 120a bzw. 120b bestimmt worden sind, zur Tangente und/oder Normalen und/oder Krümmungsradius, die im Bezugsbildpunkt 190 bestimmt worden sind, bestimmt und anschließend geprüft wird, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt, und wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte 170, 190, 200 als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera abgebildet würde, gehörend ausgewählt werden.
-
Mit dem zuvor beschriebenen Algorithmus ist es somit möglich, zu prüfen, ob alle extrahierten Bildpunkte, die ein radialsymmetrisch verzeichnetes Bildkurvenstück, zum Beispiel das Bildkurvenstück 120, beschreiben, als zu einer Geraden, die bei verzeichnungsfreier Abbildung in der Bildebene 60 abgebildet würde, gehörend erkannt werden. Die Koordinaten der Bildpunkte können dann als Eingabewerte eines später auszuführenden Algorithmus zur Bestimmung eines Satzes radialsymmetrischer Verzeichnungsparameter verwendet werden.
-
Angemerkt sei, dass auch die Winkel alpha1 und alpha2 sowie jeweils die Abstände si der Bildpunkte 170 bzw. 200 zum Bezugsbildpunkt 190 herangezogen werden können, um ein Maß der Symmetrieeigenschaft des Bildkurvenstücks 120 bezüglich des Bezugsbildpunktes 190 zu bestimmen. Angemerkt sei, dass die Koordinaten des Bezugsbildpunktes 190 und die Normale, die Tangente und der Krümmungsradius in dem verdeckten Bezugsbildpunkt auch geschätzt werden können, indem die Koordinaten von Nachbarbildpunkten des Bildkurvenstücks und deren Tangenten, Normalen und Krümmungsradien in diesen Bildpunkten ausgewertet werden.
-
Um herauszufinden, ob das Bildkurvenstück 120 bei verzeichnungsfreier Abbildung in der Bildebene 60 eine Gerade wäre, kann neben der Untersuchung von symmetrisch um den Bezugsbildpunkt 190 liegenden Bildpunkte 170 und 200 zusätzlich der Fortschritt, d.h. die kontinuierliche Veränderung der Tangenten und/oder Normalen und/oder Krümmungsradien in Bildpunkten wenigstens eines der Bildkurventeilstücks 120a oder 120b des Bildkurvenstücks 180 geprüft werden. Denn die Tangente und/oder Normale und/oder der Krümmungsradius ändern sich mit zunehmendem Abstand vom Bezugsbildpunkt 190 stetig, wenn nur eine radialsymmetrische Verzeichnung vorliegt.
-
Hierzu kann der Mikrocontroller 18 unter Anwendung des Bildverarbeitungsalgorithmus folgende Schritte ausführen: in Schritt d) wird bezüglich wenigstens eines der Bildkurventeilstücks 120a oder 120b das Maß der Veränderung zwischen den Tangenten und/oder den Normalen und/oder den Krümmungsradien, welche in mindestens zwei benachbarten radialsymmetrisch verzeichneten Bildpunkten, zum Beispiel in den Bildpunkten 220 und 210 (6) bestimmt worden sind, bestimmt und anschließend geprüft wird, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt, und wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte 220 und 210 als zu einer Geraden 212, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera 10 abgebildet würde, gehörend ausgewählt werden.
-
Ferner kann der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus in dem Bezugsbildpunkt die Tangente 192 an dem Bildkurvenstück 120 bestimmen und prüfen, ob zumindest einige der extrahierten radialsymmetrisch verzeichneten Bildpunkte, zum Beispiel die Bildpunkte 170 und 200 zu einer Geraden 192‘ gehören, die bei verzeichnungsfreier Aufnahme parallel zu der im Bezugsbildpunkt 190 bestimmten Tangente 192 verlaufen würde. Dieser Ansatz beruht auf der Tatsache, dass bei einer radialsymmetrischen Verzeichnungskorrektur der das Bildkurvenstück 120 beschreibenden Bildpunkte der Bezugsbildpunkt 192 in Richtung seiner Normalen zum Symmetriepunkt der Verzeichnung 55 verschoben wird, so dass dann die Tangente in dem verschobenen Bezugsbildpunkt 190 der Geraden 192‘ entspricht.
-
Vorteilhafterweise kann der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus den Abstand der extrahierten Bildpunkte des radialsymmetrisch verzeichneten Bildkurvenstücks 120, das sind zum Beispiel die Bildpunkte 170 und 200, zu der im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 bestimmten Tangente 192 berechnen und Ausreißer-Bildpunkte in Abhängigkeit vom bestimmten Maß der Symmetrieeigenschaft und/oder vom berechneten senkrechten Abstand des jeweiligen radialsymmetrisch verzeichneten Bildpunktes 170 und 200 zur Tangente 192 erkennen und eliminieren. Hierzu wird das Maß der Symmetrieeigenschaft und/oder der berechnete senkrechte Abstand mit vorgegebenen Bezugswerten verglichen. Aus den Vergleichswerten kann der Mikrocontroller 18 dann mit statistischer Sicherheit Ausreißer-Bildpunkte erkennen. Angenommen sei, dass in 5 bereits alle Ausreißer-Bildpunkte eliminiert worden sind.
-
6 zeigt einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120. Anhand von 6 wird nunmehr erläutert, wie die Kurveneigenschaften in einem beliebigen Bildpunkt 210 bestimmt werden können. Gezeigt sind das Bildkurventeilstück 120a, Bildpunkte 210, 220, 222 und 190 sowie die im Bildpunkt 210 an das Bildkurventeilstück 120a berechnete Tangente 212 und Normale 211.
-
Zunächst werden die Bildkoordinaten der Bildpunkte 210, 220 und 222 bestimmt, wobei die Bildpunkte 220 und 222 vorzugsweise symmetrische Nachbarpunkte des Bildpunktes 210 sind. Aus diesen Werten können dann die Normale 211, die Tangente 212 und der Krümmungsradius in dem Bildpunkt 210 berechnet werden. Diese Schritte können zur Bestimmung der Tangente und/oder Normale und/oder des Krümmungsradius in beliebigen Bildpunkten, welche das Bildkurventeilstück 120a beschreiben wiederholt werden. Anschließend kann die Veränderung der Tangente und/oder Normale und/oder des Krümmungsradius in den Bildpunkten mit zunehmenden Abstand vom Bezugsbildpunkt 190 geprüft werden, um herauszufinden, ob die Bildpunkte die das Bildkurventeilstück 120a beschreiben, bei einer verzeichnungsfreien Abbildung zu einer Geraden gehören würden.
-
Angemerkt sei, dass in ähnlicher Weise auch die Kurveneigenschaften zum Beispiel in dem Bildpunkt 220 bestimmt werden können, indem die Bildkoordinaten von Nachbarbildpunkten des Bildpunktes 220, die zur linken bzw. rechten Seite des Bildpunktes liegen, bestimmt werden.
-
7 zeigt das in 3 dargestellte radialsymmetrisch verzeichnete Bildkurvenstücke 120a, 120b, 120c, Bildpunkte 190, 210, 220, 222, 230 und 240, die Tangente 212 im Bildpunkt 210, und zwar am Bildkurventeilstück 120a, die Tangente 241 im Bildpunkt 240, und zwar am Bildkurventeilstück 120b, sowie die Normalen 211, 191 und 241 in den Bildpunkten 210, 190 und 240. Ferner ist ein verdeckter Bereich 125 bzw. eine Lücke im Bildkurvenstück 120 dargestellt.
-
Anhand von 7 wird illustriert, wie auch bei einer Unterbrechung des Bildkurvenstücks 120 mit Hilfe einer Symmetrieprüfung bezüglich des Bezugsbildpunktes 190 entschieden werden kann, ob das Bildkurvenstück 120c zum Bildkurvenstück 120a und somit auch zum Bildkurvengesamtstück 120 gehört. Wenn ja, bilden die Bildkurvenstücke 120a und 120c zusammen mit dem Bildkurvenstück 120b jeweils ein Bildkurventeilstück des Bildkurvenstücks 120. Angemerkt sei, dass die Tangente 212 und die Normale 211 im Bildpunkt 210 wie hinsichtlich 6 bereits beschrieben, berechnet worden sein können.
-
Zunächst sei angenommen, dass der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus mittels der in Verbindung mit 5 erläuterten Symmetrieprüfung das Ende des Bildkurvenstücks 120 an der Stelle 125 erkannt hat.
-
Weiterhin sei angenommen, dass der Mikrocontroller 18 dazu ausgebildet ist, eine Symmetrieprüfung bezüglich des Bezugsbildpunktes 190 erneut zu starten, indem die Symmetrie zwischen dem links vom Bezugsbildpunkt 190 liegenden Bildkurvenstück 120a und dem rechts vom verdeckten Bereich 125 liegenden Bildkurvenstück 120c geprüft wird. Hierzu wird vorteilhafterweise mit dem zuvor anhand der 6 beschriebenen Verfahren zur Bestimmung der Tangente 212, der Normale 211 und/oder des Krümmungsradius im Bildpunkt 210 die Tangente (nicht dargestellt), die Normale 241 und/oder der Krümmungsradius im Bildpunkt 240 an dem Bildkurvenstück 120c ermittelt. Anschließend wird der Mikrocontroller 18 das anhand der 5 beschriebene Verfahren ausführen, um ein Maß für die Symmetrieeigenschaft zwischen den Bildkurvenstücken 120a und 120c zu bestimmen. In der Praxis werden hierzu zweckmäßigerweise mehr als die beiden Bildpunkte 210 und 240 verwendet. Angenommen sei, dass der Mikrocontroller 18 festgestellt hat, dass die Abweichungen bzw. Differenzen zwischen den im Bildpunkt 210 bestimmten Kurveneigenschaften, den im Bezugsbildpunkt 190 bestimmten Kurveneigenschaften und den im Bildpunkt 240 bestimmten Kurveneigenschaften jeweils innerhalb eines vorgegebenen Toleranzbereichs liegen. Der Mikrocontroller 18 entscheidet deshalb, dass die Bildkurvenstücke 120a und 120c Bildkurventeilstücke des Bildkurvenstücks 120 sind. Folglich werden alle extrahierten Bildpunkte, die die Bildkurventeilstücke 120a, 120b und 120c beschreiben als Bildpunkte des Bildkurvenstücks 120 ausgewählt, die für eine nachfolgende Bestimmung von radialsymmetrischen Verzeichnungsparameter verwendet werden können. Ein Verfahren zum Bestimmen von Verzeichnungsparametern ist jedoch nicht Gegenstand dieser Erfindung. Im Datenspeicher 11 können nunmehr die um Ausreißer-Bildpunkte bereinigte Bildpunkte, die das Bildkurvenstück 120 beschreiben zur weiteren Verwendung abgelegt werden.
-
Der Mikrocontroller 18 kann daher dazu ausgebildet sein, unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus die Verfahrensschritte a) bis d) nicht nur für die Bildkurvenstücke 120a und 120b, sondern auch für wenigstens ein weiteres radialsymmetrisch verzeichnetes Bildkurvenstück 120c wiederholen und in Abhängigkeit von den in den jeweiligen Bildpunkten 210 und 240 bestimmten Kurveneigenschaften prüfen, ob die radialsymmetrisch verzeichneten Bildkurvenstücke 120a, 120b und 120c zu einer einzigen Geraden gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der Digitalkamera 10 abgebildet würde.
-
Der Mikrocontroller 18 kann ferner dazu ausgebildet sein, unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus die Länge eines jeweiligen radialsymmetrisch verzeichneten Bildkurvenstücks, das sind zum Beispiel die Bildkurvenstücke 120a, 120c und das Bildkurvenstück 120c, zu bestimmen.
-
Angemerkt sei ferner, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus auch die Genauigkeit der Koordinaten eines Bildpunktes und die Genauigkeit der in dem jeweiligen Bildpunkt bestimmten Tangente und/oder Normale und/oder der Krümmungsradius bestimmen kann.
-
Der Programmspeicher 12 kann als ein Beispiel eines digitalen Speichermediums betrachtet werden, in dem Anweisungen gespeichert sind, die, wenn sie zum Beispiel vom Mikrocontroller 18 ausgeführt werden, dass beschriebene Verfahren ausführen.
-
Angemerkt sei noch, dass die in den 3 bis 7 dargestellten Tangenten und Normalen nicht sichtbar sind, sondern nur rechnerisch existieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Fachbuch Photogrammetrie, Grundlagen, Verfahren, Anwendungen, von E. h. Kurt Schwidefsky et al., 7. Auflage, B. G. Teubner Stuttgart, S. 22ff [0003]
- www.Informatik.Uni-Marburg.de/~Thormae/paper\MirA03-TTHBIW.pdf [0012]