Die Erfindung betrifft ein computergesteuertes Verfahren zum automatischen Gewinnen eines Satzes radialsymmetrischer Verzeichnungsparameter eines Objektivs sowie ein digitales Speichermedium, auf dem Anweisungen zur Durchführung dieses Verfahrens gespeichert sind.The invention relates to a computer-controlled method for automatically obtaining a set of radially symmetrical distortion parameters of a lens as well as to a digital storage medium on which instructions for carrying out this method are stored.
Bekannt ist, dass digitale Kameras mit kostengünstigen Linsen oder einem Weitwinkelobjektiv Objekte verzerrt aufnehmen. Solche kostengünstigen Kameras sind zum Beispiel in Smartphones integriert. Eine dominierende Ursache für verzerrt aufgenommene Bilder ist in der radialsymmetrisch verzerrenden Eigenschaft der verwendeten Objektive bzw. Linsen, welche auch als radialsymmetrische Verzeichnung bezeichnet wird, zu sehen. Mit solchen Objektiven werden Geraden in einem Objektraum als radialsymmetrisch verzerrte bzw. verzeichnete Kurven in der Bildebene einer Kamera abgebildet.It is known that digital cameras with low-cost lenses or a wide-angle lens distorted objects. Such inexpensive cameras are integrated, for example, in smartphones. A dominant cause for distorted images is seen in the radially symmetric distorting property of the lenses used, which is also referred to as radially symmetric distortion. With such lenses, straight lines in an object space are imaged as radially symmetrically distorted or recorded curves in the image plane of a camera.
Weiterhin ist bekannt, dass der Abbildungsvorgang zwischen einem 3D-Objekt und einem 2D-Kamerabild üblicherweise mittels eines mathematischen Parametermodells einer Lochbildkamera mit Zentralperspektive beschrieben werden kann. Das an sich bekannte mathematische Modell einer zentralperspektivischen Abbildung ist skizzenhaft in 2 hinsichtlich einer beispielhaften in 1 gezeigten digitalen Kamera 10 dargestellt und beispielsweise in dem Fachbuch Photogrammetrie, Grundlagen, Verfahren, Anwendungen, von E. h. Kurt Schwidefsky et al., 7. Auflage, B. G. Teubner Stuttgart, S. 22 ff beschrieben.Furthermore, it is known that the imaging process between a 3D object and a 2D camera image can usually be described by means of a mathematical parameter model of a hole-image camera with central perspective. The known mathematical model of a central perspective image is sketchy in 2 with regard to an exemplary in 1 shown digital camera 10 represented and for example in the textbook photogrammetry, fundamentals, methods, applications, by E. h. Kurt Schwidefsky et al., Seventh Edition, BG Teubner Stuttgart, p. 22 et seq.
Die in 1 schematisch dargestellte beispielhafte digitale Kamera 10 kann einen Datenspeicher 11, einen Programmspeicher 12, eine Steuereinheit 18, ein Display 13 und eine Matrix aus CCD-Sensoren aufweisen kann, die eine Detektionsebene 16 bilden. Die Detektionsebene 16 fällt, wie 2 zeigt, mit der Bildebene 60 der digitalen Kamera 10 zusammen, welche im Display 13 dargestellt wird. Die Steuereinheit kann zum Beispiel als Mikrocontroller oder Mikroprozessor realisiert sein. Angenommen sei, dass die Verzeichnungsfunktion des nicht dargestellten Objektivs der digitalen Kamera 10 eine radialsymmetrische Verzeichnung beschreibt, wobei der Symmetriepunkt der radialsymmetrischen Verzeichnung in einer definierten Position relativ zum Bildhauptpunkt liegt. Gemäß einer bevorzugten Ausführungsform liegt der Symmetriepunkt der Verzeichnung im Wesentlichen im Bildhauptpunkt. Angemerkt sei, dass der Bildhauptpunkt derjenige Bildpunkt in der Bildebene der digitalen Kamera ist, dessen Abbildungsstrahl senkrecht auf der Bildebene steht.In the 1 schematically illustrated exemplary digital camera 10 can be a data store 11 , a program memory 12 , a control unit 18 , a display 13 and may comprise a matrix of CCD sensors having a detection plane 16 form. The detection level 16 falls, like 2 shows, with the picture plane 60 the digital camera 10 together, which in the display 13 is pictured. The control unit can be realized for example as a microcontroller or microprocessor. Assume that the distortion function of the lens of the digital camera, not shown 10 describes a radially symmetrical distortion, wherein the symmetry point of the radially symmetric distortion is in a defined position relative to the main image point. According to a preferred embodiment, the symmetry point of the distortion lies substantially in the main image point. It should be noted that the image main point is that pixel in the image plane of the digital camera whose imaging beam is perpendicular to the image plane.
Die Funktionsweise der digitalen Kamera 10 wird später noch detailliert erläutert.The functioning of the digital camera 10 will be explained in detail later.
In 2 ist ein Objektraumkoordinatensystem 100 eines Objektraums gezeigt, in dem ein Objektpunkt 40 liegt. Das Objektraumkoordinatensystem 100 kann ein bekanntes Weltkoordinatensystem sein kann. Weiterhin ist ein 3D-Bildkoordinatensystem 20 mit Drehrichtungen 21, 22 und 23 um die y''-, x''- bzw. z''-Achse gezeigt, wobei der Ursprung des Bildkoordinatensystems 20 im Projektionszentrum 90 der digitalen Kamera 10 liegt. In der Bildebene 60 liegt ein gedachtes 2D-Bildkoordinatensystem 30, dessen Ursprung im Bildhauptpunkt 50 liegt. Der Bildhauptpunkt 50 ist der Schnittpunkt der optischen Achse 70 des Objektives der Kamera 10 mit der Bildebene, wobei die optische Achse 70 senkrecht auf der Bildebene 60 steht. Im gezeigten Beispiel liegt der Bildhauptpunkt im Mittelpunkt der Bildebene 60. Ferner ist die Brennweite C der Kamera 10 eingezeichnet. Mit Hilfe dieser Angaben kann in an sich bekannter Weise bei verzerrungsfreier Abbildung der Zusammenhang zwischen einem Objektpunkt und dem dazugehörenden Bildpunkt mathematisch beschrieben werden.In 2 is an object space coordinate system 100 an object space shown in which an object point 40 lies. The object space coordinate system 100 can be a known world coordinate system. Furthermore, a 3D image coordinate system 20 with directions of rotation 21 . 22 and 23 shown around the y '', x '' and z '' axes, respectively, where the origin of the image coordinate system 20 in the projection center 90 the digital camera 10 lies. In the picture plane 60 is a thought 2D image coordinate system 30 , whose origin in the picture main point 50 lies. The main picture point 50 is the intersection of the optical axis 70 of the lens of the camera 10 with the image plane, with the optical axis 70 perpendicular to the picture plane 60 stands. In the example shown, the main image point is at the center of the image plane 60 , Further, the focal length C of the camera 10 located. With the help of this information, the relationship between an object point and the associated pixel can be described mathematically in a manner known per se with distortion-free imaging.
Allerdings versagt dieses mathematische Modell, wenn billige Objektive oder Weitwinkel zum Einsatz kommen, die zu Abbildungsfehlern in der Bildebene führen.However, this mathematical model fails when cheap lenses or wide-angle lenses are used that lead to aberrations in the image plane.
In 2 ist die radialsymmetrische Verzeichnung des Kameraobjektives angedeutet, indem der vom Objektpunkt 40 kommende Abbildungsstrahl 80 durch das Projektionszentrum 90 geht und eine radialsymmetrische Verzeichnung erfährt, welche durch die Kurve 85 illustriert wird. Der Objektpunkt wird deshalb als radialsymmetrisch verzeichneter Bildpunkt 40' in der Bildebene 60 abgebildet.In 2 is the radial symmetrical distortion of the camera lens indicated by the object point 40 next picture ray 80 through the projection center 90 goes and undergoes a radially symmetric distortion, which passes through the curve 85 is illustrated. The object point is therefore recorded as a radially symmetrical pixel 40 ' in the picture plane 60 displayed.
Um nicht lineare radialsymmetrische Verzeichnungen, wie in 2 gezeigt, kompensieren zu können, werden radialsymmetrische Verzeichnungsparameter bestimmt, mit deren Hilfe radialsymmetrisch verzeichnete Bilder so korrigiert werden, als wären sie mit einer Lochbildkamera, d. h. verzerrungsfrei aufgenommen worden.To avoid non-linear radial symmetric distortions, as in 2 In order to be able to compensate, radially symmetric distortion parameters are determined by means of which radially symmetrically recorded images are corrected as if they had been recorded with a pinhole camera, ie without distortion.
Die Güte der Bestimmung radialsymmetrischer Verzeichnungsparametern hängt unter anderem davon ab, welche Bildkurvenstücke in einem radialsymmetrisch verzeichneten Bild verwendet werden, um einen Satz radialsymmetrischer Verzeichnungsparameter zu bestimmen.The quality of determining radially symmetric distortion parameters depends, among other things, on which image curve pieces are used in a radially symmetric image to determine a set of radially symmetric distortion parameters.
Aus dem Stand der Technik ist bekannt, gekrümmte Linien in einem radialsymmetrisch verzeichneten Bild auszuwählen, die in einem dreidimensionalen Objektraum eine Gerade beschreiben und nach einer radialsymmetrischen Verzeichnungskorrektur in der zweidimensionalen Bildebene der Kamera ebenfalls als Geraden abgebildet werden.It is known from the prior art to select curved lines in a radially symmetrically recorded image which describe a straight line in a three-dimensional object space and are likewise imaged as a straight line in the two-dimensional image plane of the camera after radially symmetrical distortion correction.
So ist beispielsweise aus der DE 698 18 584 T2 ein Verfahren zur Gewinnung radialer Verzeichnungsparameter aus einem einzigen Kamerabild bekannt, bei dem beliebig ausgerichtete Linien von einem Benutzer ausgewählt werden, von denen der Benutzer weiß, dass diese Linien in einem dreidimensionalen Objektraum Geradenstücke sind. Anschließend werden Zielunktionen, die die ausgewählten Linien in dem einzigen Kamerabild unter Verwendung eines Passungsansatzes der kleinsten Quadrate zum Gewinnen radialer Verzerrungsparameter beschrieben, automatisch minimiert. For example, from the DE 698 18 584 T2 a method for obtaining radial distortion parameters from a single camera image, in which arbitrarily aligned lines are selected by a user, who knows that these lines are straight lines in a three-dimensional object space. Subsequently, target functions that describe the selected lines in the single camera image using a least squares fit to obtain radial distortion parameters are automatically minimized.
In dem Aufsatz „ROBUST LINE-BASED CALIBRATION FROM A SINGLE VIEW”, University of Hannover, Information Technology Laboratory, Hannover, Germany von Thorsten Thormählen et al. ist ein Kalibrierungsverfahren für radialsymmetrisch verzeichnende Linsen beschrieben, bei dem Punkte auf einem gekrümmten Liniensegment detektiert, gekrümmte Liniensegmente verbunden, Ausreißer eliminiert und eine inverse radiale Verzeichnisfunktion zur Schätzung von Verzehrungsparametern minimiert werden. Die Punkte auf den gekrümmten Liniensegmenten werden mit einem sogenannten Straight-Line-Detektor gefunden. Dieser Aufsatz ist im Internet unter der Web-Adresse www.Informatik.Uni-Marburg.de/~Thormae/paper\MirA03-TTHBIW.pdf zu finden.In the article "ROBUST LINE-BASED CALIBRATION FROM A SINGLE VIEW", University of Hannover, Information Technology Laboratory, Hannover, Germany by Thorsten Thormählen et al. [0006] A calibration method for radially symmetric imaging lenses is described in which points on a curved line segment are detected, curved line segments are connected, outliers are eliminated, and an inverse radial dictionary function for estimating eating parameters is minimized. The points on the curved line segments are found with a so-called straight-line detector. This essay can be found on the Internet at the web address www.Informatik.Uni-Marburg.de/~Thormae/paper\MirA03-TTHBIW.pdf.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum automatischen Gewinnen eines Satzes radialsymmetrischer Verzeichnungsparameter aus radialsymmetrisch verzeichneten Bildkurvenstücken in einem einzigen radialsymmetrisch verzeichneten Bild zur Verfügung zu stellen, bei dem Bildpunkte, die zum automatischen Gewinnen eines Satzes radialsymmetrischer Verzeichnungsparameter verwendet werden, in effizienterer Weise gefunden werden.It is an object of the present invention to provide a method of automatically obtaining a set of radially symmetric distortion parameters from radially symmetric image waveforms in a single radially symmetric image in which image points used to automatically obtain a set of radially symmetric distortion parameters are more efficiently being found.
Ein Kerngedanke der Erfindung kann darin gesehen werden, ein computergesteuertes Verfahren zur vollautomatischen Selbstkalibrierung der radialsymmetrischen Verzeichnung eines einzigen digitalen Bildes zur Verfügung zu stellen, bei dem vorab unter Steuerung eines Computers Bildpunkte wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild mit Hilfe einer Symmetrieprüfung ausgewählt werden. Vorausgesetzt sei nur, dass das verwendete Objektiv der digitalen Kamera eine Abbildung radialsymmetrisch verzerrt und der Symmetriepunkt der Verzeichnung im Wesentlichen dem Bildhauptpunkt des in der Kamera verwendeten Bildkoordinatensystems entspricht oder die Ablage beziehungsweise Position des Symmetriepunktes der Verzeichnung im Bildkoordinatensystem ausreichend genau bekannt ist.A central idea of the invention can be seen in providing a computer-controlled method for the fully automatic self-calibration of the radially symmetrical distortion of a single digital image, in which, under the control of a computer, pixels of at least one radially symmetrically recorded image curve in a single radially symmetric image are examined by means of a symmetry test to be selected. It is only assumed that the lens of the digital camera used distorts an image radially symmetrically and the symmetry point of the distortion substantially corresponds to the image main point of the image coordinate system used in the camera or the filing or position of the symmetry point of the distortion in the image coordinate system is known with sufficient accuracy.
Gemäß einem weiteren Gesichtspunkt der Erfindung kann geprüft werden, ob mehrere Bildkurvenstücke zu einer einzigen Bildgeraden gehören.According to a further aspect of the invention, it may be checked whether a plurality of image curve pieces belong to a single image line.
Gemäß einem weiteren Gesichtspunkt kann die Symmetrieeigenschaft eines radialsymmetrisch verzeichneten Bildkurvenstücks und/oder die kontinuierliche Veränderung von an dem radialsymmetrisch verzeichneten Bildkurvenstück bestimmten Kurveneigenschaften (zum Beispiel Tangenten, Normalen Krümmungsradien in ausgewählten Bildpunkten des Bildkurvenstücks) bestimmt werden, um Ausreißer-Bildpunkte erkennen und eliminieren zu können.According to a further aspect, the symmetry property of a radially symmetrically recorded image curve and / or the continuous variation of curve properties (for example tangents, normal radii of curvature in selected pixels of the image curve) determined on the radially symmetrically recorded image curve can be determined in order to detect and eliminate outlier pixels ,
Das oben genannte technische Problem wird durch die Verfahrensschritte des Anspruchs 1 gelöst.The above technical problem is solved by the method steps of claim 1.
Danach wird ein Verfahren zum automatischen Gewinnen eines Satzes radialsymmetrischer Verzeichnungsparameter aus wenigstens einem radialsymmetrisch verzeichneten Bildkurvenstück in einem einzigen radialsymmetrisch verzeichneten Bild eines von einer digitalen Kamera in einem Objektraum aufgenommenen Objekts zur Verfügung gestellt. Das wenigstens eine radialsymmetrisch verzeichnete Bildkurvenstück würde bei verzeichnungsfreier Aufnahme auf ein Geradenstück in der Bildebene der digitalen Kamera abgebildet. Die digitale Kamera weist einen definierten Bildhauptpunkt auf. Der Symmetriepunkt der radialsymmetrischen Verzeichnung liegt in einer definierten Position relativ zum Bildhauptpunkt. Gemäß einer bevorzugten Ausführungsform liegt der Symmetriepunkt der Verzeichnung im Wesentlichen im Bildhauptpunkt.Thereafter, a method is provided for automatically obtaining a set of radially symmetric distortion parameters from at least one radially symmetrically recorded image curve in a single radially symmetric image of an object captured by a digital camera in an object space. The at least one radially symmetric recorded image curve would be imaged in distortion-free recording on a line segment in the image plane of the digital camera. The digital camera has a defined image main point. The symmetry point of the radially symmetric distortion lies in a defined position relative to the main image point. According to a preferred embodiment, the symmetry point of the distortion lies substantially in the main image point.
In Schritt e) kann der Satz erster radialsymmetrischer Verzeichnungsparameter und ein Satz von Geradenparametern zur Bestimmung einer Ausgleichsgeraden mittels einer Ausgleichungsrechnung in einem Guss, d. h. in einem einzigen zusammenhängenden Gleichungssystem berechnet werden.In step e) the set of first radially symmetric distortion parameters and a set of straight line parameters for the determination of a regression line can be determined by means of an in-cast equalization calculation, i. H. be calculated in a single coherent system of equations.
An dieser Stelle sei angemerkt, dass die mathematischen Ausgleichungsmodelle zum Bestimmen bzw. Schätzen von Korrekturwerten für radialsymmetrische Verzeichnungsparameter und für Geradenparameter unter Ausführung eines Algorithmus zur Minimierung einer Zielfunktion zum Gewinnen eines Satzes radialsymmetrischer Verzeichnungsparameter dem Fachmann bekannt sind. Lediglich beispielhaft wird auf das Fachbuch „Photogrammetrie”, Grundlagen, Verfahren, Anwendungen von Kurt Schwidefsky, et al., 7. Auflage des „Grundriss der Photogrammetrie”, B. G. Teubner Stuttgart, und auf das Fachbuch „Parameterschätzung und Hypothesentests in linearen Modellen”, von Prof. Dr. Karl-Rudolf Koch, vierte bearbeitete Auflage, Bonn 2004, http://www.geod.uni-bonn.de, ehemals Ferd. Dümmlers Verlag, Bonn verwiesen.It should be noted here that the mathematical adjustment models for determining or estimating correction values for radially symmetric distortion parameters and for straight line parameters using an algorithm for minimizing an objective function for obtaining a set of radially symmetric distortion parameters are known to the person skilled in the art. For example, reference is made to the textbook "Photogrammetry", Basics, Methods, Applications by Kurt Schwidefsky, et al., 7th Edition of the "Plan of Photogrammetry", BG Teubner Stuttgart, and the textbook "Parameter Estimation and Hypothesis Testing in Linear Models", by Prof. dr. Karl-Rudolf Koch, fourth edited edition, Bonn 2004, http://www.geod.uni-bonn.de, formerly Ferd. Dümmlers Verlag, Bonn referenced.
Auch in dem eingangs gewürdigten Stand der Technik findet der Fachmann das entsprechende mathematische Rüstzeug. Ein auf dem Gebiet der Ausgleichungsrechnung besonders geeignetes und bekanntes Modell zum Schätzen von unbekannten Parametern ist das Gauß-Markov-Modell. Also in the initially acknowledged prior art, the skilled person finds the appropriate mathematical equipment. A well-known and well-known model for estimating unknown parameters in the field of balance calculations is the Gauss-Markov model.
Als Zielfunktion kann beispielsweise die Hessesche Normalform verwendet werden, die beispielsweise in dem oben zitierten Aufsatz „Robust line-based calibration of lence distortion from a single view” in den Gleichungen 15 bis 17 beschrieben wird.As an objective function, for example, the Hessian normal form can be used, which is described, for example, in the above-cited essay "Robust line-based calibration of lence distortion from a single view" in equations 15 to 17.
Als Ergebnis der Zielfunktion kann der Minimierungsalgorithmus einen Wert W liefern, der gleich der Summe der Quadrate der Abstände der korrigierten Bildpunkte zu einer Ausgleichsgeraden ist. Soll ein normierter Wert NW benutzt werden, gilt: Wert NW = Wert W/(Anzahl an Beobachtungen – Anzahl an Unbekannten) As a result of the objective function, the minimization algorithm may provide a value W equal to the sum of the squares of the distances of the corrected pixels to a compensation line. If a normalized value NW is to be used, the following applies: Value NW = value W / (number of observations - number of unknowns)
Die Anzahl an Beobachtungen ist hierbei die Anzahl an Koordinaten der ausgewählten Bildpunkte oder die Anzahl der Bildpunkte, wobei die Anzahl an Unbekannten gleich der Anzahl an Parameter der angesetzten Ausgleichgeraden und der Anzahl an Verzeichnungsparameter ist.The number of observations here is the number of coordinates of the selected pixels or the number of pixels, the number of unknowns being equal to the number of parameters of the set equalizing line and the number of distortion parameters.
Angemerkt sei, dass in Schritt e) die Geradenparameter initial als eine erste Näherung in an sich bekannter Weise in Abhängigkeit von zwei korrigierten Bildpunkten berechnet werden können. Bekannt ist, dass eine Gerade durch die Gleichung f(x) = a + bx beschrieben werden kann, wobei die Parameter a und b die beiden Geradenparameter sind. Andere algebraische Formulierung für eine Gerade sind möglich, so z. B. die bekannte Hessesche Form, wobei jede dieser Formulierungen aber immer die gleiche Anzahl an Parametern liefern, nämlich 2.It should be noted that in step e) the straight line parameters can initially be calculated as a first approximation in a manner known per se as a function of two corrected pixels. It is known that a straight line can be described by the equation f (x) = a + bx, where the parameters a and b are the two straight line parameters. Other algebraic formulation for a straight line are possible, such as. B. the known Hessian form, but each of these formulations always provide the same number of parameters, namely 2.
Angemerkt sei weiter, dass Eingabewerte des erfindungsgemäßen Verfahrens insbesondere die Bildkoordinaten der ausgewählten radialsymmetrisch verzeichneten Bildpunkte, die die radialsymmetrisch verzeichneten Bildkurvenstücke beschreiben, und, sofern bestimmt und gewünscht, deren Genauigkeiten, eine bekannte Funktion von radialsymmetrischen Verzeichnungsparametern und von Bildkoordinaten der nicht verzeichneten Bildpunkte sein können.It should also be noted that input values of the method according to the invention can be, in particular, the image coordinates of the selected radially symmetrically recorded pixels describing the radially symmetrically recorded image curve pieces and, if determined and desired, their accuracies, a known function of radially symmetric distortion parameters and image coordinates of the unrecorded pixels ,
Um einen präziseren Satz radialsymmetrischer Verzeichnungsparametern zu gewinnen, können die Schritte a) bis d) für wenigstens ein weiteres Bildkurvenstück ausgeführt werden, wobei in Schritt e) hinsichtlich des wenigstens einen weiteren Bildkurvenstücks ein Satz zweiter radialsymmetrischer Verzeichnungsparameter unter Ausführung des Algorithmus zur Minimierung des Wertes der ersten Zielfunktion in Abhängigkeit von den in Schritt d) ausgewählten Bildpunkten, die das wenigstens eine weitere Bildkurvenstück beschreiben, bestimmt wird. Ein einfacher Ansatz zur Bestimmung eines geeigneten Satzes von radialsymmetrischen Verzeichnungsparametern kann darin liegen, den Mittelwert, insbesondere einen gewichteten Mittelwert aus dem Satz erster Verzeichnungsparameter und dem Satz zweiter Verzeichnungsparameter zu bestimmen.In order to obtain a more precise set of radially symmetric distortion parameters, steps a) to d) can be performed for at least one further image curve, wherein in step e), with respect to the at least one further image curve piece, a set of second radially symmetric distortion parameters executes the algorithm for minimizing the value of first target function in dependence on the pixels selected in step d), which describe the at least one further image curve piece. A simple approach for determining a suitable set of radially symmetric distortion parameters may be to determine the mean, in particular a weighted average, of the set of first distortion parameters and the set of second distortion parameters.
Vorzugsweise wird die Zielfunktionen jeweils mittels der Methode der kleinsten Quadrate minimiert. Zur Bestimmung eines Satzes radialsymmetrischer Verzeichnungsparameter und wenigstens einer Ausgleichsgeraden kann auch das bekannte Gauß-Markov-Modell verwendet werden.Preferably, the objective functions are each minimized by the least squares method. For determining a set of radially symmetric distortion parameters and at least one compensation straight line, the known Gauss-Markov model can also be used.
Um geeignete Eingangswerte für den Verfahrensschritt e) zu gewinnen, kann in Schritt d) das Maß der Veränderung der Tangenten und/oder der Normalen und/oder der Krümmungsradien, welche jeweils in einem radialsymmetrisch verzeichneten Bildpunkt der beiden Bildkurventeilstücke bestimmt worden sind, zur Tangente und/oder Normalen und/oder zum Krümmungsradius, der im Bezugsbildpunkt bestimmt worden sind, bestimmt und anschließend geprüft werden, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt. Wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde, gehörend ausgewählt. Auf diese Weise kann auch das Ende eines Bildkurventeilstücks erfasst werden.In order to obtain suitable input values for method step e), in step d) the degree of change of the tangents and / or the normals and / or the radii of curvature, which have each been determined in a radially symmetrically recorded pixel of the two image curve sections, to the tangent and and / or normal and / or radius of curvature determined in the reference pixel, and then checking whether the amount of change is within a predetermined tolerance range. If so, the respective radially symmetrically plotted pixels are selected as belonging to a straight line which would be imaged in the image plane of the digital camera in the case of distortion-free recording. In this way, the end of an image curve section can be detected.
Optional oder zusätzlich kann in Schritt d) das Maß der Veränderung der Tangenten und/oder der Normalen und/oder der Krümmungsradien, welche jeweils in einem radialsymmetrisch verzeichneten Bildpunkt der beiden Bildkurventeilstücke bestimmt worden sind, zur Tangente und/oder Normalen und/oder zum Krümmungsradius, der im Bezugsbildpunkt (190) bestimmt worden sind, bestimmt und anschließend geprüft werden, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt, und wenn ja, dass die jeweiligen radialsymmetrisch verzeichneten Bildpunkte als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene der digitalen Kamera abgebildet würde, gehörend ausgewählt werden.Optionally or additionally, in step d), the degree of change of the tangents and / or the normals and / or the radii of curvature, which have each been determined in a radially symmetrical recorded pixel of the two image curve sections, to the tangent and / or normal and / or the radius of curvature , in the reference picture ( 190 ) have been determined, and then checked whether the extent of the changes are each within a predetermined tolerance range, and if so, that the respective radially symmetrically recorded pixels than to a straight line, which would be imaged in distortion-free recording in the image plane of the digital camera belonging to be selected.
Das oben genannte technische Problem wird ebenfalls durch die Merkmale des Anspruchs 4 gelöst. Danach ist ein digitales Speichermedium mit darauf gespeicherten Anweisungen vorgesehen, die, wenn sie von einer Steuereinheit ausgeführt werden, das Verfahren nach einem der vorstehend genannten Ansprüche ausführen.The above technical problem is also solved by the features of claim 4. Thereafter, a digital storage medium is provided with instructions stored thereon which, when executed by a control unit, perform the method of any one of the preceding claims.
Vorzugsweise handelt es sich bei dem digitalen Speichermedium um einen Speicher einer digitalen Kamera, die als Steuereinheit zum Beispiel einen Mikroprozessor aufweist. Preferably, the digital storage medium is a memory of a digital camera, which has as a control unit, for example, a microprocessor.
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den beiliegenden Zeichnungen näher erläutert. Es zeigen:The invention will be explained in more detail using an exemplary embodiment in conjunction with the accompanying drawings. Show it:
1 eine beispielhafte digitale Kamera, 1 an exemplary digital camera,
2 ein schematisches Modell einer zentralperspektivischen Abbildung hinsichtlich der in 1 gezeigten digitalen Kamera, 2 a schematic model of a central perspective view with respect to in 1 shown digital camera,
3 drei Bildkurvenstücke eines von der digitalen Kamera aufgenommenen Bildes, wobei ein Bildkurvenstück teilweise verdeckt ist, 3 three image curve pieces of an image captured by the digital camera, wherein an image curve piece is partially hidden,
4 das in 3 gezeigte radialsymmetrisch verzeichnete Bildkurvenstück 130, welches von einem Objekt in einer geeigneten Ebene des Objektraums stammt, und bei verzerrungsfreier Aufnahme eine Gerade wäre, 4 this in 3 shown radially symmetrically recorded image curve piece 130 which originates from an object in a suitable plane of the object space, and would be a straight line in the case of distortion-free recording,
5 einen vergrößerten Ausschnitt des in 3 gezeigten radialsymmetrisch verzeichneten Bildkurvenstücks 120, dessen Symmetrieeigenschaft in einem Bezugsbildpunkt bestimmt wird, 5 an enlarged section of the in 3 shown radially symmetrically recorded Bildkurvenstücks 120 whose symmetry property is determined in a reference pixel,
6 einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120, dessen Kurveneigenschaft in einem Punkt 210 bestimmt wird, 6 an enlarged section of the in 3 shown image curve piece 120 , whose curve feature in one point 210 it is determined
7 das in 3 gezeigte teilweise verdeckte Bildkurvenstück, 7 this in 3 shown partially hidden image curve piece,
8 den Ausschnitt eines radialsymmetrisch verzeichneten Bildkurvenstücks und einer dazugehörenden Ausgleichsgerade, und 8th the section of a radially symmetrical recorded image curve piece and an associated equalization line, and
9 eine verbesserte Ausgleichsgerade zum in 8 gezeigten Bildkurvenstück. 9 an improved balancing straight to the in 8th shown picture curve piece.
Die in 1 gezeigte beispielhafte digitale Kamera 10 kann integraler Bestandteil eines Mobilfunktelefons, insbesondere eines Smartphones sein. In dem Programmspeicher 12 ist ein Bildverarbeitungsalgorithmus zum automatischen Erkennen von radialsymmetrisch verzeichneten Bildkurvenstücken und insbesondere zum automatischen Auswählen von Bildpunkten wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild eines von der digitalen Kamera 10 in einem Objektraum aufgenommenen Objekts gespeichert. In dem Datenspeicher 11 können die ausgewählten Bildpunkte wenigstens eines radialsymmetrisch verzeichneten Bildkurvenstücks abgelegt werden. In den Datenspeicher 11 können auch alle von der digitalen Kamera 10 aufgenommenen Bilddaten gespeichert werden. Der Mikroprozessor 18 kann die Funktion einer Auswerte- und Steuereinrichtung ausüben, die unter Ausführung des im Programmspeicher 12 gespeicherten Algorithmus aus den im Datenspeicher 11 gespeicherten Bilddaten Bildpunkte wenigstens eines radialsymmetrischen Bildkurvenstücks in einem einzigen radialsymmetrisch verzeichneten Bild extrahieren und auswählen kann. Eingabewerte des Bildverarbeitungsalgorithmus sind folglich die Bildkoordinaten der extrahierten Bildpunkte, die das jeweilige Bildkurvenstück beschreiben und, wenn das Bildkurvenstück Bildkurventeilstücke umfasst, auch Information über die Zusammengehörigkeit bzw. über die Güte der Zusammengehörigkeit der Bildkurventeilstücke.In the 1 shown exemplary digital camera 10 can be an integral part of a mobile phone, especially a smartphone. In the program memory 12 is an image processing algorithm for automatically detecting radially symmetrically recorded image curved pieces, and more particularly for automatically selecting pixels of at least one radially symmetrically recorded image curved piece in a single radially symmetric image of one of the digital camera 10 stored in an object space object. In the data store 11 The selected pixels of at least one radially symmetrically recorded image curve piece can be stored. In the data store 11 All of them can also be viewed from the digital camera 10 recorded image data are stored. The microprocessor 18 can perform the function of an evaluation and control device, which under execution of the program memory 12 stored algorithm from the in the data memory 11 stored image data pixels of at least one radially symmetrical Bildkurvenstücks in a single radially symmetrically recorded image extract and select. Input values of the image processing algorithm are consequently the image coordinates of the extracted pixels which describe the respective image curve piece and, if the image curve includes image curve sections, information about the identity of the relationship of the image curve sections.
Angenommen sei, dass die Digitalkamera 10 eine radialsymmetrisch verzeichnende Linse oder ein radialsymmetrisch verzeichnendes Objektiv (nicht dargestellt) enthält. Bekannt ist, dass die dazugehörende Verzeichnungsfunktion, die die radialsymmetrische Verzeichnung beschreibt, mittels einer Potenzreihe mit zwei Parametern bestimmt bzw. geschätzt werden kann. Die parametrisierten Gleichungen sind u. a. aus dem oben zitierten Stand der Technik bekannt und lauten wie folgt: xu = xd + xd(k3·r2 d + k5·r4 d) (Gleichung 1) yu = yd + yd(k3·r2 d + k5·r4 d) (Gleichung 2) Let's assume that the digital camera 10 a radially symmetrically-indexing lens or a radially symmetrically-recording lens (not shown) contains. It is known that the associated distortion function, which describes the radially symmetrical distortion, can be determined or estimated by means of a power series with two parameters. The parameterized equations are known, inter alia, from the prior art cited above and are as follows: x u = x + d x d (k3 · r 2 d + k5 · r 4 d) (Equation 1) y u = y d + y d (k3 * r 2 d + k 5 * r 4 d ) (Equation 2)
In den beiden Gleichungen bezeichnen k3 und k5 die radialsymmetrischen Verzeichnungsparameter, xd und yd die Bildkoordinaten eines radialsymmetrisch verzeichneten Bildpunktes sowie xu und yu die Bildkoordinaten des dazugehörenden verzeichnungsfreien Bildpunktes, wobei r2 d = x2 d + y2 d, der quadratische Abstand des radialsymmetrisch verzeichneten Bildpunktes vom Symmetriepunkt der radialsymmetrischen Verzeichnung, der hier genau genug identisch dem Bildhauptpunkt ist, ist. Ist die Lage des Bildhauptpunktes nicht bekannt, kann sie vorgegeben werden oder im Schätzprozess als zwei unbekannte Parameter mit geschätzt werden, was dem Fachmann auf dem Gebiet der Photogrammetrie bekannt ist.In the two equations, k3 and k5 denote the radially symmetric distortion parameters, x d and y d the image coordinates of a radially symmetrically recorded pixel, and x u and y u the image coordinates of the associated distortion-free pixel, where r 2 d = x 2 d + y 2 d square distance of the radially symmetrically recorded pixel from the symmetry point of the radially symmetric distortion, which is exactly enough identical here to the main image is. If the position of the main image point is not known, it can be predetermined or estimated in the estimation process as two unknown parameters, which is known to the person skilled in photogrammetry.
Wie bereits eingangs erläutert, ist in 2 ein schematisches Modell einer zentralperspektivischen Abbildung hinsichtlich der in 1 gezeigten digitalen Kamera dargestellt.As already explained at the beginning, is in 2 a schematic model of a central perspective view with respect to in 1 shown digital camera shown.
In 3 ist die Bildebene 60, die im Display 13 der digitalen Kamera 10 dargestellt wird, gezeigt. In der Bildebene 60 sind drei Bildkurvenstücke 110, 120, 130 dargestellt, wobei das Bildkurvenstück 110 durch den Symmetriepunkt 55 der Verzeichnung verläuft. Angenommen sei im Folgenden, dass der Symmetriepunkt 55 der Verzeichnung mit dem Bildhauptpunkt 50 zusammenfällt. Bei nur radialsymmetrisch verzeichnenden Objektiven ist bekannt, dass Kurven, wie zum Beispiel das Bildkurvenstück 110, welche durch den Symmetriepunkt 55 der Verzeichnung laufen, jeweils Geraden sind, die keinen Beitrag zur Berechnung von radialsymmetrischen Verzeichnungsparameter liefern, sofern, wie angenommen, nur Bildinformationen aber keine Objektrauminformationen über die absolute und/oder relative Lage Kurvenpunkten im Objektraum genutzt werden. Angemerkt sei bereits an dieser Stelle, dass demzufolge der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus nur Bildkurvenstücke sucht, welche nicht durch den Symmetriepunkt 55 der Verzeichnung verlaufen.In 3 is the picture plane 60 that in the display 13 the digital camera 10 is shown. In the picture plane 60 are three image curve pieces 110 . 120 . 130 shown, wherein the image curve piece 110 through the point of symmetry 55 the distortion runs. Assume below that the point of symmetry 55 the distortion with the image main point 50 coincides. At only Radial symmetric recording lenses is known that curves, such as the image curve piece 110 passing through the point of symmetry 55 run the distortion, each being straight lines that provide no contribution to the calculation of radially symmetric distortion parameters, as long as, as assumed, only image information but no object space information on the absolute and / or relative position curve points are used in the object space. It should be noted at this point that consequently the microcontroller 18 under execution of the program memory 12 filed algorithm searches only image curves, which is not by the point of symmetry 55 the distortion run.
Das Kurvenbildstück 120 sei abschnittsweise verdeckt oder unterbrochen, was durch eine entsprechende Aussparung 125 symbolisiert wird. Folglich weist das Bildkurvenstück 120 zwei Bildkurventeilstücke 120a und 120b auf. Bereits an dieser Stelle sei angemerkt, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus erkennen kann, ob und gegebenenfalls mit welcher Güte die beiden Bildkurventeilstücke 120a und 120b zusammengehören, d. h. das Bildkurvenstück 120 bilden.The curve piece 120 be partially covered or interrupted, which by a corresponding recess 125 is symbolized. Consequently, the image curve piece 120 two image curve sections 120a and 120b on. Already at this point it should be noted that the microcontroller 18 under execution of the program memory 12 stored algorithm can recognize whether and, if so, with what goodness the two image curve sections 120a and 120b belong together, ie the image curve piece 120 form.
Zu den Bildkurvenstücken 110, 120 und 130 gehören Objektraumkurven 110', 120' und 130', die im Objektraum Geraden sind.To the picture curves 110 . 120 and 130 include object space curves 110 ' . 120 ' and 130 ' that are straight in the object space.
4 dient zur Erläuterung der Tatsache, dass beliebige Linien in geeigneten Objektraumebenen bei verzerrungsfreier Aufnahme als Geraden in der Bildebene 60 abgebildet werden. 4 zeigt das Bildkurvenstück 130, dass unter Anwendung einer radialsymmetrischen Verzeichnung und der Zentralprojektion in den Objektraum zurück projiziert wurde. Als Ergebnis ergibt sich hieraus ein Objektraumebenenstück 150, das durch zwei Objektraumgeraden 152 und 155 begrenzt wird. Die Begrenzungsgerade 152 wird in den verzeichneten Bildpunkt A abgebildet, während die Begrenzungsgerade 155 in den verzeichneten Bildpunkt E abgebildet wird. Alle Kurven 130' und 130'', die auf der Begrenzungsgeraden 152 beginnen und auf der Begrenzungsgeraden 155 enden oder umgekehrt, werden in der Bildebene 60 auf das Bildkurvenstück 130 abgebildet. Das bedeutet, dass nicht nur Objektraumgeraden, wie zum Beispiel die Objektraumgerade 130', sondern auch beliebig gekrümmte Kurven, wie zum Beispiel die Objektraumkurve 130'', in das radialsymmetrisch verzeichnete Bildkurvenstück 130 abgebildet werden. Bereits an dieser Stelle sei angemerkt, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Algorithmus auch Bildkurvenstücke erkennen und Bildpunkte, die diese Bildkurvenstücke beschreiben, auswählen kann, die im Objektraum keine Geraden sein müssen. 4 serves to explain the fact that any lines in suitable object space levels in distortion-free recording as a straight line in the image plane 60 be imaged. 4 shows the image curve piece 130 in that it was projected back into the object space using a radially symmetric distortion and the central projection. The result is an object space level 150 passing through two object space lines 152 and 155 is limited. The boundary line 152 is imaged in the recorded pixel A, while the boundary line 155 is imaged in the recorded pixel E. All curves 130 ' and 130 '' that are on the boundary line 152 start and on the boundary line 155 end or vice versa, be in the picture plane 60 on the image curve piece 130 displayed. This means that not only object space lines, such as the object space line 130 ' but also arbitrarily curved curves, such as the object space curve 130 '' , in the radially symmetric recorded image curve piece 130 be imaged. Already at this point it should be noted that the microcontroller 18 under execution of the program memory 12 algorithm also recognize image curve pieces and can select pixels that describe these image curve pieces, which need not be straight lines in the object space.
Die Funktionsweise der digitalen Kamera 10 wird nachfolgend in Verbindung mit den 5 bis 7 näher erläutert.The functioning of the digital camera 10 will be described below in connection with the 5 to 7 explained in more detail.
Wir betrachten zunächst 5.We look first 5 ,
Der Mikrocontroller 18 führt unter Anwendung des im Programmspeicher 12 gespeicherten Bildverarbeitungsalgorithmus automatisch folgende Schritte aus:
- a) Extrahieren einer Vielzahl von radialsymmetrisch verzeichneten Bildpunkten 170, 190, 200, die wenigstens abschnittsweise ein Bildkurvenstück 120, 120a, 120b in einem einzelnen radialsymmetrisch verzeichneten Bild beschreiben, wobei das Bildkurvenstück 120, 120a, 120b nicht durch den Verzeichnungssymmetriepunkt 55 verläuft, wobei beispielhaft angenommen wird, dass der Symmetriepunkt 55 der Verzeichnung mit dem Bildhauptpunkt 50 zusammenfällt;
- b) Auswählen aus den in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkten eines Bezugsbildpunktes 190, der den kleinsten Abstand zum Verzeichnungssymmetriepunkt 55 des radialsymmetrisch verzeichneten Bildes aufweist und dessen Normale 191, die an der entsprechenden Stelle 190 des Bildkurvenstück 120, 120a, 120b berechnet wird, durch den Verzeichnungssymmetriepunkt 55 des radialsymmetrisch verzeichneten Bildes verläuft;
- c) Bestimmen von wenigstens einer Kurveneigenschaft in jedem der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte 170, 190, 200, wobei die wenigstens eine Kurveneigenschaft ein Krümmungsradius und/oder eine Tangente und/oder eine Normale 171, 191, 201 in dem jeweiligen radialsymmetrisch verzeichneten Bildpunkt 170, 190 bzw. 200 ist;
- d) Prüfen in Abhängigkeit von den in Schritt c) bestimmten Kurveneigenschaften, ob zumindest einige der in Schritt a) extrahierten radialsymmetrisch verzeichneten Bildpunkte 170, 200 zu einer Geraden 192' gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera 10 abgebildet würde, indem ein Maß für die Symmetrieeigenschaft des radialsymmetrisch verzeichneten Bildkurvenstücks 120, 120a, 120b bezüglich des Bezugsbildpunktes 190, der das radialsymmetrisch verzeichnete Bildkurvenstück 120, 120a, 120b in zwei Bildkurventeilstücke 120a und 120b unterteilt, bestimmt und geprüft wird, ob das bestimmte Maß der Symmetrieeigenschaft jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt.
The microcontroller 18 executes using the program memory 12 stored image processing algorithm automatically following steps: - a) Extracting a plurality of radially symmetrically recorded pixels 170 . 190 . 200 that at least partially a picture curve piece 120 . 120a . 120b describe in a single radially symmetric image, the image curve piece 120 . 120a . 120b not by the distortion symmetry point 55 runs, it being assumed by way of example that the point of symmetry 55 the distortion with the image main point 50 coincides;
- b) selecting from the radial symmetrically recorded pixels of a reference pixel extracted in step a) 190 , which is the smallest distance to the distortion point 55 of the radially symmetric recorded image and its normal 191 that in the appropriate place 190 of the image curve piece 120 . 120a . 120b is calculated by the distortion symmetry point 55 of the radially symmetric recorded image runs;
- c) determining at least one curve characteristic in each of the radially symmetrically recorded pixels extracted in step a) 170 . 190 . 200 wherein the at least one curve characteristic is a radius of curvature and / or a tangent and / or a normal 171 . 191 . 201 in the respective radially symmetrically recorded pixel 170 . 190 respectively. 200 is;
- d) checking in dependence on the curve properties determined in step c) whether at least some of the radially symmetrically recorded pixels extracted in step a) 170 . 200 to a straight line 192 ' belonging to the distortion-free recording in the image plane 60 the digital camera 10 by taking a measure of the symmetry property of the radially symmetrically recorded image curve 120 . 120a . 120b with respect to the reference pixel 190 , which is the radially symmetric recorded image curve piece 120 . 120a . 120b in two image curve sections 120a and 120b is divided, determined and checked whether the determined degree of symmetry property is in each case within a predetermined tolerance range.
In 5 ist die Gerade 192' die Gerade, die in der Bildebene 60 abgebildet würde, wenn das Bildkurvenstück 120 verzeichnungsfrei in der Bildebene 60 abgebildet wird. Sie ist deshalb eine Parallele zur Tangente 192, die in dem Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnet wird. 5 zeigt einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120.In 5 is the straight line 192 ' the straight line that is in the picture plane 60 would be pictured if the image curve piece 120 distortion free in the image plane 60 is shown. It is therefore a parallel to the tangent 192 in the reference picture 190 at the image curve piece 120 is calculated. 5 shows an enlarged section of the in 3 shown image curve piece 120 ,
Der einfacheren Erläuterung wegen sind in 5 lediglich die zwei bezüglich des Bezugsbildpunktes 190 symmetrisch angeordneten Bildpunkte 170 und 200 dargestellt, die das Bildkurventeilstück 120a bzw. 120b beschreiben. Mit „si” ist jeweils der Abstand der Bildpunkte 170 und 200 zum Bezugsbildpunkt 190 bezeichnet, der auch als Bogenlänge auf dem Bildkurventeilstück 120 oder als Strecke auf der Tangente 191 vom Bildpunkt 190 zum Schnittpunkt der Normale im Bildpunkt 170 oder 200 gewertet werden kann. Mit 191 ist die im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnete Normale, mit 171 die im Bezugsbildpunkt 170 an dem Bildkurvenstück 120 berechnete Normale und mit 201 die im Bezugsbildpunkt 200 an dem Bildkurvenstück 120 berechnete Normale bezeichnet. Die Normale 191 im Bezugsbildpunkt bildet die Symmetrieachse bezüglich der beiden Bildkurventeilstücke 120a und 120b bzw. bezüglich der Bildpunkte 170 und 200. Mit 192 ist die im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 berechnete Tangente bezeichnet. Nicht dargestellt sind die Tangenten in den Bildpunkten 170 und 200, die alternativ oder zusätzlich berechnet werden können. Alternativ oder zusätzlich können auch die Krümmungsradien in den Bildpunkten 170, 190 und 200 berechnet werden. Die die Tangenten und/oder Normalen und/oder Krümmungsradien repräsentierenden Daten können im Datenspeicher 11 abgelegt werden. Ebenso können alle Bildkoordinaten der Bildpunkte, beispielsweise der Bildpunkte 170, 190 und 200, die das Bildkurvenstück 120 beschreiben im Datenspeicher 11 abgelegt werden. Alternativ oder zusätzlich können auch der Winkel alpha2, der von den Verbindungslinien 190-55 und 200-55 begrenzt wird, und der Winkel alpha1, der von den Verbindungslinien 190-55 und 170-55 begrenzt wird, berechnet und im Datenspeicher 11 abgelegt werden.Because of the simpler explanation are in 5 only the two with respect to the reference pixel 190 symmetrically arranged pixels 170 and 200 shown, the image curve section 120a respectively. 120b describe. With "si" in each case the distance of the pixels 170 and 200 to the reference picture point 190 referred to as the arc length on the image curve section 120 or as a stretch on the tangent 191 from the pixel 190 to the intersection of the normal in the pixel 170 or 200 can be evaluated. With 191 is the one in the reference picture point 190 at the image curve piece 120 calculated normals, with 171 the in the reference picture point 170 at the image curve piece 120 calculated normals and with 201 the in the reference picture point 200 at the image curve piece 120 called calculated normal. The normals 191 in the reference pixel, the symmetry axis forms with respect to the two image curve sections 120a and 120b or with regard to the pixels 170 and 200 , With 192 is the one in the reference picture point 190 at the image curve piece 120 calculated tangent called. Not shown are the tangents in the pixels 170 and 200 , which can be calculated alternatively or additionally. Alternatively or additionally, the radii of curvature in the pixels can also 170 . 190 and 200 be calculated. The data representing the tangents and / or normals and / or radii of curvature can be stored in the data memory 11 be filed. Likewise, all image coordinates of the pixels, for example the pixels 170 . 190 and 200 that the image curve piece 120 describe in the data memory 11 be filed. Alternatively or additionally, the angle alpha2, that of the connecting lines 190 - 55 and 200 - 55 is limited, and the angle alpha1, that of the connecting lines 190 - 55 and 170 - 55 is limited, calculated and stored in data memory 11 be filed.
Nunmehr werden Gültigkeitsregeln zur Bestimmung des Maßes der Symmetrieeigenschaft von radialsymmetrisch verzeichneten Bildkurvenstücken festgelegt. Die Gültigkeitsregeln legen z. B. das Maß oder den Toleranzbereich fest, innerhalb dessen die Differenz zwischen den Tangenten und/oder Normalen und/oder Krümmungsradien in zwei Bildpunkten, die symmetrisch bezüglich eines Bezugsbildpunktes, zum Beispiel die Symmetriepunkte 170 und 200 bezüglich des Bezugsbildpunktes 190, variieren darf, damit die beiden Bildpunkte einschließlich des Bezugsbildpunktes als zu einer Geraden gehörend ausgewählt werden können, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 abgebildet würde. Dies ist insbesondere der Fall, wenn die Bildkoordinaten der Bildpunkte 170 und 200 in einem vorgegebenen Toleranzbereich symmetrisch zur Normalen 191 im Bezugsbildpunkt 190 und/oder in einem vorgegebenen Toleranzbereich spiegelbildlich zur Normalen 191 sind.Validation rules for determining the degree of the symmetry property of radially symmetrically recorded image curve pieces are now established. The validity rules set z. As the measure or the tolerance range, within which the difference between the tangents and / or normal and / or radii of curvature in two pixels that are symmetrical with respect to a reference pixel, for example, the points of symmetry 170 and 200 with respect to the reference pixel 190 , may vary, so that the two pixels including the reference pixel can be selected as belonging to a straight line, the distortion-free recording in the image plane 60 would be pictured. This is especially the case when the image coordinates of the pixels 170 and 200 in a given tolerance range symmetrical to the normal 191 in the reference picture point 190 and / or in a predetermined tolerance mirrored to the normal 191 are.
Vorzugsweise legen die Gültigkeitsregeln das Maß oder den Toleranzbereich fest, und innerhalb dessen die Differenz zwischen der Tangente und/oder Normale und/oder des Krümmungsradius in einem ersten Bildpunkt, zum Beispiel dem Bildpunkt 170, und der Tangente und/oder Normale und/oder des Krümmungsradius im Bezugsbildpunkt 190 variieren darf, und innerhalb dessen die Differenz zwischen der Tangente und/oder Normale und/oder des Krümmungsradius in einem zweiten Bildpunkt, zum Beispiel dem Bildpunkt 170, und der Tangente und/oder Normale und/oder des Krümmungsradius im Bezugsbildpunktes 190 variieren darf, damit die beiden Bildpunkte 170 und 200 als symmetrisch zum Bezugsbildpunkt 190 erkannt werden, so dass die Bildpunkte 170, 190 und 200 als zu einer Geraden gehörend ausgewählt werden können, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 abgebildet würde.Preferably, the validation rules determine the measure or tolerance range, and within that, the difference between the tangent and / or normal and / or the radius of curvature in a first pixel, for example, the pixel 170 , and the tangent and / or normal and / or the radius of curvature in the reference pixel 190 and within that the difference between the tangent and / or normal and / or the radius of curvature in a second pixel, for example the pixel 170 , and the tangent and / or normal and / or the radius of curvature in the reference pixel 190 may vary so that the two pixels 170 and 200 as symmetrical to the reference pixel 190 be recognized, so that the pixels 170 . 190 and 200 can be selected as belonging to a straight line, the distortion-free recording in the image plane 60 would be pictured.
Hierzu kann der Mikrocontroller 18 unter Anwendung des Bildverarbeitungsalgorithmus folgende Schritte ausführen:
In Schritt d) wird das Maß der Veränderung bzw. die Differenz der Tangenten und/oder der Normalen und/oder der Krümmungsradien, welche jeweils in einem radialsymmetrisch verzeichneten Bildpunkt 170 und 200 der beiden Bildkurventeilstücke 120a bzw. 120b bestimmt worden sind, zur Tangente und/oder Normalen und/oder Krümmungsradius, die im Bezugsbildpunkt 190 bestimmt worden sind, bestimmt und anschließend geprüft wird, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt, und wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte 170, 190, 200 als zu einer Geraden, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera abgebildet würde, gehörend ausgewählt werden.For this purpose, the microcontroller 18 Perform the following steps using the image processing algorithm:
In step d), the measure of the change or the difference between the tangents and / or the normals and / or the radii of curvature, which in each case in a radially symmetrically recorded pixel 170 and 200 the two image curve sections 120a respectively. 120b have been determined, the tangent and / or normal and / or radius of curvature, in the reference pixel 190 have been determined, determined and then checked whether the degree of the changes are each within a predetermined tolerance range, and if so, the respective radially symmetrically recorded pixels 170 . 190 . 200 as to a straight line, the distortion-free recording in the image plane 60 the digital camera would be selected to belong to.
Mit dem zuvor beschriebenen Algorithmus ist es somit möglich, zu prüfen, ob alle extrahierten Bildpunkte, die ein radialsymmetrisch verzeichnetes Bildkurvenstück, zum Beispiel das Bildkurvenstück 120, beschreiben, als zu einer Geraden, die bei verzeichnungsfreier Abbildung in der Bildebene 60 abgebildet würde, gehörend erkannt werden. Die Koordinaten dieser Bildpunkte können dann als Eingabewerte eines später auszuführenden Algorithmus zur Bestimmung eines Satzes radialsymmetrischer Verzeichnungsparameter verwendet werden.With the algorithm described above, it is thus possible to check whether all the extracted pixels, which are a radially symmetric recorded image curve piece, for example the image curve piece 120 , describe, as to a line, the distortion-free mapping in the image plane 60 would be recognized, belonging to be recognized. The coordinates of these pixels can then be used as input values of an algorithm to be executed later for determining a set of radially symmetric distortion parameters.
Angemerkt sei, dass auch die Winkel alpha1 und alpha2 sowie jeweils die Abstände si der Bildpunkte 170 bzw. 200 zum Bezugsbildpunkt 190 herangezogen werden können, um ein Maß der Symmetrieeigenschaft des Bildkurvenstücks 120 bezüglich des Bezugsbildpunktes 190 zu bestimmen. Angemerkt sei, dass die Koordinaten des Bezugsbildpunktes 190 und die Normale, die Tangente und der Krümmungsradius in dem verdeckten Bezugsbildpunkt auch geschätzt werden können, indem die Koordinaten von Nachbarbildpunkten des Bildkurvenstücks und deren Tangenten, Normalen und Krümmungsradien in diesen Bildpunkten ausgewertet werden.It should be noted that the angles alpha1 and alpha2 and the distances si of the pixels 170 respectively. 200 to the reference picture point 190 can be used to measure the Symmetry property of the image curve piece 120 with respect to the reference pixel 190 to determine. It should be noted that the coordinates of the reference pixel 190 and the normal, the tangent, and the radius of curvature in the hidden reference pixel can also be estimated by evaluating the coordinates of neighboring pixels of the image waveform and their tangents, normals, and radii of curvature in those pixels.
Um herauszufinden, ob das Bildkurvenstück 120 bei verzeichnungsfreier Abbildung in der Bildebene 60 eine Gerade wäre, kann neben der Untersuchung von symmetrisch um den Bezugsbildpunkt 190 liegenden Bildpunkte 170 und 200 zusätzlich der Fortschritt, d. h. die kontinuierliche Veränderung der Tangenten und/oder Normalen und/oder Krümmungsradien in Bildpunkten wenigstens eines der Bildkurventeilstücks 120a oder 120b des Bildkurvenstücks 180 geprüft werden. Denn die Tangente und/oder Normale und/oder der Krümmungsradius ändern sich mit zunehmendem Abstand vom Bezugsbildpunkt 190 stetig, wenn nur eine radialsymmetrische Verzeichnung vorliegt.To find out if the image curve piece 120 with distortion-free imaging in the image plane 60 may be a straight line, in addition to the investigation of symmetrical about the reference pixel 190 lying pixels 170 and 200 in addition, the progress, ie the continuous change of the tangents and / or normals and / or radii of curvature in pixels of at least one of the image curve section 120a or 120b of the image curve piece 180 being checked. For the tangent and / or normal and / or the radius of curvature change with increasing distance from the reference pixel 190 continuous, if only a radial symmetric distortion exists.
Hierzu kann der Mikrocontroller 18 unter Anwendung des Bildverarbeitungsalgorithmus folgende Schritte ausführen:
in Schritt d) wird bezüglich wenigstens eines der Bildkurventeilstücks 120a oder 120b das Maß der Veränderung zwischen den Tangenten und/oder den Normalen und/oder den Krümmungsradien, welche in mindestens zwei benachbarten radialsymmetrisch verzeichneten Bildpunkten, zum Beispiel in den Bildpunkten 220 und 210 (6) bestimmt worden sind, bestimmt und anschließend geprüft wird, ob das Maß der Veränderungen jeweils innerhalb eines vorbestimmten Toleranzbereichs liegt, und wenn ja, werden die jeweiligen radialsymmetrisch verzeichneten Bildpunkte 220 und 210 als zu einer Geraden 212, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der digitalen Kamera 10 abgebildet würde, gehörend ausgewählt werden.For this purpose, the microcontroller 18 Perform the following steps using the image processing algorithm:
in step d), with respect to at least one of the image curve section 120a or 120b the degree of change between the tangents and / or the normals and / or the radii of curvature, which in at least two adjacent radially symmetric recorded pixels, for example in the pixels 220 and 210 ( 6 ), and then it is checked whether the measure of the changes is in each case within a predetermined tolerance range, and if so, the respective radially symmetrically recorded pixels are determined 220 and 210 as to a straight line 212 , which in distortion-free recording in the image plane 60 the digital camera 10 would be selected belonging to.
Ferner kann der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus in dem Bezugsbildpunkt die Tangente 192 an dem Bildkurvenstück 120 bestimmen und prüfen, ob zumindest einige der extrahierten radialsymmetrisch verzeichneten Bildpunkte, zum Beispiel die Bildpunkte 170 und 200 zu einer Geraden 192' gehören, die bei verzeichnungsfreier Aufnahme parallel zu der im Bezugsbildpunkt 190 bestimmten Tangente 192 verlaufen würde. Dieser Ansatz beruht auf der Tatsache, dass bei einer radialsymmetrischen Verzeichnungskorrektur der das Bildkurvenstück 120 beschreibenden Bildpunkte der Bezugsbildpunkt 192 in Richtung seiner Normalen zum Symmetriepunkt der Verzeichnung 55 verschoben wird, so dass dann die Tangente in dem verschobenen Bezugsbildpunkt 190 der Geraden 192' entspricht.Furthermore, the microcontroller 18 using the program memory 12 stored image processing algorithm in the reference pixel the tangent 192 at the image curve piece 120 determine and check whether at least some of the extracted radially symmetrically recorded pixels, for example, the pixels 170 and 200 to a straight line 192 ' belong to the distortion-free recording parallel to that in the reference pixel 190 certain tangent 192 would be lost. This approach is based on the fact that in the case of a radially symmetric distortion correction, the image curve piece 120 descriptive pixels of the reference pixel 192 in the direction of its normal to the symmetry point of the distortion 55 is shifted, so that then the tangent in the shifted reference pixel 190 the straight line 192 ' equivalent.
Vorteilhafterweise kann der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus den Abstand der extrahierten Bildpunkte des radialsymmetrisch verzeichneten Bildkurvenstücks 120, das sind zum Beispiel die Bildpunkte 170 und 200, zu der im Bezugsbildpunkt 190 an dem Bildkurvenstück 120 bestimmten Tangente 192 berechnen und Ausreißer-Bildpunkte in Abhängigkeit vom bestimmten Maß der Symmetrieeigenschaft und/oder vom berechneten senkrechten Abstand des jeweiligen radialsymmetrisch verzeichneten Bildpunktes 170 und 200 zur Tangente 192 erkennen und eliminieren. Hierzu wird das Maß der Symmetrieeigenschaft und/oder der berechnete senkrechte Abstand mit vorgegebenen Bezugswerten verglichen. Aus den Vergleichswerten kann der Mikrocontroller 18 dann mit statistischer Sicherheit Ausreißer-Bildpunkte erkennen. Angenommen sei, dass in 5 bereits alle Ausreißer-Bildpunkte eliminiert worden sind.Advantageously, the microcontroller 18 using the program memory 12 stored image processing algorithm, the distance of the extracted pixels of the radially symmetrically recorded image curve piece 120 These are, for example, the pixels 170 and 200 , to the reference picture point 190 at the image curve piece 120 certain tangent 192 calculate and outlier pixels as a function of the determined measure of the symmetry property and / or the calculated vertical distance of the respective radially symmetrically recorded pixel 170 and 200 to the tangent 192 recognize and eliminate. For this purpose, the measure of the symmetry property and / or the calculated vertical distance is compared with predetermined reference values. From the comparison values, the microcontroller 18 then recognize outlier pixels with statistical certainty. Suppose that in 5 already all outlier pixels have been eliminated.
6 zeigt einen vergrößerten Ausschnitt des in 3 gezeigten Bildkurvenstücks 120. Anhand von 6 wird nunmehr erläutert, wie die Kurveneigenschaften in einem beliebigen Bildpunkt 210 bestimmt werden können. Gezeigt sind das Bildkurventeilstück 120a, Bildpunkte 210, 220, 222 und 190 sowie die im Bildpunkt 210 an das Bildkurventeilstück 120a berechnete Tangente 212 und Normale 211. 6 shows an enlarged section of the in 3 shown image curve piece 120 , Based on 6 will now be explained how the curve properties in any pixel 210 can be determined. Shown are the image curve section 120a , Pixels 210 . 220 . 222 and 190 as well as in the pixel 210 to the image curve section 120a calculated tangent 212 and normal 211 ,
Zunächst werden die Bildkoordinaten der Bildpunkte 210, 220 und 222 bestimmt, wobei die Bildpunkte 220 und 222 vorzugsweise symmetrische Nachbarpunkte des Bildpunktes 210 sind. Aus diesen Werten können dann die Normale 211, die Tangente 212 und der Krümmungsradius in dem Bildpunkt 210 berechnet werden. Diese Schritte können zur Bestimmung der Tangente und/oder Normale und/oder des Krümmungsradius in beliebigen Bildpunkten, welche das Bildkurventeilstück 120a beschreiben wiederholt werden. Anschließend kann die Veränderung der Tangente und/oder Normale und/oder des Krümmungsradius in den Bildpunkten mit zunehmenden Abstand vom Bezugsbildpunkt 190 geprüft werden, um herauszufinden, ob die Bildpunkte die das Bildkurventeilstück 120a beschreiben, bei einer verzeichnungsfreien Abbildung zu einer Geraden gehören würden.First, the image coordinates of the pixels 210 . 220 and 222 determines, with the pixels 220 and 222 preferably symmetrical neighboring points of the pixel 210 are. From these values then the normals 211 , the tangent 212 and the radius of curvature in the pixel 210 be calculated. These steps may be used to determine the tangent and / or normal and / or the radius of curvature in arbitrary pixels comprising the image curve section 120a describe repeated. Subsequently, the change in the tangent and / or normal and / or the radius of curvature in the pixels with increasing distance from the reference pixel 190 be checked to see if the pixels are the image curve section 120a describe, would belong to a distortion-free mapping to a straight line.
Angemerkt sei, dass in ähnlicher Weise auch die Kurveneigenschaften zum Beispiel in dem Bildpunkt 220 bestimmt werden können, indem die Bildkoordinaten von Nachbarbildpunkten des Bildpunktes 220, die zur linken bzw. rechten Seite des Bildpunktes liegen, bestimmt werden.It should be noted that in a similar manner, the curve characteristics, for example, in the pixel 220 can be determined by the image coordinates of neighboring pixels of the pixel 220 , which are to the left or right side of the pixel to be determined.
7 zeigt das in 3 dargestellte radialsymmetrisch verzeichnete Bildkurvenstücke 120a, 120b, 120c, Bildpunkte 190, 210, 220, 222, 230 und 240, die Tangente 212 im Bildpunkt 210, und zwar am Bildkurventeilstück 120a, sowie die Normalen 211, 191 und 241 in den Bildpunkten 210, 190 und 240. Ferner ist ein verdeckter Bereich 125 bzw. eine Lücke im Bildkurvenstück 120 dargestellt. 7 shows that in 3 illustrated radially symmetrically recorded image curve pieces 120a . 120b . 120c , Pixels 190 . 210 . 220 . 222 . 230 and 240 , the tangent 212 in the picture point 210 , on the image curve section 120a , as well as the normals 211 . 191 and 241 in the pixels 210 . 190 and 240 , There is also a covered area 125 or a gap in the image curve piece 120 shown.
Anhand von 7 wird illustriert, wie auch bei einer Unterbrechung des Bildkurvenstücks 120 mit Hilfe einer Symmetrieprüfung bezüglich des Bezugsbildpunktes 190 entschieden werden kann, ob das Bildkurvenstück 120c zum Bildkurvenstück 120a und somit auch zum Bildkurvengesamtstück 120 gehört. Wenn ja, bilden die Bildkurvenstücke 120a und 120c zusammen mit dem Bildkurvenstück 120b jeweils ein Bildkurventeilstück des Bildkurvenstücks 120. Angemerkt sei, dass die Tangente 212 und die Normale 211 im Bildpunkt 210 wie hinsichtlich 6 bereits beschrieben, berechnet worden sein können.Based on 7 is illustrated as well as in the case of an interruption of the image curve 120 with the aid of a symmetry check with respect to the reference pixel 190 It can be decided whether the image curve piece 120c to the image curve piece 120a and thus also to the image curve piece 120 belongs. If so, form the image curve pieces 120a and 120c together with the image curve piece 120b in each case one image curve section of the image curve piece 120 , It should be noted that the tangent 212 and the normals 211 in the picture point 210 as regards 6 already described, may have been calculated.
Zunächst sei angenommen, dass der Mikrocontroller 18 unter Anwendung des im Programmspeicher 12 hinterlegten Bildverarbeitungsalgorithmus mittels der in Verbindung mit 5 erläuterten Symmetrieprüfung das Ende bzw. die Unterbrechung des Bildkurvenstücks 120 an der Stelle 125 erkannt hat. Weiterhin sei angenommen, dass der Mikrocontroller 18 dazu ausgebildet ist, eine Symmetrieprüfung bezüglich des Bezugsbildpunktes 190 erneut zu starten, indem die Symmetrie zwischen dem links vom Bezugsbildpunkt 190 liegenden Bildkurvenstück 120a und dem rechts vom verdeckten Bereich 125 liegenden Bildkurvenstück 120c geprüft wird. Hierzu wird vorteilhafterweise mit dem zuvor anhand der 6 beschriebenen Verfahren zur Bestimmung der Tangente 212, der Normale 211 und/oder des Krümmungsradius im Bildpunkt 210 die Tangente (nicht dargestellt) im Bildpunkt 241, die Normale 241 und/oder der Krümmungsradius im Bildpunkt 240 an dem Bildkurvenstück 120c ermittelt. Anschließend wird der Mikrocontroller 18 das anhand der 5 beschriebene Verfahren ausführen, um ein Maß für die Symmetrieeigenschaft zwischen den Bildkurvenstücken 120a und 120c zu bestimmen. In der Praxis werden hierzu zweckmäßigerweise mehr als die beiden Bildpunkte 210 und 240 verwendet. Angenommen sei, dass der Mikrocontroller 18 festgestellt hat, dass die Abweichungen bzw. Differenzen zwischen den im Bildpunkt 210 bestimmten Kurveneigenschaften, den im Bezugsbildpunkt 190 bestimmten Kurveneigenschaften und den im Bildpunkt 240 bestimmten Kurveneigenschaften jeweils innerhalb eines vorgegebenen Toleranzbereichs liegen. Der Mikrocontroller 18 entscheidet deshalb, dass die Bildkurvenstücke 120a und 120c Bildkurventeilstücke des Bildkurvenstücks 120 sind. Folglich werden alle extrahierten Bildpunkte, die die Bildkurventeilstücke 120a, 120b und 120c beschreiben als Bildpunkte des Bildkurvenstücks 120 ausgewählt, die für eine nachfolgende Bestimmung von radialsymmetrischen Verzeichnungsparameter verwendet werden können. Im Datenspeicher 11 können nunmehr die um Ausreißer-Bildpunkte bereinigte Bildpunkte, die das Bildkurvenstück 120 beschreiben zur weiteren Verwendung abgelegt werden.First, suppose that the microcontroller 18 using the program memory 12 stored image processing algorithm by means of in conjunction with 5 explained symmetry check the end or the interruption of the Bildkurvenstücks 120 at the point 125 has recognized. Furthermore, suppose that the microcontroller 18 is designed to perform a symmetry test with respect to the reference pixel 190 start again by changing the symmetry between the left of the reference pixel 190 lying image curve piece 120a and the right of the hidden area 125 lying image curve piece 120c is checked. For this purpose, advantageously with the previously using the 6 described method for determining the tangent 212 , the normal 211 and / or the radius of curvature in the pixel 210 the tangent (not shown) in the pixel 241 , the normal 241 and / or the radius of curvature in the pixel 240 at the image curve piece 120c determined. Subsequently, the microcontroller 18 that on the basis of 5 describe a measure of the symmetry property between the image curves 120a and 120c to determine. In practice, more than the two pixels are expediently for this purpose 210 and 240 used. Suppose that the microcontroller 18 has determined that the deviations or differences between the pixels 210 certain curve properties, the in the reference pixel 190 certain curve properties and the in the pixel 240 certain curve properties are each within a predetermined tolerance range. The microcontroller 18 therefore decides that the image curve pieces 120a and 120c Image curve sections of the image curve piece 120 are. As a result, all the extracted pixels that comprise the image trace sections 120a . 120b and 120c describe as pixels of the image curve piece 120 which can be used for a subsequent determination of radially symmetric distortion parameters. In the data store 11 Now, the pixels that have been cleared by outlier pixels, which represent the image curve piece 120 be stored for further use.
Der Mikrocontroller 18 kann daher dazu ausgebildet sein, unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus die Verfahrensschritte a) bis d) nicht nur für die Bildkurvenstücke 120a und 120b, sondern auch für wenigstens ein weiteres radialsymmetrisch verzeichnetes Bildkurvenstück 120c wiederholen und in Abhängigkeit von den in den jeweiligen Bildpunkten 210 und 240 bestimmten Kurveneigenschaften prüfen, ob die radialsymmetrisch verzeichneten Bildkurvenstücke 120a, 120b und 120c zu einer einzigen Geraden gehören, die bei verzeichnungsfreier Aufnahme in der Bildebene 60 der Digitalkamera 10 abgebildet würde.The microcontroller 18 Therefore, it may be configured to execute the program memory 12 stored image processing algorithm, the method steps a) to d) not only for the image curve pieces 120a and 120b , but also for at least one further radially symmetrically recorded image curve piece 120c repeat and depending on the in the respective pixels 210 and 240 certain curve properties, check whether the radially symmetric recorded image curve pieces 120a . 120b and 120c belong to a single line, which in distortion-free recording in the image plane 60 the digital camera 10 would be pictured.
Der Mikrocontroller 18 kann ferner dazu ausgebildet sein, unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus die Länge eines jeweiligen radialsymmetrisch verzeichneten Bildkurvenstücks, das sind zum Beispiel die Bildkurvenstücke 120a, 120c und das Bildkurvenstück 120c, zu bestimmen.The microcontroller 18 may also be configured to execute in the program memory 12 stored image processing algorithm, the length of a respective radially symmetrically recorded image curve piece, which are, for example, the image curve pieces 120a . 120c and the image curve piece 120c to determine.
Angemerkt sei ferner, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus auch die Genauigkeit der Koordinaten eines Bildpunktes und die Genauigkeit der in dem jeweiligen Bildpunkt bestimmten Tangente und/oder Normale und/oder der Krümmungsradius bestimmen kann.It should also be noted that the microcontroller 18 under execution of the program memory 12 stored image processing algorithm can also determine the accuracy of the coordinates of a pixel and the accuracy of the determined in the respective pixel tangent and / or normal and / or the radius of curvature.
Der Programmspeicher 12 kann als ein Beispiel eines digitalen Speichermediums betrachtet werden, in dem Anweisungen gespeichert sind, die, wenn sie zum Beispiel vom Mikrocontroller 18 ausgeführt werden, dass beschriebene Verfahren ausführen.The program memory 12 can be considered as an example of a digital storage medium in which instructions are stored which, for example, by the microcontroller 18 be executed to perform the described method.
Angenommen sei nunmehr, dass der Mikroprozessor 18 gemäß dem zuvor beschriebenen Verfahren und unter Ausführung des im Programmspeicher 12 hinterlegten Bildverarbeitungsprogramms eine Vielzahl von verzeichneten Bildpunkten eines radialsymmetrisch verzeichneten Bildkurvenstücks 280 aus 8 vorab ausgewählt und deren Bildkoordinaten und, sofern bestimmt auch deren Genauigkeiten im Datenspeicher 11 hinterlegt hat. Mit anderen Worten: Die ausgewählten verzeichneten Bildpunkte sind das Ergebnis einer Symmetrieprüfung des Bildkurvenstücks 280 und einer Prüfung der Veränderungen zwischen den in benachbarten Bildpunkten an dem Bildkurvenstück 280 bestimmten Kurveneigenschaften. Ein Ausschnitt des radialsymmetrisch verzeichneten Bildkurvenstücks 280 und einige der ausgewählten verzeichneten Bildpunkte 270, 273, 277 und 190, die den Ausschnitt des Bildkurvenstücks beschreiben, sind in 8 gezeigt. Der gezeigte Ausschnitt des gestrichelten Bildkurvenstücks 280 setzt sich beispielsweise aus drei Bildkurventeilstücken 281, 282 und 283 zusammen, die vom Mikroprozessor 18 zuvor als zusammengehörend und zum Bildkurvenstück 280 gehörend bewertet worden sind. Lediglich der einfachen Erläuterung wegen, wird nur der gezeigte Ausschnitt des Bildkurvenstücks 280, der links vom Bezugsbildpunkt 190 liegt, bei der folgenden Beschreibung betrachtet.Now suppose that the microprocessor 18 according to the method described above and under execution of the program memory 12 stored image processing program a plurality of recorded pixels of a radially symmetrically recorded image curve piece 280 out 8th pre-selected and their image coordinates and, if determined, their accuracies in the data memory 11 has deposited. In other words, the selected recorded pixels are the result of a symmetry test of the image curve piece 280 and examining the changes between those in adjacent pixels on the image waveform 280 certain Curve characteristics. A section of the radially symmetrically recorded image curve piece 280 and some of the selected recorded pixels 270 . 273 . 277 and 190 that describe the section of the image curve are in 8th shown. The shown section of the dashed image curve piece 280 consists, for example, of three image curve sections 281 . 282 and 283 together, from the microprocessor 18 previously as belonging together and to the image curve piece 280 been valued. For the sake of simple explanation, only the portion of the image curve piece shown will become 280 , the left of the reference pixel 190 is considered in the following description.
Nunmehr greift der Mikroprozessor 18 auf einen zum Beispiel im Programmspeicher 12 abgelegten Minimierungsalgorithmus zum Berechnen eines Satzes radialsymmetrischer Verzeichnungsparameter zu.Now the microprocessor attacks 18 on one, for example, in program memory 12 stored minimization algorithm for computing a set of radially symmetric distortion parameters.
Der Mikrocontroller 18 führt dann den Schritt e) aus, nach dem hinsichtlich des ersten Bildkurvenstücks, das ist beispielsweise das Bildkurvenstück 280, ein Satz erster radialsymmetrischer Verzeichnungsparameter unter Ausführung eines Algorithmus zur Minimierung des Wertes einer ersten Zielfunktion in Abhängigkeit von den in Schritt d) ausgewählten Bildpunkten bestimmt wird. Insbesondere führt der Mikrocontroller 18 eine Ausgleichungsrechnung mit den ausgewählten Bildpunkten durch, um in einem Guss den Satz erster radialsymmetrischer Verzeichnungsparameter sowie einen Satz Geradenparameter zur Berechnung einer Ausgleichsgeraden für das erste Bildkurvenstück 280 zu bestimmen. Angemerkt sei an dieser Stelle, dass mit der ersten Zielfunktion ein Satz radialsymmetrischer Verzeichnungsparameter und eine Ausgleichsgerade bestimmt werden kann.The microcontroller 18 then performs step e), after that with respect to the first image waveform, that is, for example, the image waveform 280 , a set of first radially symmetric distortion parameters is determined using an algorithm for minimizing the value of a first objective function in dependence on the pixels selected in step d). In particular, the microcontroller performs 18 an adjustment calculation with the selected pixels to in one cast the set of first radially symmetric distortion parameters and a set of straight line parameters for calculating a compensation line for the first image curve piece 280 to determine. It should be noted at this point that the first objective function can be used to determine a set of radially symmetric distortion parameters and a compensation straight line.
Gemäß einem bevorzugten Ausführungsbeispiel kann der Mikrocontroller 18 die folgenden Schritte e1) bis e5) ausführen:
In Schritt e1) werden unter Verwendung eines Satzes vorbestimmter radialsymmetrischer Verzeichnungsparameter die Bildkoordinaten der in Schritt d) ausgewählten radialsymmetrisch verzeichneten Bildpunkte 270–279 und 190 des ersten radialsymmetrisch verzeichneten Bildkurvenstücks 280 korrigiert und in Abhängigkeit von den korrigierten Bildkoordinaten ein Satz erster Geradenparameter bestimmt, welche eine Ausgleichsgerade festlegen. Vorzugsweise enthält der Satz vorbestimmter Verzeichnungsparameter unter Anlehnung an die Gleichungen 1 und 2 zwei mit k3 und k5 bezeichnete Verzeichnungsparameter. Die Startwerte der beiden Verzeichnungsparameter k3 und k5 werden vorab bestimmt und zum Beispiel im Datenspeicher 11 gespeichert. Das Startwertepaar für k3 und k5 kann beliebig gewählt werden solange gewährleistet bleibt, das der nachfolgende iterative Lösungsprozess zum globalen Minimum des Wertes der Zielfunktion konvergiert. In der Praxis werden vorzugsweise jedoch Startwerte verwendet, die sich an den vom Hersteller vorgegebenen technischen Daten der in der Digitalkamera 10 eingesetzten Linsen orientieren. Alternativ können als erste Startwerte k3 und k5 zu Null gewählt werden und danach die Konvergenz im Iterationsprozess des linearen Ausgleichungsmodell der nichtlinearen algebraischen Zusammenhänge geprüft werden.According to a preferred embodiment, the microcontroller 18 perform the following steps e1) to e5):
In step e1), using a set of predetermined radially symmetric distortion parameters, the image coordinates of the radially symmetrically recorded pixels selected in step d) are determined 270 - 279 and 190 of the first radially symmetrically recorded image curve piece 280 corrected and determined in dependence on the corrected image coordinates, a set of first straight line parameters which define a compensation line. The set of predetermined distortion parameters preferably contains two distortion parameters labeled k3 and k5, based on equations 1 and 2. The starting values of the two distortion parameters k3 and k5 are determined in advance and, for example, in the data memory 11 saved. The starting value pair for k3 and k5 can be chosen arbitrarily as long as it is ensured that the subsequent iterative solution process converges to the global minimum of the value of the target function. In practice, however, starting values are preferably used, which are based on the specifications given by the manufacturer in the digital camera 10 oriented lenses. Alternatively, the first starting values k3 and k5 can be selected to be zero, and then the convergence in the iteration process of the linear equalization model of the nonlinear algebraic relationships can be checked.
Das vorgegebene Startwertepaar der beiden Verzeichnungsparameter k3 und k5 kann dann zum Beispiel in die Gleichungen 1 und 2 eingesetzt werden, wobei die Gleichungen 1 und 2 für jeden radialsymmetrisch verzeichneten Bildpunkt, hier beispielhaft 270 bis 279 und 190 berechnet werden, wobei nur die Punktnummern 270, 273, 277 und 190 in 8 abgebildet sind. In der Praxis existieren zahlreiche Zwischenpunkte zwischen 270 und 279 sowie zwischen 279 und 190. Die Berechnung liefert anschließend verzeichnungskorrigierte Bildkoordinaten für jeden der Bildpunkte. Die verzeichnungskorrigierten Bildpunkte sind in 8 mit dem Zusatz k in der Bezeichnung gekennzeichnet, also z. B. 270k aus 270 folgend. In 9 sind aber nur die verzeichnungskorrigierten Bildpunkte enthalten, die die zu durchlaufenden Symmetrie- und Ausreißer-Prüfungen bestanden haben, nämlich 270k, 271k, 272k, 278k, 279k und 190k.The predetermined starting value pair of the two distortion parameters k3 and k5 can then be used, for example, in equations 1 and 2, the equations 1 and 2 for each radially symmetrically recorded pixel, here by way of example 270 to 279 and 190 are calculated, with only the point numbers 270 . 273 . 277 and 190 in 8th are shown. In practice, there are numerous intermediate points between 270 and 279 as well as between 279 and 190 , The calculation then provides distortion-corrected image coordinates for each of the pixels. The distortion corrected pixels are in 8th marked with the addition k in the name, ie z. B. 270k out 270 following. In 9 but only the distortion-corrected pixels are included, which have passed through the symmetry and outlier tests, namely 270k . 271K . 272k . 278K . 279K and 190k ,
Mit Hilfe von zwei korrigierten Bildpunkten kann dann als erste grobe Näherung in an sich bekannter Weise ein Satz von Geradenparametern bestimmt werden, die zu einer Ausgleichsgeraden gehören, wobei hierbei der Sonderfall vorliegt, dass bei der Nutzung von nur 2 Punkten die Gerade eindeutig ohne Überbestimmungen und ohne Ausgleichungsrechnung und ohne Iteration direkt berechenbar ist.With the aid of two corrected pixels, a set of straight line parameters which belong to a compensation straight line can then be determined as the first rough approximation in a manner known per se, with the special case being that, when only 2 points are used, the straight line is unambiguous without overdeterminations and can be calculated directly without adjustment calculation and without iteration.
In Schritt e2) wird ein Satz erster Korrekturwerte für den in Schritt e1) verwendeten Satz radialsymmetrischer Verzeichnungsparameter und ein Satz zweiter Korrekturwerte für den in Schritt e1) bestimmten Satz von ersten Geradenparametern unter Ausführung eines Algorithmus zur Minimierung des Wertes der ersten Zielfunktion in Abhängigkeit von dem in Schritt e1) bestimmten Satz erster Geradenparameter und dem in Schritt e1) verwendeten Satz radialsymmetrischer Verzeichnungsparameter bestimmt.In step e2), a set of first correction values is used for the set of radially symmetric distortion parameters used in step e1) and a set of second correction values for the set of first straightness parameters determined in step e1), executing an algorithm for minimizing the value of the first objective function determined in step e1) set of first straight line parameters and the set of radially symmetric distortion parameters used in step e1).
Der Minimierungsalgorithmus kann als erste Zielfunktion beispielsweise die Summe der quadratischen Abstände der Bildpunkte zu einer Gerade – z. B. basierend auf der Parametrisierung der Hesseschen Normalform – minimieren, wie dies beispielsweise in dem oben zitierten Aufsatz „Robust line-based calibration of lence distortion from a single view” insbesondere bezüglich der Gleichungen 15–17 beschrieben wird. Als Wert der Zielfunktion liefert der Minimierungsalgorithmus zum Beispiel die Summe der quadratischen Abstände der verzeichnungskorrigierten Bildpunkte 270k bis 279k und 190k zur ersten Ausgleichsgerade 260a. Gegebenenfalls kann dieser Wert noch normiert werden, indem er durch die Redundanz dividiert wird, wobei die Redundanz definiert ist als Differenz aus Anzahl an Beobachtungen, das sind die ausgewählten verzeichnungskorrigierten Bildpunkte, und der Anzahl an Unbekannten, das sind die ersten Geradenparameter. Werden die radialsymmetrischen Verzeichnungsparameter zugleich in einem Guss mit den Geradenparametern geschätzt, so ist die Redundanz bei der Anzahl der Unbekannten um die zusätzliche Anzahl an Unbekannten für die Verzeichnung zu korrigieren was dem Fachmann auf dem Gebiet der Ausgleichung bekannt ist.The minimization algorithm can be the first target function, for example, the sum of the square distances of the pixels to a straight line - z. B. based on the parameterization of the Hessian normal form - minimize, as for example, in the above-cited essay "Robust line-based calibration of lence distortion from a single view" in particular with respect to the equations 15- 17 will be described. As a value of the objective function, for example, the minimization algorithm provides the sum of the squared distances of the distortion-corrected pixels 270k to 279K and 190k to the first equalizer 260a , Optionally, this value can be normalized by dividing it by the redundancy, the redundancy being defined as the difference between the number of observations, that is the selected distortion-corrected pixels, and the number of unknowns, that is the first straight line parameters. If the radially symmetric distortion parameters are also estimated in one cast with the line parameters, then the redundancy in the number of unknowns is to correct the additional number of unknowns for the distortion, which is known to the person skilled in the art of adjustment.
In Schritt e3) wird geprüft, ob der in Schritt e2) bestimmte Wert der Zielfunktion einen vorgegeben Schwellwert erreicht oder unterschritten hat. Der Schwellwert ist vorzugsweise 10–n, mit n größer als 1. Wenn der Wert den Schwellwert erreicht oder unterschritten hat, wird in Schritt e4) ein Satz korrigierter radialsymmetrischer Verzeichnungsparameter gewonnen, indem der in Schritt e2) zuletzt verwendete Satz radialsymmetrischer Verzeichnungsparameter um den in Schritt e2) zuletzt bestimmten Satz erster Korrekturwerte korrigiert wird. Wenn nicht, werden in Schritt e5) die Schritte e2) und e3) solange wiederholt, bis der Wert der Zielfunktion den Schwellwert erreicht hat, wobei Schritt e2) durch folgende Schritte ersetzt wird:
- – Korrigieren des zuletzt verwendeten Satzes radialsymmetrischer Verzeichnungsparameter um den zuletzt bestimmten Satz erster Korrekturwerte und des zuletzt verwendeten Satzes erster Geradenparameter um den zuletzt bestimmten Satz zweiter Korrekturwerte;
- – Bestimmen eines neuen Satzes erster Korrekturwerte für den zuletzt korrigierten Satz radialsymmetrischer Verzeichnungsparameter und eines neuen Satzes zweiter Korrekturwerte für den zuletzt korrigierten Satz erster Geradenparameter, indem unter Ausführung des Algorithmus zur Minimierung des Wertes der ersten Zielfunktion in Abhängigkeit von dem zuletzt korrigierten Satz radialsymmetrischer Verzeichnungsparameter und dem zuletzt korrigierten Satz erster Geradenparameter bestimmt wird.
In step e3), it is checked whether the value of the target function determined in step e2) has reached or fallen below a predefined threshold value. The threshold value is preferably 10 -n , with n greater than 1. If the value has reached or fallen below the threshold, a set of corrected radially symmetric distortion parameters is obtained in step e4) by using the set of radially symmetric distortion parameters last used in step e2) Step e2) last set of first correction values is corrected. If not, steps e2) and e3) are repeated in step e5) until the value of the objective function has reached the threshold, wherein step e2) is replaced by the following steps: - - correcting the last-used set of radially symmetric distortion parameters by the last-determined set of first correction values and the last-used set of first straight-line parameters by the last-determined set of second correction values;
- Determining a new set of first correction values for the last corrected set of radially symmetric distortion parameters and a new set of second correction values for the last corrected set of first straight line parameters by executing the algorithm for minimizing the value of the first target function in dependence on the last corrected set of radially symmetric distortion parameters and the last corrected set of first straight line parameter is determined.
Wir betrachten nunmehr die 8 und 9, um zu illustrieren, wie Ausreißer-Bildpunkte erkannt und eliminiert werden können, so dass präzisere Geradenparameter und somit präzisere Verzeichnungsparameter bestimmt werden können. Optional können in Schritt e1) folgende Schritte vom Mikrocontroller 18 ausgeführt werden:
- A) Bestimmen der Kurveneigenschaften in den korrigierten Bildpunkten 270k bis 279k und 190k.
We now consider the 8th and 9 to illustrate how outlier pixels can be detected and eliminated so that more precise line parameters and thus more precise distortion parameters can be determined. Optionally, in step e1), the following steps may be taken by the microcontroller 18 to be executed: - A) Determine the curve properties in the corrected pixels 270k to 279K and 190k ,
Die Kurveneigenschaften werden in den verzeichnungskorrigierten Bildpunkten analog zu dem Verfahren bestimmt, welches in Verbindung mit den 3 bis 7 hinsichtlich der radialsymmetrisch verzeichneten Bildpunkte erläutert worden ist. Als Kurveneigenschaften können der Abstand eines verzeichnungskorrigierten Bildpunktes zur ersten Ausgleichsgerade 260a und/oder die Tangente und/oder die Normale und/oder der Krümmungsradius in dem jeweiligen verzeichnungskorrigierten Bildpunkt bestimmt werden.
- B) Prüfen in Abhängigkeit von den in den korrigierten Bildpunkten 270k bis 279k und 190k bestimmten Kurveneigenschaften, ob zumindest einige der korrigierten Bildpunkte 270k bis 279k und 190k zu der ersten Ausgleichsgerade 260a, die durch den in Schritt e1) bestimmten Satz erster Geradenparametern beschrieben wird, im statistischen Sinne gehören und Auswählen nur der korrigierten Bildpunkte, die zur ersten Ausgleichsgeraden 260a gehören. Diese ausgewählten korrigierten Bildpunkte sind in 9 dargestellt, nämlich 270k, 271k, 272k, 278k, 279k und 190k.
The curve properties are determined in the distortion-corrected pixels analogous to the method used in conjunction with FIGS 3 to 7 has been explained with respect to the radially symmetric recorded pixels. Curve properties can be the distance of a distortion-corrected pixel to the first equalization line 260a and / or the tangent and / or the normal and / or the radius of curvature in the respective distortion-corrected pixel are determined. - B) Checking as a function of those in the corrected pixels 270k to 279K and 190k certain curve properties, whether at least some of the corrected pixels 270k to 279K and 190k to the first equalizer 260a , which is described by the set of first straight line parameters determined in step e1), in the statistical sense belong and select only the corrected pixels which are the first straight line of compensation 260a belong. These selected corrected pixels are in 9 represented, namely 270k . 271K . 272k . 278K . 279K and 190k ,
Beim Prüfen des Abstandes wird geprüft, ob der bestimmte Abstand eines verzeichnungskorrigierten Bildpunktes größer als ein vorgegebener zulässiger Bezugsabstand ist. Im vorliegenden Beispiel überschreitet der Abstand d des verzeichnungskorrigierten Bildpunktes 276k zur ersten Ausgleichsgerade 260a den Bezugsabstand. Der verzeichnungskorrigierte Bildpunkt 276k wird somit vom Mikrocontroller 18 als Ausreißer erkannt und eliminiert.When checking the distance, it is checked whether the determined distance of a distortion-corrected pixel is greater than a predetermined allowable reference distance. In the present example, the distance d of the distortion-corrected pixel exceeds 276K to the first equalizer 260a the reference distance. The distortion-corrected pixel 276K is thus from the microcontroller 18 detected as outliers and eliminated.
Hinsichtlich der Tangente, der Normalen und/oder des Krümmungsradius in einem verzeichnungskorrigierten Bildpunkt kann jeweils die Abweichung gegenüber der Richtung der Tangente, der Richtung der Normalen und/oder dem Wert des Krümmungsradius, die im verzeichnungskorrigierten Bezugsbildpunkt 190k bestimmt worden sind, geprüft werden. Liegen die Abweichungen außerhalb eines vorgegebenen zulässigen Bereichs, werden die jeweiligen verzeichnungskorrigierten Bildpunkte als Ausreißer erkannt und eliminiert. In dem in 8 gezeigten Beispiel sei angenommen, dass das Maß der Abweichung zwischen der Richtung der Normale im Bezugsbildpunkt 190k und der jeweiligen Richtung der Normalen der verzeichnungskorrigierten Bildpunkte 273k bis 275k und 277k einen vorgegebenen Bereich überschreitet. Folglich werden auch die verzeichnungskorrigierten Bildpunkte 273k bis 275k und 277k als Ausreißer erkannt und eliminiert.
- C) Nunmehr wird ein verbesserter Satz erster Geradenparameter in Abhängigkeit von zwei der ausgewählten korrigierten Bildpunkte 270k bis 272k, 278k 279k und 190k bestimmt, zu dem die verbesserte zweite Ausgleichsgerade 260b gehört, die in 9 gezeigt ist. Angemerkt sei, dass zur Bestimmung der zweiten Ausgleichsgerade 260b der gleiche Verzeichnungsparametersatz wie für die jeweilige erste Ausgleichsgerade 260a verwendet worden ist. Allgemein gesprochen: Der Ausreißertest und die Aussortierung von Ausreißerbildpunkten kann zur Verbesserung des Ausreißertests derart variiert werden, dass bzgl. einer Ausgleichungsgeraden i immer nur ein einziger Bildpunkt verworfen wird und danach jeweils eine weitere neue Ausgleichungsgerade (i + 1) berechnet wird, mittels derer die Prüfung auf einen weiteren Ausreißertest für den nächsten zu verwerfenden Bildpunkt erfolgt.
With respect to the tangent, the normal and / or the radius of curvature in a distortion-corrected pixel, the deviation relative to the direction of the tangent, the direction of the normal and / or the value of the radius of curvature in the distortion-corrected reference pixel 190k have been determined. If the deviations lie outside a predetermined permissible range, the respective distortion-corrected pixels are identified as outliers and eliminated. In the in 8th For example, suppose that the measure of the deviation between the direction of the normal in the reference pixel 190k and the respective direction of the normal of the distortion-corrected pixels 273K to 275k and 277K exceeds a predetermined range. Consequently, the distortion-corrected pixels also become 273K to 275k and 277K detected as outliers and eliminated. - C) Now, an improved set of first line parameters will be dependent on two of the selected corrected pixels 270k to 272k . 278K 279K and 190k determined, to which the improved second equalizer 260b heard in 9 is shown. It should be noted that to determine the second best-fit line 260b the same distortion parameter set as for the respective first compensation straight line 260a has been used. Generally speaking, in order to improve the outlier test, the outlier test and the sort out of outlier image points can be varied in such a way that only one single pixel is ever rejected with respect to an equalization line and then a further new equalization line (i + 1) is calculated by which the Check for a further outlier test for the next pixel to be discarded.
In dem zuletzt geschilderten optionalen Fall wird in Schritt e1) vorzugsweise solange ein Satz verbesserter erster Geradenparameter bestimmt, bis kein Ausreißerbildpunkt mehr gefunden wird. Dieser Satz wird dann in den Folgeschritten verwendet.In the optional case described last, in step e1) preferably a set of improved first straight line parameters is determined until no outlier pixel is found. This sentence will then be used in the following steps.
Um einen präziseren Satz von radialsymmetrischen Verzeichnungsparameter zu bestimmen, können mehrere verzeichnete Bildkurvenstücke berücksichtigt.To determine a more precise set of radially symmetric distortion parameters, multiple recorded image curves can be considered.
So kann der Mikrocontroller 18 unter Ausführung der im Programmspeicher 12 gespeicherten Bildverarbeitungsalgorithmen zum Beispiel die Schritte a) bis d) für wenigstens ein weiteres in der Bildebene 60 liegendes verzeichnetes Bildkurvenstück wiederholen. Das weitere Bildkurvenstück kann das in 3 gezeigte Bildkurvenstück 130 sein. In Schritt e) kann dann hinsichtlich des Bildkurvenstücks 130 ein Satz zweiter radialsymmetrischer Verzeichnungsparameter unter Ausführung des Algorithmus zur Minimierung des Wertes der ersten Zielfunktion in Abhängigkeit von den in Schritt d) ausgewählten Bildpunkten, die das wenigstens eine weitere Bildkurvenstück 130 beschreiben bestimmt werden. Analog zu den Erläuterungen hinsichtlich des Bildkurvenstücks 280 können die Verfahrensschritte e1) bis e5) auf das Bildkurvenstück 130 angewandt werden. In einfacher Weise kann ein für alle dargestellten Bildkurvenstücke verwendbarer Satz radialsymmetrischer Verzeichnungsparameter durch Mittelung des Satzes erster Verzeichnungsparameter und des wenigstens einen Satzes zweiter Verzeichnungsparameter bestimmt werden.So can the microcontroller 18 under execution of the program memory 12 stored image processing algorithms, for example, the steps a) to d) for at least one further in the image plane 60 repeat the recorded image curve piece. The further picture curve piece can be found in the 3 shown image curve piece 130 be. In step e) can then with respect to the Bildkurvenstücks 130 a set of second radially symmetric distortion parameters executing the algorithm for minimizing the value of the first objective function as a function of the pixels selected in step d) that comprise the at least one further image waveform 130 be determined. Analogous to the explanations regarding the image curve piece 280 can process steps e1) to e5) on the Bildkurvenstück 130 be applied. In a simple manner, a set of radially symmetric distortion parameters that can be used for all displayed image curve pieces can be determined by averaging the set of first distortion parameters and the at least one set of second distortion parameters.
Alternativ können vom Mikrocontroller 18 die Schritte a) bis d) für das erste Bildkurvenstück 280 und für wenigstens ein weiteres Bildkurvenstück, zum Beispiel das Bildkurvenstück 130, ausgeführt werden. Anschließend können folgende Schritte ausgeführt werden:
Bestimmen, hinsichtlich des ersten Bildkurvenstücks 280 und des wenigstens einen weiteren Bildkurvenstücks 130 eines einzigen Satzes radialsymmetrischer Verzeichnungsparameter unter Ausführung eines Algorithmus zur Minimierung des Wertes einer zweiten Zielfunktion in Abhängigkeit von den in Schritt d) ausgewählten Bildpunkten, die das erste Bildkurvenstück 280 und das wenigstens eine weitere Bildkurvenstück 130 beschreiben.Alternatively, from the microcontroller 18 the steps a) to d) for the first image curve piece 280 and for at least another image curve piece, for example the image curve piece 130 to be executed. Then the following steps can be performed:
Determining, with regard to the first image curve piece 280 and the at least one further image curve piece 130 of a single set of radially symmetric distortion parameters, executing an algorithm for minimizing the value of a second objective function in response to the pixels selected in step d) that comprise the first image waveform 280 and that at least one more image curve piece 130 describe.
Der Unterschied zwischen der ersten und zweiten Zielfunktion besteht lediglich darin, dass mit der ersten Zielfunktion neben einem einzigen Satz von radialsymmetrischen Verzeichnungsparametern auch ein Satz Geradenparameter zur Bestimmung nur einer Ausgleichsgeraden geschätzt werden kann, während mit der zweiten Zielfunktion neben einem einzigen Satz von radialsymmetrischen Verzeichnungsparametern wenigstens zwei verschiedene Sätze Geradenparameter zur Bestimmung von wenigstens zwei Ausgleichsgeraden geschätzt werden können.The only difference between the first and second objective functions is that the first objective function can estimate not only a single set of radially symmetric distortion parameters, but also a set of straight line parameters to determine just a least squares curve, while using the second objective function in addition to a single set of radially symmetric distortion parameters two different sets of straight line parameters can be estimated to determine at least two best-fit lines.
Insbesondere kann der Mikrocontroller 18 einen Algorithmus ausführen, der folgende Schritte umfasst:
Ausführen der Schritte a) bis d) für das erste Bildkurvenstück 280 und für mindestens ein weiteres Bildkurventeilstück 130;
- e1) Korrigieren unter Verwendung eines einzigen Satzes vorbestimmter radialsymmetrischer Verzeichnungsparameter der Bildkoordinaten der in Schritt d) ausgewählten radialsymmetrisch verzeichneten Bildpunkte 270–279 und 190 des ersten radialsymmetrisch verzeichneten Bildkurvenstücks 280 und der Bildkoordinaten der in Schritt d) ausgewählten radialsymmetrisch verzeichneten Bildpunkte des mindestens einen weiteren radialsymmetrisch verzeichneten Bildkurvenstücks 130 und Bestimmen in Abhängigkeit von den korrigierten Bildkoordinaten des ersten Bildkurvenstücks 280 einen Satz erster Geradenparameter und in Abhängigkeit von den korrigierten Bildkoordinaten des mindestens einen weiteren Bildkurvenstücks 130 jeweils einen Satz zweiter Geradenparameter;
- e2) Bestimmen eines Satzes erster Korrekturwerte für den in Schritt e1) verwendeten Satz radialsymmetrischer Verzeichnungsparameter, eines Satzes zweiter Korrekturwerte für den in Schritt e1) bestimmten Satz erster Geradenparameter und einen Satz dritter Korrekturwerte für den in Schritt e1 bestimmten Satz zweiter Geradenparameter, indem unter Ausführung eines Minimierungsalgorithmus der Wert einer zweiten Zielfunktion in Abhängigkeit von dem in Schritt e1) bestimmten Satz erster Geradenparameter, von dem in Schritt e1) bestimmten Satz zweiter Geradenparameter und dem in Schritt e1) verwendeten Satz radialsymmetrischer Verzeichnungsparameter bestimmt wird;
- e3) Prüfen, ob der in Schritt e2) bestimmte Wert der Zielfunktion einen vorgegebenen Schwellenwert erreicht oder unterschritten hat; wenn ja, dann
- e4) Gewinnen eines korrigierten Satzes radialsymmetrischer Verzeichnungsparameter, indem der in Schritt e2) zuletzt verwendete Satz radialsymmetrischer Verzeichnungsparameter um den in Schritt e2) zuletzt bestimmten Satz erster Korrekturwerte korrigiert wird; sonst
i) Wiederholen der Schritte e2) und e3) solange bis der Wert der zweiten Zielfunktion den Schwellwert erreicht oder unterschritten hat, wobei Schritt e2) durch folgende Schritte ersetzt wird:
– Korrigieren des zuletzt verwendeten Satzes radialsymmetrischer Verzeichnungsparameter um den zuletzt bestimmten Satz erster Korrekturwerte, des zuletzt verwendeten Satzes erster Geradenparameter um den zuletzt bestimmten Satz zweiter Korrekturwerte und des zuletzt verwendeten Satzes zweiter Geradenparameter um den zuletzt bestimmten Satz dritter Korrekturwerte;
– Bestimmen eines neuen Satzes erster Korrekturwerte für den zuletzt korrigierten Satz radialsymmetrischer Verzeichnungsparameter, eines neuen Satzes zweiter Korrekturwerte für den zuletzt korrigierten Satz erster Geradenparameter und eines neuen Satzes dritter Korrekturwerte für den zuletzt korrigierten Satz zweiter Geradenparameter, indem unter Ausführung des Minimierungsalgorithmus der Wert der zweiten Zielfunktion in Abhängigkeit von dem zuletzt korrigierten Satz radialsymmetrischer Verzeichnungsparameter, dem zuletzt korrigierten Satz erster Geradenparameter und dem zuletzt korrigierten Satz zweiter Geradenparameter bestimmt wird.
In particular, the microcontroller 18 run an algorithm that includes the following steps:
Perform steps a) to d) for the first image curve piece 280 and for at least one other image curve section 130 ; - e1) correcting using a single set of predetermined radially symmetric distortion parameters of the image coordinates of the radially symmetrically plotted pixels selected in step d) 270 - 279 and 190 of the first radially symmetrically recorded image curve piece 280 and the image coordinates of the radially symmetrically recorded pixels selected in step d) of the at least one further radially symmetrically recorded image curve piece 130 and determining in dependence on the corrected image coordinates of the first image curve piece 280 a set of first straight line parameters and in dependence on the corrected image coordinates of the at least one further image curve piece 130 one set of second straight line parameters each;
- e2) determining a set of first correction values for the set of radially symmetric distortion parameters used in step e1), a set of second correction values for the set of first straight line parameters determined in step e1), and a set of third correction values for the set of second straight line parameters determined in step e1, under execution a minimization algorithm, the value of a second objective function in dependence on the set of first straight line parameters determined in step e1), from which set of second straight line parameters determined in step e1) and the set of radially symmetric distortion parameters used in step e1) is determined;
- e3) Checking whether the value of the objective function determined in step e2) is a predetermined value Threshold has reached or fallen below; if yes, then
- e4) obtaining a corrected set of radially symmetric distortion parameters by correcting the set of radially symmetric distortion parameters last used in step e2) by the set of first correction values last determined in step e2); otherwise i) repeating steps e2) and e3) until the value of the second target function has reached or fallen below the threshold, wherein step e2) is replaced by the following steps: - Correcting the last-used set of radially symmetric distortion parameters by the last-determined set of first correction values , the last used set of first straight line parameters around the last determined set of second correction values and the last used set of second straight line parameters around the last determined set of third correction values; Determining a new set of first correction values for the last corrected set of radially symmetric distortion parameters, a new set of second correction values for the last corrected set of first straight line parameters and a new set of third correction values for the last corrected set of second straight line parameters, by executing the minimization algorithm the value of the second Object function as a function of the last corrected set of radially symmetric distortion parameters, the last corrected set of first straight line parameter and the last corrected set of second straight line parameter is determined.
Selbstverständlich kann dieses Verfahren auf alle in einem radialsymmetrisch verzeichneten Bild ausgewählten Bildkurvenstücke angewandt werden, um einen für das radialsymmetrisch verzeichnete Bild geeigneten Satz von radialsymmetrischen Verzeichnungsparameter zu gewinnen.Of course, this method can be applied to all of the image curves selected in a radially symmetric image to obtain a set of radially symmetric distortion parameters suitable for the radially symmetric image.
Da physikalisch gesehen ein einziger Satz radialsymmetrischer Verzeichnungsparameter zur Beschreibung der radialsymmetrischen Verzeichnung immer für das gesamte Bild und damit zugleich für alle detektierten geeigneten Bildkurvenstücke gilt, kann die Genauigkeit des zuvor beschriebenen Verfahrens erhöht werden, wenn für jedes zu entzerrende Bildkurvenstück der gleiche Satz an radialsymmetrischen Verzeichnungsparametern gewählt wird, mit diesem Parametersatz für alle Bildkurvenstücke die zugehörigen korrigierten Bildpunkte auf Ausreißer getestet werden und zusätzlich auch getestet wird, ob Bildkurvenstücke zu einer einzigen Bildkurve gehören, denen im entzerrten Bild die gleichen Ausgleichungsgeraden zuzuordnen sind. Dadurch kann entschieden werden, wie viele unterschiedliche Ausgleichungsgeraden bzw. Sätze von Geradenparametern und somit verschiedene Bildkurven existieren.Since, physically speaking, a single set of radially symmetric distortion parameters for describing the radially symmetric distortion always applies to the entire image and thus to all detected suitable image curve pieces, the accuracy of the method described above can be increased if the same set of radially symmetric distortion parameters is used for each image curve element to be equalized With this parameter set, the associated corrected pixels are tested for outliers for all image curve pieces, and it is additionally tested whether image curve pieces belong to a single image curve to which the same equalization straight line can be assigned in the rectified image. This makes it possible to decide how many different equalizing straight lines or sets of straight line parameters and thus different image curves exist.
Hierzu können vom Mikrocontroller 18 die Schritte a) bis d) für das erste Bildkurvenstück 280 und für wenigstens ein weiteres Bildkurvenstück, zum Beispiel das Bildkurvenstück 130, ausgeführt werden. Anschließend können folgende Schritte ausgeführt werden:
Bestimmen, hinsichtlich des ersten Bildkurvenstücks 280 und des wenigstens einen weiteren Bildkurvenstücks 130 eines einzigen Satzes radialsymmetrischer Verzeichnungsparameter, eines Satzes erster Geradenparameter zur Bestimmung einer ersten Ausgleichsgeraden hinsichtlich des ersten Bildkurvenstücks und jeweils eines Satzes zweiter Geradenparameter zur Bestimmung einer zweiten Ausgleichsgeraden hinsichtlich des wenigstens einen weiteren Bildkurvenstücks 130 unter Ausführung eines Algorithmus zur Minimierung des Wertes einer zweiten Zielfunktion in Abhängigkeit von den in Schritt d) ausgewählten Bildpunkten, die das erste Bildkurvenstück 280 und das wenigstens eine weitere Bildkurvenstück 130 beschreiben;
Prüfen unter Ausführung eines statistischen Tests in Abhängigkeit von der ersten Ausgleichsgerade und der zweiten Ausgleichsgerade, ob das erste Bildkurvenstück 280 und das wenigstens eine weitere Bildkurvenstück 130 zu einer einzigen Bildkurve gehören, und, wenn ja, Bestimmen unter Ausführung des Algorithmus zur Minimierung des Wertes der ersten Zielfunktion eines neuen Satzes radialsymmetrischer Verzeichnungsparameter und eines einzigen neuen Satzes von Geradenparametern zur Bestimmung einer einzigen Ausgleichsgeraden für mindestens zwei der ehemals zu unterschiedlichen Geraden zugeordneten Bildkurvenstücke, z. B. Bildkurvenstück 280 und mindestens dem einen weiteren Bildkurvenstück 130.This can be done by the microcontroller 18 the steps a) to d) for the first image curve piece 280 and for at least another image curve piece, for example the image curve piece 130 to be executed. Then the following steps can be performed:
Determining, with regard to the first image curve piece 280 and the at least one further image curve piece 130 a single set of radially symmetric distortion parameters, a set of first straight line parameters for determining a first straight line with respect to the first image curve piece and a respective set of second straight line parameters for determining a second straight line with respect to the at least one further image curve piece 130 performing an algorithm for minimizing the value of a second objective function in response to the pixels selected in step d) that comprise the first image waveform 280 and that at least one more image curve piece 130 describe;
Checking whether the first image curve piece is under execution of a statistical test as a function of the first equalization line and the second equalization line 280 and that at least one more image curve piece 130 belong to a single image curve, and if so, determining by executing the algorithm for minimizing the value of the first objective function of a new set of radially symmetric distortion parameters and a single new set of straight line parameters to determine a single regression line for at least two of the image curves previously associated with different lines , z. B. image curve piece 280 and at least the one more image curve piece 130 ,
Der Unterschied zwischen der ersten und zweiten Zielfunktion besteht wiederum darin, dass mit der ersten Zielfunktion neben einem einzigen Satz von radialsymmetrischen Verzeichnungsparametern auch ein Satz Geradenparameter zur Bestimmung einer Ausgleichsgeraden geschätzt werden kann, während mit der zweiten Zielfunktion neben einem einzigen Satz von radialsymmetrischen Verzeichnungsparametern wenigstens zwei dazugehörige verschiedene Sätze Geradenparameter zur Bestimmung von wenigstens zwei Ausgleichsgeraden geschätzt werden können.Again, the difference between the first and second objective functions is that the first objective function can estimate not only a single set of radially symmetric distortion parameters but also a set of straight line parameters to determine a regression line, while the second objective has at least two besides a single set of radially symmetric distortion parameters associated different sets of straight line parameters can be estimated to determine at least two best-fit lines.
Angemerkt sei, dass das zuvor beschriebene Verfahren vorteilhafterweise iterativ derart durchgeführt werden kann, indem, falls n Bildkurvenstücke zusammen eine Bildkurve bilden und somit n Sätze von Geradenparameter zu bestimmen sind, in jedem folgenden Schritt n – i Sätze von Geradenparameter bestimmt werden, wobei i die Anzahl des folgenden Schrittes ist.It should be noted that the method described above can advantageously be carried out iteratively by determining, in each following step n-i sets of straight line parameters, if n image curves together form an image curve and thus n sets of straight line parameters are to be determined Number of the following step is.
Angemerkt sei ferner, dass der Mikrocontroller 18 unter Ausführung des im Programmspeicher 12 abgelegten Bildverarbeitungsalgorithmus auch die Genauigkeit der Bildkoordinaten eines verzeichnungskorrigierten Bildpunktes und die Genauigkeit der in dem jeweiligen Bildpunkt bestimmten Tangente und/oder Normale und/oder der Krümmungsradius bestimmen kann.It should also be noted that the microcontroller 18 under execution of the program memory 12 stored image processing algorithm can also determine the accuracy of the image coordinates of a distortion-corrected pixel and the accuracy of the determined in each pixel tangent and / or normal and / or the radius of curvature.
Der Programmspeicher 12 kann als ein Beispiel eines digitalen Speichermediums betrachtet werden, in dem Anweisungen gespeichert sind, die, wenn sie zum Beispiel vom Mikrocontroller 18 ausgeführt werden, dass beschriebene Verfahren ausführen.The program memory 12 can be considered as an example of a digital storage medium in which instructions are stored which, for example, by the microcontroller 18 be executed to perform the described method.
