DE102011100628A1

DE102011100628A1 - Method for determining parameter of camera i.e. mobile traffic monitoring camera, involves determining camera parameter based on image coordinates of structure, absolute Cartesian coordinates of structure and programmable mapping function

Info

Publication number: DE102011100628A1
Application number: DE102011100628A
Authority: DE
Inventors: Karsten Kozempel; Mathias Haberjahn; Andreas Luber
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2011-05-05
Filing date: 2011-05-05
Publication date: 2012-11-08
Anticipated expiration: 2031-05-06
Also published as: DE102011100628B4

Abstract

The method involves imaging a detection area in a two-dimensional camera image by using a camera (2), and assigning a camera coordinate system to the camera image. A determined mapped calibration structure and image coordinates of the structure in the camera image are determined, where position and/or orientation of the calibration structure is fixed with respect to an absolute Cartesian coordinate system. A parameter of the camera is determined based on image coordinates of the structure, absolute Cartesian coordinates of the structure and programmable mapping function. An independent claim is also included for a device for determining parameter of a camera.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera, insbesondere einer Kamera zur Verkehrsüberwachung.The invention relates to a method and a device for determining at least one camera parameter of a camera, in particular a camera for traffic monitoring.

Eine intelligente und optimale Steuerung und Beeinflussung eines Verkehrsgeschehens erfordert eine zuverlässige und genaue Erfassung von aktuellen Verkehrskenngrößen, z. B. einer mittleren lokalen Geschwindigkeit von Fahrzeugen und/oder eine Verkehrsstärke an einem Messquerschnitt. Zur Erfassung von Verkehrskenngrößen existiert eine Vielzahl von Sensoren. Ein weit verbreiteter Sensor zur Erfassung eines Verkehrsstroms oder einer Verkehrsstromdichte ist eine Induktionsschleife. Bei Verwendung einer Induktionsschleife bestehen jedoch Probleme bei einer Bestimmung z. B. einer Verkehrsdichte in einem Streckenabschnitt. Des Weiteren ist eine Installation. Wartung und Pflege zeit- und kostenaufwendig.An intelligent and optimal control and influencing of a traffic situation requires a reliable and accurate capture of current traffic characteristics, eg. B. a mean local speed of vehicles and / or a traffic volume at a measuring cross-section. For the detection of traffic parameters, a large number of sensors exist. A widely used sensor for detecting a traffic flow or a traffic flow density is an induction loop. When using an induction loop, however, there are problems in determining z. B. a traffic density in a section. Furthermore, there is an installation. Maintenance and care time consuming and costly.

Ein weiterer Sensor zur Erfassung von Verkehrskenngrößen sind Kameras. Mittels Kameras zur Verkehrsüberwachung können insbesondere flächen- oder streckenbezogene Verkehrskenngrößen, z. B. eine Verkehrsstromdichte, in einfacher Art und Weise bestimmt werden. Beispielsweise können neben einer Anzahl von Fahrzeugen an einem vorbestimmten Messquerschnitt oder in einem vorbestimmten Streckenabschnitt zusätzliche Informationen, wie z. B. Trajektorien, bestimmt werden. Trajektorien bezeichnen hierbei Weg-Zeit-Beziehungen eines Verkehrsobjektes, beispielsweise eines Fahrzeuges, die einen von dem Verkehrsobjekt in einer vorbestimmten Zeit zurückgelegten Weg charakterisieren. Aus derartigen Informationen können dann zusätzlich eine Beschleunigung oder ein Abbiegeverhalten abgeleitet werden. Allgemein sind Kameras eine kostengünstige Alternative zur Erfassung von Verkehrskenngrößen.Another sensor for recording traffic parameters are cameras. By means of cameras for traffic monitoring, in particular area or distance-related traffic parameters, eg. As a traffic flow density, are determined in a simple manner. For example, in addition to a number of vehicles at a predetermined measuring cross-section or in a predetermined section additional information such. B. trajectories. Trajectories here designate path-time relationships of a traffic object, for example of a vehicle, which characterize a path traveled by the traffic object in a predetermined time. From such information, an acceleration or a turning behavior can be additionally derived. Generally, cameras are a cost effective alternative to capturing traffic metrics.

Um eine absolute Position, d. h. eine Position bezüglich eines Weltkoordinatensystems, der von einer Kamera erfassten (Verkehrs-)Objekte zu bestimmen, ist eine notwendige Voraussetzung, dass eine Position (x, y, z) und eine Orientierung (ω, ϕ, κ) der Kamera in Bezug auf das Weltkoordinatensystem bekannt sind. Erst dann können Objekte, deren Koordinaten bezüglich eines Kamerakoordinatensystems bekannt sind, mittels einer Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden. Die Abbildungsfunktion ist hierbei unter anderem abhängig von Kameraparametern, die eine Position und/oder eine Orientierung der Kamera bezüglich des Weltkoordinatensystems repräsentieren. Im Falle eines Multikamerasystems, also einem Kamerasystem, welches mehr als eine Kamera umfasst und gegebenenfalls überlappende Sichtbereiche aufweist, müssen Kameraparameter ebenfalls bekannt sein, um die Kamera-Informationen dieser mehreren Kameras zu fusionieren.To an absolute position, d. H. a position with respect to a world coordinate system to determine the (traffic) objects detected by a camera is a necessary condition that a position (x, y, z) and an orientation (ω, φ, κ) of the camera with respect to the World coordinate system are known. Only then can objects whose coordinates are known with respect to a camera coordinate system be transformed or imaged by means of a mapping function into the world coordinate system. Among other things, the imaging function is dependent on camera parameters that represent a position and / or an orientation of the camera with respect to the world coordinate system. In the case of a multi-camera system, ie a camera system which comprises more than one camera and optionally has overlapping viewing areas, camera parameters must also be known in order to fuse the camera information of these multiple cameras.

Eine Bestimmung der Kameraparameter kann auch als Kamerakalibrierung bezeichnet werden. Bei einem bekannten Ansatz werden Referenzpunkte mit bekannten Koordinaten im Weltkoordinatensystem im Kamerabild detektiert und dann jeweils den korrespondierenden Referenzpunkten im Weltkoordinatensystem zugeordnet. Aus dieser Anzahl korrespondierender Punktpaare kann dann eine geometrische Beziehung zwischen einem Kamerakoordinatensystem und einem Weltkoordinatensystem bestimmt werden. Insbesondere können Parameter einer parametrierbaren Abbildungsfunktion bestimmt werden, die einen Zusammenhang zwischen dem Kamerakoordinatensystem und dem Weltkoordinatensystem darstellt. Sowohl das Detektieren als auch das Zuordnen der Referenzpunkte ist jedoch zeitaufwendig und fehleranfällig, da diese Schritte zumeist manuell vorgenommen werden müssen. Insbesondere bei portablen Kamerasystemen muss ein Kalibriervorgang für jeden Einsatz wiederholt werden, um die aktuellen Kameraparameter zu bestimmen.A determination of the camera parameters may also be referred to as camera calibration. In a known approach, reference points with known coordinates in the world coordinate system are detected in the camera image and then assigned to the respective corresponding reference points in the world coordinate system. From this number of corresponding point pairs, a geometric relationship between a camera coordinate system and a world coordinate system can then be determined. In particular, parameters of a parameterizable mapping function can be determined, which represents a relationship between the camera coordinate system and the world coordinate system. However, both the detection and the assignment of the reference points is time-consuming and error-prone, since these steps must be carried out mostly manually. Especially with portable camera systems, a calibration process must be repeated for each use to determine the current camera parameters.

Neben den vorhergehend genannten externen oder äußeren Kameraparametern, die eine Position und/oder eine Orientierung bezüglich eines Weltkoordinatensystems repräsentieren, existieren auch interne Kameraparameter, die z. B. eine Brennweite, eine Bildhauptpunktverschiebung und Verzerrungskoeffizienten eines Kamerasystems repräsentieren. Hierbei ist es in der Regel erforderlich, diese internen Kameraparameter nur einmal zu bestimmen, während bei einer Positions- und/oder Orientierungsänderung der Kamera die äußeren Kameraparameter immer wieder erneut bestimmt werden müssen.In addition to the aforementioned external or external camera parameters that represent a position and / or orientation with respect to a world coordinate system, there are also internal camera parameters that z. B. represent a focal length, an image major shift and distortion coefficients of a camera system. In this case, it is usually necessary to determine these internal camera parameters only once, while the position of the camera and / or orientation changes the external camera parameters must be determined again and again.

Die DE 10 2007 001 649 A1 offenbart ein Verfahren zur Kalibrierung einer Überwachungskamera, die eine reale Überwachungsszene, die in Weltkoordinaten beschreibbar ist, auf ein Überwachungsbild, welches in Bildkoordinaten beschreibbar ist, abbildet. Hierbei wird jedoch mindestens eine Trajektorie eines bewegten Objekts in der Überwachungsszene bestimmt, wobei die Trajektorie dann zur Kalibrierung der Überwachungskamera verwendet wird.The DE 10 2007 001 649 A1 discloses a method for calibrating a surveillance camera which images a real surveillance scene writable in world coordinates onto a surveillance image writable in image coordinates. In this case, however, at least one trajectory of a moving object in the surveillance scene is determined, the trajectory then being used to calibrate the surveillance camera.

Die DE 103 40 023 B3 offenbart ein Verfahren zur Selbstkalibrierung eines Kamerasystems, welches wenigstens eine Kamera umfasst. Das Verfahren nutzt hierbei eine Mehrzahl von Bildern einer Szene, die aus verschiedenen Positionen und/oder Blickrichtungen des Kamerasystems aufgenommen wurde. Die Druckschrift offenbart einen Ansatz für eine Automatisierung einer Kamerakalibrierung, wobei eine Kamera eine Kreuzung beobachtet.The DE 103 40 023 B3 discloses a method for self-calibrating a camera system comprising at least one camera. In this case, the method uses a plurality of images of a scene taken from different positions and / or viewing directions of the camera system. The document discloses an approach for automating a camera calibration, wherein a camera observes an intersection.

Es stellt sich das technische Problem, ein Verfahren und eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer Kamera zu schaffen, welche eine einfache, schnelle, wiederholbare und wenig rechenintensive Bestimmung mindestens eines Kameraparameters, vorzugsweise von äußeren Kameraparametern, insbesondere äußeren Kameraparametern, die eine äußere Orientierung der Kamera repräsentieren, ermöglichen. The technical problem arises of providing a method and a device for determining at least one camera parameter of a camera, which is a simple, fast, repeatable and less computation-intensive determination of at least one camera parameter, preferably external camera parameters, in particular external camera parameters, which provide an external orientation represent the camera.

Die Lösung des technischen Problems ergibt sich aus den Gegenständen mit den Merkmalen der Ansprüche 1 und 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.The solution of the technical problem arises from the objects with the features of claims 1 and 10. Further advantageous embodiments of the invention will become apparent from the dependent claims.

Vorgeschlagen wird ein Verfahren Zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Ein Kameraparameter bezeichnet hierbei einen Parameter, der eine Position oder einen Teil einer Position oder eine Orientierung oder einen Teil einer Orientierung der Kamera bezüglich eines Weltkoordinatensystems repräsentiert. Vorzugsweise dient das Verfahren zur Bestimmung mehrerer Kameraparameter, z. B. derjenigen Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben. Auch kann das Verfahren zur Bestimmung aller Kameraparameter, die eine Position und Orientierung der Kamera bezüglich des Weltkoordinatensystems vollständig beschreiben, dienen. Kameraparameter, die eine Position der Kamera bezüglich des Weltkoordinatensystems beschreiben, können beispielsweise in x-, y-, z-Koordinaten bezüglich des Weltkoordinatensystems angegeben werden. Kameraparameter, die eine Orientierung der Kamera bezüglich des Weltkoordinatensystems beschreiben, können in Winkeln (ω, ϕ, κ) bezüglich des Weltkoordinatensystems beschrieben werden. Beispielsweise können diese nach der so genannten Yaw-Pitch-Roll-Konvention beschrieben werden.A method is proposed for determining at least one camera parameter of a first camera, in particular a camera for monitoring traffic. A camera parameter here denotes a parameter which represents a position or a part of a position or an orientation or a part of an orientation of the camera with respect to a world coordinate system. Preferably, the method is used to determine multiple camera parameters, eg. B. those camera parameters that describe an orientation of the camera with respect to the world coordinate system. The method can also be used to determine all camera parameters which completely describe a position and orientation of the camera with respect to the world coordinate system. Camera parameters describing a position of the camera with respect to the world coordinate system may be indicated, for example, in x, y, z coordinates with respect to the world coordinate system. Camera parameters describing an orientation of the camera with respect to the world coordinate system may be described in angles (ω, φ, κ) with respect to the world coordinate system. For example, these can be described according to the so-called yaw pitch-roll convention.

Der ersten Kamera ist ein erster Erfassungsbereich zugeordnet. Mittels der ersten Kamera wird der erste Erfassungsbereich in ein zweidimensionales erstes Kamerabild abgebildet. Hierbei werden im ersten Erfassungsbereich angeordnete oder vorhandene Objekte in Bildobjekte im ersten Kamerabild abgebildet.The first camera is assigned a first detection area. By means of the first camera, the first detection area is imaged into a two-dimensional first camera image. In this case, objects arranged or existing in the first detection area are imaged in image objects in the first camera image.

Dem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, beispielsweise ein zweidimensionales Koordinatensystem.The first camera image is assigned a first camera coordinate system, for example a two-dimensional coordinate system.

Weiter beschreibt eine Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem vorhergehend erwähnten Weltkoordinatensystem, wobei die Abbildungsfunktion mit zumindest dem einen Kameraparameter oder in Abhängigkeit des mindestens einen Kameraparameters parametrierbar ist. Die Abbildungsfunktion bezeichnet hierbei eine Transformationsfunktion.Furthermore, an imaging function describes a relationship between the first camera coordinate system and the aforementioned world coordinate system, wherein the imaging function can be parameterized with at least one camera parameter or as a function of the at least one camera parameter. The mapping function denotes a transformation function.

Erfindungsgemäß werden eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmt. Hierbei ist eine Position und/oder eine Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt. Kartographiert bedeutet hierbei, dass eine Position und/oder Orientierung des Kalibrationsobjekts oder der Kalibrationsstruktur dauerhaft ortsfest und nicht veränderlich ist. Die kartographierte Kalibrationsstruktur bezeichnet somit eine ortsfeste, also in Position und/oder Orientierung nicht veränderbare Struktur oder ein hinsichtlich einer Position und/oder einer Orientierung nicht veränderliches Objekt. Somit entspricht das kartographierte Kalibrationsobjekt oder die kartographierte Kalibrationsstruktur keinem beweglichen Kalibrationsobjekt, dessen Position und/oder Orientierung vor einer Kalibration bestimmt werden muss. Positions- und/oder Orientierungsdaten des kartographierten Kalibrationsobjekts oder der kartographierten Kalibrationsstruktur können hierbei in einem Geoinformationssystem verfügbar und z. B. in einer Speichereinrichtung, z. B. in einer Datenbank, gespeichert sein. insbesondere sind also Geodaten der Kalibrationsstruktur bekannt.According to the invention, a predetermined cartographed calibration structure and its imaging coordinates are determined in the first camera image. In this case, a position and / or an orientation of the cartographed calibration structure with respect to the world coordinate system is previously known. Mapped here means that a position and / or orientation of the calibration object or the calibration structure is permanently stationary and not changeable. The mapped calibration structure thus designates a stationary structure, that is to say a structure which can not be changed in position and / or orientation, or an object which is not variable with respect to a position and / or an orientation. Thus, the mapped calibration object or the mapped calibration structure does not correspond to a movable calibration object whose position and / or orientation must be determined prior to a calibration. Position and / or orientation data of the mapped calibration object or of the mapped calibration structure can be available here in a geographic information system and can be displayed, for example, in a geographic information system. B. in a storage device, for. In a database. In particular, therefore, geodata of the calibration structure are known.

Die Kalibrationsstruktur kann hierbei beispielsweise mittels eines dem Fachmann bekannten Verfahrens zur Objektdetektion, beispielsweise geeigneten Segmentierungsverfahren, in dem ersten Kamerabild bestimmt werden. Somit kann die mindestens eine Kalibrationsstruktur automatisch oder automatisiert bestimmt werden.In this case, the calibration structure can be determined in the first camera image, for example by means of a method for object detection known to the person skilled in the art, for example suitable segmentation methods. Thus, the at least one calibration structure can be determined automatically or automatically.

Hierdurch ist kein manuelles Auswählen einer Kalibrationsstruktur oder von Landmarken notwendig.As a result, no manual selection of a calibration structure or landmarks is necessary.

In Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur bezüglich des ersten Kamerakoordinatensystems, von bekannten Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.Depending on the image coordinates of the calibration structure with respect to the first camera coordinate system, known world coordinates of the calibration structure and the parameterizable mapping function, the at least one camera parameter is determined.

Die erste Kamera kann hierbei Insbesondere eine portable, also nicht ortsfest installierte, Kamera sein.In particular, the first camera may be a portable, ie not fixedly installed, camera.

Beispielsweise kann der mindestens eine Kameraparameter mittels eines Optimierungsverfahrens, welches einem Fachmann bekannt ist, bestimmt werden. Hierbei kann eine Kostenfunktion, z. B. eine Differenz oder ein Betrag einer Differenz oder eine quadrierte Differenz zwischen den Weltkoordinaten der Kalibrationsstruktur und den mittels der Abbildungsfunktion transformierten Abbildungskoordinaten der Kalibrationsstruktur, in Abhängigkeit des mindestens einen Kameraparameters minimiert werden. Vorzugsweise kann eine Kostenfunktion über einen so genannten Chamfer-Algorithmus oder ein Chamfer-Matthing bestimmt werden, die eine ableitungsfreie Kostenfunktion ist.For example, the at least one camera parameter can be determined by means of an optimization method which is known to a person skilled in the art. This can be a cost function, eg. B. a difference or an amount of difference or a squared difference between the world coordinates of the calibration structure and the means of Imaging function transformed mapping coordinates of the calibration structure, be minimized depending on the at least one camera parameter. Preferably, a cost function may be determined via a so-called Chamfer algorithm or a Chamfer matthing, which is a derivative-free cost function.

Die Optimierung kann hierbei in Abhängigkeit von einer Kalibrationsstruktur mit beliebiger geometrischer Form erfolgen, insbesondere können auch gekrümmte oder runde, also nicht zwangsweise gerade, Kalibrationsstrukturen für das vorhergehend erläuterte Optimierungsverfahren verwendet werden.In this case, the optimization can be carried out in dependence on a calibration structure with any desired geometric shape; in particular, curved or round, ie not necessarily straight, calibration structures can also be used for the previously explained optimization method.

Hierdurch ergibt sich in vorteilhafter Weise, insbesondere für eine portable Kamera, dass mindestens ein Kameraparameter in Abhängigkeit von kartographierten Objekten bestimmt werden kann, die sich im Erfassungsbereich der Kamera befinden. Insbesondere ist es nicht notwendig, ein bewegliches Kalibrationsobjekt oder Kalibrationsmuster in den Erfassungsbereich der Kamera anzuordnen und dieses Kalibrationsobjekt oder Kalibrationsmuster räumlich zu referenzieren, um den mindestens einen Kameraparameter zu bestimmen. Somit ist eine zumindest teilweise Kalibrierung allein auf Grundlage von Bildinformationen der Kamerabilder möglich, falls diese Kamerabilder kartographierte Strukturen oder Objekte enthalten. Insbesondere kann mittels des vorgeschlagenen Verfahrens eine zuverlässige vollautomatische Kalibrierung durchgeführt werden, wodurch das Verfahren eine hohe Verfügbarkeit eines z. B. portablen Kamerasystems ermöglicht.This results in an advantageous manner, in particular for a portable camera, that at least one camera parameter can be determined as a function of cartographed objects that are located in the detection range of the camera. In particular, it is not necessary to arrange a movable calibration object or calibration pattern in the detection range of the camera and spatially referencing this calibration object or calibration pattern in order to determine the at least one camera parameter. Thus, at least partial calibration is possible based solely on image information of the camera images, if these camera images contain cartographed structures or objects. In particular, a reliable fully automatic calibration can be performed by means of the proposed method, whereby the method has a high availability of a z. B. portable camera system allows.

Insbesondere kann der mindestens eine Kameraparameter mittels eines Verfahrens zur nichtlinearen Optimierung bestimmt werden. Vorzugsweise wird der mindestens eine Kameraparameter mittels eines ableitungsfreien Verfahrens zur nichtlinearen Optimierung bestimmt, Ein ableitungsfreies Verfahren zur nichtlinearen Optimierung kann beispielsweise ein so genanntes Simplex-Verfahren sein. Selbstverständlich sind dem Fachmann weitere Verfahren, auch ableitungsfreie Verfahren, zur nichtlinearen Optimierung bekannt.In particular, the at least one camera parameter can be determined by means of a method for non-linear optimization. Preferably, the at least one camera parameter is determined by means of a derivation-free method for non-linear optimization. A derivation-free method for nonlinear optimization can be, for example, a so-called simplex method. Of course, other methods, including derivation-free methods, for non-linear optimization are known to the person skilled in the art.

In einer weiteren Ausführungsform ist ein Startwert des mindestens einen Kameraparameters vorbekannt oder wird in Abhängigkeit mindestens eines Sensorsignals bestimmt. Wird der Startwert in Abhängigkeit mindestens eines Sensorsignals bestimmt, so kann ein Sensor, der das mindestens eine Sensorsignal erzeugt, eine Position und/oder eine Orientierung der ersten Kamera bezüglich des Weltkoordinatensystems erfassen. Ein Sensor zur Erfassung einer Position der ersten Kamera bezüglich des Weltkoordinatensystems kann beispielsweise ein globales Navigationssatellitensystem (GNSS) sein. Ein Sensor zur Erfassung einer Orientierung der ersten Kamera kann beispielsweise ein Magnetometer sein. Ein Magnetometer bestimmt hierbei eine Ausrichtung der ersten Kamera in Relation zu einem Erdmagnetfeld, wobei eine geometrische Beziehung zwischen dem Erdmagnetfeld und dem Weltkoordinatensystem als bekannt vorausgesetzt wird. Insbesondere kann hierbei eine geometrische Beziehung zwischen einem Koordinatensystem des Sensors zur Erfassung einer Position und/oder einer Orientierung der ersten Kamera und dem Weltkoordinatensystem als bekannt vorausgesetzt werden.In a further embodiment, a starting value of the at least one camera parameter is previously known or is determined as a function of at least one sensor signal. If the starting value is determined as a function of at least one sensor signal, then a sensor which generates the at least one sensor signal can detect a position and / or an orientation of the first camera with respect to the world coordinate system. A sensor for detecting a position of the first camera with respect to the world coordinate system may, for example, be a global navigation satellite system (GNSS). A sensor for detecting an orientation of the first camera may, for example, be a magnetometer. A magnetometer in this case determines an orientation of the first camera in relation to a geomagnetic field, wherein a geometric relationship between the geomagnetic field and the world coordinate system is assumed to be known. In particular, a geometric relationship between a coordinate system of the sensor for detecting a position and / or an orientation of the first camera and the world coordinate system can be assumed to be known.

Somit kann der mindestens eine Startwert, insbesondere eine Position und/oder Orientierung, automatisiert und nicht manuell bestimmt werden.Thus, the at least one starting value, in particular a position and / or orientation, can be automated and not determined manually.

Hierdurch ergibt sich in vorteilhafter Weise, dass das Verfahren zur Bestimmung des mindestens einen Kameraparameters, insbesondere das vorhergehend beschriebene Optimierungsverfahren, mit geeigneten Startwerten initialisiert werden kann und daher schnell und zuverlässig zu einem richtigen Ergebnis führen kann. Insbesondere kann hierdurch ein durch lokale Minima der Kostenfunktion verursachtes falsches Ergebnis vermieden werden. Auch wird eine Zeitdauer bis zur Bestimmung des mindestens einen Kameraparameters in vorteilhafter Weise verkürzt.This results in an advantageous manner that the method for determining the at least one camera parameter, in particular the previously described optimization method, can be initialized with suitable starting values and therefore can lead quickly and reliably to a correct result. In particular, this can avoid a wrong result caused by local minima of the cost function. Also, a time period until the determination of the at least one camera parameter is shortened in an advantageous manner.

Auch ergibt sich in vorteilhafter Weise, wie nachfolgend näher erläutert, dass der Startwert für eine geeignete Auswahl von kartographierten Kalibrationsstrukturen oder Kalibrationsobjekten, die in Abhängigkeit ihrer jeweiligen Position in z. B. einer Speichereinrichtung gespeichert sind, verwendet werden kann.Also results in an advantageous manner, as explained in more detail below, that the starting value for a suitable selection of mapped calibration structures or calibration objects that depend on their respective position in z. B. a memory device are stored, can be used.

In einer weiteren Ausführungsform umfasst die kartographierte Kalibrationsstruktur mindestens einen Straßenabschnitt. Der Straßenabschnitt kann hierbei ein Abschnitt einer Autobahn, einer Landstraße oder einer Straße in einer Stadt sein. Die Straße kann hierbei vorzugsweise von Verkehrsobjekten, z. B. Fahrzeugen, befahrbar sein.In a further embodiment, the mapped calibration structure comprises at least one road section. The road section may be a section of a highway, a highway or a street in a city. The road may in this case preferably of traffic objects, z. B. vehicles, be passable.

Ein Straßenabschnitt umfasst hierbei nicht notwendigerweise nur einen Abschnitt einer einzelnen Straße, sondern kann auch z. B. einen Kreuzungspunkt zweier oder mehrerer Straßen umfassen. Auch kann der Straßenabschnitt eine oder mehrere Fahrbahnen umfassen.A road section here does not necessarily include only a section of a single road, but can also z. B. include a crossing point of two or more streets. Also, the road section may include one or more lanes.

Hierdurch ergibt sich in vorteilhafter Weise, dass die kartographierte Kalibrationsstruktur durch in der Regel hinsichtlich ihrer Position im Weltkoordinatensystem genau bestimmten Straßenabschnitte gebildet wird. Wird die erste Kamera zur Verkehrsüberwachung eingesetzt, so wird diese im Regelfall auf einen Straßenabschnitt bezogene Verkehrskenngrößen, beispielsweise eine Verkehrsstromdichte, ermitteln. Hierdurch ergibt sich in vorteilhafter Weise, dass der Straßenabschnitt, der als Bezug für die Verkehrskenngrößen dient, gleichzeitig für eine Kalibration der ersten Kamera genutzt werden kann.This results in an advantageous manner that the cartographed calibration structure is formed by usually with regard to their position in the world coordinate system precisely determined road sections. If the first camera is used for traffic monitoring, then this is usually related to a road section related traffic parameters, such as a traffic flow density, determine. This results in an advantageous manner that the road section, which serves as a reference for the traffic parameters, can be used simultaneously for a calibration of the first camera.

Wie nachfolgend näher erläutert, ist der Straßenabschnitt hierbei vorzugsweise ein gerader Straßenabschnitt, also ein Straßenabschnitt, dessen Krümmung null ist oder einen vorbestimmten kleinen Wert nicht übersteigt.As explained in more detail below, the road section here is preferably a straight road section, ie a road section whose curvature is zero or does not exceed a predetermined small value.

In einer weiteren Ausführungsform sind in einer Speichereinrichtung Straßenabschnittsinformationen in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In der Speichereinrichtung können hierbei z. B. Informationen über einen Straßenverlauf in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert sein. Beispielsweise können Informationen über einen Straßenverlauf in Abhängigkeit einer GPS-Position gespeichert sein, wobei ein Zusammenhang zwischen GPS-Positionen und Weltkoordinatensystem vorbekannt ist. Hierbei kann für eine bestimmte Position im Weltkoordinatensystem festgestellt werden, ob an dieser bestimmten Position ein Straßenabschnitt angeordnet ist und welchen Verlauf dieser Straßenabschnitt ausgedrückt in Weltkoordinaten aufweist. Die Position und gegebenenfalls der Verlauf können sich hierbei auf eine Mitte des Straßenabschnitts oder einen Rand oder beide Ränder des Straßenabschnitts beziehen. Weiter können in der Speichereinrichtung positionsbezogene Straßeneigenschaften, wie beispielsweise eine Krümmung eines Verlaufs eines Straßenabschnitts, ein Verlauf eines oder mehrerer Ränder des Straßenabschnitts oder eine Mittellinie des Straßenabschnitts, sowie eine Position und Geometrie von Landmarken, wie z. B. Fahrbahnmarkierungen oder Haltelinien, und weitere Eigenschaften des Straßenabschnitts gespeichert sein.In a further embodiment, road section information is stored in a memory device as a function of a position in the world coordinate system. In the memory device here z. B. information about a road course depending on a position in the world coordinate system to be stored. For example, information about a road course may be stored in dependence on a GPS position, wherein a relationship between GPS positions and world coordinate system is already known. In this case, it can be ascertained for a specific position in the world coordinate system whether a road section is arranged at this specific position and which course has this road section expressed in world coordinates. The position and, if appropriate, the course may relate here to a center of the road section or an edge or both edges of the road section. Further, position-related road characteristics, such as a curvature of a course of a road section, a course of one or more edges of the road section or a centerline of the road section, as well as a position and geometry of landmarks such. As road markings or stop lines, and other properties of the road section to be stored.

in Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zu mindest ein im ersten Erfassungsbereich angeordneter Straßenabschnitt bestimmt. Somit können auch gespeicherte Straßenabschnittsinformationen schnell und in einfacher Weise, Insbesondere ohne manuelle Interaktion, aus der Gesamtheit von gespeicherten Straßenabschnittsinformationen bestimmt werden. Weiter können auch weitere Eigenschaften des im ersten Erfassungsbereich angeordneten Straßenabschnitts, beispielsweise die vorhergehend beschriebenen Eigenschaften (Krümmung, Eigenschaften von Landmarken), bestimmt werden.Depending on the starting value of the at least one camera parameter, at least one road section arranged in the first detection area is determined from the stored road segment information. Thus, also stored road section information can be determined quickly and easily, in particular without manual interaction, from the totality of stored road section information. Furthermore, further properties of the road section arranged in the first detection area, for example the properties described above (curvature, characteristics of landmarks), can also be determined.

Weiter wird ein Straßenabschnitt in dem ersten Kamerabild bestimmt. Hierbei kann ein Straßenabschnitt z. B. mittels bekannter Verfahren zur Objektdetektierung, beispielsweise bekannter Verfahren zur Segmentierung, bestimmt werden. Beispielsweise kann ein Straßenabschnitt durch Bestimmung einer Straßenoberfläche des Straßenabschnitts bestimmt werden. Es kann z. B. ausgenutzt werden, dass eine Straßenoberfläche einen einheitlichen oder annähernd einheitlichen Farbton und/oder Grauwert und/oder eine einheitliche oder annähernd einheitliche Textur aufweist. Eine Straßenoberfläche eines Straßenabschnitts weist in den meisten Fällen einen gleichen Farbton sowie eine schwache Sättigung auf und kann somit in einfacher Weise mittels bekannter Verfahren in dem ersten Kamerabild detektiert werden. Auch können die vorhergehend beschriebenen Eigenschaften (z. B. eine Krümmung oder eine Position und Orientierung von Landmarken) des Straßenabschnitts in dem ersten Kamerabild bestimmt werden. Hierbei werden dem Straßenabschnitt und gegebenenfalls den zusätzlich bestimmten Eigenschaften des Straßenabschnitts zugeordnete Abbildungskoordinaten in dem ersten Kamerakoordinatensystem bestimmt.Further, a road section in the first camera image is determined. Here, a road section z. B. by known methods for object detection, for example, known methods for segmentation, determined. For example, a road section may be determined by determining a road surface of the road section. It can, for. B. be exploited that a road surface has a uniform or approximately uniform hue and / or gray value and / or a uniform or approximately uniform texture. A road surface of a road section has an equal hue and a weak saturation in most cases, and thus can be easily detected by known methods in the first camera image. Also, the above-described characteristics (eg, a curvature or a position and orientation of landmarks) of the road section in the first camera image may be determined. In this case, mapping coordinates assigned to the road segment and possibly additionally determined properties of the road segment are determined in the first camera coordinate system.

In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts, der Weltkoordinaten des mindestens einen aus dem gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.Depending on the mapping coordinates of the at least one detected road section, the world coordinates of the at least one road section determined from the stored road section information, and the parameterizable mapping function, the at least one camera parameter is determined.

Hierbei ist es z. B. möglich, Landmarken in dem von der ersten Kamera erfassten Straßenabschnitt zu bestimmen. Derartige Landmarken können beispielsweise Fahrbahnmarkierungen, z. B. eine Fahrbahnmittellinie oder eine Fahrbahnbegrenzungslinie oder eine Haltelinie, sein. Sind Positionen dieser Landmarken in der vorhergehend erwähnten Speichereinrichtung abgespeichert, so können hiermit in vorteilhafter Weise korrespondierende Landmarken im Weltkoordinatensystem und im Kamerakoordinatensystem bestimmt werden.This is z. B. possible to determine landmarks in the detected by the first camera road section. Such landmarks can, for example, lane markings, z. A lane centerline or a lane boundary line or a stop line. If positions of these landmarks are stored in the previously mentioned memory device, corresponding landmarks in the world coordinate system and in the camera coordinate system can advantageously be determined hereby.

Hierbei kann der mindestens eine aus den gespeicherten Straßenabschnittsinformationen bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das erste Kamerakoordinatensystem transformiert oder abgebildet werden, wobei eine Kostenfunktion z. B. eines Optimierungsverfahrens in Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten Straßenabschnitts und der transformierten Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts minimiert werden kann (Optimierung im Kamerakoordinatensystem).In this case, the at least one road section determined from the stored road section information can be integrated into the first road map depending on the mapping function parameterized with the at least one start value Camera coordinate system to be transformed or mapped, with a cost function z. B. an optimization method depending on the mapping coordinates of the at least one detected road section and the transformed world coordinates of the at least one of the stored road section information specific road section can be minimized (optimization in the camera coordinate system).

Umgekehrt kann auch der mittels der ersten Kamera erfasste und bestimmte Straßenabschnitt in Abhängigkeit der mit dem mindestens einen Startwert parametrierten Abbildungsfunktion in das Weltkoordinatensystem transformiert oder abgebildet werden (Optimierung im Weltkoordinatensystem). Hierbei wird eine Kostenfunktion in Abhängigkeit der transformierten Abbildungskoordinaten und der Weltkoordinaten aufgestellt und minimiert.Conversely, the road section detected and determined by means of the first camera can also be transformed or imaged into the world coordinate system as a function of the mapping function parameterized with the at least one starting value (optimization in the world coordinate system). In this case, a cost function is set up and minimized as a function of the transformed imaging coordinates and the world coordinates.

Durch die Verwendung von Straßenabschnittsinformationen und gegebenenfalls Eigenschaften dieser Straßenabschnitte zur Erzeugung von korrespondierenden Punktpaaren im Weltkoordinatensystem und im Kamerakoordinatensystem ergibt sich in vorteilhafter Weise ein insbesondere für Kameras zur Verkehrsüberwachung einfach durchzuführendes Kalibrierungsverfahren, da Straßenabschnitte, wie vorhergehend erläutert, in einfacher Art und Weise detektiert werden können.The use of road section information and possibly properties of these road sections for generating corresponding pairs of points in the world coordinate system and in the camera coordinate system advantageously results in a calibration method which is easy to carry out especially for traffic monitoring cameras, since road sections can be detected in a simple manner, as explained above ,

In einer weiteren Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittinformationen in Form einer Straßendatenbank gespeichert. Hierbei können beispielsweise Straßendatenbanken von Anbietern, wie z. B. ATKIS, NAVTEQ, Tele Atlas, Open Street Map verwendet werden, um zumindest zweidimensionale Koordinaten eines Straßennetzes und somit zweidimensionierte Koordinaten von Straßenabschnitten in einem bestimmten Umkreis um die erste Kamera bereitzustellen. Mit Hilfe des Startwertes können diese aus den Straßendatenbanken bekannten Straßenabschnitte in das Kamerakoordinatensystem transformiert werden. Umgekehrt können mit Hilfe des Startwertes auch in dem Kamerabild detektierte Straßenabschnitte in das Weltkoordinatensystem transformiert werden. Hierdurch ergibt sich in vorteilhafter Weise ein einfacher Zugriff auf Straßenabschnittsinformationen. Insbesondere können bereits verfügbare Straßenabschnittsinformationen in dem erfindungsgemäßen Verfahren verwendet werden.In a further embodiment, the road section information stored in the memory device is stored in the form of a road database. Here, for example, road databases of providers such. ATKIS, NAVTEQ, Tele Atlas, Open Street Map may be used to provide at least two-dimensional coordinates of a road network and thus two-dimensional coordinates of road sections within a certain radius around the first camera. With the help of the starting value, these road sections known from the road databases can be transformed into the camera coordinate system. Conversely, with the aid of the start value, road sections detected in the camera image can also be transformed into the world coordinate system. This advantageously results in easy access to road section information. In particular, already available road segment information can be used in the method according to the invention.

In einer alternativen Ausführungsform sind die in der Speichereinrichtung gespeicherten Straßenabschnittsinformationen in Form von Orthofotos gespeichert. Orthofotos bezeichnen hierbei eingenordete Luftbilder, aus denen sämtliche Verzerrungen durch Perspektive oder Höhenprofile entfernt sind. Strukturen in Orthofotos sind hierbei orthogonal auf eine ebene projiziert. Durch eine absolute Position eines bestimmten Pixels (Ankerpixel) und einen bekannten Skalierungsfaktor kann jedem Pixel in einem Orthofoto eine geografische Position und somit eine Position in dem Weltkoordinatensystem zugeordnet werden.In an alternative embodiment, the road segment information stored in the memory device is stored in the form of orthophotos. Orthophotos refer here to ordered aerial photographs, from which all distortions due to perspective or height profiles are removed. Structures in orthophotos are projected orthogonally on a plane. An absolute position of a certain pixel (anchor pixel) and a known scaling factor allow each pixel in an ortho-photo to be assigned a geographical position and thus a position in the world coordinate system.

Orthofotos weisen in vorteilhafter Weise in der Regel eine hohe Aktualität auf, da sie mit geringem Aufwand und deshalb oft neu erzeugt werden können.Orthophotos advantageously have a high relevance in the rule, since they can be generated with little effort and therefore often new.

in einer weiteren Ausführungsform sind in der Speichereinrichtung oder in einer zusätzlichen Speichereinrichtung Höheninformationen einer Erdoberfläche in Abhängigkeit einer Position im Weltkoordinatensystem gespeichert. In Abhängigkeit des Startwerts des mindestens einen Kameraparameters wird aus den gespeicherten Höheninformationen eine Höhe oder ein Höhenverlauf des mindest einen im ersten Erfassungsbereich angeordneten Straßenabschnitts bestimmt. Die Höhe oder der Höhenverlauf werden mit den Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten Straßenabschnitts verknüpft. Hierdurch kann in vorteilhafter Weise erreicht werden, dass die im Regelfall nur zweidimensional vorliegenden Positionskoordinaten von in Form von Straßendatenbanken oder Orthofotos gespeicherten Straßenabschnitten zusätzlich mit einer Höhe, also einer dritten Koordinate, verknüpft werden können und somit dreidimensionale Positions- und Verlaufsinformationen vorliegen. Hierzu kann beispielsweise ein digitales Geländemodell, welches Informationen über eine Höhe von einzelnen Straßenabschnitten oder Straßenknoten enthält, genutzt werden. Somit können in vorteilhafter Weise also dreidimensionale Straßenabschnittskoordinaten erzeugt werden.In a further embodiment, height information of a surface of the earth is stored in the storage device or in an additional storage device as a function of a position in the world coordinate system. Depending on the starting value of the at least one camera parameter, a height or a height profile of the at least one road section arranged in the first detection area is determined from the stored height information. The altitude or the altitude course are linked to the world coordinates of the at least one road section determined from the stored road section information. In this way, it can be achieved in an advantageous manner that the position coordinates, which are generally only present in two dimensions, of road sections stored in the form of road databases or orthophotos can additionally be linked to a height, that is to say a third coordinate, and thus three-dimensional position and course information is available. For this purpose, for example, a digital terrain model, which contains information about a height of individual road sections or road nodes, are used. Thus, three-dimensional road section coordinates can thus be generated in an advantageous manner.

In einer weiteren Ausführungsform werden mindestens ein gerader Straßenabschnitt und dessen Abbildungskoordinaten in dem ersten Kamerabild bestimmt. In Abhängigkeit des Startwertes des mindestens einen Kameraparameters wird aus den gespeicherten Straßenabschnittsinformationen zumindest in einem ersten Erfassungsbereich angeordneter gerader Straßenabschnitt bestimmt. In Abhängigkeit der Abbildungskoordinaten des mindestens einen erfassten geraden Straßenabschnitts, der Weltkoordinaten des mindestens einen aus den gespeicherten Straßenabschnittsinformationen bestimmten geraden Straßenabschnitts und der parametrierbaren Abbildungsfunktion wird der mindestens eine Kameraparameter bestimmt.In a further embodiment, at least one straight road section and its imaging coordinates are determined in the first camera image. Depending on the starting value of the at least one camera parameter, a straight road section arranged at least in a first detection area is determined from the stored road segment information. The at least one camera parameter is determined as a function of the mapping coordinates of the at least one detected straight road section, the world coordinates of the at least one straight road section determined from the stored road section information, and the parameterizable mapping function.

Hierbei können gerade Abschnitte im ersten Kamerabild und/oder z. B. in den Orthofotos mittels einer so genannten Hough-Transformation bestimmt werden. Hierbei können also gerade Straßenabschnitte durch eine Hough-Transformation im ersten Kamerabild extrahiert und mit dem aus den gespeicherten Straßenabschnittsinformationen in das erste Kamerabild projizierten geraden Straßenabschnitt assoziiert werden. Eine Ausgleichsrechnung kann dann den mindestens einen Kameraparameter, vorzugsweise die drei Orientierungsparameter, bestimmen, die eine optimale Überdeckung des extrahierten geraden Straßenabschnitts mit dem projizierten Straßenabschnitt bedingen.In this case, straight sections in the first camera image and / or z. B. in the orthophotos by means of a so-called Hough transformation. In this case, straight road sections can thus be extracted by a Hough transformation in the first camera image and associated with the straight road segment projected from the stored road segment information into the first camera image. A compensation calculation can then determine the at least one camera parameter, preferably the three orientation parameters, which determine an optimal coverage of the extracted straight road section with the projected road section.

Hierdurch kann in Bezug auf eine Rechenintensität günstigerweise der mindestens eine Kameraparameter bestimmt werden, da eine optimale Überdeckung für gerade Straßenabschnitte, also Minimum einer Kostenfunktion, besonders einfach zu bestimmen ist, da beim Vergleich zweier gerader Straßenabschnitte eine Kostenfunktion ein eindeutiges Minimum aufweist.As a result, the at least one camera parameter can be advantageously determined with respect to a computational intensity, since optimum coverage for straight road sections, ie Minimum of a cost function, is particularly easy to determine, since when comparing two straight road sections, a cost function has a clear minimum.

In einer weiteren Ausführungsform wird zusätzlich mindestens ein Kameraparameter mindestens einer weiteren Kamera gemäß einem der vorhergehend beschriebenen Verfahren bestimmt. Der mindestens einen weiteren Kamera ist ein weiterer Erfassungsbereich zugeordnet, wobei der weitere Erfassungsbereich in ein zweidimensionales weiteres Kamerabild abgebildet wird. Der erste Erfassungsbereich und der weitere Erfassungsbereich überlappen sich zumindest teilweise. In dem ersten Kamerabild und dem mindestens einen weiteren Kamerabild wird mindestens eine korrespondierende Struktur bestimmt. Die korrespondierende Struktur muss hierbei nicht zwingend die vorhergehend beschriebene kartographierte Kalibrationsstruktur sein. Vorzugsweise ist jedoch die korrespondierende Struktur auch zumindest ein Teil der kartographierten Kalibrationsstruktur. Weiter werden in Abhängigkeit der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild, der Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild, der mit dem ersten Kameraparameter parametrierten Abbildungsfunktion und der mit dem weiteren Kameraparameter parametrierten Abbildungsfunktion der erste und der weitere Kameraparameter erneut bestimmt. Mittels der mit dem mindestens ersten Kameraparameter parametrierten Abbildungsfunktion können die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im ersten Kamerabild in das Weltkoordinatensystem transformiert werden. Analog können mittels der mit dem mindestens einen weiteren Kameraparameter parametrierten Abbildungsfunktion die Abbildungskoordinaten der mindestens einen korrespondierenden Struktur im mindestens einen weiteren Kamerabild in das Weltkoordinatensystem transformiert werden. Eine Kostenfunktion kann dann z. B. als Differenz, als ein Betrag einer Differenz oder als eine quadratische Differenz zwischen der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im ersten Kamerabild und der in das Weltkoordinatensystem transformierten Abbildungskoordinaten der korrespondierenden Struktur im weiteren Kamerabild bestimmt werden. Der ersten und der weitere Kameraparameter können dann z. B. mittels eines Optimierungsverfahrens erneut bestimmt werden. Als Optimierungsverfahren kann hierbei eines der vorhergehend beschriebenen Optimierungsverfahren eingesetzt werden.In a further embodiment, additionally at least one camera parameter of at least one further camera is determined according to one of the previously described methods. The at least one further camera is assigned a further detection area, wherein the further detection area is imaged into a two-dimensional further camera image. The first detection area and the further detection area overlap at least partially. At least one corresponding structure is determined in the first camera image and the at least one further camera image. The corresponding structure does not necessarily have to be the previously described mapped calibration structure. Preferably, however, the corresponding structure is also at least part of the mapped calibration structure. Furthermore, depending on the imaging coordinates of the at least one corresponding structure in the first camera image, the imaging coordinates of the at least one corresponding structure in the at least one further camera image, the imaging function parameterized with the first camera parameter and the imaging function parameterized with the further camera parameter, the first and the further camera parameters are renewed certainly. By means of the mapping function parameterized with the at least first camera parameter, the mapping coordinates of the at least one corresponding structure in the first camera image can be transformed into the world coordinate system. Analogously, the mapping coordinates of the at least one corresponding structure in the at least one further camera image can be transformed into the world coordinate system by means of the mapping function parameterized with the at least one further camera parameter. A cost function can then z. B. as a difference, as an amount of a difference or as a quadratic difference between the transformed into the world coordinate system mapping coordinates of the corresponding structure in the first camera image and transformed into the world coordinate system mapping coordinates of the corresponding structure in the further camera image. The first and the other camera parameters can then z. B. be determined by means of an optimization process again. As an optimization method, one of the previously described optimization methods can be used.

Hierdurch ergibt sich in vorteilhafter Weise, dass mehrere Kameras eines Multikamerasystems mittels des erfindungsgemäßen Verfahrens einzeln kalibriert werden können und durch die vorgeschlagene erneute Bestimmung des ersten und des weiteren Kameraparameters hiernach ein so genannter Bündelblockausgleich erfolgen kann. Hierfür werden in den sich überlappenden Bildbereichen markante Bildpunkte, so genannte Features, automatisch extrahiert, z. B. mittels eines so genannten SIFT-Operators.This results in an advantageous manner that multiple cameras of a multi-camera system can be calibrated individually by means of the method according to the invention and hereinafter can be done by the proposed re-determination of the first and the other camera parameter so-called bundle block compensation. For this purpose, prominent pixels, so-called features, are automatically extracted in the overlapping image areas, eg. B. by means of a so-called SIFT operator.

Die Bestimmung des ersten und/oder des weiteren Kameraparameters kann hierbei mittels einer Auswerteeinrichtung erfolgen, die in der ersten oder der weiteren Kamera integriert ist oder eine externe Auswerteeinrichtung ist. Hierzu ist erforderlich, dass die einzelnen Kameras datentechnisch mit der Auswerteeinrichtung verbunden sind.The determination of the first and / or the further camera parameter can in this case take place by means of an evaluation device which is integrated in the first or the further camera or is an external evaluation device. For this purpose, it is necessary for the individual cameras to be connected to the evaluation device in terms of data.

Weiter vorgeschlagen wird eine Vorrichtung zur Bestimmung mindestens eines Kameraparameters einer ersten Kamera, insbesondere einer Kamera zur Verkehrsüberwachung. Die Vorrichtung umfasst mindestens eine Kamera und mindestens eine Auswerteeinrichtung. Mittels der vorgeschlagenen Vorrichtung ist eines der vorhergehend beschriebenen Verfahren in vorteilhafter Weise ausführbar.Further proposed is a device for determining at least one camera parameter of a first camera, in particular a camera for traffic monitoring. The device comprises at least one camera and at least one evaluation device. By means of the proposed device, one of the methods described above can be carried out in an advantageous manner.

Weiter kann die Vorrichtung eine Speichereinrichtung zur positionsbezogenen Speicherung von Straßenabschnittsinformationen umfassen. Auch kann die Vorrichtung zusätzlich zu der ersten Kamera mindestens eine weitere Kamera umfassen. Auch kann die Vorrichtung Sensoren zur Bestimmung von Startwerten umfassen. Wie vorhergehend erläutert, kann mittels der Auswerteeinrichtung der mindestens eine Kameraparameter der ersten Kamera und/oder der mindestens eine Kameraparameter der mindestens einen weiteren Kamera bestimmt werden.Furthermore, the device may comprise a memory device for the position-related storage of road section information. The device may also comprise at least one additional camera in addition to the first camera. The device may also include sensors for determining starting values. As explained above, the at least one camera parameter of the first camera and / or the at least one camera parameter of the at least one further camera can be determined by means of the evaluation device.

Die Erfindung wird anhand eines Ausführungsbeispiels näher erläutert. Die Fig. zeigen:The invention will be explained in more detail with reference to an embodiment. The figures show:

1 ein schematisches Blockschaltbild einer Vorrichtung zur Bestimmung mindestens eines Kameraparameters, 1 3 is a schematic block diagram of a device for determining at least one camera parameter,

2 eine perspektivische Darstellung einer Kamera zur Verkehrsüberwachung, 2 a perspective view of a camera for traffic monitoring,

3 eine exemplarische Darstellung eines Orthofotos und 3 an exemplary representation of an orthophoto and

4 ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens. 4 a schematic flow diagram of the method according to the invention.

Nachfolgend bezeichnen Elemente mit gleichen Bezugszeichen Elemente mit gleichen oder ähnlichen technischen Merkmalen.Hereinafter, like reference numerals designate elements having the same or similar technical features.

In 1 ist ein schematisches Blockschaltbild einer Vorrichtung 1 zur Bestimmung mindestens eines Kameraparameters einer Kamera 2 dargestellt. Die Vorrichtung 1 umfasst die Kamera 2 und eine Auswerteeinrichtung 3. Weiter umfasst die Vorrichtung 1 eine Speichereinrichtung 4. In der Speichereinrichtung 4 sind Straßenabschnittsinformationen in Abhängigkeit einer Position in einem Weltkoordinatensystem gespeichert. Mittels der Kamera 2 ist ein erster Erfassungsbereich E1 (siehe 2) in ein zweidimensionales erstes Kamerabild abbildbar. Diesem ersten Kamerabild ist ein erstes Kamerakoordinatensystem zugeordnet, wobei eine mit sechs Kameraparametern, die eine äußere Position und Orientierung der Kamera 2 repräsentieren, parametrierbare Abbildungsfunktion einen Zusammenhang zwischen dem ersten Kamerakoordinatensystem und dem Weltkoordinatensystem beschreibt. Mittels der Auswerteeinrichtung 3 ist eine vorbestimmte kartographierte Kalibrationsstruktur und deren Abbildungskoordinaten in dem ersten Kamerabild bestimmbar, wobei eine Position und Orientierung der kartographierten Kalibrationsstruktur bezüglich des Weltkoordinatensystems vorbekannt und ortsfest sind. Insbesondere ist die Position und Orientierung der kartographierten Kalibrationsstruktur in der Speichereinrichtung 4 gespeichert. Mittels der Auswerteeinrichtung 3 sind in Abhängigkeit von Abbildungskoordinaten der Kalibrationsstruktur, der Weltkoordinaten der Kalibrationsstruktur und der parametrierbaren Abbildungsfunktion die sechs Kameraparameter bestimmbar.In 1 is a schematic block diagram of a device 1 for determination at least one camera parameter of a camera 2 shown. The device 1 includes the camera 2 and an evaluation device 3 , Furthermore, the device comprises 1 a storage device 4 , In the storage device 4 road section information is stored depending on a position in a world coordinate system. By means of the camera 2 is a first detection area E1 (see 2 ) into a two-dimensional first camera image. This first camera image is associated with a first camera coordinate system, one with six camera parameters, the outer position and orientation of the camera 2 Represent parametric mapping function describes a relationship between the first camera coordinate system and the world coordinate system. By means of the evaluation device 3 a predetermined mapped calibration structure and its mapping coordinates in the first camera image can be determined, wherein a position and orientation of the mapped calibration structure with respect to the world coordinate system are previously known and stationary. In particular, the position and orientation of the mapped calibration structure in the memory device 4 saved. By means of the evaluation device 3 Depending on the image coordinates of the calibration structure, the world coordinates of the calibration structure and the parameterizable mapping function, the six camera parameters can be determined.

Die Kamera 2 kann beispielsweise eine mobile Kamera zur Verkehrslagenerfassung an einer Baustelle sein. Diese wird an einer Baustelle installiert. Nach dem Einschalten wird eine Position der Kamera 2 durch ein GNSS 5 bestimmt und eine grobe Ausrichtung, also ein Startwert der drei Parameter zur äußeren Orientierung der Kamera 2 durch ein Magnetometer 6 bestimmt. Das Magnetometer 6 und das GNSS 5 sind datentechnisch mit der Kamera 2 verbunden. Die Kamera 2 ist datentechnisch mit der Auswerteeinrichtung 3 verbunden.The camera 2 may be, for example, a mobile camera for traffic situation detection at a construction site. This is installed at a construction site. After turning on, a position of the camera 2 through a GNSS 5 determined and a rough orientation, so a starting value of the three parameters for the outer orientation of the camera 2 through a magnetometer 6 certainly. The magnetometer 6 and the GNSS 5 are data technology with the camera 2 connected. The camera 2 is data technology with the evaluation device 3 connected.

Auf Basis der Startwerte der Position und Orientierung wird ein Höhenprofil und ein Orthofoto (siehe z. B. 3) der Umgebung aus der Speichereinrichtung 4 geladen. Durch einen Vergleich von Strukturen in dem Orthofoto und Strukturen in dem wirklichen Sichtfeld der Kamera 2, also im ersten Kamerabild, werden die Kameraparameter der äußeren Orientierung und auch die Kameraparameter der Position der Kamera 2 optimiert. Hierdurch können in vorteilhafter Weise die Kameraparameter in kürzester Zeit automatisch bestimmt werden.Based on the starting values of the position and orientation, a height profile and an orthophoto (see, for example, FIG. 3 ) of the environment from the storage device 4 loaded. By comparing structures in the orthophoto and structures in the real field of view of the camera 2 , ie in the first camera image, the camera parameters of the outer orientation and the camera parameters of the position of the camera 2 optimized. As a result, the camera parameters can be determined automatically in the shortest possible time in an advantageous manner.

Auch kann die Kamera 2 eine Kamera eines mobilen Messaufbaus, beispielsweise eine Messfahrzeuges, sein, welches für einen begrenzten Zeitraum an einer Straßenkreuzung aufgestellt wird, um einen Verkehrsfluss bzw. eine Verkehrsflussdichte zu messen. Die Kamera 2 ermittelt hierbei die Kameraparameter, die eine Position repräsentieren, durch das vorhergehend erwähnte GNSS 5 und Startwerte für die Kameraparameter, die die äußere Orientierung repräsentieren, durch das Magnetometer 6.Also, the camera can 2 a camera of a mobile measurement setup, for example a measurement vehicle, which is set up for a limited period of time at a road intersection in order to measure a traffic flow or traffic flow density. The camera 2 determines the camera parameters that represent a position by the previously mentioned GNSS 5 and start values for the camera parameters representing the outer orientation by the magnetometer 6 ,

Weiter können ein Höhenprofil und eine Straßenkarte der Umgebung aus der Speichereinrichtung 4 geladen und mit Hilfe der Startwerte in eine virtuelle Bildebene, nämlich das erste Kamerabild, projiziert werden. Die Kameraparameter, die die äußere Orientierung repräsentieren, und/oder die Kameraparameter, die eine Position der Kamera 2 repräsentieren, werden durch einen Vergleich der projizierten Straßenoberflächen mit den aus der Straßenkarte extrahierten Straßenoberflächen im ersten Kamerabild optimiert. Hierdurch können die Kameraparameter, die die äußere Orientierung der Kamera 2 repräsentieren, in kürzester Zeit automatisch bestimmt werden.Further, a height profile and a roadmap of the environment may be taken from the storage device 4 loaded and with the help of the starting values in a virtual image plane, namely the first camera image, are projected. The camera parameters that represent the outer orientation and / or the camera parameters that represent a position of the camera 2 are optimized by comparing the projected road surfaces with the road surfaces extracted from the road map in the first camera image. This allows the camera parameters that are the outer orientation of the camera 2 represent, be determined automatically in no time.

In 2 ist eine perspektivische Darstellung einer Kamera 2 zur Verkehrsüberwachung dargestellt. Die Kamera 2 ist an einer erhöhten Position, beispielsweise auf einem Dach eines Gebäudes 7, angeordnet und weist einen Erfassungsbereich E1 auf, der symbolisch durch mehrere Strahlen dargestellt ist. Weiter dargestellt ist ein Straßenverlauf einer Straße 8, die im Erfassungsbereich E1 eine T-Kreuzung aufweist. Die Straße 8 weist hierbei eine Breite B auf.In 2 is a perspective view of a camera 2 shown for traffic monitoring. The camera 2 is at an elevated position, for example on a roof of a building 7 , arranged and has a detection area E1, which is symbolically represented by a plurality of beams. Also shown is a road course of a road 8th which has a T-junction in the detection area E1. The street 8th here has a width B on.

In 3 ist ein exemplarisches Orthofoto der in 2 dargestellten Umgebung dargestellt. Das Orthofoto zeigt hierbei Landmarken, wie z. B. eine Haltelinie 9, die auch in 2 dargestellt ist, und Fahrbahnmarkierungen 10. Auch kann in dem Orthofoto die Breite B der Straße 8 bestimmt werden. Mit Hilfe dieser Informationen kann das Orthofoto mit einem Kamerabild der Kamera 2 der Straße 8 verglichen werden und wie vorhergehend erläutert die Kameraparameter bestimmt werden.In 3 is an exemplary orthophoto of the in 2 represented environment shown. The orthophoto here shows landmarks, such. B. a stop line 9 that also in 2 is shown, and road markings 10 , Also, in the orthophoto, the width B of the road 8th be determined. With the help of this information, the orthophoto can take a camera picture of the camera 2 the street 8th be compared and as previously explained, the camera parameters are determined.

In 4 ist ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens dargestellt. In einem ersten Schritt S1 erfasst eine Kamera 2 (siehe 1) ein erstes Kamerabild, wobei dem ersten Kamerabild ein erstes Kamerakoordinatensystem zugeordnet ist. In einem zweiten Schritt S2 werden in dem ersten Kamerabild Kalibrationsstrukturen mittels bekannter Verfahren zur Objektdetektion detektiert. In einem dritten Schritt S3 werden Startwerte für Kameraparameter, die eine Position und Orientierung der Kamera 2 repräsentieren, bestimmt. Dies kann beispielsweise mit Hilfe des in 1 dargestellten GNSS 5 und des Magnetometers 6 erfolgen. In einem vierten Schritt S4 werden in Abhängigkeit dieser Startwerte Umgebungsinformationen, z. B. ein Orthofoto der Umgebung, aus einer Speichereinrichtung 4 (siehe 1) abgerufen. In einem fünften Schritt 55 werden Abbildungskoordinaten der im zweiten Schritt S2 bestimmten Kalibrationsstrukturen in Abhängigkeit der Startwerte in ein Weltkoordinatensystem transformiert. in einem sechsten Schritt S6 erfolgt, z. B. mittels eines Simplex-Verfahrens, eine Optimierung der Kameraparameter ausgehend von ihren Startwerten durch ein iteratives Optimierungsverfahren.In 4 is shown a schematic flow diagram of the method according to the invention. In a first step S1, a camera detects 2 (please refer 1 ) a first camera image, wherein the first camera image is associated with a first camera coordinate system. In a second step S2, calibration structures are detected in the first camera image by means of known methods for object detection. In a third step S3, starting values for camera parameters that are a position and orientation of the camera 2 represent, determined. This can be done, for example, with the help of in 1 represented GNSS 5 and the magnetometer 6 respectively. In a fourth step S4, depending on these starting values, environmental information, e.g. B. an ortho-photo of the environment, from a storage device 4 (please refer 1 ). In a fifth step 55 become mapping coordinates of the second step S2 transformed certain calibration structures depending on the starting values in a world coordinate system. in a sixth step S6, z. Example by means of a simplex method, an optimization of the camera parameters from their starting values by an iterative optimization method.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Vorrichtung zur Bestimmung mindestens eines KameraparametersDevice for determining at least one camera parameter
22: Kameracamera
33: Auswerteeinrichtungevaluation
44: Speichereinrichtungmemory device
55: GNSSGNSS
66: Magnetometermagnetometer
77: Gebäudebuilding
88th: StraßeStreet
99: Halteliniestop line
1010: Fahrbahnmarkierungroad marking
88th: Breitewidth
E1E1: Erfassungsbereichdetection range
S1S1: erster Schrittfirst step
S2S2: zweiter Schrittsecond step
S3S3: dritter SchrittThird step
S4S4: vierter Schrittfourth step
S5S5: fünfter Schrittfifth step
S6S6: sechster Schrittsixth step

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102007001649 A1 [0007]
DE 10340023 B3 [0008]

Claims

Method for determining at least one camera parameter of a first camera ( 2 ), in particular a camera for traffic surveillance, wherein the first camera ( 2 ) is associated with a first detection area (E1), wherein by means of the first camera ( 2 ), the first detection area (E1) is imaged into a two-dimensional first camera image, wherein the first camera image is associated with a first camera coordinate system, wherein an adjustable with at least one camera parameter mapping function describes a relationship between the first camera coordinate system and a world coordinate system, characterized in that a a position and / or orientation of the cartographed calibration structure with respect to the world coordinate system is previously known and stationary, wherein depending on mapping coordinates of the calibration structure of world coordinates of the calibration structure and the parameterizable mapping function of at least one Camera parameter is determined.

A method according to claim 1, characterized in that a starting value of the at least one camera parameter is previously known or determined as a function of at least one sensor signal, wherein at least one sensor which generates the at least one sensor signal, a position and / or orientation of the first camera with respect to World coordinate system recorded.

Method according to one of the preceding claims, characterized in that the cartographed calibration structure comprises at least one road section.

Method according to claim 3, characterized in that in a memory device ( 4 ) Are stored depending on a position in the world coordinate system, wherein depending on the starting value of the at least one camera parameter from the stored road section information at least one in the first detection area (E1) arranged road section is determined, a road section in the first camera image are determined, depending on the mapping coordinates of the at least one detected road section, the world coordinates of the at least one road section determined from the stored road section information, and the parameterizable mapping function of the at least one camera parameter.

A method according to claim 4, characterized in that in the memory device ( 4 ) stored street information in the form of orthophotos.

A method according to claim 4, characterized in that in the memory device ( 4 ) are stored in the form of a road database.

Method according to one of claims 4 to 6, characterized in that in the memory device ( 4 ) or stored in an additional memory device height information of an earth's surface as a function of a position in the world coordinate system, depending on the starting value of the at least one camera parameter from the stored height information, a height or a height profile of at least one in the first detection area (E1) arranged road section is determined wherein the altitude or the altitude course are linked to the world coordinates of the at least one road section determined from the stored road section information.

Method according to one of claims 4 to 7, characterized in that at least one straight road section and its mapping coordinates in the first camera image is determined, wherein depending on the starting value of the at least one camera parameter from the stored road section information at least one in the first detection area (E1) arranged even Road section is determined, wherein depending on the mapping coordinates of at least one detected straight road section, the world coordinates of the at least one of the stored road section information determined straight road section and the parameterizable mapping function of the at least one camera parameters is determined.

Method according to one of the preceding claims, characterized in that in addition at least one camera parameter of at least one further camera according to one of the methods 1 to 8 is determined, wherein the at least one further camera is associated with a further detection area, wherein the further detection area in a two-dimensional further camera image wherein the first detection area (E1) and the further detection area overlap at least partially, wherein at least one corresponding structure is determined in the first camera image and the at least one further camera image, depending on the imaging coordinates of the at least one corresponding structure in the first camera image , the mapping coordinates of the at least one corresponding structure in the at least one further camera image, the imaging function parameterized with the first camera parameter and the imaging function parameterized with the further camera parameter, the first and the further camera parameters are again determined.

Device for determining at least one camera parameter of a first camera ( 2 ), in particular a traffic surveillance camera, the device ( 1 ) at least one camera ( 2 ) and at least one evaluation device ( 3 ), wherein the first camera ( 2 ) is associated with a first detection area (E1), wherein by means of the first camera ( 2 in that a first camera coordinate system is assigned to the first camera image, wherein an imaging function that can be parameterized with at least one camera parameter describes a relationship between the first camera coordinate system and a world coordinate system, characterized in that the evaluation device ( 3 ), wherein a position and / or orientation of the cartographed calibration structure with respect to the world coordinate system are previously known and stationary, wherein by means of the evaluation depending on imaging coordinates of the calibration structure of world coordinates of the calibration structure and the parametrierbaren mapping function of at least one camera parameters can be determined.