DE102015104065A1

DE102015104065A1 - A method for determining a position of an object in a three-dimensional world coordinate system, computer program product, camera system and motor vehicle

Info

Publication number: DE102015104065A1
Application number: DE102015104065.4A
Authority: DE
Inventors: Duong-Van Nguyen; Ciaran Hughes; Jonathan Horgan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-03-18
Filing date: 2015-03-18
Publication date: 2016-09-22
Also published as: WO2016146559A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Position eines in einem Umgebungsbereich (6) eines Kraftfahrzeugs (1) angeordneten Objekts (7) in einem dreidimensionalen Weltkoordinatensystem (8), bei welchem folgende Schritte durchgeführt werden: – Bereitstellen eines das Objekt (7) aufweisenden ersten Bilds (9) und eines das Objekt (7) aufweisenden zweiten Bilds (10) einer Bildsequenz mittels einer Kamera (3) des Kraftfahrzeugs (1), – Bestimmen eines ersten charakteristischen Bildpunkts (I1) von dem Objekt (7) in dem ersten Bild (9) und eines zweiten charakteristischen Bildpunkts (I2) von dem Objekt (7) in dem zweiten Bild (10), – Transformieren des in einem zweidimensionalen Bildkoordinatensystem vorliegenden ersten charakteristischen Bildpunkts (I1) in das dreidimensionale Weltkoordinatensystem (8) als erster Strahl (v1) und des in einem zweidimensionalen Bildkoordinatensystem vorliegenden zweiten charakteristischen Bildpunkts (I2) in das dreidimensionale Weltkoordinatensystem (8) als zweiter Strahl (v2), – Bestimmen einer senkrecht zu dem ersten Strahl (v1) und zu dem zweiten Strahl (v2) ausgerichteten Verbindungsgeraden (w), – Bestimmen eines Mittelpunktes (P) der Verbindungsgeraden (w) als die Position des Objekts (7) in dem Umgebungsbereich (6).The invention relates to a method for determining a position of an object (7) arranged in a surrounding area (6) of a motor vehicle (3) in a three-dimensional world coordinate system (8), in which the following steps are carried out: - providing the object (7) first image (9) and a second image (10) of an image sequence comprising the object (7) by means of a camera (3) of the motor vehicle (1), - determining a first characteristic image point (I1) of the object (7) in the first Image (9) and a second characteristic pixel (I2) of the object (7) in the second image (10), transforming the first characteristic pixel (I1) present in a two-dimensional image coordinate system into the three-dimensional world coordinate system (8) as a first beam (v1) and the second characteristic pixel (I2) present in a two-dimensional image coordinate system into the three-dimensional world coordinate natensystem (8) as a second beam (v2), - determining a perpendicular to the first beam (v1) and to the second beam (v2) aligned connecting line (w), - determining a center (P) of the connecting line (w) as the Position of the object (7) in the surrounding area (6).

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen einer Position eines in einem Umgebungsbereich eines Kraftfahrzeugs angeordneten Objekts in einem dreidimensionalen Weltkoordinatensystem. Es werden ein das Objekt aufweisendes erstes Bild und ein das Objekt aufweisendes zweites Bild einer Bildsequenz mittels einer Kamera des Kraftfahrzeugs bereitgestellt. Weiterhin werden ein erster charakteristischer Bildpunkt von dem Objekt in dem ersten Bild und ein zweiter charakteristischer Bildpunkt von dem Objekt in dem zweiten Bild bestimmt. Die Erfindung betrifft auch ein Computerprogrammprodukt, ein Kamerasystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug mit einem Kamerasystem. The invention relates to a method for determining a position of an object arranged in a surrounding area of a motor vehicle in a three-dimensional world coordinate system. A first image having the object and a second image of an image sequence having the object are provided by means of a camera of the motor vehicle. Furthermore, a first characteristic pixel of the object in the first image and a second characteristic pixel of the object in the second image are determined. The invention also relates to a computer program product, a camera system for a motor vehicle and a motor vehicle with a camera system.

Verfahren zum Bestimmen einer Position eines Objekts in einem dreidimensionalen Weltkoordinatensystem sind aus dem Stand der Technik bekannt. So können beispielsweise 3D-Kamerasysteme, wie beispielsweise TOF-Kameras (TOF – Time Of Flight) genutzt werden, um die Position des Objekts in dem dreidimensionalen Weltkoordinatensystem bereitzustellen. Anhand der Position des Objekts in dem dreidimensionalen Weltkoordinatensystem kann beispielsweise ein Abstand des Objekts zu einem Kraftfahrzeug, an welchem das Kamerasystem angeordnet ist, in dem dreidimensionalen Weltkoordinatensystem bestimmt werden. In dem dreidimensionalen Weltkoordinatensystem wird die Position des Objekts und/oder des Kraftfahrzeugs in der Lage und der Höhe bezüglich einer Bezugsfläche, wie beispielsweise der Erdoberfläche, beschrieben. Methods of determining a position of an object in a three-dimensional world coordinate system are known in the art. For example, 3D camera systems, such as TOF (Time Of Flight) cameras, can be used to provide the position of the object in the three-dimensional world coordinate system. On the basis of the position of the object in the three-dimensional world coordinate system, for example, a distance of the object to a motor vehicle on which the camera system is arranged can be determined in the three-dimensional world coordinate system. In the three-dimensional world coordinate system, the position of the object and / or the motor vehicle in the position and the height with respect to a reference surface, such as the earth's surface, will be described.

Vorliegend wird die Position des Objekts in dem dreidimensionalen Weltkoordinatensystem vorzugsweise abhängig von dem Prinzip der Stereoskopie bestimmt. Hierbei werden zumindest zwei Bilder von unterschiedlichen Standorten aus aufgenommen. Das Objekt wird also in jedem der Bilder mit zumindest leicht unterschiedlichen Ansichten dargestellt. Bekannte Verfahren zum Bestimmen der Position des Objekts in dem dreidimensionalen Weltkoordinatensystem nach diesem Prinzip sind üblicherweise rechenaufwendig und langsam. In the present case, the position of the object in the three-dimensional world coordinate system is preferably determined as a function of the principle of stereoscopy. At least two images are taken from different locations. The object is thus displayed in each of the images with at least slightly different views. Known methods for determining the position of the object in the three-dimensional world coordinate system according to this principle are usually computation-intensive and slow.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem bzw. bei welchem das Bestimmen einer Position eines in einem Umgebungsbereich eines Kraftfahrzeugs angeordneten Objekts in einem dreidimensionalen Weltkoordinatensystem schnell und mit wenig Aufwand durchgeführt werden kann. The object of the invention is to provide a method, a computer program product, a camera system and a motor vehicle with which the determination of a position of an object arranged in an environmental region of a motor vehicle can be carried out quickly and with little effort in a three-dimensional world coordinate system.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Computerprogrammprodukt, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. This object is achieved by a method by a computer program product, by a camera system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren wird eine Position eines in einem Umgebungsbereich des Kraftfahrzeugs angeordneten Objekts in einem dreidimensionalen Weltkoordinatensystem bestimmt. Es werden ein das Objekt aufweisendes erstes Bild und ein das Objekt aufweisendes zweites Bild einer Bildsequenz mittels einer Kamera des Kraftfahrzeugs bereitgestellt. Eine erste Position der Kamera während der Aufnahme des ersten Bilds ist insbesondere unterschiedlich von einer zweiten Position der Kamera während der Aufnahme des zweiten Bilds. Es werden ein erster charakteristischer Bildpunkt von dem Objekt in dem ersten Bild und ein zweiter charakteristischer Bildpunkt von dem Objekt in dem zweiten Bild bestimmt. Als ein wesentlicher Gedanke der Erfindung werden der in einem zweidimensionalen Bildkoordinatensystem vorliegende erste charakteristische Bildpunkt in das dreidimensionale Weltkoordinatensystem als erster Strahl und der in einem zweidimensionalen Bildkoordinatensystem vorliegende zweite charakteristische Bildpunkt in das dreidimensionale Weltkoordinatensystem als zweiter Strahl transformiert. Es wird eine senkrecht zu dem ersten Strahl und senkrecht zu dem zweiten Strahl ausgerichtete Verbindungsgerade bestimmt. Weiterhin wird ein Mittelpunkt der Verbindungsgeraden als die Position des Objekts in dem Umgebungsbereich bestimmt. In a method according to the invention, a position of an object arranged in an environmental region of the motor vehicle is determined in a three-dimensional world coordinate system. A first image having the object and a second image of an image sequence having the object are provided by means of a camera of the motor vehicle. A first position of the camera during the recording of the first image is in particular different from a second position of the camera during the recording of the second image. A first characteristic pixel of the object in the first image and a second characteristic pixel of the object in the second image are determined. As an essential idea of the invention, the first characteristic pixel present in a two-dimensional image coordinate system is transformed into the three-dimensional world coordinate system as a first beam and the second characteristic image point present in a two-dimensional image coordinate system is transformed into the three-dimensional world coordinate system as a second beam. A connecting line aligned perpendicular to the first beam and perpendicular to the second beam is determined. Further, a center of the connecting line is determined as the position of the object in the surrounding area.

Durch das erfindungsgemäße Verfahren kann das Bestimmen der Position des in dem Umgebungsbereich des Kraftfahrzeugs angeordneten Objekts in dem dreidimensionalen Weltkoordinatensystem schnell und rechenarm erfolgen. Die Position kann also mit wenig Aufwand bereitgestellt werden. The method according to the invention makes it possible to determine the position of the object arranged in the surrounding area of the motor vehicle in the three-dimensional world coordinate system quickly and with little computation. The position can therefore be provided with little effort.

Die Position des Objekts wird insbesondere nur anhand von zwei Bildern der Bildsequenz, welche an unterschiedlichen Standorten aufgenommen werden, bestimmt. Das Bestimmen des ersten charakteristischen Bildpunkts kann beispielsweise initial mit einem Interest-Punktoperator erfolgen. Der erste charakteristische Bildpunkt kann aber ebenso wie der zweite charakteristische Bildpunkt abhängig von einem beispielsweise zu einem früheren Zeitpunkt bestimmten charakteristischen Bildpunkt mittels eines Verfahrens zur Verfolgung der charakteristischen Bildpunkte bestimmt werden. So können der erste charakteristische Bildpunkt und der zweite charakteristische Bildpunkt beispielsweise mit einem Verfahren des optischen Flusses bestimmt werden. Der erste charakteristische Bildpunkt und der zweite charakteristische Bildpunkt liegen insbesondere jeweils in einem zweidimensionalen Bildkoordinatensystem vor. In dem zweidimensionalen Bildkoordinatensystem wird der charakteristische Bildpunkt beispielsweise mit zwei Koordinaten in der Bildebene beschrieben. The position of the object is determined in particular only on the basis of two images of the image sequence which are recorded at different locations. The determination of the first characteristic pixel may be carried out, for example, initially with an interest point operator. However, as with the second characteristic pixel, the first characteristic pixel can be determined by a method for tracking the characteristic pixels, depending on a characteristic pixel determined, for example, at an earlier point in time. For example, the first characteristic pixel and the second characteristic pixel may be determined by a method of optical flow. The first characteristic pixel and the second characteristic pixel are in each case in each case in a two-dimensional image coordinate system. In the two-dimensional image coordinate system, the characteristic pixel is described with, for example, two coordinates in the image plane.

Das Transformieren des ersten charakteristischen Bildpunkts und des zweiten charakteristischen Bildpunkts in das dreidimensionale Weltkoordinatensystem erfolgt insbesondere mit dem Wissen über Kalibrierungsparameter der Kamera und einer ermittelten Position und Orientierung der Kamera zum Zeitpunkt der Aufnahme des ersten Bilds und/oder des zweiten Bilds. Die Transformation kann dann mit einem Translationsvektor und einer Rotationsmatrix durchgeführt werden. Nach dem Transformieren liegt der erste charakteristische Bildpunkt in dem dreidimensionalen Weltkoordinatensystem als erster Strahl vor, während der zweite charakteristische Bildpunkt als zweiter Strahl vorliegt. Durch den ersten Strahl sowie durch den zweiten Strahl wird eine Positionsunschärfe beschrieben, welche darin begründet ist, dass eine zweidimensionale Koordinate in ein dreidimensionales Koordinatensystem transformiert wird. Die dritte Dimension, welche insbesondere durch einen Abstand von dem Kraftfahrzeug bzw. der Kamera zu dem Objekt charakterisiert wird, kann anhand eines einzigen Bilds nicht bestimmt werden. In einem selten auftretenden Idealfall schneiden sich der erste Strahl und der zweite Strahl an der Position des Objekts in dem dreidimensionalen Weltkoordinatensystem. In der Realität schneiden sich der erste Strahl und der zweite Strahl allerdings meistens nicht. Deshalb wird die Verbindungsgerade senkrecht zu dem ersten Strahl und senkrecht zu dem zweiten Strahl bestimmt. Die Verbindungsgerade ist insbesondere die kürzeste zu beiden Strahlen senkrecht ausgerichtete Verbindung zwischen dem ersten Strahl und dem zweiten Strahl. Die Verbindungsgerade wird also insbesondere dort angeordnet, wo sich der erste Strahl und der zweite Strahl mit der kürzest möglichen, auf beiden Strahlen vorzugsweise senkrechten Verbindungsgeraden verbinden lassen. Die Verbindungsgerade ist insbesondere als eine Strecke ausgebildet, welche einen Anfangspunkt an dem ersten Strahl oder dem zweiten Strahl und einen Endpunkt an dem zweiten Strahl oder dem ersten Strahl aufweist. Die Strecke ist insbesondere gerade und nicht kurvig ausgebildet. Auf der Verbindungsgeraden wird der Mittelpunkt bestimmt. Von dem Mittelpunkt aus ist der Schnittpunkt der Verbindungsgeraden mit dem ersten Strahl gleich weit entfernt wie der Schnittpunkt der Verbindungsgeraden mit dem zweiten Strahl. Durch den Mittelpunkt wird die Position des Objekts in dem Umgebungsbereich bestimmt. Die Position des Objekts wird also durch den Mittelpunkt in dem dreidimensionalen Weltkoordinatensystem beschrieben. The transformation of the first characteristic pixel and the second characteristic pixel into the three-dimensional world coordinate system takes place, in particular, with the knowledge of calibration parameters of the camera and a determined position and orientation of the camera at the time of recording the first image and / or the second image. The transformation can then be performed with a translation vector and a rotation matrix. After the transformation, the first characteristic pixel is present in the three-dimensional world coordinate system as the first beam, while the second characteristic pixel is present as a second beam. By the first beam and by the second beam, a position blurring is described, which is due to the fact that a two-dimensional coordinate is transformed into a three-dimensional coordinate system. The third dimension, which is characterized in particular by a distance from the motor vehicle or the camera to the object, can not be determined on the basis of a single image. In a rarely occurring ideal case, the first beam and the second beam intersect at the position of the object in the three-dimensional world coordinate system. In reality, however, most of the first ray and the second ray do not intersect. Therefore, the connecting line is determined perpendicular to the first beam and perpendicular to the second beam. The connecting straight line is, in particular, the shortest connection, perpendicular to both beams, between the first beam and the second beam. The connecting straight line is therefore arranged in particular where the first beam and the second beam can be connected to the shortest possible connecting straight line, which is preferably perpendicular on both beams. In particular, the connecting line is formed as a path having a starting point on the first beam or the second beam and an end point on the second beam or the first beam. The track is especially straight and not curvy trained. The midpoint is determined on the connecting straight line. From the center, the intersection of the connecting line with the first beam is the same distance as the intersection of the connecting line with the second beam. The center determines the position of the object in the surrounding area. The position of the object is thus described by the center point in the three-dimensional world coordinate system.

Durch die Position des Objekts in dem dreidimensionalen Weltkoordinatensystem kann beispielsweise ein Abstand von dem Objekt zu dem Kraftfahrzeug bzw. zu der Kamera bestimmt werden. Weiterhin kann von dem Objekt beispielsweise eine 3D-Rekonstruktion bestimmt werden. Somit kann das Kraftfahrzeug beispielsweise bei einem Parkvorgang unterstützt werden. By the position of the object in the three-dimensional world coordinate system, for example, a distance from the object to the motor vehicle or to the camera can be determined. Furthermore, for example, a 3D reconstruction of the object can be determined. Thus, the motor vehicle can be supported for example in a parking operation.

Insbesondere ist es vorgesehen, dass das Transformieren von dem zweidimensionalen Bildkoordinatensystem in das dreidimensionale Weltkoordinatensystem abhängig von Orientierungsparametern des Kraftfahrzeugs, welche durch Odometrie und/oder visuelle Odometrie bestimmt werden, durchgeführt wird. Die Odometrie bezeichnet eine Methode der Schätzung von Position und Orientierung eines mobilen Systems anhand der Daten seines Vortriebs. Die Daten der Odometrie können beispielsweise von einem CAN-Bus des Kraftfahrzeugs bereitgestellt werden. Die visuelle Odometrie kann beispielsweise anhand des ersten Bilds und/oder des zweiten Bilds und/oder weiteren Bildern von Kameras des Kraftfahrzeugs durchgeführt werden. Vorteilhaft ist auch, dass die Odometrie und die visuelle Odometrie kombiniert werden können. So kann es beispielsweise sein, dass die Odometrie durch die visuelle Odometrie ergänzt bzw. verbessert wird. Die Orientierungsparameter des Kraftfahrzeugs können also genau und zuverlässig bestimmt werden. Somit kann die Transformation ebenfalls genau und zuverlässig erfolgen. In particular, it is provided that the transformation from the two-dimensional image coordinate system into the three-dimensional world coordinate system is carried out as a function of orientation parameters of the motor vehicle, which are determined by odometry and / or visual odometry. Odometry is a method of estimating the position and orientation of a mobile system based on the data of its propulsion. The data of the odometry can be provided for example by a CAN bus of the motor vehicle. The visual odometry can be carried out, for example, on the basis of the first image and / or the second image and / or further images of cameras of the motor vehicle. It is also advantageous that odometry and visual odometry can be combined. For example, it may be that odometry is supplemented or improved by visual odometry. The orientation parameters of the motor vehicle can thus be determined accurately and reliably. Thus, the transformation can also be done accurately and reliably.

Weiterhin kann es vorgesehen sein, dass durch die Orientierungsparameter des Kraftfahrzeugs eine Gierinformation und/oder eine Nickinformation und/oder eine Rollinformation des Kraftfahrzeugs beschrieben wird. Durch die Gierinformation wird insbesondere eine Drehung um eine Hochachse des Kraftfahrzeugs beschrieben. Durch die Nickinformation wird insbesondere eine Drehung um die Querachse des Kraftfahrzeugs beschrieben. Durch die Rollinformation wird eine Drehung um die Längsachse des Kraftfahrzeugs beschrieben. Durch das eindeutige Definieren der Orientierungsparameter kann die Transformation eindeutig durchgeführt werden und somit kann die Position des Objekts zuverlässig bestimmt werden. Furthermore, provision may be made for yaw information and / or pitch information and / or roll information of the motor vehicle to be described by the orientation parameters of the motor vehicle. The yawing information particularly describes a rotation about a vertical axis of the motor vehicle. The pitch information in particular describes a rotation about the transverse axis of the motor vehicle. The roll information describes a rotation about the longitudinal axis of the motor vehicle. By uniquely defining the orientation parameters, the transformation can be performed unambiguously and thus the position of the object can be reliably determined.

Insbesondere ist es vorgesehen, dass mit dem ersten Strahl und dem zweiten Strahl ein Strahlenpaar bestimmt wird und der Mittelpunkt der Verbindungsgeraden nur abhängig von dem Strahlenpaar bestimmt wird. Das bedeutet, dass der Mittelpunkt und somit die Position des Objekts insbesondere ausschließlich mit dem ersten charakteristischen Bildpunkt und dem zweiten charakteristischen Bildpunkt bestimmt wird. Dies bedeutet weiterhin, dass der Mittelpunkt und somit die Position des Objekts insbesondere ausschließlich anhand von zwei Bildern der Bildsequenz bestimmt wird. Durch das Strahlenpaar kann die Position des Objekts schnell, effektiv und rechenarm bestimmt werden. Es ist also insbesondere nicht nötig mehr charakteristische Bildpunkte als den ersten charakteristischen Bildpunkt und den zweiten charakteristischen Bildpunkt in das dreidimensionale Weltkoordinatensystem zu transformieren. Somit reichen der erste Strahl und der zweite Strahl insbesondere aus, um die Position des Objekts in dem dreidimensionalen Weltkoordinatensystem zu bestimmen. In particular, it is provided that with the first beam and the second beam, a beam pair is determined and the center of the connecting line is determined only depending on the beam pair. This means that the center and thus the position of the object is determined in particular exclusively with the first characteristic pixel and the second characteristic pixel. This further means that the center and thus the position of the object in particular exclusively based on two pictures of the picture sequence is determined. The beam pair allows the position of the object to be determined quickly, effectively and with little computation. In particular, it is therefore not necessary to transform more characteristic pixels than the first characteristic pixel and the second characteristic pixel into the three-dimensional world coordinate system. In particular, the first beam and the second beam are sufficient to determine the position of the object in the three-dimensional world coordinate system.

In einer weiteren Ausführungsform kann es vorgesehen sein, dass das erste Bild und das zweite Bild als zeitlich unmittelbar aufeinanderfolgende Bilder der Bildsequenz bereitgestellt werden. Somit kann die Position des Objekts innerhalb eines kurzen Zeitraums bestimmt werden. In a further embodiment it can be provided that the first image and the second image are provided as images of the image sequence which follow one after the other in time. Thus, the position of the object can be determined within a short period of time.

Insbesondere ist vorgesehen, dass die durch den Mittelpunkt charakterisierte Position des Objekts in dem Umgebungsbereich durch ein Fehlerprüfverfahren überprüft wird. Durch das Fehlerprüfverfahren kann ermittelt werden, wie zuverlässig die bestimmte Position des Objekts ist. So kann durch das Fehlerprüfverfahren festgestellt werden, dass der Mittelpunkt fehlerhaft ist. Ein fehlerhafter Mittelpunkt, welcher die bestimmte Position des Objekts in dem Umgebungsbereich fehlerhaft beschreibt kann beispielsweise von dem weiteren Verfahren ausgeschlossen werden. So kann es beispielsweise sein, dass der fehlerhafte Mittelpunkt bei einer Weiterverarbeitung der Information nicht berücksichtigt wird. So kann der fehlerhafte Mittelpunkt beispielsweise bei einer 3D Rekonstruktion des Objekts nicht berücksichtigt werden. Das Fehlerprüfverfahren wird insbesondere stufenweise durchgeführt, wobei schon der Nachweis eines Fehlers des Mittelpunkts bei einer der Stufen ausreichen kann, um den Mittelpunkt als fehlerhaft einzuordnen. Weiterhin vorteilhaft an dem Fehlerprüfverfahren ist also, dass eine mehrfach mit verschiedenen Ansätzen auf Fehler überprüfte Position des Objekts durch den Mittelpunkt bereitgestellt werden kann. In particular, it is provided that the position of the object characterized by the center point in the surrounding area is checked by an error checking method. The error checking method can be used to determine how reliable the specific position of the object is. Thus, it can be determined by the error checking method that the center is faulty. A faulty center, which erroneously describes the specific position of the object in the surrounding area, can for example be excluded from the further procedure. For example, it may be that the faulty center is not taken into account in further processing of the information. For example, the faulty center can not be taken into account in a 3D reconstruction of the object. In particular, the error checking method is carried out in stages, wherein even the detection of a fault of the center in one of the stages can be sufficient to classify the center as faulty. A further advantage of the error checking method is therefore that a position of the object which has been checked repeatedly with different approaches for errors can be provided by the center.

Vorzugsweise ist vorgesehen, dass der Mittelpunkt in das erste Bild und/oder in das zweite Bild und/oder in ein drittes Bild der Bildsequenz rücktransformiert wird, und das Fehlerprüfverfahren abhängig von der Rücktransformation des Mittelpunkts durchgeführt wird, wobei durch das Rücktransformieren des Mittelpunkts in das erste Bild und/oder in das zweite Bild ein erster Fehlerwert bereitgestellt wird und durch das Rücktransformieren des Mittelpunkts in das dritte Bild ein zweiter Fehlerwert bereitgestellt wird, und die durch den Mittelpunkt charakterisierte Position des Objekts fehlerhaft ist, falls der erste Fehlerwert als ein vorbestimmter erster Fehlergrenzwert bestimmt wird und/oder der zweite Fehlerwert größer als ein vorbestimmter zweiter Fehlergrenzwert bestimmt wird. Die Rücktransformation kann beispielsweise durch ein Invertieren der Transformation von dem ersten charakteristischen Bildpunkt und/oder von dem zweiten charakteristischen Bildpunkt in das dreidimensionale Weltkoordinatensystem erfolgen. Für den Fall, dass nur das erste Bild und das zweite Bild vorliegen, wird der Mittelpunkt in das erste Bild und/oder das zweite Bild rücktransformiert und dessen Lage abhängig von dem ersten Fehlergrenzwert bewertet. So kann es sein, dass der Mittelpunkt als fehlerhaft bewertet wird, falls ein Abstand des Mittelpunkts von dem ersten charakteristischen Bildpunkt in dem ersten Bild und/oder von dem zweiten charakteristischen Bildpunkt in dem zweiten Bild größer als der erste Fehlergrenzwert bestimmt wird. Für den Fall, dass mehr Bilder als das erste Bild und das zweite Bild vorliegen, kann der Mittelpunkt in das dritte Bild rücktransformiert werden. In dem dritten Bild wird vorzugsweise ein dritter charakteristischer Bildpunkt von dem Objekt bestimmt. Der dritte charakteristische Bildpunkt kann beispielsweise auch mittels eines Verfahrens des optischen Flusses bestimmt werden und beispielsweise eine Fortsetzung der Verfolgung des ersten charakteristischen Bildpunkts und des zweiten charakteristischen Bildpunkts sein. Der Mittelpunkt kann also nun als fehlerhaft beurteilt werden, falls ein Abstand von dem Mittelpunkt zu dem dritten charakteristischen Bildpunkt größer ist als der vorbestimmte zweite Fehlergrenzwert. Das Bestimmen der Fehlerhaftigkeit des Mittelpunkts abhängig von dem dritten charakteristischen Bildpunkt bzw. dem dritten Bild ist zuverlässiger als dies anhand des ersten Bilds und/oder des zweiten Bilds durchgeführt werden kann. Dies ist darin begründet, dass der dritte charakteristische Bildpunkt nicht zur Berechnung des Mittelpunkts verwendet wurde. Vorteilhaft ist also, dass anhand des ersten Fehlergrenzwerts und/oder des zweiten Fehlergrenzwerts eine Zuverlässigkeitsbewertung des Mittelpunkts bereitgestellt wird. It is preferably provided that the center point is transformed back into the first image and / or into the second image and / or into a third image of the image sequence, and the error checking method is carried out as a function of the inverse transformation of the center, wherein the inverse transformation of the center point into the first image and / or providing a first error value to the second image, and by inversely transforming the center into the third image, providing a second error value and the position of the object characterized by the midpoint is erroneous if the first error value is a predetermined first Error limit is determined and / or the second error value is determined to be greater than a predetermined second error limit. The inverse transformation can be carried out, for example, by inverting the transformation from the first characteristic pixel and / or from the second characteristic pixel into the three-dimensional world coordinate system. In the event that only the first image and the second image are present, the center is transformed back into the first image and / or the second image and evaluated its position depending on the first error limit. Thus, the center may be judged erroneous if a distance of the center from the first characteristic pixel in the first image and / or from the second characteristic pixel in the second image is determined to be greater than the first error limit. In the event that there are more images than the first image and the second image, the center can be transformed back into the third image. In the third image, a third characteristic pixel is preferably determined by the object. The third characteristic pixel may, for example, also be determined by means of a method of optical flow and be, for example, a continuation of the tracking of the first characteristic pixel and the second characteristic pixel. Thus, the center point can now be assessed as erroneous if a distance from the center point to the third characteristic pixel is greater than the predetermined second error limit value. Determining the defectiveness of the center as a function of the third characteristic pixel or the third image is more reliable than can be carried out on the basis of the first image and / or the second image. This is because the third characteristic pixel was not used to calculate the center. It is therefore advantageous that a reliability assessment of the center is provided on the basis of the first error limit value and / or the second error limit value.

Weiterhin ist es vorzugsweise vorgesehen, dass eine Länge der Verbindungsgeraden bestimmt wird, und das Fehlerprüfverfahren abhängig von der Länge der Verbindungsgeraden durchgeführt wird, und die durch den Mittelpunkt charakterisierte Position des Objekts fehlerhaft beurteilt wird, falls die Länge größer als ein vorbestimmter Längengrenzwert ist. Mit der Länge wird also der Abstand von dem Schnittpunkt der Verbindungsgeraden mit dem ersten Strahl und dem Schnittpunkt mit dem zweiten Strahl bestimmt. Die Länge ist also der Betrag der Strecke der Verbindungsgeraden. Durch die Länge wird beschrieben, wie weit der erste Strahl und der zweite Strahl auseinander liegen. Ist dies größer als der vorbestimmte Längengrenzwert, so wird der Mittelpunkt als fehlerhaft beurteilt. Die Länge kann beispielsweise größer als der vorbestimmte Längengrenzwert sein, falls fehlerhafte Orientierungsparameter des Kraftfahrzeugs vorgelegen haben und für das Transformieren verwendet wurden. Vorteilhaft ist also, dass anhand der Länge der Verbindungsgeraden eine Aussage über die Zuverlässigkeit des Mittelpunkts bzw. der Position des Objekts in dem dreidimensionalen Weltkoordinatensystem getroffen werden kann. Furthermore, it is preferably provided that a length of the connecting straight line is determined, and the error checking method is carried out depending on the length of the connecting straight line, and the position of the object characterized by the center point is assessed erroneously if the length is greater than a predetermined length limit value. With the length so the distance from the intersection of the connecting line with the first beam and the intersection with the second beam is determined. The length is thus the amount of the route of the connecting line. The length describes how far apart the first beam and the second beam are. If this is greater than the predetermined length limit, the center is judged to be faulty. The length may be, for example, greater than the predetermined length limit, if erroneous orientation parameters of the motor vehicle have been present and were used for the transformation. It is therefore advantageous that on the basis of the length of the connecting line a Statement about the reliability of the center or the position of the object in the three-dimensional world coordinate system can be made.

Weiterhin ist es vorzugsweise vorgesehen, dass ein Winkel zwischen dem ersten Strahl und dem zweiten Strahl bestimmt wird, und das Fehlerprüfverfahren abhängig von dem Winkel durchgeführt wird, und die durch den Mittelpunkt charakterisierte Position des Objekts fehlerhaft beurteilt wird, falls der Winkel größer als ein Winkelgrenzwert ist. Der Winkelgrenzwert kann beispielsweise abhängig von einer Position der Kamera während der Aufnahme des ersten Bilds und einer Position der Kamera während der Aufnahme des zweiten Bilds bestimmt werden. Insbesondere ist der Unterschied zwischen den Positionen durch die Orientierungsparameter des Kraftfahrzeugs bekannt. Durch den Winkel wird vorzugsweise ermittelt, wie nahe der erste Strahl und der zweite Strahl an einem parallelen Zustand des ersten Strahls und des zweiten Strahls sind. Je näher der erste Strahl und der zweite Strahl an dem parallelen Zustand sind desto kleiner ist der Winkel zwischen dem ersten Strahl und dem zweiten Strahl. Falls der Winkel also größer als der Winkelgrenzwert ist, so wird der Mittelpunkt und somit die Position des Objekts als fehlerhaft beurteilt. Dies bedeutet auch, dass falls der Winkel kleiner oder gleich als der Winkelgrenzwert ist, so wird der Mittelpunkt als zuverlässig angesehen. Vorteilhaft ist also, dass die Zuverlässigkeit des Mittelpunkts bzw. der Position des Objekts abhängig von dem Winkel bestimmt werden kann. Die Zuverlässigkeit des Mittelpunkts kann somit weiter erhöht werden. Furthermore, it is preferably provided that an angle between the first beam and the second beam is determined, and the error checking method is performed depending on the angle, and the position of the object characterized by the center is erroneously judged if the angle is greater than an angle limit is. For example, the angle threshold may be determined depending on a position of the camera during the capture of the first image and a position of the camera during capture of the second image. In particular, the difference between the positions is known by the orientation parameters of the motor vehicle. The angle preferably determines how close the first beam and the second beam are to a parallel state of the first beam and the second beam. The closer the first beam and the second beam are to the parallel state, the smaller the angle between the first beam and the second beam. If the angle is therefore greater than the angle limit value, then the center point and thus the position of the object is assessed as erroneous. This also means that if the angle is less than or equal to the angle limit, the center is considered reliable. It is therefore advantageous that the reliability of the center or the position of the object can be determined depending on the angle. The reliability of the center can thus be further increased.

Weiterhin ist es vorzugsweise vorgesehen, dass eine Mehrzahl von charakteristischen Bildpunkten des Objekts in einer Mehrzahl von Bildern der Bildsequenz bestimmt wird, und jeweils anhand zwei der charakteristischen Bildpunkte eine Mehrzahl von Bildpunkten bestimmt wird und das Fehlerprüfverfahren abhängig von der Mehrzahl der Mittelpunkte durchgeführt wird, und die durch den Mittelpunkt charakterisierte Position des Objekts fehlerhaft beurteilt wird, falls eine vorbestimmte Anzahl von der Mehrzahl der Mittelpunkte weniger als ein vorbestimmter Abstand von dem Mittelpunkt entfernt ist. Somit kann die Zuverlässigkeit anhand einer örtlichen Verteilung der Mittelpunkte bestimmt werden. Falls also die vorbestimmte Anzahl von der Mehrzahl der Mittelpunkte in der durch den vorbestimmten Abstand festgelegten Entfernung vorhanden ist, so kann der Mittelpunkt als zuverlässig und somit nicht fehlerhaft beurteilt werden. Furthermore, it is preferably provided that a plurality of characteristic pixels of the object in a plurality of images of the image sequence is determined, and each of two of the characteristic pixels, a plurality of pixels is determined and the error checking method is performed depending on the plurality of centers, and the position of the object characterized by the center point is misjudged if a predetermined number of the plurality of centers are less than a predetermined distance away from the center point. Thus, the reliability can be determined by a local distribution of the centers. Thus, if the predetermined number of the plurality of centers is present in the distance set by the predetermined distance, the center may be judged to be reliable and thus not erroneous.

In einer weiteren Ausführungsform ist es vorzugsweise vorgesehen, dass das Fehlerprüfverfahren abhängig von einer Mehrzahl von Abständen der Mehrzahl der Mittelpunkte und/oder einem arithmetischen Mittelwert der Anzahl der Abstände und/oder einer Standardabweichung der Mehrzahl der Abstände durchgeführt wird. So kann die Zuverlässigkeit bzw. die nicht vorhandene Fehlerhaftigkeit des Mittelpunkts abhängig von den anderen Mittelpunkten bestimmt werden. Jedoch können die anderen Mittelpunkte insbesondere schnell bereitgestellt werden, da diese ebenfalls insbesondere nur anhand von zwei Bildern der Bildsequenz bestimmt werden. Durch die Verteilung der anderen Mittelpunkte der Mehrzahl der Mittelpunkte kann der Mittelpunkt anhand des arithmetischen Mittelwerts und/oder der Standardabweichung und/oder den Abständen der Mittelpunkte zu dem Mittelpunkt als zuverlässig beurteilt werden. Somit kann auch die Position des Objekts in dem dreidimensionalen Weltkoordinatensystem als zuverlässig beurteilt werden. In a further embodiment, it is preferably provided that the error checking method is carried out depending on a plurality of distances of the plurality of centers and / or an arithmetic mean of the number of distances and / or a standard deviation of the plurality of distances. Thus, the reliability or non-existent defectiveness of the center can be determined depending on the other centers. However, the other centers can in particular be provided quickly, since they too are determined in particular only on the basis of two images of the image sequence. By distributing the other midpoints of the plurality of midpoints, the midpoint may be judged to be reliable based on the arithmetic mean and / or the standard deviation and / or the distances of the midpoints to the midpoint. Thus, the position of the object in the three-dimensional world coordinate system can also be judged reliable.

Weiterhin kann es vorgesehen sein, dass ein letzter Strahl und/oder ein vorletzter Strahl, welche von zwei Bildern am Ende der Bildsequenz bereitgestellt werden also beispielsweise der vorletzte Strahl von dem vorletzten Bild der Bildsequenz und der letzte Strahl von dem letzten Bild der Bildsequenz ergänzend oder alternativ zur Beurteilung der Zuverlässigkeit des Mittelpunkts herangezogen werden. Das letzte Bild der Bildsequenz bedeutet, dass nach dem letzten Bild kein weiteres Bild der Bildsequenz bereitgestellt wird. So kann es beispielsweise sein, dass ein vorletzter Mittelpunkt des vorletzten Strahls und ein letzter Mittelpunkt des letzten Strahls durch das Fehlerprüfverfahren als fehlerhaft beurteilt werden. Diese Beurteilung kann beispielsweise durch eine Visualisierung des Mittelpunkts in vorzugsweise einem Kraftfahrzeugkoordinatensystem erfolgen. Vorteilhaft ist diese Fehlerüberprüfung für den Fall des plötzlichen Verzögerns des Kraftfahrzeugs. In diesem Fall fällt die Geschwindigkeit des Kraftfahrzeugs plötzlich gegen 0 ab. Dies kann dazu führen, dass die Odometrie und/oder die visuelle Odometrie nicht korrekt durchgeführt werden kann. Die Daten für die Transformation liegen somit ebenfalls nicht mehr korrekt vor. Der in diesem Fall so bestimmte Mittelpunkt kann nun als fehlerhaft beurteilt werden und bei beispielsweise einer folgenden 3D Rekonstruktion nicht berücksichtigt werden. Furthermore, it may be provided that a last beam and / or a penultimate beam, which are provided by two images at the end of the image sequence, for example, the penultimate ray of the penultimate image of the image sequence and the last ray of the last image of the image sequence complementary or alternatively to assess the reliability of the center. The last image of the image sequence means that after the last image no further image of the image sequence is provided. For example, it may be that a penultimate midpoint of the penultimate ray and a last midpoint of the last ray are judged to be defective by the error checking method. This assessment can be done for example by visualizing the center in preferably a motor vehicle coordinate system. This error check is advantageous for the case of the sudden deceleration of the motor vehicle. In this case, the speed of the motor vehicle suddenly drops to zero. This may result in odometry and / or visual odometry not being performed correctly. The data for the transformation are thus also no longer correct. The center determined in this case can now be judged as defective and not taken into account in, for example, a subsequent 3D reconstruction.

Die Erfindung betrifft auch ein Computerprogrammprodukt, welches zum Ausführen eines erfindungsgemäßen Verfahrens ausgebildet ist, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt wird. The invention also relates to a computer program product which is designed to carry out a method according to the invention when the computer program product is executed on a programmable computer device.

Zudem betrifft die Erfindung ein Kamerasystem mit einer Kamera und einer Auswerteeinheit, wobei das Kamerasystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Die Auswerteeinheit kann beispielsweise in der Kamera integriert sein oder als separate Einheit vorliegen. Die Kamera ist vorzugsweise mit der Auswerteeinheit verbunden. In addition, the invention relates to a camera system with a camera and an evaluation unit, wherein the camera system is designed to perform a method according to the invention. The evaluation unit For example, it can be integrated in the camera or be present as a separate unit. The camera is preferably connected to the evaluation unit.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem oder eine vorteilhafte Ausführung davon. A motor vehicle according to the invention, in particular a passenger car, comprises a camera system according to the invention or an advantageous embodiment thereof.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Computerprogrammprodukt, das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the computer program product according to the invention, the camera system according to the invention and to the motor vehicle according to the invention.

Mit den Angaben „oben“, „unten“, „horizontal“, „vertikal“, „Front“, „Heck“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen des Kamerasystems, dessen Anordnung am Kraftfahrzeug, und des Kraftfahrzeugs und bei einem dann vor dem Kamerasystem oder dem Kraftfahrzeug stehenden und in Richtung des Kamerasystems oder des Kraftfahrzeugs blickenden Beobachter gegebenen Positionen und Orientierungen angegeben. With the information "top", "bottom", "horizontal", "vertical", "front", "rear" etc. are the intended use and proper arrangement of the camera system, its arrangement on the motor vehicle, and the motor vehicle and a then given in front of the camera system or the motor vehicle and given in the direction of the camera system or the motor vehicle observer given positions and orientations.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.

Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. The embodiments of the invention will be explained in more detail with reference to schematic drawings.

Dabei zeigen: Showing:

1 In schematischer Draufsicht ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs mit einem Kamerasystem; 1 In a schematic plan view of an embodiment of a motor vehicle according to the invention with a camera system;

2 eine schematische Darstellung eines Mittelpunkts einer Verbindungsgeraden in einem dreidimensionalen Weltkoordinatensystem; 2 a schematic representation of a center of a connecting line in a three-dimensional world coordinate system;

3 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zum Bestimmen einer Position eines in einem Umgebungsbereich des Kraftfahrzeugs angeordneten Objekts in dem dreidimensionalen Weltkoordinatensystem; 3 a flowchart of a method according to the invention for determining a position of an arranged in a surrounding area of the motor vehicle object in the three-dimensional world coordinate system;

4 ein Ablaufdiagramm eines Fehlerprüfverfahrens, um den Mittelpunkt zu überprüfen; 4 a flowchart of an error checking process to check the midpoint;

5 eine schematische Darstellung eines Fehlerprüfverfahrens des Mittelpunkts anhand eines ersten Fehlergrenzwerts und eines zweiten Fehlergrenzwerts; 5 a schematic representation of an error checking method of the center based on a first error limit and a second error limit value;

6 eine schematische Darstellung eines Umgebungsbereichs des Kraftfahrzeugs mit einer Position eines Objekts in dem dreidimensionalen Weltkoordinatensystem; und 6 a schematic representation of an environmental region of the motor vehicle with a position of an object in the three-dimensional world coordinate system; and

7 eine schematische Darstellung eines Draufsichtbilds auf das Kraftfahrzeug mit einer Position eines Objekts in dem dreidimensionalen Weltkoordinatensystem. 7 a schematic representation of a top view image of the motor vehicle with a position of an object in the three-dimensional world coordinate system.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical or functionally identical elements are provided with the same reference numerals.

In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Kamerasystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Kamerasystem 2 umfasst im Ausführungsbeispiel eine Kamera 3 und eine Auswerteeinheit 4. Die Kamera 3 ist in dem Ausführungsbeispiel an einem Heck 5 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der Kamera 3 ist jedoch vielfältig an dem Kraftfahrzeug 1 möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 6 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann. Gemäß dem Ausführungsbeispiel von 1 wird insbesondere der an dem Heck 5 des Kraftfahrzeugs 1 angeordnete Teil des Umgebungsbereichs durch die Kamera 3 erfasst. Die Anordnung der Auswerteeinheit 4 ist ebenfalls vielfältig an dem Kraftfahrzeug 1 möglich, vorzugsweise allerdings so, dass die Auswerteeinheit 4 mit der Kamera 3 verbunden werden kann. Die Auswerteeinheit 4 kann beispielsweise in der Kamera 3 integriert sein oder als separate Einheit ausgebildet sein. Das Kamerasystem 2 kann auch mehrere Kameras 3 und/oder mehrere Auswerteeinheiten 4 umfassen. In dem Umgebungsbereich 6 ist ein Objekt 7 angeordnet. Das Objekt 7 wird durch die Kamera 3 erfasst. In 1 is a schematic plan view of a motor vehicle 1 with a camera system 2 represented according to an embodiment of the invention. The camera system 2 includes in the embodiment a camera 3 and an evaluation unit 4 , The camera 3 is in the embodiment at a stern 5 of the motor vehicle 1 arranged. The arrangement of the camera 3 However, it is diverse on the motor vehicle 1 possible, but preferably such that a surrounding area 6 of the motor vehicle 1 at least partially can be detected. According to the embodiment of 1 especially at the stern 5 of the motor vehicle 1 arranged part of the surrounding area through the camera 3 detected. The arrangement of the evaluation unit 4 is also diverse on the motor vehicle 1 possible, but preferably so that the evaluation unit 4 with the camera 3 can be connected. The evaluation unit 4 For example, in the camera 3 be integrated or designed as a separate unit. The camera system 2 can also have multiple cameras 3 and / or several evaluation units 4 include. In the surrounding area 6 is an object 7 arranged. The object 7 is through the camera 3 detected.

2 zeigt ein dreidimensionales Weltkoordinatensystem 8. Das dreidimensionale Weltkoordinatensystem 8 stellt für jeden Punkt eine dreidimensionale Koordinate mit beispielsweise einem x-Wert, einem y-Wert und einem z-Wert bereit. Die Beziehung des Kraftfahrzeugs 1 bzw. des Kamerasystems 2 zu dem dreidimensionalen Weltkoordinatensystem 8 kann anhand von Orientierungsparametern, welche beispielsweise durch Odometrie und/oder visuelle Odometrie des Kraftfahrzeugs 1 bereitgestellt werden, bestimmt werden. Weiterhin zeigt 2 eine erste Position O₁ der Kamera 3 und eine zweite Position O₂ der Kamera 3. An der ersten Position O₁ wird ein erstes Bild 9 durch die Kamera 3 bereitgestellt und an der zweiten Position O₂ wird ein zweites Bild 10 durch die Kamera 3 bereitgestellt. In dem ersten Bild 9 wird ein erster charakteristischer Bildpunkt I₁ bestimmt. In dem zweiten Bild 10 wird ein zweiter charakteristischer Bildpunkt I₂ bestimmt. Die charakteristischen Bildpunkte I₁, I₂ können beispielsweise mit einem Verfahren des optischen Flusses bestimmt werden. Ein initiales Bestimmen des ersten charakteristischen Bildpunkts I₁ kann beispielsweise mit einem Interest Operator, beispielsweise einem Harris Operator, durchgeführt werden. Die charakteristischen Bildpunkte I₁, I₂ liegen in dem jeweiligen Bild 9, 10 in einem zweidimensionalen Bildkoordinatensystem vor. Die charakteristischen Bildpunkte I₁, I₂ werden von dem jeweiligen Bild 9, 10 bzw. dem jeweiligen Bildkoordinatensystem in das dreidimensionale Weltkoordinatensystem 8 transformiert. Die charakteristischen Bildpunkte I₁, I₂ werden also von einem zweidimensionalen Koordinatensystem in ein dreidimensionales Koordinatensystem transformiert. Die Transformation kann beispielsweise anhand von Orientierungsparametern des Kraftfahrzeugs 1, insbesondere einer Gierinformation und/oder einer Nickinformation und/oder einer Rollinformation des Kraftfahrzeugs 1, erfolgen. Die Orientierungsparameter des Kraftfahrzeugs 1 können beispielsweise durch Odometrie und/oder durch visuelle Odometrie bestimmt werden. Die Orientierungsparameter des Kraftfahrzeugs 1, welche durch die Odometrie bestimmt werden, können beispielsweise an dem CAN-Bus des Kraftfahrzeugs 1 abgegriffen werden. Diejenigen Orientierungsparameter des Kraftfahrzeugs 1, welche durch die visuelle Odometrie bestimmt werden, können beispielsweise anhand von Bildern von Kameras des Kraftfahrzeugs 1 bestimmt werden. Die Bilder zur Durchführung der visuellen Odometrie zeigen insbesondere den Umgebungsbereich 6 des Kraftfahrzeugs 1. Weiterhin ist zur Durchführung der visuellen Odometrie und/oder zur Durchführung der Transformation von dem zweidimensionalen Koordinatensystem in das dreidimensionale Koordinatensystem also von dem Bildkoordinatensystem in das dreidimensionale Weltkoordinatensystem 8 eine Kalibrierung des Kamerasystems 2 bzw. der Kamera 3 bekannt. Die Kalibrierung umfasst insbesondere Kalibrierungsparameter, welche in Form von einer äußeren Orientierung und/oder einer inneren Orientierung vorliegen können. Durch die Transformation liegt der erste charakteristische Bildpunkt I₁ als ein erster Strahl v₁ in dem dreidimensionalen Weltkoordinatensystem 8 vor. Der zweite charakteristische Bildpunkt I₂ liegt nach der Transformation in dem dreidimensionalen Weltkoordinatensystem 8 als zweiter Strahl v₂ vor. Der erste Strahl v₁ und der zweite Strahl v₂ liegen insbesondere als Halbgeraden vor und haben ihren Ursprung an der ersten Position O₁ bzw. an der zweiten Position O₂. Durch die Transformation der charakteristischen Bildpunkte I₁, I₂ von dem zweidimensionalen Koordinatensystem der Bilder 9, 10 in das dreidimensionale Weltkoordinatensystem 8 kann ein Freiheitsgrad nicht festgelegt werden, weshalb die charakteristischen Bildpunkte I₁, I₂ in dem dreidimensionalen Weltkoordinatensystem 8 als Strahl v₁, v₂ vorliegen. Der erste Strahl v₁ und der zweite Strahl v₂ zeigen also von der jeweiligen Position O₁, O₂ der Kamera 3 zu dem Objekt 7 in dem dreidimensionalen Weltkoordinatensystem 8. 2 shows a three-dimensional world coordinate system 8th , The three-dimensional world coordinate system 8th provides for each point a three-dimensional coordinate with, for example, an x-value, a y-value and a z-value. The relationship of the motor vehicle 1 or the camera system 2 to the three-dimensional world coordinate system 8th can on the basis of orientation parameters, which for example by odometry and / or visual odometry of the motor vehicle 1 be determined. Further shows 2 a first position O _{1 of} the camera 3 and a second position O _{2 of} the camera 3 , At the first position O ₁ becomes a first image 9 through the camera 3 provided and at the second position O ₂ is a second image 10 through the camera 3 provided. In the first picture 9 a first characteristic pixel I _{1 is} determined. In the second picture 10 a second characteristic pixel I _{2 is} determined. The characteristic pixels I ₁ , I ₂ can be determined, for example, by a method of optical flow. An initial determination of the first characteristic pixel I ₁ can be carried out, for example, with an interest operator, for example a Harris operator. The characteristic pixels I ₁ , I ₂ are in the respective image 9 . 10 in a two-dimensional image coordinate system. The characteristic pixels I ₁ , I ₂ are from the respective image 9 . 10 or the respective image coordinate system in the three-dimensional world coordinate system 8th transformed. The characteristic pixels I ₁ , I ₂ are thus transformed by a two-dimensional coordinate system into a three-dimensional coordinate system. The transformation can, for example, based on orientation parameters of the motor vehicle 1 , in particular yaw information and / or pitch information and / or roll information of the motor vehicle 1 , respectively. The orientation parameters of the motor vehicle 1 can be determined, for example, by odometry and / or visual odometry. The orientation parameters of the motor vehicle 1 , which are determined by the odometry, for example, on the CAN bus of the motor vehicle 1 be tapped. Those orientation parameters of the motor vehicle 1 , which are determined by the visual odometry, for example, based on images of cameras of the motor vehicle 1 be determined. The images for performing the visual odometry show in particular the surrounding area 6 of the motor vehicle 1 , Furthermore, in order to carry out the visual odometry and / or to carry out the transformation from the two-dimensional coordinate system into the three-dimensional coordinate system, that is, from the image coordinate system into the three-dimensional world coordinate system 8th a calibration of the camera system 2 or the camera 3 known. The calibration particularly includes calibration parameters which may be in the form of an outer orientation and / or an inner orientation. As a result of the transformation, the first characteristic pixel I ₁ lies as a first ray v ₁ in the three-dimensional world coordinate system 8th in front. The second characteristic pixel I ₂ is located after the transformation in the three-dimensional world coordinate system 8th as the second beam v ₂ . The first beam v ₁ and the second beam v ₂ are in particular in the form of a half-line and originate at the first position O ₁ or at the second position O ₂ . By the transformation of the characteristic pixels I ₁ , I ₂ of the two-dimensional coordinate system of the images 9 . 10 into the three-dimensional world coordinate system 8th a degree of freedom can not be determined, which is why the characteristic pixels I ₁ , I ₂ in the three-dimensional world coordinate system 8th exist as a beam v ₁ , v ₂ . The first beam v ₁ and the second beam v ₂ thus point from the respective position O ₁ , O _{2 of} the camera 3 to the object 7 in the three-dimensional world coordinate system 8th ,

Zwischen dem ersten Strahl v₁ und dem zweiten Strahl v₂ wird eine Verbindungsgerade w bestimmt. Die Verbindungsgerade w ist senkrecht zu dem ersten Strahl v₁ und senkrecht zu dem zweiten Strahl v₂ ausgerichtet. Die Verbindungsgerade w schneidet den ersten Strahl v₁ in einem ersten Objektpunkt P₁ und den zweiten Strahl v₂ in einem zweiten Objektpunkt P₂. Der erste Objektpunkt P₁ und der zweite Objektpunkt P₂ beschreiben grob die Position des Objekts 7. Weiterhin wird auf der Verbindungsgeraden w ein Mittelpunkt P bestimmt. Der Mittelpunkt P liegt in der Mitte zwischen dem ersten Objektpunkt P₁ und dem zweiten Objektpunkt P₂. Durch den Mittelpunkt P wird die Position des Objekts 7 in dem dreidimensionalen Weltkoordinatensystem 8 beschrieben. Es wird davon ausgegangen, dass die Position des Objekts 7 sich in der Mitte zwischen dem ersten Objektpunkt P₁ und dem zweiten Objektpunkt P₂ befindet. Between the first beam v ₁ and the second beam v ₂ , a connecting line w is determined. The connecting line w is aligned perpendicular to the first beam v ₁ and perpendicular to the second beam v ₂ . The straight connecting line intersects the first beam w v ₁ in a first object point P ₁ and the second beam v ₂ in a second object point _P2. The first object point P ₁ and the second object point P ₂ roughly describe the position of the object 7 , Furthermore, a center point P is determined on the connecting line w. The center P lies in the middle between the first object point P ₁ and the second object point P ₂ . Through the center P, the position of the object 7 in the three-dimensional world coordinate system 8th described. It is assumed that the position of the object 7 is in the middle between the first object point P ₁ and the second object point P ₂ .

Mathematisch kann das Bestimmen des Mittelpunkts P wie folgt beschrieben werden: v₁·w = 0 (1) v₂·w = 0 (2) w = P₂ – P₁ (3) Mathematically, the determination of the center P can be described as follows: v ₁ · w = 0 (1) v ₂ · w = 0 (2) w = P ₂ - P ₁ (3)

Es werden Hilfsparameter t und k eingeführt. Die Hilfsparameter t und k werden später wieder aufgelöst. P₁ = O₁ + tv₁ (4) P₂ = O₂ + kv₂ (5) v₁·(O₁ – O₂ + tv₁ – kv₂) = 0 (6) v₂·(O₁ – O₂ + tv₁ – kv₂) = 0 (7) v₁·(O₁ – O₂) = –(tv₁·v₁ – kv₁·v₂) (8) v₂·(O₁ – O₂) = –(tv₁·v₂ – kv₂·v₂) (9) Auxiliary parameters t and k are introduced. The auxiliary parameters t and k are later resolved. P ₁ = O ₁ + tv ₁ (4) P ₂ = O ₂ + kv ₂ (5) v ₁ · (O ₁ - O ₂ + tv ₁ - kv ₂ ) = 0 (6) v ₂ · (O ₁ - O ₂ + tv ₁ - kv ₂ ) = 0 (7) v ₁ · (O ₁ - O ₂ ) = - (tv ₁ · v ₁ - kv ₁ · v ₂ ) (8) v ₂ · (O ₁ - O ₂ ) = - (tv ₁ · v ₂ - kv ₂ · v ₂ ) (9)

Es werden die Hilfsvariablen a₁, a₂, a₃, a₄ und a₅ eingeführt und durch bekannte Parameter definiert. a₁ = v₁·v₁ (10a) a₂ = v₁·v₂ (10b) a₃ = v₂·v₂ (10c) a₄ = v₁·(O₁ – O₂) (10d) a₅ = v₂·(O₁ – O₂) (10e) The auxiliary variables a ₁ , a ₂ , a ₃ , a ₄ and a _{5 are} introduced and defined by known parameters. a ₁ = v ₁ · v ₁ (10a) a ₂ = v ₁ · v ₂ (10b) a ₃ = v ₂ · v ₂ (10c) a ₄ = v ₁ · (O ₁ - O ₂ ) (10d) a ₅ = v ₂ · (O ₁ - O ₂ ) (10e)

Folglich ist: a₄ = –ta₁ + ka₂ (11) a₅ = –ta₂ + ka₃ (12) Consequently: a ₄ = -ta ₁ + ka ₂ (11) a ₅ = -ta ₂ + ka ₃ (12)

Nachdem a₁ ≠ 0 und a₂ ≠ 0 können die Hilfsvariablen wie folgt umgestellt werden: a₂a₄ = –ta₁a₂ + ka₂a₂ (13) a₁a₅ = –ta₁a₂ + ka₁a₃ (14) After a ₁ ≠ 0 and a ₂ ≠ 0, the auxiliary variables can be changed as follows: a ₂ a ₄ = -ta ₁ a ₂ + ka ₂ a ₂ (13) a ₁ a ₅ = -ta ₁ a ₂ + ka ₁ a ₃ (14)

Schließlich ergibt sich für die Hilfsparameter t und k:

Finally, for the auxiliary parameters t and k:

Der Mittelpunkt P wird nun folgendermaßen bestimmt:

The center point P is now determined as follows:

3 zeigt einen beispielhaften Ablauf des erfindungsgemäßen Verfahrens. In einem Schritt S1 wird eine Mehrzahl von charakteristischen Bildpunkten bereitgestellt. Durch die Mehrzahl der charakteristischen Bildpunkte werden der erste charakteristische Bildpunkt I₁ und der zweite charakteristische Bildpunkt I₂ umfasst. Die charakteristischen Bildpunkte sind jeweils von dem Objekt 7 bestimmt, aber jeweils von unterschiedlichen Bildern einer Bildsequenz der Kamera 3 bereitgestellt. Die Bildsequenz umfasst insbesondere das erste Bild 9 und das zweite Bild 10. Die charakteristischen Bildpunkte werden unter Zuhilfenahme von Orientierungsparametern des Kraftfahrzeugs 1 aus einem Schritt S2 durch einen Schritt S3 in das dreidimensionale Weltkoordinatensystem 8 transformiert. Die Transformation erfolgt insbesondere mit einem Translationsvektor und zumindest einer Rotationsmatrix. In dem Schritt S3 liegen nun der erste Strahl v₁ und der zweite Strahl v₂ vor. In einem Schritt S4 werden Strahlenpaare bestimmt. So wird mit dem ersten Strahl v₁ und dem zweiten Strahl v₂ ein Strahlenpaar bestimmt. Das Strahlenpaar besteht aus zwei Strahlen in dem dreidimensionalen Weltkoordinatensystem 8. In einem Schritt S5 wird anhand von dem Strahlenpaar, also beispielsweise dem ersten Strahl v₁ und dem zweiten Strahl v₂ der Mittelpunkt P bereitgestellt. Der Mittelpunkt P wird wie bereits zuvor beschrieben bereitgestellt. Durch den Mittelpunkt P wird die Position des Objekts 7 in dem dreidimensionalen Weltkoordinatensystem 8 beschrieben. Nach dem Schritt S5 wird ein Schritt S6 durchgeführt, in welchem die durch den Mittelpunkt P charakterisierte Position des Objekts 7 in dem Umgebungsbereich 6 durch ein Fehlerprüfverfahren überprüft wird. Durchläuft der Mittelpunkt P das Fehlerprüfverfahren fehlerfrei, so wird dieser in einem Schritt S7 als zuverlässige Position des Objekts 7 bereitgestellt. Wird der Mittepunkt P in dem Schritt S6 als fehlerhaft beurteilt, so wird dieser nicht als zuverlässig betrachtet und wird insbesondere bei der Bestimmung der Position des Objekts 7 nicht weiter berücksichtigt. Nach dem Schritt S6 folgt bei positivem Ausgang der Fehlerprüfung der Schritt S7 und bei negativem Ausgang der Fehlerprüfung direkt ein Schritt S8. Der Schritt S8 folgt ebenso nach dem Schritt S7. In dem Schritt S8 werden weitere Positionen von weiteren Objekten in dem Umgebungsbereich 6 des Kraftfahrzeugs 1 für das Durchlaufen der Schritte S1 bis zumindest S6 bereitgestellt. Sind alle Positionen der weiteren Objekte in dem Umgebungsbereich 6 abgearbeitet, so wird dies in einem Schritt S9 festgestellt. Wenn alle Positionen der weiteren Objekte abgearbeitet sind, so wird das Verfahren in einem Schritt S10 beendet. Falls dem nicht so ist, wird das Verfahren mit dem Schritt S1 fortgesetzt. 3 shows an exemplary sequence of the method according to the invention. In a step S1, a plurality of characteristic pixels are provided. By the plurality of image characteristic points of the first characteristic point image I ₁ and the second characteristic point image I ₂ are included. The characteristic pixels are each of the object 7 determined, but each of different images of a sequence of images of the camera 3 provided. The image sequence comprises in particular the first image 9 and the second picture 10 , The characteristic pixels are with the aid of orientation parameters of the motor vehicle 1 from a step S2 through a step S3 into the three-dimensional world coordinate system 8th transformed. The transformation takes place in particular with a translation vector and at least one rotation matrix. In step S3, the first beam v ₁ and the second beam v ₂ are now present. In a step S4 pairs of rays are determined. Thus, a beam pair is determined with the first beam v ₁ and the second beam v ₂ . The ray pair consists of two rays in the three-dimensional world coordinate system 8th , In a step S5, the center point P is provided on the basis of the beam pair, that is, for example, the first beam v ₁ and the second beam v ₂ . The center P is provided as previously described. Through the center P, the position of the object 7 in the three-dimensional world coordinate system 8th described. After the step S5, a step S6 is performed, in which the position of the object characterized by the center point P 7 in the surrounding area 6 is checked by an error checking method. If the midpoint P passes through the error checking method without error, then in a step S7 this becomes the reliable position of the object 7 provided. If the center point P is judged to be defective in step S6, it is not considered reliable and will be used, in particular, to determine the position of the object 7 not considered further. After step S6, if the error check is positive, step S7 follows and, if the error check is negative, a step S8 follows directly. The step S8 also follows after the step S7. In step S8, further positions of other objects in the surrounding area become 6 of the motor vehicle 1 provided for passing through steps S1 to at least S6. Are all positions of the other objects in the surrounding area 6 processed, this is determined in a step S9. When all positions of the other objects have been completed, the process is ended in a step S10. If not, the process proceeds to step S1.

Nach dem Schritt S6 folgt also ein erstes Ergebnis Y des Fehlerprüfverfahrens oder ein zweites Ergebnis N des Fehlerprüfverfahrens. Gemäß dem ersten Ergebnis Y des Fehlerprüfverfahrens ist der jeweilige Mittelpunkt P als fehlerfrei beurteilt worden, während gemäß dem zweiten Ergebnis N der jeweilige Mittelpunkt P als fehlerhaft beurteilt wurde. After step S6, a first result Y of the error checking method or a second result N of the error checking method follows. According to the first result Y of the error checking method, the respective center point P has been judged to be correct, while according to the second result N, the respective center point P has been judged as being defective.

4 zeigt den detaillierten Ablauf des Fehlerprüfverfahrens gemäß dem Schritt S6. In einem Schritt S11 wird eine Schleife über die Mittelpunkte P erzeugt. Durch die Schleife werden also insbesondere alle Mittelpunkte P abgearbeitet. In einem an den Schritt S11 anschließenden Schritt S12 wird überprüft, ob alle Mittelpunkte P durchlaufen worden sind. Ist dies der Fall, so folgt ein Schritt S13 und das Fehlerprüfverfahren wird beendet. Ist dies nicht der Fall, so folgt ein Schritt S14. In dem Schritt S14 wird zuerst ein Schritt S14a durchgeführt. In dem Schritt S14a wird ein Verfahren, welches in 5 näher beschrieben wird, durchgeführt. Weiterhin wird ein Schritt S14b durchgeführt. Bei dem Schritt S14b wird eine Länge der Verbindungsgeraden w bestimmt. Falls die Länge größer als ein vorbestimmter Längengrenzwert ist, so wird die durch den Mittelpunkt P charakterisierte Position des Objekts 7 als fehlerhaft beurteilt. Die Länge der Verbindungsgeraden w erstreckt sich von dem ersten Objektpunkt P₁ zu dem zweiten Objektpunkt P₂. Schließlich folgt ein Schritt S14c. In dem Schritt S14c wird ein Winkel θ zwischen dem ersten Strahl v₁ und dem zweiten Strahl v₂ bestimmt. Falls der Winkel θ größer als ein Winkelgrenzwert ist, wird die durch den Mittelpunkt P charakterisierte Position des Objekts 7 als fehlerhaft beurteilt. In dem Schritt S14c wird also überprüft, wie nahe sich der erste Strahl v₁ und der zweite Strahl v₂ an einem parallelen Zustand PZ befinden. Je näher sich die Strahlen v₁, v₂ an dem parallelen Zustand PZ befinden, desto wahrscheinlicher ist die Fehlerfreiheit des Mittelpunkts P. Die Parallelität bzw. der nahe der Parallelität liegender Zustand PZ der Strahlen v₁, v₂ kann mathematisch wie folgt überprüft werden:

4 shows the detailed procedure of the error checking method according to the step S6. In a step S11, a loop is created over the midpoints P. In particular, all centers P are processed by the loop. In a step S12 following step S11, it is checked whether all centers P have been traversed. If this is the case, a step S13 follows and the error checking method is ended. If this is not the case, then a step S14 follows. In step S14, a step S14a is first performed. In the step S14a, a method which is described in 5 is described in more detail carried out. Furthermore, a step S14b is performed. In step S14b, a length of the connecting line w is determined. If the length is greater than a predetermined length limit value, the position of the object characterized by the center point P becomes 7 assessed as faulty. The length of the connecting line w extends from the first object point P ₁ to the second object point P ₂ . Finally, a step S14c follows. In step S14c, an angle θ between the first beam v ₁ and the second beam v _{2 is} determined. If the angle θ is larger than an angle limit value, the position of the object characterized by the center point P becomes 7 assessed as faulty. In step S14c, it is thus checked how close the first beam v ₁ and the second beam v _{2 are} to a parallel state PZ. The closer the rays v ₁ , v _{2 are} to the parallel state PZ, the more probable is the absence of errors of the center point P. The parallelism or the near parallel state PZ of the rays v ₁ , v ₂ can be checked mathematically as follows :

Falls der nahe an der Parallelität liegende Zustand PZ nun geringer ist als ein Grenzwert kann die Lage der Strahlen v₁, v₂ als im Wesentlichen parallel angenommen werden und der Mittelpunkt P kann als nicht fehlerhaft beurteilt werden. Dies gilt insbesondere dann, wenn das erste Bild 9 und das zweite Bild 10 kurz hintereinander aufgenommen werden. If the near-parallelism state PZ is now less than a threshold, the location of the beams v ₁ , v _{2 may} be assumed to be substantially parallel, and the center P may not be be assessed incorrectly. This is especially true when the first picture 9 and the second picture 10 be recorded in quick succession.

In einem Schritt S14d wird der Mittelpunkt P mit einer Mehrzahl von Mittelpunkten P verglichen. Der Mittelpunkt P wird als fehlerfrei und zuverlässig betrachtet, falls eine vorbestimmte Anzahl von der Mehrzahl der Mittelpunkte P weniger als ein vorbestimmter Abstand von dem Mittelpunkt P entfernt ist. In dem Schritt S14d wird also die gesamte Verteilung der Mittelpunkte P, welche über die Bildsequenz von dem Objekt 7 bereitgestellt werden, verwendet, um die Zuverlässigkeit bzw. Fehlerfreiheit des jeweiligen Mittelpunkts P zu überprüfen. So kann das Fehlerprüfverfahren gemäß dem Schritt S14d beispielsweise anhand von den Abständen der Mehrzahl der Mittelpunkte P zu dem jeweilig untersuchten Mittelpunkt P erfolgen. Ebenso kann ein arithmetischer Mittelwert der Mehrzahl der Abstände und/oder eine Standardabweichung der Mehrzahl der Abstände genutzt werden, um das Fehlerprüfverfahren bei dem jeweiligen Mittelpunkt P durchzuführen. In einem Schritt S15 wird überprüft, ob der jeweilige Mittelpunkt P durch das Fehlerprüfverfahren gemäß dem Schritt S14 als fehlerfrei beurteilt wurde. Als fehlerfrei wird der Mittelpunkt P insbesondere dann beurteilt, wenn die Schritte S14a bis S14d erfolgreich und somit innerhalb der jeweiligen Grenzwerte durchlaufen wurden. In a step S14d, the center P is compared with a plurality of centers P. The center point P is considered to be error-free and reliable if a predetermined number of the plurality of centers P are less than a predetermined distance away from the center point P. In step S14d, therefore, the entire distribution of the centers P, which is the image sequence of the object 7 are used to check the reliability of the respective center point P. For example, the error checking method according to the step S14d may be performed based on the distances of the plurality of centers P to the respective center P being examined. Likewise, an arithmetic mean of the plurality of distances and / or a standard deviation of the plurality of distances may be used to perform the error checking method at the respective center point P. In a step S15, it is checked whether the respective center point P has been judged to be correct by the error checking method in accordance with the step S14. The center point P is judged to be faultless, in particular, if the steps S14a to S14d have been completed successfully and thus within the respective limit values.

Wird die Fehlerüberprüfung des Mittelpunkts P nicht bestanden, so wird mit dem Schritt S11 weiter fortgefahren. Wird das Fehlerprüfverfahren jedoch erfolgreich durchlaufen, so folgt ein Schritt S16, mit welchem der Mittelpunkt P als Kandidat für die Position des Objekts 7 bereitgestellt wird. In einem Schritt S17 wird die Anzahl der Mittelpunkte P für die Position des Objekts 7 überprüft. Falls eine ausreichende Anzahl an Kandidaten der Mittelpunkte P vorliegt, so folgt ein Schritt S18 und der Schritt S6 wird beendet. Ist dies nicht der Fall, so folgt der Schritt S11. If the error check of the center point P is not passed, step S11 is continued. However, if the error checking procedure is successfully completed, a step S16 follows, with which the center point P as a candidate for the position of the object 7 provided. In a step S17, the number of centers P for the position of the object 7 checked. If there are a sufficient number of candidates of the centers P, a step S18 follows and the step S6 is terminated. If this is not the case, then the step S11 follows.

5 zeigt das Fehlerprüfverfahren gemäß dem Schritt S14a. Wie bereits beschrieben, wird in dem ersten Bild 9 der erste charakteristische Bildpunkt I₁ bestimmt und in dem zweiten Bild 10 wird der zweite charakteristische Bildpunkt I₂ bestimmt. Der erste charakteristische Bildpunkt I₁ wird von dem zweidimensionalen Bildkoordinatensystem in das dreidimensionale Weltkoordinatensystem 8 transformiert. Ebenso wird der zweite charakteristische Bildpunkt I₂ von dem zweidimensionalen Bildkoordinatensystem in das dreidimensionale Weltkoordinatensystem 8 transformiert. Dort liegt der erste charakteristische Bildpunkt I₁ als der erste Strahl v₁ vor. Der zweite charakteristische Bildpunkt I₂ liegt in dem dreidimensionalen Weltkoordinatensystem 8, wie bereits beschrieben, als der zweite Strahl v₂ vor. Nach dem Bestimmen der Verbindungsgeraden w und der Mitte der Verbindungsgeraden w durch den Mittelpunkt P, wird der Mittelpunkt P in das erste Bild 9 und/oder das zweite Bild 10 zurück transformiert. Der in das erste Bild 9 rücktransformierte Mittelpunkt P liegt dort als ein erster rücktransformierter Bildpunkt I_r1 vor. Der rücktransformierte Mittelpunkt P liegt in dem zweiten Bild 10 als zweiter rücktransformierter Bildpunkt I_r2 vor. Nun wird abhängig von dem Abstand zwischen dem ersten charakteristischen Bildpunkt I₁ und dem rücktransformierten Bildpunkt I_r1 und/oder dem Abstand zwischen dem zweiten charakteristischen Bildpunkt I₂ und dem zweiten rücktransformierten Bildpunkt I_r2 festgestellt, ob dieser größer ist als ein vorbestimmter erster Fehlergrenzwert. Liegt der rücktransformierte Bildpunkt I_r1, I_r2 weiter von dem charakteristischen Bildpunkt I₁, I₂ entfernt als dies durch den vorbestimmten ersten Fehlergrenzwert vorgesehen ist, so wird der Mittelpunkt P als fehlerhaft beurteilt. Die Fehlerüberprüfung bzw. das Fehlerprüfverfahren anhand der Rücktransformation des Mittelpunkts P in das erste Bild 9 und/oder das zweite Bild 10 kann als ein Selbstrückprojektionsfehlerprüfverfahren beschrieben werden, da der Mittelpunkt P auch anhand von dem ersten Bild 9 und dem zweiten Bild 10 bestimmt worden ist. 5 shows the error checking method according to the step S14a. As already described, in the first picture 9 the first characteristic pixel I ₁ determines and in the second image 10 the second characteristic pixel I _{2 is} determined. The first characteristic pixel I ₁ is converted from the two-dimensional image coordinate system into the three-dimensional world coordinate system 8th transformed. Also, the second characteristic pixel I ₂ of the two-dimensional image coordinate system becomes the three-dimensional world coordinate system 8th transformed. There, the first characteristic pixel I _{1 is present} as the first beam v ₁ . The second characteristic pixel I ₂ lies in the three-dimensional world coordinate system 8th as previously described, as the second beam v ₂ . After determining the connecting line w and the center of the connecting line w through the center P, the center P becomes the first picture 9 and / or the second picture 10 transformed back. The one in the first picture 9 Inverted center P is present there as a first back-transformed pixel I _r1 . The re-transformed center P lies in the second image 10 as second inverse transformed pixel I _r2 before. Now, depending on the distance between the first characteristic pixel I ₁ and the back-transformed pixel I _r1 and / or the distance between the second characteristic pixel I ₂ and the second back-transformed pixel I _r2 determines whether this is greater than a predetermined first error limit. If the back-transformed pixel I _r1 , I _{r2 is} further away from the characteristic pixel I ₁ , I ₂ than is provided by the predetermined first error threshold, the center P is judged to be defective. The error check or error checking method based on the inverse transformation of the center P into the first picture 9 and / or the second picture 10 can be described as a self-backprojection error checking method, since the center P is also determined from the first image 9 and the second picture 10 has been determined.

Eine weitere Möglichkeit ergänzend oder alternativ zu dem Selbstrückprojektionsüberprüfungsverfahren kann bereitgestellt werden, falls die Bildsequenz mehr als zwei Bilder umfasst. In diesem Fall liegt zumindest ein drittes Bild 11 vor. Das dritte Bild 11 weist einen dritten charakteristischen Bildpunkt I₃ von dem Objekt 7 auf. Der dritte charakteristische Bildpunkt I₃ wurde allerdings insbesondere bei der Bestimmung des Mittelpunkts P nicht berücksichtigt. Es wird also der Mittelpunkt P in das dritte Bild 11 zurückprojiziert. In dem dritten Bild 11 liegt der rückprojizierte Mittelpunkt P als dritter rücktransformierter Bildpunkt I_r3 vor. Bei der Aufnahme des dritten Bilds 11 befindet sich die Kamera 3 an einer dritten Position O₃. Die Fehlerüberprüfung bzw. das Fehlerprüfverfahren wird nun abhängig von einem Abstand zwischen dem dritten charakteristischen Bildpunkt I₃ und dem dritten rücktransformierten Bildpunkt I_r3 durchgeführt. Falls der Abstand zwischen dem dritten charakteristischen Bildpunkt I₃ und dem dritten rücktransformierten Bildpunkt I_r3 gleich oder kleiner als ein vorbestimmter zweiter Fehlergrenzwert ist, so wird der Mittelpunkt P als fehlerfrei beurteilt. Falls der Abstand zwischen dem dritten charakteristischen Bildpunkt I₃ und dem dritten rücktransformierten I_r3 allerdings größer als der zweite Fehlergrenzwert ist, so wird die durch den Mittelpunkt P charakterisierte Position des Objekts 7 als fehlerhaft beurteilt. Der Mittelpunkt P wird in diesem Fall für das weitere Verfahren vorzugsweise nicht mehr berücksichtigt. Die Abstände zwischen den charakteristischen Bildpunkten I₁, I₂, I₃ und den rücktransformierten Bildpunkten I_r1, I_r2, I_r3 werden in der jeweiligen Bildebene des Bilds 9, 10, 11 bestimmt. A further option, in addition to or as an alternative to the self-backprojection screening method, may be provided if the image sequence comprises more than two images. In this case there is at least a third picture 11 in front. The third picture 11 has a third characteristic pixel I ₃ of the object 7 on. However, the third characteristic pixel I ₃ was not considered, in particular in the determination of the center point P. So it becomes the center P in the third picture 11 projected back. In the third picture 11 the backprojected center P is present as the third back-transformed pixel I _r3 . When taking the third picture 11 is the camera 3 at a third position O ₃ . The error check or the error checking method is now carried out as a function of a distance between the third characteristic pixel I ₃ and the third back-transformed pixel I _r3 . If the distance between the third characteristic pixel I ₃ and the third inverse transformed pixel I _{r3 is} equal to or smaller than a predetermined second error threshold, the center P is judged to be correct. However, if the distance between the third characteristic pixel I ₃ and the third inverse I _{r3 is} greater than the second error limit value, then the position of the object characterized by the center point P becomes 7 assessed as faulty. The center P is preferably no longer considered in this case for the further process. The distances between the characteristic pixels I ₁ , I ₂ , I ₃ and the back-transformed pixels I _r1 , I _r2 , I _r3 are in the respective image plane of the image 9 . 10 . 11 certainly.

6 zeigt beispielhaft das zweite Bild 10. Das zweite Bild 10 wird gemäß 6 mit der Kamera 3 aufgenommen. Das zweite Bild 10 zeigt den Umgebungsbereich 6. Weiterhin zeigt das zweite Bild 10 das Objekt 7 und weitere Objekte 12. In dem zweiten Bild 10 gemäß 6 werden Mittelpunkte P gezeigt, durch welche die Position des Objekts 7 und/oder Positionen von weiteren Objekten in dem dreidimensionalen Weltkoordinatensystem 8 charakterisiert werden. So wird gemäß 6 beispielsweise gezeigt wie das Kamerasystem 2 für eine 3D Rekonstruktion des Objekts 7 und/oder der weiteren Objekte 12 genutzt werden kann. Das Kamerasystem 2 kann beispielsweise auch von einem Fahrerassistenzsystem des Kraftfahrzeugs 1 genutzt werden, welches als Parkassistent ausgebildet ist. So kann durch die Position des Objekts 7 in dem dreidimensionalen Weltkoordinatensystem 8 ein Abstand von dem Kraftfahrzeug 1 bzw. von der Kamera 3 zu dem Objekt 7 ermittelt werden. Ebenso kann beispielsweise eine Höhe des Objekts 7 überhalb des Erdbodens des Umgebungsbereichs 6 bestimmt werden. Es kann so beispielsweise auch festgestellt werden, ob das Kraftfahrzeug 1 mit seiner bekannten Höhe unter dem Objekt 7 hindurchfahren kann. 6 shows by way of example the second picture 10 , The second picture 10 is according to 6 with the camera 3 added. The second picture 10 shows the environment area 6 , Furthermore, the second picture shows 10 the object 7 and other objects 12 , In the second picture 10 according to 6 centers P are shown, by which the position of the object 7 and / or positions of other objects in the three-dimensional world coordinate system 8th be characterized. So is according to 6 For example, shown as the camera system 2 for a 3D reconstruction of the object 7 and / or the other objects 12 can be used. The camera system 2 For example, by a driver assistance system of the motor vehicle 1 be used, which is designed as a parking assistant. So can by the position of the object 7 in the three-dimensional world coordinate system 8th a distance from the motor vehicle 1 or from the camera 3 to the object 7 be determined. Similarly, for example, a height of the object 7 above the ground of the surrounding area 6 be determined. It can also be determined, for example, whether the motor vehicle 1 with its known height under the object 7 can drive through.

7 zeigt ein Draufsichtbild 13 des Umgebungsbereichs 6. Mit einem schematischen Abbild 1a des Kraftfahrzeugs 1. Anhand des Draufsichtbilds 13 kann ein Nutzer eines Fahrerassistenzsystems des Kraftfahrzeugs 1 beispielsweise erkennen, ob das Objekt 7 und/oder die weiteren Objekte 12 als Hindernis bei einer Rückwärtsfahrt des Kraftfahrzeugs 1 berücksichtigt werden muss. Die Mittelpunkte P, welche in 7 die Position des Objekts 7 und/oder der weiteren Objekte 12 beschreiben liegen insbesondere in dem dreidimensionalen Weltkoordinatensystem 8 vor. Somit kann ein Abstand von der Position des Objekts 7 zu dem Kraftfahrzeug 1 bestimmt werden und es kann beispielsweise eine Kollisionswarnung bei einem Unterschreiten des Abstands durch das Kraftfahrzeug 1 ausgegeben werden. 7 shows a top view image 13 of the surrounding area 6 , With a schematic image 1a of the motor vehicle 1 , Based on the top view image 13 a user of a driver assistance system of the motor vehicle 1 For example, recognize if the object 7 and / or the other objects 12 as an obstacle in a reverse drive of the motor vehicle 1 must be taken into account. The centers P, which in 7 the position of the object 7 and / or the other objects 12 describe in particular in the three-dimensional world coordinate system 8th in front. Thus, a distance from the position of the object 7 to the motor vehicle 1 be determined and it may, for example, a collision warning at a distance below the distance by the motor vehicle 1 be issued.

Claims

Method for determining a position of a in a surrounding area ( 6 ) of a motor vehicle ( 1 ) arranged object ( 7 ) in a three-dimensional world coordinate system ( 8th ), in which the following steps are carried out: - providing the object ( 7 ) having a first image ( 9 ) and one the object ( 7 ) second image ( 10 ) of an image sequence by means of a camera ( 3 ) of the motor vehicle ( 1 ), - determining a first characteristic pixel (I ₁ ) of the object ( 7 ) in the first picture ( 9 ) and a second characteristic pixel (I ₂ ) of the object ( 7 ) in the second picture ( 10 ), characterized by - transforming the present in a two-dimensional image coordinate system first characteristic pixel (I ₁ ) in the three-dimensional world coordinate system ( 8th ) as the first beam (v ₁ ) and the second characteristic pixel (I ₂ ) present in a two-dimensional image coordinate system into the three-dimensional world coordinate system ( 8th ) as a second beam (v ₂ ), - determining a perpendicular to the first beam (v ₁ ) and to the second beam (v ₂ ) aligned connecting line (w), - Determining a center (P) of the connecting line (w) as the Position of the object ( 7 ) in the environment area ( 6 ).

Method according to Claim 1, characterized in that the transformation from the two-dimensional image coordinate system into the three-dimensional world coordinate system ( 8th ) depending on orientation parameters of the motor vehicle ( 1 ), which are determined by odometry and / or visual odometry.

A method according to claim 2, characterized in that by the orientation parameters of the motor vehicle ( 1 ) yaw information and / or pitch information and / or roll information of the motor vehicle ( 1 ) is described.

Method according to one of the preceding claims, characterized in that a beam pair is determined with the first beam (v ₁ ) and the second beam (v ₂ ), and the center point (P) of the connecting straight line (w) is determined only as a function of the beam pair ,

Method according to one of the preceding claims, characterized in that the first image ( 9 ) and the second image ( 10 ) are provided as temporally consecutive images of the image sequence.

Method according to one of the preceding claims, characterized in that the position of the object characterized by the center point (P) ( 7 ) in the environment area ( 6 ) is checked by an error checking method.

A method according to claim 6, characterized in that the center point (P) in the first image ( 9 ) and / or in the second image ( 10 ) and / or in a third image ( 11 ) of the image sequence is transformed back, and the error checking method is carried out as a function of the inverse transformation of the center point (P), wherein the inverse transformation of the center point (P) into the first image ( 9 ) and / or in the second image ( 10 a first error value is provided and by the inverse transformation of the center (P) into the third image ( 11 ) a second error value is provided, and the position of the object characterized by the midpoint (P) ( 7 ) is erroneous if the first error value greater than a predetermined first error limit value is determined and / or the second error value greater than a predetermined second error limit value is determined.

Method according to one of claims 6 or 7, characterized in that a length of the connecting line (w) is determined, and the error checking method is performed depending on the length of the connecting line (w), and the position of the object characterized by the center point (P) ( 7 ) is judged erroneous if the length is greater than a predetermined length limit.

Method according to one of claims 6 to 8, characterized in that an angle (θ) between the first beam (v ₁ ) and the second beam (v ₂ ) is determined, and the error checking method is performed depending on the angle (θ), and the position of the object characterized by the center point (P) ( 7 ) is judged erroneous if the angle (θ) is larger than an angle limit.

Method according to one of claims 6 to 9, characterized in that a plurality of characteristic pixels (I ₁ , I ₂ , I ₃ ) of the object ( 7 ) in a plurality of images ( 9 . 10 . 11 ) of the image sequence is determined, and in each case based on two of the characteristic pixels (I ₁ , I ₂ , I ₃ ) a plurality of centers (P) is determined and the error checking method is performed depending on the plurality of centers (P), and by the center point (P) characterized position of the object ( 7 ) is judged erroneous if a predetermined number of the plurality of midpoints (P) is less than a predetermined distance away from the midpoint (P).

A method according to claim 10, characterized in that the error checking method is performed depending on a plurality of distances of the plurality of centers (P) and / or an arithmetic mean of the plurality of distances and / or a standard deviation of the plurality of distances.

A computer program product for carrying out a method according to any one of the preceding claims when the computer program product is executed on a programmable computer device.

Camera system ( 2 ) with at least one camera ( 3 ) and an evaluation unit ( 4 ), which is adapted to perform a method according to one of claims 1 to 11.

Motor vehicle ( 1 ) with a camera system ( 2 ) according to claim 13.