DE102009057996A1 - Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system - Google Patents

Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system Download PDF

Info

Publication number
DE102009057996A1
DE102009057996A1 DE102009057996A DE102009057996A DE102009057996A1 DE 102009057996 A1 DE102009057996 A1 DE 102009057996A1 DE 102009057996 A DE102009057996 A DE 102009057996A DE 102009057996 A DE102009057996 A DE 102009057996A DE 102009057996 A1 DE102009057996 A1 DE 102009057996A1
Authority
DE
Germany
Prior art keywords
vehicle
camera
coordinate
point
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009057996A
Other languages
German (de)
Other versions
DE102009057996A8 (en
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daimler AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE102009052737 priority Critical
Priority to DE102009052737.0 priority
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102009057996A priority patent/DE102009057996A1/en
Publication of DE102009057996A1 publication Critical patent/DE102009057996A1/en
Publication of DE102009057996A8 publication Critical patent/DE102009057996A8/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

The method involves recording a sequence of images by a camera. A movement vector is determined in a vehicle-coordinate system (1), and an image point of one of the images is projected in the system to provide a projected point. The projected point is shifted based on the movement vector so that a point is generated and is projected in a camera-coordinate system (2). A rotation parameter and/or a translation parameter of the camera-coordinate system to the vehicle-coordinate system are determined from a difference between a transformed point and another image point of the other image.

Description

  • Die Erfindung betrifft ein Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem, wobei die Kamera an dem Fahrzeug bzw. Fahrzeuggespann angeordnet ist.The invention relates to a method for determining a position and / or orientation of a camera with an associated camera coordinate system relative to a position of a vehicle or vehicle combination with an associated vehicle coordinate system, wherein the camera is arranged on the vehicle or vehicle combination.
  • Aus der DE 10 2007 040 250 A1 ist ein Verfahren und eine Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder eines Fahrzeuggespannes mit mehreren gegeneinander knickbaren Fahrzeugelementen bekannt. Das Verfahren sieht vor, dass auf einer Anzeigeeinheit das Fahrzeug oder Fahrzeuggespann in gerader Stellung mit einem die gerade Stellung der Fahrzeugelemente entsprechenden statischen Anzeigeelement und zusätzlich mit jeweils einem dem jeweiligen Fahrzeugelement zugeordneten dynamischen Anzeigeelement, das in Abhängigkeit einer momentanen oder zukünftigen Stellung der gegenseitig bewegbaren Fahrzeugelemente ermittelt wird, angezeigt werden. Dabei werden die dynamischen Anzeigeelemente um ein Vielfaches verstärkt und farblich hervorgehoben angezeigt.From the DE 10 2007 040 250 A1 is a method and a device for driver assistance in maneuvering a vehicle or a vehicle combination with several mutually kinkable vehicle elements known. The method provides that on a display unit, the vehicle or vehicle combination in a straight position with a static display element corresponding to the straight position of the vehicle elements and additionally each with a respective the vehicle element associated dynamic display element, the function of a current or future position of the mutually movable vehicle elements is determined to be displayed. The dynamic display elements are amplified many times over and highlighted in color.
  • Darüber hinaus ist aus der DE 10 2008 006 309 A1 ein Verfahren und eine Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder eines Fahrzeuggespannes, welches gegeneinander knickbare Fahrzeugelemente aufweist, bekannt. Dabei wird ein künftiger Fahrverlauf prognostiziert, welcher angibt, an welcher Position das Fahrzeug oder Fahrzeuggespann eine geradlinige Stellung erreichen wird.In addition, from the DE 10 2008 006 309 A1 a method and a device for driver assistance when maneuvering a vehicle or a vehicle combination, which has mutually kinkable vehicle elements known. In this case, a future driving course is predicted, which indicates at which position the vehicle or vehicle combination will reach a rectilinear position.
  • Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer Position einer Kamera relativ zu einer Position eines Fahrzeuges oder eines Fahrzeuggespannes, an welchem die Kamera angeordnet ist, anzugeben.The invention has for its object to provide a method for determining a position of a camera relative to a position of a vehicle or a vehicle combination, on which the camera is arranged.
  • Die Aufgabe wird erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.The object is achieved by the features specified in claim 1. Advantageous developments of the invention are the subject of the dependent claims.
  • Bei einem erfindungsgemäßen Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem, wobei die Kamera an dem Fahrzeug bzw. Fahrzeuggespann angeordnet ist, ist vorgesehen, dass von der Kamera eine Folge von Bildern aufgenommen wird und anhand eines ersten Bildpunktes eines ersten Bildes und eines korrespondierenden zweiten Bildpunktes eines nachfolgenden Bildes ein erster Bewegungsvektor im Kamera-Koordinatensystem ermittelt wird, wobei im Fahrzeug-Koordinatensystem ein zweiter Bewegungsvektor ermittelt wird und der erste Bildpunkt im Kamera-Koordinatensystem in das Fahrzeug-Koordinatensystem projiziert wird und in einem projizierten Punkt resultiert, wobei der projizierte Punkt gemäß dem zweiten Bewegungsvektor in dem ersten Koordinatensystem verschoben wird, so dass ein Punkt erzeugt und in das Kamera-Koordinatensystem projiziert wird, wodurch ein transformierter Punkt entsteht und in dem Kamera-Koordinationssystem aus einer Differenz zwischen dem transformierten Punkt und dem zweiten Bildpunkt Rotationsparameter und/oder Translationsparameter des Kamera-Koordinatensystems zu dem Fahrzeug-Koordinatensystem ermittelt werden.In a method according to the invention for determining a position and / or orientation of a camera with an associated camera coordinate system relative to a position of a vehicle or vehicle combination with an associated vehicle coordinate system, wherein the camera is arranged on the vehicle or vehicle combination, it is provided that a sequence of images is taken by the camera and a first motion vector in the camera coordinate system is determined on the basis of a first image point of a first image and a corresponding second image point of a subsequent image, wherein a second motion vector is determined in the vehicle coordinate system and the first image point in the camera coordinate system is projected into the vehicle coordinate system and results in a projected point, wherein the projected point is shifted according to the second motion vector in the first coordinate system, so that a point is generated and projected into the camera. Coordinate system is projected, whereby a transformed point is formed and determined in the camera coordination system from a difference between the transformed point and the second pixel rotation parameters and / or translation parameters of the camera coordinate system to the vehicle coordinate system.
  • Dabei wird unter dem Bewegungsvektor im Zusammenhang mit dem Verfahren eine Kombination aus Translation und Rotation, die die Bewegung des Fahrzeuges oder Fahrzeuggespannes beschreiben, verstanden.In this case, under the motion vector in connection with the method, a combination of translation and rotation, which describe the movement of the vehicle or vehicle combination, understood.
  • Anhand des erfindungsgemäßen Verfahrens ist es in besonders vorteilhafter Weise möglich, dass eine Kamera und/oder eine Nachrüstkamera an einer beliebigen Position an dem Fahrzeug oder Fahrzeuggespann angeordnet werden kann und eine Überlagerung von Fahrkorridoren als Rangierhilfe für einen Fahrer angezeigt werden können.Using the method according to the invention, it is possible in a particularly advantageous manner that a camera and / or a retrofit camera can be arranged at any position on the vehicle or vehicle combination and a superposition of driving corridors can be displayed as a maneuvering assistance for a driver.
  • Darüber hinaus können aufgenommene Bilder der Kamera in bereits im Fahrzeug vorhandene Bird's-Eye-View-Implementierungen integriert werden.In addition, captured images of the camera can be integrated into already existing in the vehicle Bird's Eye View implementations.
  • Ferner ist es bei Anwendung des Verfahrens nicht erforderlich, die Kamera manuell zu kalibrieren und/oder eine Vermessung der Position der Kamera durchzuführen.Further, when using the method, it is not necessary to manually calibrate the camera and / or perform a survey of the position of the camera.
  • Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail with reference to a drawing.
  • Dabei zeigen:Showing:
  • 1 schematisch ein Fahrzeug-Koordinatensystem und ein Kamera-Koordinatensystem, wobei eine Kamera an einer beliebigen Position an einem Fahrzeug oder einem Fahrzeuggespann angeordnet ist, und 1 schematically a vehicle coordinate system and a camera coordinate system, wherein a camera is arranged at an arbitrary position on a vehicle or a vehicle combination, and
  • 2 schematisch ein Fahrzeuges-Koordinatensystem und ein Kamera-Koordinatensystem, wobei anhand der Koordinatensysteme ein Ablauf des Verfahrens dargestellt ist. 2 schematically a vehicle coordinate system and a camera coordinate system, wherein on the basis of the coordinate systems, a sequence of the method is shown.
  • In den 1 und 2 sind ein Fahrzeug-Koordinatensystem 1 und ein Kamera-Koordinatensystem 2 dargestellt. Insbesondere ist das Fahrzeug-Koordinatensystem 1 das Bezugs-Koordinatensystem, anhand dessen das Verfahren durchgeführt wird. Dabei ist die Kamera an einer beliebigen Position an dem Fahrzeug angeordnet. Bei dem Fahrzeug kann es sich beispielsweise auch um ein Fahrzeuggespann handeln, welches gegeneinander knickbare Fahrzeugelemente aufweist. In the 1 and 2 are a vehicle coordinate system 1 and a camera coordinate system 2 shown. In particular, the vehicle coordinate system 1 the reference coordinate system used to perform the procedure. The camera is arranged at any position on the vehicle. The vehicle may, for example, also be a vehicle combination, which has mutually bendable vehicle elements.
  • Beispielsweise ist die Kamera eine Nachrüstkamera, die z. B. mittels eines Magnetfußes an dem Fahrzeug oder Fahrzeuggespann angeordnet wurde, wobei die Position und/oder Ausrichtung insbesondere für ein im Fahrzeug implementiertes System zur Rangierhilfe, bei dem üblicherweise ein Fahrkorridor auf einer Anzeigeeinheit angezeigt wird, nicht bekannt ist bzw. sind. Insbesondere ist ein Prozessormodul Bestandteil des Systems.For example, the camera is a retrofit camera, the z. B. has been arranged by means of a magnetic base on the vehicle or vehicle combination, the position and / or orientation, in particular for a vehicle-implemented system for maneuvering, in which usually a driving corridor is displayed on a display unit is not known or are. In particular, a processor module is part of the system.
  • Das Fahrzeug-Koordinatensystem 1 weist drei Achsen xF, yF, zF auf, wobei ein Koordinatenursprung beispielsweise auf einer Radachse des Fahrzeuges liegt und eine erste Achse xF in Richtung Längsausdehnung des Fahrzeuges angeordnet ist. Eine zweite Achse yF verläuft in Richtung der Radachse bzw. parallel zu der Radachse. Eine dritte Achse zF beschreibt die Hochachse des Fahrzeuges.The vehicle coordinate system 1 has three axes x F , y F , z F , wherein a coordinate origin is for example on a wheel axle of the vehicle and a first axis x F is arranged in the direction of longitudinal extent of the vehicle. A second axis y F extends in the direction of the wheel axis or parallel to the wheel axis. A third axis z F describes the vertical axis of the vehicle.
  • Das Kamera-Koordinatensystem 2 umfasst ebenfalls drei Achsen xK, yK, zK, wobei sich die Achsen xK, yK, zK insbesondere auf die Ausrichtung der optischen Achse der Kamera beziehen.The camera coordinate system 2 Also includes three axes x K , y K , z K , wherein the axes x K , y K , z K relate in particular to the orientation of the optical axis of the camera.
  • Insbesondere ist in der 1 das Fahrzeug-Koordinatensystem 1 separat und das Kamera-Koordinatensystem 2 überlagernd dargestellt.In particular, in the 1 the vehicle coordinate system 1 separately and the camera coordinate system 2 overlaid.
  • Dabei ist beispielhaft eine Abweichung von Translationsparamter x, y, z des Kamera-Koordinatensystems 2 zu dem ersten Fahrzeug-Koordinatensystem 1 gezeigt, wobei eine Abweichung der optischen Achse der Kamera hinsichtlich von Rotationsparametern ψ, Θ, φ auch dargestellt ist.An example of this is a deviation from the translation parameter x, y, z of the camera coordinate system 2 to the first vehicle coordinate system 1 shown, wherein a deviation of the optical axis of the camera with respect to rotation parameters ψ, Θ, φ is also shown.
  • Das Verfahren sieht insbesondere vor, anhand der Ausrichtung der Koordinatensysteme 1, 2 zueinander, die Position und/oder die Ausrichtung der Kamera relativ zu einer Position des Fahrzeuges oder Fahrzeuggespannes zu ermitteln.The method provides, in particular, based on the orientation of the coordinate systems 1 . 2 to determine the position and / or orientation of the camera relative to a position of the vehicle or vehicle combination.
  • In einem ersten Verfahrensschritt wird mittels der Kamera zu einem ersten Zeitpunkt t0 ein erstes Bild aufgenommen, wobei ein erster Bildpunkt PB1, insbesondere ein feststehendes Objekt in einer Fahrzeugumgebung beispielsweise anhand des Prozessormoduls ermittelt wird. Innerhalb eines zweiten Bildes, welches zeitlich gesehen nach dem ersten Bild zu einem Zeitpunkt t1 aufgenommen wurde, wird ein zu dem ersten Bildpunkt PB1 korrespondierender zweiter Bildpunkt PB2 ermittelt und in Bezug auf das Kamera-Koordinatensystem 2 in diesem abgebildet. Dabei werden dieselben Bildpunkte PB1, PB2 mittels bekannter Korrespondenzalgorithmen, die in dem Prozessormodul hinterlegt sind, in unterschiedlichen Bildern miteinander assoziiert.In a first method step, a first image is taken by means of the camera at a first time t 0 , wherein a first pixel P B1 , in particular a stationary object in a vehicle environment, for example, based on the processor module is determined. Within a second image, which was recorded temporally after the first image at a time t 1 , a second pixel P B2 corresponding to the first pixel P B1 is determined and with respect to the camera coordinate system 2 pictured in this. In this case, the same pixels P B1 , P B2 are associated with one another in different images by means of known correspondence algorithms which are stored in the processor module.
  • Insbesondere ist vorgesehen, dass die Bilder anhand einer drahtlosen Verbindung dem Prozessormodul zugeführt werden.In particular, it is provided that the images are supplied to the processor module by means of a wireless connection.
  • Anhand der ermittelten Bildpunkte PB1, PB2 wird ein erster Bewegungsvektor BK im Kamera-Koordinatensystem 2 ermittelt, wobei der erste Bewegungsvektor BK fehlerbehaftet sein kann. Die ermittelten Bildpunkte PB1, PB2 werden in das Fahrzeug-Koordinatensystem 1 übertragen.Based on the determined pixels P B1 , P B2 becomes a first motion vector B K in the camera coordinate system 2 determined, wherein the first motion vector B K may be faulty. The detected pixels P B1 , P B2 are in the vehicle coordinate system 1 transfer.
  • Anschließend wird in einem zweiten Verfahrensschritt beispielsweise anhand eines Lenkwinkels, einer Gierrate, einer Bewegungsdistanz, einer Querbeschleunigung und/oder möglicherweise eines Bewegungsmodells des Fahrzeuges ein zweiter Bewegungsvektor BF im Fahrzeug-Koordinatensystem 1 ermittelt. Dabei gibt der zweite Bewegungsvektor BF eine Fahrzeugbewegung zwischen dem ersten und dem zweiten Zeitpunkt t0, t1 wieder. Insbesondere werden bzw. wird der Lenkwinkels, die Gierrate, die Bewegungsdistanz und/oder die Querbeschleunigung anhand von im Fahrzeug vorhandenen Erfassungseinheiten erfasst. Hierzu wird ein momentaner Lenkwinkel, eine momentane Gierrate, eine momentane Bewegungsdistanz und/oder eine momentane Querbeschleunigung insbesondere zu dem ersten Zeitpunkt t0 und zu dem zweiten Zeitpunkt t1, ermittelt. Beispielsweise wird der momentane Lenkwinkel über eine im Fahrzeug angeordnete CAN-Busstruktur zur Verfügung gestellt. Dabei wird der zweite Bewegungsvektor BF in das Fahrzeug-Koordinatensystem 1 abgebildet.Subsequently, in a second method step, for example based on a steering angle, a yaw rate, a movement distance, a lateral acceleration and / or possibly a movement model of the vehicle, a second motion vector B F in the vehicle coordinate system 1 determined. In this case, the second motion vector B F represents a vehicle movement between the first and the second time t 0 , t 1 . In particular, the steering angle, the yaw rate, the movement distance and / or the lateral acceleration are or are detected on the basis of detection units present in the vehicle. For this purpose, an instantaneous steering angle, a momentary yaw rate, a momentary movement distance and / or an instantaneous lateral acceleration, in particular at the first time t 0 and at the second time t 1 , are determined. For example, the instantaneous steering angle is made available via a CAN bus structure arranged in the vehicle. At this time, the second motion vector B F becomes the vehicle coordinate system 1 displayed.
  • Insbesondere werden bzw. wird anhand des Lenkwinkels, der Gierrate, der Bewegungsdistanz und/oder der Querbeschleunigung zu dem ersten Zeitpunkt t0 und dem zweiten Zeitpunkt t1 eine relative Fahrzeugbewegung in Form des zweiten Bewegungsvektors BF ermittelt, wobei die relative Fahrzeugbewegung beispielsweise anhand wenigstens eines bekannten Dynamik-Modells geschätzt wird.In particular, a relative vehicle movement in the form of the second motion vector B F is or are determined on the basis of the steering angle, the yaw rate, the movement distance and / or the lateral acceleration at the first time t 0 and the second time t 1, the relative vehicle movement being based, for example, on at least of a known dynamics model is estimated.
  • In Abhängigkeit einer Verarbeitungsgeschwindigkeit des Prozessormoduls kann eine Frequenz verarbeiteter Bilder höher sein, als eine Frequenz verarbeiteter Informationen, insbesondere der der momentanen Fahrzeugbewegung. Hierzu ist vorgesehen, dass die relative Fahrzeugbewegung zwischen Informationen der jeweils zugeführten momentanen FAhrzeugbewegung interpoliert wird. Dabei werden Zeitstempel der dem Prozessormodul zugeführten Bilder und der Informationen beispielsweise des momentanen Lenkwinkels verwendet. Um die relative Fahrzeugbewegung zu interpolieren, ist eine Anwendung verschiedener Ansätze, wie z. B: linear, quadratisch und/oder kubisch, möglich.Depending on a processing speed of the processor module, a frequency of processed images may be higher than a frequency of processed information, in particular that of the current vehicle motion. For this purpose, it is provided that the relative movement of the vehicle is interpolated between information of the respectively supplied current vehicle movement. Thereby time stamps of the processor module become supplied images and the information used, for example, the current steering angle. To interpolate the relative vehicle motion, an application of various approaches, such. B: linear, square and / or cubic, possible.
  • Mittels des Verfahrens ist es möglich, drei Rotationsparameter ψ, Θ, φ und/oder drei Translationsparameter x, y, z des Kamera-Koordinatensystems 2 relativ zu dem Fahrzeug-Koordinatensystem 1 zu bestimmen. Dabei ist es nicht erforderlich, dass Anfangswerte für die Suche der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z existieren, da die Position und/oder die Ausrichtung der Kamera unbekannt sind bzw. ist. Existieren z. B. grob geschätzte Anfangswerte, kann eine Rechenzeit zur Ermittlung der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z verkürzt werden.By means of the method it is possible to use three rotation parameters ψ, Θ, φ and / or three translation parameters x, y, z of the camera coordinate system 2 relative to the vehicle coordinate system 1 to determine. It is not necessary that initial values for the search of the rotation parameters ψ, Θ, φ and / or translation parameters x, y, z exist, since the position and / or the orientation of the camera is unknown or is. Exist for example B. roughly estimated initial values, a computing time for determining the rotation parameters ψ, Θ, φ and / or translation parameters x, y, z can be shortened.
  • Um die Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z bewerten zu können, ist eine so bezeichnete Fehlerfunktion definiert, die im Folgenden näher beschrieben wird:
    Die ermittelte Korrespondenz der Bildpunkte PB1, PB2, die in dem ersten Verfahrensschritt ermittelt wurde, verbindet ein Objekt in den zwei zeitlich aufeinander folgenden Kamerabildern. Dabei sind der Ort des Objektes in Form des ersten Bildpunktes PB1 und der Ort des Objektes als korrespondierender zweiter Bildpunkt PB2 gegeben. Der erste Bildpunkt PB1 wird hierfür mittels der zu evaluierenden Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z der Kamera in das Fahrzeug-Koordinatensystem 1 zurück projiziert. Dabei wird angenommen, dass sich der erste Bildpunkt PB1 auf dem Boden/der Straße befindet, wobei die Rückprojektion in einem projizierten Punkt P'B1 resultiert.    In order to be able to evaluate the rotation parameters ψ, Θ, φ and / or translation parameters x, y, z, an error function designated in this way is defined, which is described in more detail below:
    The determined correspondence of the pixels P B1 , P B2 , which was determined in the first method step, connects an object in the two temporally successive camera images. The location of the object in the form of the first pixel P B1 and the location of the object as a corresponding second pixel P B2 are given. For this purpose, the first pixel P B1 is in the vehicle coordinate system by means of the rotation parameters ψ, Θ, φ and / or translation parameters x, y, z of the camera to be evaluated 1 projected back. It is assumed that the first pixel P B1 is located on the ground / the road, the backprojection resulting in a projected point P ' B1 .
  • Anschließend wird der projizierte Punkt P'B1 entsprechend des zweiten Bewegungsvektors in dem Fahrzeug-Koordinatensystem 1 verschoben und resultiert in einem verschobenen Punkt PF.Subsequently, the projected point P ' B1 becomes corresponding to the second motion vector in the vehicle coordinate system 1 shifted and results in a shifted point P F.
  • Darauf folgend wird der verschobene Punkt PF wieder in das erste Bild projiziert und resultiert in dem transformierten Punkt P'F. Anhand dieses Vorganges wird eine Bewegung des Objektes, insbesondere des ersten Bildpunktes PB1, auf Basis der zu evaluierenden Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z und einer gemessenen Fahrzeugbewegung von dem ersten Bildpunkt PB1 zu dem transformierten Punkt P'F geschätzt.Subsequently, the shifted point P F is projected back into the first image and results in the transformed point P ' F. On the basis of this process, a movement of the object, in particular the first pixel P B1 , on the basis of the evaluated rotation parameters ψ, Θ, φ and / or translation parameters x, y, z and a measured vehicle movement from the first pixel P B1 to the transformed point P ' F appreciated.
  • Aus dieser Schätzung resultiert ein Vektor B'K, wobei dieser im Anschluss daran mit dem tatsächlichen ersten Bewegungsvektor BK und dem tatsächlichen zweiten Bewegungsvektor BF in dem ersten Bild verglichen wird. Ein hierbei entstandener zweidimensionaler Fehler F, beispielsweise summiert über alle Korrespondenzen, z. B. über einen längeren Zeitraum, stellt eine Bewertungsfunktion der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z dar. Die Bewertungsfunktion wird nun mittels bekannter Optimierungsverfahren, z. B. dem RANSAC-Algorithmus minimiert, wobei mit Hilfe des Optimierungsverfahrens die gesuchten Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z für eine Transformation zwischen dem Fahrzeug-Koordinatensystem 1 und dem zweiten Kamera-Koordinatensystem 2 bestimmt werden.From this estimate results a vector B ' K , which is subsequently compared to the actual first motion vector B K and the actual second motion vector B F in the first image. A resulting two-dimensional error F, for example, summed over all correspondences, z. B. over a longer period of time represents an evaluation function of the rotation parameters ψ, Θ, φ and / or translation parameters x, y, z. The evaluation function is now using known optimization methods, eg. B. the RANSAC algorithm minimized, using the optimization method, the sought rotation parameters ψ, Θ, φ and / or translation parameters x, y, z for a transformation between the vehicle coordinate system 1 and the second camera coordinate system 2 be determined.
  • Die Bewegungsinformationen des Fahrzeuges werden für jedes Bild und somit für jede Korrespondenz gespeichert. Dadurch können die Korrespondenzen für einen längeren Zeitraum gesammelt und zusammen verarbeitet werden. Daher kann das Verfahren auch bei vergleichsweise schlechten Sichtverhältnissen angewendet werden.The movement information of the vehicle is stored for each image and thus for each correspondence. This allows the correspondence to be collected for a longer period of time and processed together. Therefore, the method can be used even in relatively poor visibility.
  • Das hier beschriebene Verfahren kann anhand Korrespondenzen vieler von der Kamera aufgenommener Bilder mit der jeweiligen relativen Fahrzeugbewegung gleichzeitig bei einer Suche nach optimalen Rotationsparametern ψ, Θ, φ und/oder Translationsparametern x, y, z angewendet werden.The method described here can be applied simultaneously by searching for optimum rotational parameters ψ, Θ, φ and / or translation parameters x, y, z on the basis of correspondences of many images taken by the camera with the respective relative vehicle movement.
  • In besonders vorteilhafter Weise kann das Verfahren zur Bestimmung der Position und/oder Ausrichtung der Kamera für beliebige Typen von Kameras angewandt werden.In a particularly advantageous manner, the method for determining the position and / or orientation of the camera can be used for any type of camera.
  • Im Vergleich zu üblichen Verfahren zur Bestimmung der Position und/oder der Ausrichtung der Kamera können die drei Translationsparameter x, y, z geschätzt werden. Diese schwanken bei Werksmontage der Kamera zwar nur gering, sind bei freier Positionierung der Kamera, beispielsweise an einem Anhänger jedoch unbekannt.Compared to conventional methods for determining the position and / or orientation of the camera, the three translation parameters x, y, z can be estimated. Although these fluctuate only slightly when the camera is installed in the factory, they are unknown when the camera is positioned freely, for example on a trailer.
  • Das beschriebene Verfahren wird zur maschinellen, beispielsweise rechnerabhängigen, Kalibrierung verwendet, wobei mittels des Verfahrens auch eine mögliche Dekalibrierung der Kamera ermittelt werden kann. Durch ein kontinuierliches Ausführen des Verfahrens, der automatischen Kalibrierung, kann erkannt werden, dass sich die Ausrichtung und/oder Position der Kamera, z. B. durch mechanische Einflüsse verändert hat und somit das System der Rangierhilfe nicht mehr verlässlich funktioniert, also die Kamera manuell und/oder automatisch kalibriert werden muss. Auch ist es anhand des Verfahrens möglich, eine vergleichsweise nicht ordnungsgemäße Funktion der Kamera, z. B. Störungen im Bild, erkannt werden.The method described is used for machine-based, for example computer-dependent, calibration, wherein a possible decalibration of the camera can also be determined by means of the method. By continuously performing the method, automatic calibration, it can be seen that the orientation and / or position of the camera, e.g. B. has changed by mechanical influences and thus the system of maneuvering no longer works reliably, so the camera must be calibrated manually and / or automatically. It is also possible by the method, a comparatively improper functioning of the camera, z. As disturbances in the image can be detected.
  • Insbesondere kann das Verfahren verwendet werden, um beispielsweise anhand der ermittelten Informationen hinsichtlich der Position und/oder Ausrichtung der Kamera auf einem Bild auf einer Anzeigeeinheit Fahr-Korridore als Rangierhilfe das angezeigte Bild überlagernd darzustellen.In particular, the method can be used, for example, based on the information obtained with regard to the position and / or orientation of the camera on an image on a Display unit driving corridors as a maneuvering aid to superimpose the displayed image.
  • Auch ist es möglich die aufgenommenen Bilder der Kamera in Bird's-Eye-View-Systeme zu integrieren.It is also possible to integrate the captured images of the camera into Bird's Eye-View systems.
  • Dabei ist eine Verwendung des Verfahrens nicht auf die angegebenen Anwendungsbeispiele beschränkt.In this case, a use of the method is not limited to the specified application examples.
  • BezugszeichenlisteLIST OF REFERENCE NUMBERS
    • 11
    Fahrzeug-KoordinatensystemVehicle coordinate system
    22
    Kamera-KoordinatensystemCamera coordinate system
    FF
    Fehlererror
    PB1 PB 1
    erster Bildpunktfirst pixel
    P'B1 P ' B1
    projizierter Punktprojected point
    PB2 P B2
    korrespondierender zweiter Bildpunktcorresponding second pixel
    PF P F
    erzeugter Punktgenerated point
    P'F P ' F
    transformierter Punkttransformed point
    BK B K
    erster Bewegungsvektorfirst motion vector
    BF B F
    zweiter Bewegungsvektorsecond motion vector
    t0 t 0
    erster Zeitpunktfirst time
    t1 t 1
    zweiter Zeitpunktsecond time
    xF, yF, zF x F , y F , z F
    Achsen Fahrzeug-KoordinatensystemAxes vehicle coordinate system
    xK, yK, zK x K , y K , z K
    Achsen Kamera-KoordinatensystemAxes Camera coordinate system
    x, y, zx, y, z
    Translationsparametertranslation parameters
    ψ, Θ, φψ, Θ, φ
    Rotationsparameterrotation parameters
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
  • Zitierte PatentliteraturCited patent literature
    • DE 102007040250 A1 [0002] DE 102007040250 A1 [0002]
    • DE 102008006309 A1 [0003] DE 102008006309 A1 [0003]

Claims (4)

  1. Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem (2) relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem (1), wobei die Kamera an dem Fahrzeug bzw. Fahrzeuggespann angeordnet ist, dadurch gekennzeichnet, dass von der Kamera eine Folge von Bildern aufgenommen wird und anhand eines ersten Bildpunktes (PB1) eines ersten Bildes und eines korrespondierenden zweiten Bildpunktes (PB2) eines nachfolgenden Bildes ein erster Bewegungsvektor (BK) im Kamera-Koordinatensystem (2) ermittelt wird, wobei im Fahrzeug-Koordinatensystem (1) ein zweiter Bewegungsvektor (BF) ermittelt wird und der erste Bildpunkt (PB1) im Kamera-Koordinatensystem (2) in das Fahrzeug-Koordinatensystem (1) projiziert wird und in einem projizierten Punkt (P'B1) resultiert, wobei der projizierte Punkt (P'B1) gemäß dem zweiten Bewegungsvektor (BF) in dem ersten Koordinatensystem (1) verschoben wird, so dass ein Punkt (PF) erzeugt und in das Kamera-Koordinatensystem (2) projiziert wird, wodurch ein transformierter Punkt (P'F) entsteht und in dem Kamera-Koordinationssystem (2) aus einer Differenz (F) zwischen dem transformierten Punkt (P'F) und dem zweiten Bildpunkt (PB2) Rotationsparameter (ψ, Θ, φ) und/oder Translationsparameter (x, y, z) des Kamera-Koordinatensystems (2) zu dem Fahrzeug-Koordinatensystem (1) ermittelt werden.Method for determining a position and / or orientation of a camera with an associated camera coordinate system ( 2 ) relative to a position of a vehicle or vehicle combination with an associated vehicle coordinate system ( 1 ), wherein the camera is arranged on the vehicle or vehicle combination, characterized in that a sequence of images is taken by the camera and based on a first pixel (P B1 ) of a first image and a corresponding second pixel (P B2 ) of a subsequent Image a first motion vector (B K ) in the camera coordinate system ( 2 ), wherein in the vehicle coordinate system ( 1 ) a second motion vector (B F ) is determined and the first pixel (P B1 ) in the camera coordinate system ( 2 ) in the vehicle coordinate system ( 1 ) and results in a projected point (P ' B1 ), wherein the projected point (P' B1 ) in accordance with the second motion vector (B F ) in the first coordinate system ( 1 ) so that a point (P F ) is generated and fed into the camera coordinate system ( 2 ), resulting in a transformed point (P ' F ) and in the camera coordination system (FIG. 2 ) from a difference (F) between the transformed point (P ' F ) and the second pixel (P B2 ) rotational parameters (ψ, Θ, φ) and / or translation parameters (x, y, z) of the camera coordinate system ( 2 ) to the vehicle coordinate system ( 1 ) be determined.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der zweite Bewegungsvektor (BF) zumindest anhand einer Bewegungsdistanz und/oder eines Lenkwinkels des Fahrzeuges oder Fahrzeuggespannes ermittelt wird.A method according to claim 1, characterized in that the second motion vector (B F ) is determined at least on the basis of a movement distance and / or a steering angle of the vehicle or vehicle combination.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine resultierende Fahrzeugbewegung geschätzt wird.A method according to claim 1 or 2, characterized in that a resulting vehicle movement is estimated.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine Bewegungsinformation des Fahrzeuges oder Fahrzeuggespannes für jedes von der Kamera aufgenommene Bild gespeichert wird.Method according to one of claims 1 to 3, characterized in that a movement information of the vehicle or vehicle combination is stored for each captured by the camera image.
DE102009057996A 2009-11-12 2009-12-11 Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system Withdrawn DE102009057996A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102009052737 2009-11-12
DE102009052737.0 2009-11-12
DE102009057996A DE102009057996A1 (en) 2009-11-12 2009-12-11 Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009057996A DE102009057996A1 (en) 2009-11-12 2009-12-11 Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system

Publications (2)

Publication Number Publication Date
DE102009057996A1 true DE102009057996A1 (en) 2011-05-19
DE102009057996A8 DE102009057996A8 (en) 2012-05-03

Family

ID=43877758

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009057996A Withdrawn DE102009057996A1 (en) 2009-11-12 2009-12-11 Method for determining position and/or alignment of camera relative to position of vehicle and semi-trailer, involves determining rotation parameter and/or translation parameter of camera-coordinate system to vehicle-coordinate system

Country Status (1)

Country Link
DE (1) DE102009057996A1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010027344A1 (en) 2010-07-16 2011-05-26 Daimler Ag Method for alignment of rear view camera in e.g. door relative to position of vehicle i.e. car to detect surrounding area of vehicle to aid driver, during driving, involves automatically aligning recording unit, during minimum deviation
DE102010021221A1 (en) 2010-05-21 2011-06-22 Daimler AG, 70327 Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102011010863A1 (en) 2010-12-23 2012-02-16 Daimler Ag Method for calibration of sensor in camera for acquisition of environment of vehicle, involves taking local optimum and/or global optimum of estimated vehicle sensor transformation into account during calibration of sensor
DE102011113197A1 (en) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Method for determining angle between towing vehicle and trailer, involves evaluating image by image evaluation unit, where angle between towing vehicle and trailer is determined based on image evaluation
EP2858035A1 (en) 2013-10-01 2015-04-08 Application Solutions (Electronics and Vision) Limited System, vehicle and method for online calibration of a camera on a vehicle
DE102013019109A1 (en) 2013-11-14 2015-05-21 Daimler Ag Method for determining a position and orientation of an image acquisition unit arranged on a vehicle
US20150294465A1 (en) * 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle position estimation system
DE102014218995A1 (en) * 2014-09-22 2016-03-24 Robert Bosch Gmbh Method and device for bird-view display of a vehicle combination and retrofittable camera
WO2018202464A1 (en) * 2017-05-03 2018-11-08 Connaught Electronics Ltd. Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
US10539412B2 (en) 2014-07-31 2020-01-21 Hewlett-Packard Development Company, L.P. Measuring and correcting optical misalignment
EP3657441A1 (en) * 2018-11-26 2020-05-27 Connaught Electronics Ltd. Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008006309A1 (en) 2007-08-01 2009-02-05 Daimler Ag Method and device for driver assistance when maneuvering a vehicle or vehicle combination
DE102007040250A1 (en) 2007-08-27 2009-03-05 Daimler Ag Method and device for driver assistance when maneuvering a vehicle or vehicle combination

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008006309A1 (en) 2007-08-01 2009-02-05 Daimler Ag Method and device for driver assistance when maneuvering a vehicle or vehicle combination
DE102007040250A1 (en) 2007-08-27 2009-03-05 Daimler Ag Method and device for driver assistance when maneuvering a vehicle or vehicle combination

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010021221A1 (en) 2010-05-21 2011-06-22 Daimler AG, 70327 Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102010027344A1 (en) 2010-07-16 2011-05-26 Daimler Ag Method for alignment of rear view camera in e.g. door relative to position of vehicle i.e. car to detect surrounding area of vehicle to aid driver, during driving, involves automatically aligning recording unit, during minimum deviation
DE102011010863A1 (en) 2010-12-23 2012-02-16 Daimler Ag Method for calibration of sensor in camera for acquisition of environment of vehicle, involves taking local optimum and/or global optimum of estimated vehicle sensor transformation into account during calibration of sensor
DE102011113197A1 (en) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Method for determining angle between towing vehicle and trailer, involves evaluating image by image evaluation unit, where angle between towing vehicle and trailer is determined based on image evaluation
EP2858035A1 (en) 2013-10-01 2015-04-08 Application Solutions (Electronics and Vision) Limited System, vehicle and method for online calibration of a camera on a vehicle
US9792683B2 (en) 2013-10-01 2017-10-17 Application Solutions (Electronics and Vision) Ltd. System, vehicle and method for online calibration of a camera on a vehicle
DE102013019109A1 (en) 2013-11-14 2015-05-21 Daimler Ag Method for determining a position and orientation of an image acquisition unit arranged on a vehicle
US20150294465A1 (en) * 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle position estimation system
US10249056B2 (en) * 2014-04-11 2019-04-02 Nissan North America, Inc. Vehicle position estimation system
US10539412B2 (en) 2014-07-31 2020-01-21 Hewlett-Packard Development Company, L.P. Measuring and correcting optical misalignment
DE102014218995A1 (en) * 2014-09-22 2016-03-24 Robert Bosch Gmbh Method and device for bird-view display of a vehicle combination and retrofittable camera
WO2018202464A1 (en) * 2017-05-03 2018-11-08 Connaught Electronics Ltd. Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
EP3657441A1 (en) * 2018-11-26 2020-05-27 Connaught Electronics Ltd. Method for determining a mounting height of a camera by determining a motion vector, computer program product, electronic computing device, as well as camera

Also Published As

Publication number Publication date
DE102009057996A8 (en) 2012-05-03

Similar Documents

Publication Publication Date Title
DE102011101990B3 (en) Method for determining relative drawbar angle in articulated train, involves coupling tensile unit and trailer by rotatably mounted shaft and two-dimensional image is captured by unit for imaging two-dimensional image
DE102008053472B4 (en) Object detection system
DE10229334B4 (en) Method and device for calibrating sensors in motor vehicles by means of a calibration object with triple mirror as a reference feature
EP1295099B1 (en) Method for testing a product for quality defects
EP1842382B1 (en) Method, device, software and corresponding data medium for determining object characteristics based on images taken by a camera
EP2382118B1 (en) Method for determining a road profile of a lane located in front of a vehicle
DE102012023706A1 (en) Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle
WO2016046269A1 (en) Sensor fusion with a smartphone in a vehicle
DE4130010C2 (en) Device for the continuous observation of a vehicle and for measuring its distance
DE102005035746B4 (en) Method for determining a relative position of a mobile unit by comparing scans of an environment and mobile unit
EP1836681B1 (en) Method for determining the displacement of a vehicle
EP2288531B1 (en) Device and method for generating a locating signal
DE102010062696A1 (en) Method and device for calibrating and adjusting a vehicle environment sensor.
DE102012204634A1 (en) Magnetic field sensor, actuator and method for determining a relative position
EP3053133B1 (en) Method and device for displaying a vehicle's environment and driver assistance system
DE19633704B4 (en) Vehicle environment monitoring device
EP1480187A2 (en) Camerabased position detection for road vehicles
DE102008001648A1 (en) Driver assistance method for moving a motor vehicle and driver assistance device
DE102010015079A1 (en) A method of displaying an image on a display device in a vehicle. Driver assistance system and vehicle
EP2249580B1 (en) Method for calibrating the image of a camera
EP3140813A2 (en) Method and device for the distortion-free display of an area surrounding a vehicle
DE10137241A1 (en) Arrangement, for detecting and measuring objects, optically projects markers onto object, records partial views of object in global coordinate system using information re-detected markers
DE102011002959A1 (en) Method and device for determining the mating angle between the trailer and towing vehicle of a tractor-trailer combination
DE102004060402A1 (en) Method and device for determining a vehicle speed
EP1543475A2 (en) Method and device for the video-based monitoring and measurement of the lateral environment of a vehicle

Legal Events

Date Code Title Description
R005 Application deemed withdrawn due to failure to request examination