Technisches GebietTechnical area
Die vorliegende Erfindung betrifft ein Bilderfassungssystem und ein Verfahren, das in einem solchen System durchgeführt wird.The present invention relates to an image acquisition system and a method carried out in such a system.
Allgemeiner Stand der TechnikGeneral state of the art
Zurzeit sind Fahrzeuge mit Fahrerassistenzsystemen versehen, die von der Verwendung eines Bilderfassungssystems abhängen, das eine oder mehrere Kameras umfasst, die Bilder eines Teils der das Fahrzeug umgebenden Umwelt aufnehmen. In manchen Fällen können Bilder von mehr als einer Kamera zusammengefügt werden, um ein Draufsicht- oder Vogelperspektivenansichtbild der das Fahrzeug umgebenden Umwelt zu liefern. Diese Bilder können auf einer Fahreranzeigevorrichtung angezeigt oder für eine Merkmalsextraktion und/oder -erkennung verarbeitet werden, um bei der autonomen oder semiautonomen Steuerung des Fahrzeugs zu assistieren.Vehicles are currently provided with driver assistance systems that depend on the use of an image capture system that includes one or more cameras that capture images of part of the environment surrounding the vehicle. In some cases, images from more than one camera can be stitched together to provide a top or bird's eye view image of the environment surrounding the vehicle. These images can be displayed on a driver display device or processed for feature extraction and / or recognition in order to assist in the autonomous or semi-autonomous control of the vehicle.
WO 2012/139636 (Ref: SIE0025) betrifft ein Verfahren für Online-Kalibrierung eines Fahrzeugvideosystems, das durch eine Kamera aufgenommene Bildframes, die Merkmale auf einer Straßenoberfläche enthalten, verwendet. Mindestens zwei verschiedene Merkmale innerhalb eines Bildframes werden als jeweilige Referenzpunkte gewählt. Eine Sequenz von mindestens einem weiteren Bildframe wird von der Kamera aufgenommen, während innerhalb jedes neuen Frames die als Referenzpunkte gewählten Merkmale lokalisiert werden. Eine geometrische Gestalt wird durch Verbinden der lokalisierten Referenzpunkte in jedem Bild und Berücksichtigen der jeweiligen Trajektorien, die durch die Referenzpunkte während eines Fahrintervalls zwischen Bildern der Sequenz abgedeckt werden, erhalten. Eine Abweichung des resultierenden geometrischen Objekts von einem Parallelogramm mit Ecken, die durch die Referenzpunkte von mindestens zwei aufeinanderfolgenden Bildern definiert sind, wird berechnet, wobei jegliche gemessene Abweichung dafür verwendet wird, eine Versatzkorrektur der Kamera zu definieren. WO 2012/139636 (Ref: SIE0025) relates to a method for on-line calibration of a vehicle video system that uses image frames captured by a camera containing features on a road surface. At least two different features within an image frame are selected as respective reference points. A sequence of at least one further image frame is recorded by the camera, while the features selected as reference points are localized within each new frame. A geometric shape is obtained by connecting the localized reference points in each image and taking into account the respective trajectories covered by the reference points during a driving interval between images of the sequence. A deviation of the resulting geometrical object from a parallelogram with corners defined by the reference points of at least two successive images is calculated, with any measured deviation being used to define an offset correction of the camera.
WO 2012/139660 (Ref: SIE0028) betrifft ein Verfahren für Online-Kalibrierung eines Fahrzeugvideosystems, das von einer Kamera aufgenommene Bildframes verwendet, die Straßenlängsmerkmale auf einer Straßenoberfläche enthalten. Eine Identifikation von Straßenlängsmerkmalen innerhalb des Bildframes wird durchgeführt. Punkte werden entlang den identifizierten Straßenlängsmerkmalen extrahiert, um über eine perspektivische Abbildung, die zuvor bekannte Parameter der Kamera berücksichtigt, in eine virtuelle Straßendraufsicht transformiert zu werden. Die transformierten extrahierten Punkte werden im Hinblick auf das Fahrzeug analysiert, indem eine mögliche Abweichung der Punkte von einer Linie parallel zu dem Fahrzeug bestimmt wird, wobei jegliche gemessene Abweichung dafür verwendet wird, eine Versatzkorrektur der Kamera zu definieren. WO 2012/139660 (Ref: SIE0028) relates to a method for on-line calibration of a vehicle video system which uses image frames recorded by a camera which contain longitudinal road features on a road surface. An identification of longitudinal road features within the image frame is carried out. Points are extracted along the identified longitudinal road features in order to be transformed into a virtual top view of the road via a perspective image that takes into account previously known parameters of the camera. The transformed extracted points are analyzed with respect to the vehicle by determining a possible deviation of the points from a line parallel to the vehicle, with any measured deviation being used to define an offset correction of the camera.
WO 2012/143036 (Ref: SIE0029) betrifft ein Verfahren zur Online-Kalibrierung eines Fahrzeugvideosystems unter Verwendung von Bildframes, die Straßenlängsmerkmale enthalten. Aneinander angrenzende Teile der Straßenoberfläche werden von mindestens zwei Kameras des Fahrzeugvideosystems aufgenommen. Straßenlängsmerkmale werden innerhalb der Bildframes identifiziert. Identifizierte Straßenlängsmerkmale werden innerhalb von mindestens zwei Bildframes, die jeweils von zwei Kameras aufgenommen wurden, als mit einer Einzellinie überstimmend zwischen den zwei Bildframes ausgewählt. Eine Analyse der Einzellinie wird durch Bestimmen eines Versatzes der Linie zwischen den zwei Bildframes durchgeführt. Der nachfolgend bestimmte Versatz der Linie wird für eine Kalibrierung der Kameras des Fahrzeugvideosystems eingesetzt. WO 2012/143036 (Ref: SIE0029) relates to a method for on-line calibration of a vehicle video system using image frames containing longitudinal road features. Adjacent parts of the road surface are recorded by at least two cameras of the vehicle video system. Longitudinal road features are identified within the image frames. Identified longitudinal road features are selected within at least two image frames, each of which were recorded by two cameras, as coinciding with a single line between the two image frames. An analysis of the single line is carried out by determining an offset of the line between the two image frames. The line offset determined below is used to calibrate the cameras of the vehicle video system.
KURZDARSTELLUNGABSTRACT
Gemäß einem ersten Aspekt wird ein Verfahren bereitgestellt, das in einem Bilderfassungssystem nach Anspruch 1 betreibbar ist.According to a first aspect, a method is provided which can be operated in an image acquisition system according to claim 1.
In einem zweiten Aspekt ist ein Computerprogrammprodukt bereitgestellt, das, wenn es auf einer Rechenvorrichtung ausgeführt wird, eingerichtet ist zum Durchführen des Verfahrens von Anspruch 1.In a second aspect, a computer program product is provided which, when it is executed on a computing device, is set up to carry out the method of claim 1.
In noch einem weiteren Aspekt ist ein Bilderfassungssystem bereitgestellt, wie es in Anspruch 13 dargelegt ist.In yet another aspect, an image capture system as set out in claim 13 is provided.
Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen definiert.Advantageous embodiments are defined in the dependent claims.
FigurenlisteFigure list
Eine Ausführungsform der Erfindung wird nun beispielhaft unter Bezugnahme auf die begleitenden Zeichnungen beschrieben, in denen Folgendes gilt:
- 1 veranschaulicht eine Seitenansicht eines Fahrzeugs, das ein Bilderfassungssystem gemäß einer Ausführungsform der Erfindung umfasst;
- 2 veranschaulicht eine perspektivische Ansicht einer Kamerakomponente des Systems von 1:
- 3 veranschaulicht Ebenen, die eine Lage des Fahrzeugs von 1 angeben;
- 4 ist ein Blockdiagramm, das eine beispielhafte Ausgestaltung des Bilderfassungssystems von 1 veranschaulicht; und
- 5 ist ein Blockdiagramm, das ein Bildverarbeitungsverfahren gemäß einer Ausführungsform der Erfindung veranschaulicht.
An embodiment of the invention will now be described, by way of example, with reference to the accompanying drawings, in which: - 1 Figure 3 illustrates a side view of a vehicle including an imaging system according to an embodiment of the invention;
- 2 FIG. 13 illustrates a perspective view of a camera component of the system of FIG 1 :
- 3 illustrates planes showing a location of the vehicle 1 specify;
- 4th FIG. 13 is a block diagram illustrating an exemplary embodiment of the imaging system of FIG 1 illustrates; and
- 5 Figure 13 is a block diagram illustrating an image processing method according to an embodiment of the invention.
Ausführliche Beschreibung der ZeichnungenDetailed description of the drawings
1 veranschaulicht ein Fahrzeug 102, das ein Bilderfassungssystem 100 gemäß einer Ausführungsform der Erfindung beinhaltet. Das Bilderfassungssystem 100 umfasst eine oder mehrere Kameras 110, von denen nur eine gezeigt ist, und einen Prozessor 120 zum Verarbeiten von Bildern, die durch die Kamera 110 aufgenommen wurden. 1 illustrates a vehicle 102 that is an imaging system 100 according to one embodiment of the invention. The imaging system 100 includes one or more cameras 110 , only one of which is shown, and a processor 120 to process images taken by the camera 110 were recorded.
Der Prozessor 120 kann einen dedizierten Prozessor zum Verarbeiten von Bildern umfassen, die von der Kamera 110 bereitgestellt werden; oder der Prozessor 120 könnte tatsächlich irgendeinen Prozessor von einem Mehrprozessorkern innerhalb eines Fahrzeugsteuerungssystems und der auf Anforderung zum Verarbeiten von erfassten Bildern verfügbar sein kann, umfassen.The processor 120 may include a dedicated processor for processing images taken by the camera 110 to be provided; or the processor 120 could in fact comprise any processor from a multiprocessor core within a vehicle control system and which may be available on demand to process captured images.
Die Kamera 110 kann eine beliebige Art von Bildaufnahmevorrichtung sein. Beispielsweise kann die Kamera 110 von der Art sein, die üblicherweise als eine Digitalkamera bezeichnet wird, wie etwa eine Komplementärer-Metall-Oxid-Halbleiter-Kamera bzw. CMOS-Kamera, eine Charge-Coupled-Device-Kamera bzw. CCD-Kamera oder dergleichen. Die Kamera 110 kann Bilder in dem sichtbaren und/oder dem unsichtbaren Spektrum aufnehmen und diese dem Prozessor 120 zuführen. Der Prozessor 120 verarbeitet von der Kamera produzierte Bilder unter Verwendung einer Kombination von von der Kamera 110 gelieferten Informationen auf chromatischer oder intensitärer Bildebene.The camera 110 can be any type of imaging device. For example, the camera 110 be of the type commonly referred to as a digital camera, such as a complementary metal oxide semiconductor or CMOS camera, a charge coupled device camera or CCD camera, or the like. The camera 110 can take pictures in the visible and / or the invisible spectrum and send them to the processor 120 respectively. The processor 120 processes images produced by the camera using a combination of from the camera 110 information supplied on a chromatic or intense image level.
Es ist bemerkenswert, dass in Fahrzeugbilderfassungssystemen, wie nachfolgend beschrieben, Kameras dazu tendieren, ein breites Sichtfeld (Field of View - FOV) aufzuweisen und somit ein hochgradig verzerrtes Bild aufnehmen. Von daher wird typischerweise nur ein Teil des durch den Kamerabildsensor aufgenommenen rechteckigen Bilds eingesetzt, um ein geradliniges, verzerrungskorrigiertes Bild bereitzustellen, das von dem Rest eines Fahrerassistenzsystems verwendet wird. Dieser verzerrte Teil des aufgenommenen Bilds wird hier als eine interessierende Region (Region of Interest - ROI) bezeichnet. Auch erstreckt sich die ROI nicht bis zu den Abgrenzungen des Kamerabildsensors, um variable Ausrichtung der Kamera 110 relativ zu einer Straßenoberfläche und möglicherweise relativ zu dem Fahrzeug auszugleichen, womit ermöglicht wird, dass die ROI anforderungsgemäß innerhalb eines beliebigen von der Kamera 110 erfassten Bilds ausgerichtet wird.It is noteworthy that in vehicle imaging systems, as described below, cameras tend to have a wide field of view (FOV) and thus capture a highly distorted image. For this reason, typically only a part of the rectangular image recorded by the camera image sensor is used in order to provide a rectilinear, distortion-corrected image that is used by the rest of a driver assistance system. This distorted part of the recorded image is referred to here as a region of interest (ROI). The ROI also does not extend to the boundaries of the camera image sensor in order to allow the camera to be aligned in a variable manner 110 relative to a road surface and possibly relative to the vehicle, thereby allowing the ROI to be within any of the camera as required 110 captured image is aligned.
Die gezeigte Kamera 110 ist eine vorwärtsgerichtete Kamera, die in dem oder an dem Grill des Fahrzeugs 102 montiert ist. Die Kamera 110 ist ausgelegt zum Aufnehmen einer nach unten schauenden Draufsicht des Bodens in Richtung der Front des Fahrzeugs 102.The camera shown 110 is a forward facing camera installed in or on the grill of the vehicle 102 is mounted. The camera 110 is configured to receive a downward looking plan view of the floor toward the front of the vehicle 102 .
Bei alternativen Ausführungsformen kann die Kamera 110 an einem beliebigen gewünschten Ort montiert sein, innerhalb des Fahrgastraums oder an dem Äußeren des Fahrzeugs 102, um ein Bild aufzunehmen, das allgemein in eine Vorwärtsrichtung des Fahrzeugs 102 schaut. So könnte die Kamera 110 beispielsweise auch innerhalb einer (nicht gezeigten) Dachkonsoleneinheit innerhalb des Fahrgastraums des Fahrzeugs 102; auf einer vorwärtsgerichteten Oberfläche eines Rückspiegels (nicht gezeigt) des Fahrzeugs 102; oder an einem Außenspiegel (nicht gezeigt) des Fahrzeugs 102 lokalisiert sein.In alternative embodiments, the camera 110 be mounted in any desired location, within the passenger compartment or on the exterior of the vehicle 102 to capture an image generally in a forward direction of the vehicle 102 looks. So could the camera 110 for example also within an overhead console unit (not shown) within the passenger compartment of the vehicle 102 ; on a forward facing surface of a rearview mirror (not shown) of the vehicle 102 ; or on an outside mirror (not shown) of the vehicle 102 be localized.
Andere Kameras können an irgendeinem anderen gewünschten Ort des Fahrzeugs 102 zum Aufnehmen anderer Teile der das Fahrzeug 102 umgebenden Umwelt montiert sein. Beispielsweise können Kameras an irgendeinem gewünschten Ort des Fahrzeugs 102 montiert sein, zum Aufnehmen einer abwärtsschauenden Draufsicht des Bodens in Richtung des Hecks des Fahrzeugs 102 oder zum Aufnehmen eines in eine allgemeine Rückwärtsrichtung vom Fahrzeug 102 schauenden Bilds. Somit kann eine Kamera an einer Heckverkleidung des Fahrzeugs, im Innern einer Heckscheibe oder auf einer rückwärtsgerichteten Oberfläche eines Außenspiegels montiert sein. Bei einer anderen Ausführungsform könnten Kameras auch an irgendeinem gewünschten Ort des Fahrzeugs 102 montiert sein, zum Aufnehmen einer abwärtsschauenden Draufsicht des Bodens an der linken/rechten Seite des Fahrzeugs 102. Somit können Kameras an den Seitenmittelverkleidungen des Fahrzeugs 102, an Außenspiegeln oder an Seitenscheiben montiert sein.Other cameras can be in any other desired location on the vehicle 102 for recording other parts of the vehicle 102 surrounding environment. For example, cameras can be in any desired location on the vehicle 102 be mounted for taking a downward looking plan view of the floor towards the rear of the vehicle 102 or to pick one up in a general reverse direction from the vehicle 102 looking image. Thus, a camera can be mounted on a rear panel of the vehicle, in the interior of a rear window or on a rearward-facing surface of an exterior mirror. In another embodiment, cameras could also be in any desired location on the vehicle 102 be mounted to take a downward looking top view of the floor on the left / right side of the vehicle 102 . This means that cameras can be installed on the center side panels of the vehicle 102 , be mounted on exterior mirrors or on side windows.
Somit ist der Prozessor 120, in manchen Implementationen der vorliegenden Erfindung, mit Ausrichten einer ROI innerhalb von von der Kamera 110 erfassten Bildern beauftragt, auf der Grundlage von Messungen, die von dem Federungssystem empfangen werden, um einfach ein konsistentes Bild von einer gegebenen Kamera auf der Fahreranzeigevorrichtung anzuzeigen; in anderen Implementation können sich die Sichtfelder von Front-, Heck- und Seitenkameras in einem Maße überlappen, dass sie zusammengefügt werden können, um eine einzige Ansicht der das Fahrzeug umgebenden Umwelt aus der Vogelperspektive zu liefern. Zusätzlich oder alternativ kann der Prozessor 120 eine Parkassistenzfunktion und/oder autonomes oder semiautonomes Fahren durchführen, wie etwa aktive Geschwindigkeitsregelung oder sogar eine beliebige andere Fahrzeugfunktion, auf der Grundlage einer basierend auf von dem Federungssystem empfangenen Messungen ausgerichteten ROI.Thus is the processor 120 , in some implementations of the present invention, with aligning a ROI from within the camera 110 commands captured images, based on measurements received from the suspension system, to simply display a consistent image from a given camera on the driver display device; in other implementations, the fields of view of the front, rear, and side cameras may overlap to the extent that they can be stitched together to provide a single bird's eye view of the environment surrounding the vehicle. Additionally or alternatively, the processor 120 a parking assistance function and / or autonomous or semi-autonomous driving perform, such as active cruise control or even any other vehicle function, based on an aligned ROI based on measurements received from the suspension system.
2 zeigt eine Perspektivansicht von der Kamera 110 und ein dreidimensionales Koordinatensystem Xc,Yc, Zc der Kamera 110. In diesem System erstreckt sich die Xc-Achse entlang einer Längsrichtung, die der optischen Achse der Kamera entspricht, und die Yc-Achse erstreckt sich in einer Querrichtung. Die Zc-Achse ist zu Xc und Yc senkrecht. Die Zc und die Xc-Achse sind ebenfalls in 1 gezeigt, wobei allerdings die Yc-Achse in 1 nicht gezeigt ist, da diese senkrecht zu dem Seitenansichtsbild des Fahrzeugs steht. Ein Rollen (RotXc) ist eine Rotation um die Xc-Achse, ein Nicken (RotYc) ist eine Rotation um die Yc-Achse und ein Gieren (RotZc) ist eine Rotation um die Zc-Achse, wobei RotXc, RotYc und RotZc die Rotationwinkel sind. 2 Figure 13 shows a perspective view from the camera 110 and a three-dimensional coordinate system Xc, Yc, Zc of the camera 110 . In this system, the Xc axis extends along a longitudinal direction corresponding to the optical axis of the camera, and the Yc axis extends in a transverse direction. The Zc axis is perpendicular to Xc and Yc. The Zc and Xc axes are also in 1 shown, however the Yc axis in 1 is not shown because it is perpendicular to the side view image of the vehicle. A roll (RotXc) is a rotation around the Xc axis, a pitch (RotYc) is a rotation around the Yc axis and a yaw (RotZc) is a rotation around the Zc axis, where RotXc, RotYc and RotZc are the angles of rotation are.
Es sei angemerkt, dass, obgleich in dem nachfolgenden Beispiel, die Ausführungsform mit Bezug auf eine Kamera beschrieben ist, die Erfindung gleichermaßen auf mehrere Kameras anwendbar ist, obwohl sich versteht, dass jede von diesen Kameranennachsen aufweisen wird, insbesondere deren X- und Y-Achsen, die relativ zueinander gemäß der Richtung, in welche sie gewandt sind, gedreht sind.It should be noted that although in the following example the embodiment is described with reference to a camera, the invention is equally applicable to several cameras, although it is understood that each of these camera axes will have, in particular their X and Y Axes that are rotated relative to each other according to the direction in which they face.
Bei der vorliegenden Ausführungsform umfasst das Fahrzeug 102 ferner ein (nicht gezeigtes) Federungssystem, das eine beliebige Kombination der Folgenden umfasst: Federn, Stoßdämpfer und Verbindungselemente, die die Karosserie des Fahrzeugs 102 mit jeweiligen Rädern des Fahrzeugs verbinden. Das Federungssystem kann von einer abhängigen, unabhängigen oder teilunabhängigen Art sein, in Abhängigkeit davon, wie sich jedes Rad in Bezug auf jedes andere Rad des Fahrzeugs 102 bewegt.In the present embodiment, the vehicle includes 102 also a suspension system (not shown) that includes any combination of the following: springs, shock absorbers, and fasteners that support the body of the vehicle 102 connect to respective wheels of the vehicle. The suspension system can be of a dependent, independent or semi-independent type, depending on how each wheel is in relation to every other wheel of the vehicle 102 emotional.
Das Federungssystem kann aktiv oder passiv sein und kann als Reaktion auf die Fahrereinstellungen, als Reaktion auf Änderungen der Fahrzeugbeladung oder als Reaktion auf Karosserierollen des Fahrzeugs gesteuert werden. Das Federungssystem kann auf Signale von einem elektronischen Controller (nicht gezeigt) reagieren, um die Lage des Fahrzeugs anzupassen oder die Lage des Fahrzeugs als Reaktion auf Änderungen an der Fahrzeugbeladung anzupassen. Beispielsweise kann das Federungssystem einen pneumatisch gesteuerten Mechanismus oder einen Stabilisator beinhalten, der die Fahrzeuglage anpasst, so dass die Beladungskräfte oder Rollkräfte im Wesentlichen ausgeglichen werden.The suspension system can be active or passive and can be controlled in response to driver settings, in response to changes in vehicle load, or in response to body rolls of the vehicle. The suspension system can respond to signals from an electronic controller (not shown) to adjust the attitude of the vehicle or to adjust the attitude of the vehicle in response to changes in the vehicle load. For example, the suspension system can include a pneumatically controlled mechanism or a stabilizer that adjusts the vehicle position so that the loading forces or rolling forces are substantially balanced.
In jedem Fall ist das Federungssystem betreibbar zum Steuern der Karosserieposition des Fahrzeugs 102 in Bezug auf ihre (unbeladene) Nennposition und somit auch auf den Boden und folglich zum aktiven oder reaktiven Ändern einer Anfangslage des Fahrzeugs in eine angepasste Fahrzeuglage.In either case, the suspension system is operable to control the body position of the vehicle 102 in relation to their (unloaded) nominal position and thus also on the ground and consequently for active or reactive changing of an initial position of the vehicle into an adapted vehicle position.
Bei der vorliegenden Ausführungsform ist das Fahrzeug 102 mit einem oder mehreren (nicht gezeigten) Sensoren ausgestattet, die direkt oder indirekt Änderungen des Federungssystems von dessen Nenneinstellungen überwachen. Der eine oder die mehreren Sensoren bestimmen Federungsdaten für das Fahrzeug 102, einschließlich Fahrzeugnicken um eine horizontale Querachse des Fahrzeugs und/oder Rollen um eine horizontale Längsachse der Fahrzeugs und/oder eine Höhe des Fahrzeugs. Diese Messungen des einen oder der mehreren Sensoren können eine Menge von Rotationswinkeln und/oder -distanzen sein.In the present embodiment, the vehicle is 102 equipped with one or more sensors (not shown) that directly or indirectly monitor changes in the suspension system from its nominal settings. The one or more sensors determine suspension data for the vehicle 102 including vehicle pitching around a horizontal transverse axis of the vehicle and / or rolling around a horizontal longitudinal axis of the vehicle and / or a height of the vehicle. These measurements of the one or more sensors can be a set of rotation angles and / or distances.
Unter Bezugnahme auf 3 können der eine oder die mehreren Sensoren beispielsweise bei einer Ausführungsform ausgelegt sein zum Überwachen der Höhen der Radläufe 106 bezüglich deren Nenneinstellungen, womit vier Höhenmessungen E-H geliefert werden, die die Fahrzeuglage angeben. In diesem Beispiel entspricht der Punkt E der Höhenmessung des rechten Heckradlaufs des Fahrzeugs, entspricht der Punkt F der Höhenmessung des linken Heckradlaufs des Fahrzeugs, entspricht der punkt G der Höhenmessung des rechten Vorderradlaufs des Fahrzeugs, entspricht der Punkt H der Höhenmessung des linken Vorderradlaufs des Fahrzeugs. Die Punkte E-H sind gegenüber den entsprechenden Referenzpunkten A-D vertikal verschoben. (In diesem Beispiel sind die Verschiebungen alle positiv, wobei dies allerdings nicht der Fall sein muss.) Die Referenzpunkte A-D entsprechen den bekannten Höhennenneinstellungen für die Radläufe und definieren eine Referenzebene 310 des Fahrzeugs 102 (gestrichelte Linie). Die XR-Achse erstreckt sich entlang der Längsrichtung und die YR-Achse erstreckt sich entlang der Querrichtung der Referenzebene 310. Die ZR-Achse ist sowohl zu der XR- als auch zu der YR-Achse senkrecht und erstreckt sich vertikal von der Referenzebene 310 des Fahrzeugs 102. In alternativen Implementationen können die Punkte A-D Punkte sein, bei denen die Räder des Fahrzeugs 102 den Boden berühren und in diesem Falle würden die Verschiebungen von Punkten E-G alle positiv sein. Auf jeden Fall liegt die Referenzebene 310 gegenüber Änderungen an der Fahrzeuglage fest.With reference to 3 For example, in one embodiment, the one or more sensors can be designed to monitor the heights of the wheel arches 106 with regard to their nominal settings, with which four height measurements EH are supplied, which indicate the vehicle position. In this example, point E corresponds to the height measurement of the right rear wheel arch of the vehicle, point F corresponds to the height measurement of the left rear wheel arch of the vehicle, point G corresponds to the height measurement of the right front wheel arch of the vehicle, point H corresponds to the height measurement of the left front wheel arch of the vehicle . The points EH are shifted vertically with respect to the corresponding reference points AD. (In this example the displacements are all positive, although this need not be the case.) The reference points AD correspond to the known nominal height settings for the wheel arches and define a reference plane 310 of the vehicle 102 (dashed line). The X R axis extends along the longitudinal direction and the Y R axis extends along the transverse direction of the reference plane 310 . The Z R axis is perpendicular to both the X R and Y R axes and extends vertically from the reference plane 310 of the vehicle 102 . In alternative implementations, the points AD can be points at which the wheels of the vehicle 102 touch the ground and in this case the displacements of points EG would all be positive. In any case, the reference plane lies 310 against changes in the vehicle position.
Es versteht sich, dass jegliche solche Federungsmessungen in einen Satz von Rotationswinkeln, die jeweils Rotationen RotXV, RotYV um die XR- und YR-Achsen umfassen und die kollektiv als Rsusp bezeichnet werden, und einen Gesamthöhenversatz (hsusp) von einer Nennhöhe des Fahrzeugs 102 umgewandelt werden können. Es sei angemerkt, dass es, wenn wie in der vorliegenden Ausführungsform, nur Änderungen der Höhe der Federung gemessen werden, keine Auswirkung auf den Rotationswinkel RotZv um die Achse ZR geben sollte, die durch Änderungen der Federungshöhe verursacht werden.It will be understood that any such suspension measurements can be converted into a set of angles of rotation, each comprising rotations RotX V , RotY V about the X R and Y R axes, collectively referred to as R susp , and an overall height offset (h susp ) of a nominal height of the vehicle 102 can be converted. It should be noted that when, as in the present embodiment, only changes in the height of the suspension are measured, should not have any effect on the rotation angle RotZv about the axis Z R , which are caused by changes in the height of the suspension.
Die Messungen des einen oder der mehreren Sensoren können mit beliebiger Frequenz und/oder Basis geliefert werden. Beispielsweise können solche Messungen des einen oder der mehreren Sensoren kontinuierlich oder periodisch (asynchron oder synchron) durchgeführt werden. Die Messungen können in einem regelmäßigen Zeitintervall innerhalb eines vorbestimmten Zeitraums durchgeführt werden oder als Reaktion auf eine Änderung der Straßenoberflächenbedingung, der Lage des Fahrzeugs, des Status des Federungssystems, der Beladung des Fahrzeugs 112 oder als Reaktion auf die Erfassung eines Bilds von der Kamera 110.The measurements of the one or more sensors can be provided with any frequency and / or basis. For example, such measurements of the one or more sensors can be carried out continuously or periodically (asynchronously or synchronously). The measurements can be carried out at a regular time interval within a predetermined time period or in response to a change in the road surface condition, the position of the vehicle, the status of the suspension system, the load on the vehicle 112 or in response to capturing an image from the camera 110 .
Es versteht sich, dass diese Messungen als ein Hintergrunddienst in einem Fahrzeugprozessor laufen können und für den Prozessor 120 über einen dedizierten Speicher oder über ein Fahrzeugnetzwerk, wie etwa einen Systembus 104, verfügbar gemacht werden können. Es versteht sich, dass der Systembus 104 einen beliebigen geeigneten Mechanismus zum Kommunizieren von Fahrzeuginformationen von einem Teil eines Fahrzeugs zu einem anderen, beispielsweise ein CAN, ein FlexRay, Ethernet oder dergleichen, umfassen kann.It will be understood that these measurements can run as a background service in a vehicle processor and for the processor 120 via a dedicated memory or via a vehicle network such as a system bus 104 , can be made available. It goes without saying that the system bus 104 any suitable mechanism for communicating vehicle information from one part of a vehicle to another, such as a CAN, FlexRay, Ethernet, or the like.
Es wird ausführlicher auf 4 Bezug genommen, wo ein Blockdiagramm eines Systems gemäß einer Ausführungsform der Erfindung gezeigt ist, das den Prozessor 120 im Detail zeigt. In diesem System beinhaltet der Prozessor 120 ein Bewegungsverfolgungskalibrierungsmodul bzw. MTC- Modul 122 (Motion Tracking Calibration - MTC) und ein Zwischenmodul 124.It is detailed on 4th Referring to FIG. 11, there is shown a block diagram of a system according to an embodiment of the invention including the processor 120 shows in detail. In this system, the processor includes 120 a motion tracking calibration module or MTC module 122 (Motion Tracking Calibration - MTC) and an intermediate module 124 .
Bei der Ausführungsform ist das MTC-Modul 122 ausgelegt zum extrinsischen Bestimmen, auf der Grundlage von mindestens einem oder mehreren von einer Kamera erfassten Bildern, eines Satzes von X-, Y- und möglicherweise Z-Kameraversätzen von Nennrotationswinkeln (ΔRotXC, ΔRotYC und ΔRotZC), die hier kollektiv als Rextr bezeichnet werden, und eines Höhenparameters hextr entlang der Vertikalachse ZR-Achse , die sich von einer Referenzebene des Fahrzeugs 102 erstreckt. (Dies könnte dieselbe Referenzebene wie die Ebene 310 in 3 sein oder die Ebene könnte eine Bodenebene sein.)In the embodiment, this is MTC module 122 designed for extrinsic determination, on the basis of at least one or more images captured by a camera, a set of X, Y and possibly Z camera offsets of nominal rotation angles (ΔRotX C , ΔRotY C and ΔRotZ C ), collectively referred to here as Rextr and a height parameter hextr along the vertical axis Z R axis, which extends from a reference plane of the vehicle 102 extends. (This could be the same reference plane as the plane 310 in 3 or the plane could be a ground plane.)
Es sei angemerkt, dass Geschwindigkeitsinformationen oder Odometrie für den Prozessor 120 über den Fahrzeugsystembus 104 verfügbar sind. Diese können Radumdrehungen pro Minute (Upm), Gierrate (Grad/s), Lenkwinkel oder dergleichen beinhalten, und in gewissen Ausführungsformen können diese Informationen durch das MTC-Modul 122 verwendet werden zum Bestimmen der obigen extrinsischen Parameter Rextr, hextr.It should be noted that speed information or odometry for the processor 120 via the vehicle system bus 104 Are available. This may include wheel revolutions per minute (rpm), yaw rate (degrees / s), steering angle, or the like, and in certain embodiments this information can be passed through the MTC module 122 can be used to determine the above extrinsic parameters R extr , h extr .
Gleichermaßen sind Details der Fahrzeuggeometrie auch für den Prozessor 120 verfügbar, einschließlich beispielsweise der Nennhöhe von jedem der Radläufe, die Nennrotationswinkel von jeder Kamera sowie deren Nenn-X-, Y-, Z-Koordinaten innerhalb des Fahrzeugs - insbesondere relativ zu den Rädern.Details of the vehicle geometry are equally important for the processor 120 available including, for example, the nominal height of each of the wheel arches, the nominal rotation angles of each camera, and their nominal X, Y, Z coordinates within the vehicle - particularly relative to the wheels.
Das Zwischenmodul 124 erfasst die Ausgabe des MTC-Moduls 122 sowie die Federungsinformationen über den Systembus 104 und erzeugt, als Reaktion, einen oder mehrere angepasste Kamerarotationsparameterwerte (Rpose) und/oder einen angepassten Höhenparameterwert (hpose).The intermediate module 124 records the output of the MTC module 122 as well as the suspension information via the system bus 104 and, in response, generates one or more adjusted camera rotation parameter values (R pose ) and / or an adjusted height parameter value (h pose ).
Es wird auf 5 Bezug genommen, wo ein Blockdiagramm gezeigt ist, das ein Verfahren gemäß einer Ausführungsform der Erfindung zeigt, das in dem System von 4 betreibbar ist.It will be on 5 Referring to FIG. 7, there is shown a block diagram showing a method according to an embodiment of the invention which is used in the system of 4th is operable.
In Schritt 1 erhält der Prozessor 120 ein Bild N in einer Abfolge von Bildern von der Kamera 110, die ein FOV 112 abdeckt, das sich um ein ROI herum erstreckt, 2. In step 1 receives the processor 120 an image N in a sequence of images from the camera 110 who have favourited a FOV 112 that extends around an ROI, 2 .
Es versteht sich, dass sich das FOV 112 gemäß der Fahrzeuglage ändern kann. Falls das Fahrzeug 102, wie in 1 gezeigt ist, beispielsweise ein Ladungsgewicht (nicht gezeigt) trägt, welches ungleichmäßig innerhalb des Fahrzeugs 102 verteilt ist, verursacht dies eine Änderung der Fahrzeuglage. Insbesondere kann das Ladungsgewicht das Federungssystem dazu veranlassen, die Front des Fahrzeugs 102 anzuheben und das Heck des Fahrzeugs 102 zum Boden hin abzusenken. Alternativ kann beim Kurvenfahren des Fahrzeugs 102 ein Teil der Federung relativ zu einem anderen komprimieren, wodurch veranlasst wird, dass sich die Karosserielage des Fahrzeugs relativ zu der Straßenoberfläche ändert. Folglich wechselt das FOV 112 der Kamera 110 von einer Anfangsorientierung auf eine andere Orientierung gemäß der Bewegung der Fahrzeugkarosserie.It goes without saying that the FOV 112 can change according to the vehicle position. If the vehicle 102 , as in 1 is shown, for example, carries a cargo weight (not shown) which is unevenly within the vehicle 102 is distributed, this causes a change in the vehicle position. In particular, the load weight can cause the suspension system to move the front of the vehicle 102 raise and the rear of the vehicle 102 lower to the ground. Alternatively, when cornering the vehicle 102 compressing one portion of the suspension relative to another, thereby causing the vehicle's body attitude relative to the road surface to change. As a result, the FOV changes 112 the camera 110 from an initial orientation to another orientation according to the movement of the vehicle body.
In Schritt 2 bestimmt der Prozessor 120 den einen oder die mehreren Kamerarotationsparameter (Rextr) und einen Höhenparameter (hextr) entlang der Vertikalachse ZR-Achse, die sich von einer Referenzebene des Fahrzeugs 102 aus erstreckt. Bei einer Ausführungsform bestimmt der Prozessor die Parameter Rextr und hextr extrinsich unter Verwendung des MTC-Moduls 122, offenbart in WO 2012/139636 (Ref: SIE0025). Wie oben dargelegt wurde, kann das MTC-Modul 122 das aktuell erfasste Bild N sowie bis zu m frühere Bilder (oder möglicherweise zukünftige relativ zu N) sowie Kenntnis der Fahrzeugnenngeometrie und Geschwindigkeit verwenden, um den einen oder die mehreren Kamerarotationsparameter (Rextr) und den Höhenparameter (hextr) zu bestimmen.In step 2 determines the processor 120 the one or more camera rotation parameters (R extr ) and a height parameter (h extr ) along the vertical axis Z R axis, which extends from a reference plane of the vehicle 102 from extends. In one embodiment, the processor determines the parameters R extr and h extrinself using the MTC module 122 , disclosed in WO 2012/139636 (Ref: SIE0025). As stated above, the MTC module 122 Use the currently captured image N as well as up to m earlier images (or possibly future images relative to N) as well as knowledge of the nominal vehicle geometry and speed to determine the one or more camera rotation parameters (R extr ) and the height parameter (h extr ).
Es sei angemerkt, dass, wo Bilder von derselben Kamera, die wie unten beschrieben ausgerichtet werden, auch verwendet werden zum Bestimmen der extrinsischen Werte, wobei diese Bilder nicht notwendigerweise dieselben Bilder wie die Bilder sein müssen, deren ROI ausgerichtet werden soll. Beispielsweise können einer oder mehrere der extrinsischen Werte mehr oder weniger häufig als die ROI in einem beliebigen gegebenen Bild angepasst wird, berechnet werden.It should be noted that where images from the same camera aligned as described below are also used to determine the extrinsic values, these images need not necessarily be the same images as the images whose ROI is to be aligned. For example, one or more of the extrinsic values may be calculated more or less frequently as the ROI is adjusted in any given image.
In jedem Fall verwendet der Prozessor 120 unter Verwendung des MTC-Moduls 122 Referenzpunkte, die aus Bildern der Straßenoberfläche extrahiert wurden, zum Bestimmen einer Versatzrotation um die XR-Achse herum, mit Bezug auf eine gemessene Abweichung auf der Grundlage von Parallelität zwischen Linien, die von aufeinanderfolgenden Bildframes durch Verbinden der verfolgten Referenzpunkte innerhalb jedes Frames erhalten werden. Der Prozessor 120 wendet einen ähnlichen Ansatz für eine Versatzrotation um die YR-Achse an, obgleich die Trajektorie von verfolgten Referenzpunkten in diesem Fall in einer Vielzahl von bis zu m aufeinanderfolgenden Bildframes berücksichtigt ist. Das MTC-Modul 122 kann auch eine Versatzrotation um die Fahrzeug-ZR-Achse liefern, wobei allerdings dieser Parameter in bevorzugten Ausführungsformen nicht durch das Zwischenmodul 124 angepasst wird, da diese Rotation nicht signifikant durch Änderungen der Fahrzeuglage beeinträchtigt wird.In either case, the processor uses 120 using the MTC module 122 Reference points extracted from images of the road surface for determining an offset rotation around the X R axis with respect to a measured deviation based on parallelism between lines obtained from successive image frames by connecting the tracked reference points within each frame . The processor 120 uses a similar approach for an offset rotation about the Y R axis, although the trajectory of tracked reference points is taken into account in this case in a large number of up to m consecutive image frames. The MTC module 122 can also provide an offset rotation about the vehicle Z R axis, although this parameter in preferred embodiments is not due to the intermediate module 124 is adjusted, since this rotation is not significantly affected by changes in the vehicle position.
Weiterhin kann, wenn die Geschwindigkeit des Fahrzeugs 102 bekannt ist, die tatsächliche physische Distanz zwischen den verfolgten Merkmalen auf der Straßenoberfläche bestimmt werden und somit kann der Höhenparameter (hextr) der Kamera unter Verwendung von Triangulation bestimmt werden.Furthermore, if the speed of the vehicle 102 is known, the actual physical distance between the tracked features on the road surface can be determined and thus the height parameter (h extr ) of the camera can be determined using triangulation.
Alternativ oder zusätzlich kann der Prozessor 120 den einen oder die mehreren Kamerarotationsparameter (Rextr) und den Höhenparameter (hextr) unter Verwendung von Verfahren bestimmen, die in WO 2012/139660 (Ref: SIE0028) oder in WO 2012/143036 (Ref: SIE0029) offenbart sind. Unabhängig von dem verwendeten Verfahren können solch einer oder mehrere Kamerarotationsparameter (Rextr) und der Höhenparameter (hextr) innerhalb des Prozessors 120 verfügbar gemacht werden oder können dem Prozessor 120 bereits über den dedizierten Speicher oder über das Fahrzeugnetzwerk verfügbar sein.Alternatively or in addition, the processor 120 determine the one or more camera rotation parameters (R extr ) and the altitude parameter (h extr ) using methods described in FIG WO 2012/139660 (Ref: SIE0028) or in WO 2012/143036 (Ref: SIE0029) are disclosed. Regardless of the method used, one or more camera rotation parameters (R extr ) and the height parameter (h extr ) can be set within the processor 120 can be made available to the processor 120 already be available via the dedicated storage or via the vehicle network.
In Schritt 3 bestimmt das Zwischenmodul 124 anhand von Federungsdaten des Fahrzeugs 102 zu einer Zeit der Erfassung des Bilds eine oder mehrere Änderungen in solch einem oder solchen mehreren Kamerarotationsparameterwerten und dem Höhenparameterwert (Rsusp, hsusp). Insbesondere erfasst der Prozessor 120 Federungsdaten für das Fahrzeug 102 über den dedizierten Speicher oder über das Fahrzeugnetzwerk. Der Prozessor 120 extrahiert eine aktuelle Ebene 320 des Fahrzeugs aus den Federungsdaten. Nachfolgend bestimmt der Prozessor 120 eine oder mehrere Änderungen in solch einem oder solchen mehreren Kamerarotationsparameterwerten und dem Höhenparameterwert (Rsusp, hsusp) durch Vergleichen der aktuellen Ebene 320 mit der Referenzebene 310. Es sei angemerkt, dass der Höhenversatz hsusp übersetzt werden muss, um den X,Y-Ort der Kamera innerhalb des Fahrzeugs zu berücksichtigen, d. h. positive Versatzwerte E und F am Heck des Fahrzeugs, zusammen mit negativen Versatzwerten G und H an der Front des Fahrzeugs bedeuten, dass der Versatz für jeglichen gegebenen Kameraort dazwischen der selbe sein kann oder auch nicht.In step 3 determines the intermediate module 124 based on the suspension data of the vehicle 102 one or more changes in one or more such camera rotation parameter values and the altitude parameter value (R susp , h susp ) at a time of the acquisition of the image. In particular, the processor detects 120 Suspension data for the vehicle 102 via the dedicated storage or via the vehicle network. The processor 120 extracts a current level 320 of the vehicle from the suspension data. The processor then determines 120 one or more changes in such one or more camera rotation parameter values and the altitude parameter value (R susp , h susp ) by comparing the current plane 320 with the reference plane 310 . It should be noted that the height offset h susp must be translated in order to take into account the X, Y location of the camera within the vehicle, i.e. positive offset values E and F at the rear of the vehicle, together with negative offset values G and H at the front of the Vehicle mean that the offset may or may not be the same for any given camera location in between.
Es wird auf 3 Bezug genommen, wo der Prozessor eine aktuelle Ebene 320 des Fahrzeugs 102 aus den Datenpunkten E bis H (durchgezogene Linie) extrahiert und eine solche Ebene mit der Ebene vergleicht, die durch die Referenzpunkte A-D definiert ist, um zwei Rotationen um die X- und die Y-Achse zu bestimmen. Insbesondere extrahiert der Prozessor 120 die aktuelle Ebene 320 des Fahrzeugs aus den Datenpunkten E bis H unter der Verwendung einer linearen Kleinste-Quadrate-Ebenenanpassung. Das Kleinste-Quadrate-Verfahren kann vorteilhafterweise einen Ausreißer in den vier Datenpunkten E bis H als den Datenpunkt identifizieren, der um eine Distanz von der Anpassungsebene verschoben ist. Der Ausreißer kann einer Verschiebung eines Rads in Bezug auf die anderen Räder entsprechen, wenn die Distanz über einer Schwelle liegt. Der Ausreißer kann beispielsweise anzeigen, dass ein Rad auf einer Temposchwelle oder einem Gehweg geparkt ist. Alternativ kann irgendein Verfahren zum Anpassen einer aktuellen Ebene 320 des Fahrzeugs an die Datenpunkte E bis H verwendet werden.It will be on 3 Referred to where the processor is a current level 320 of the vehicle 102 extracted from the data points E to H (solid line) and compares such a plane with the plane defined by the reference points AD in order to determine two rotations about the X and Y axes. In particular, the processor extracts 120 the current level 320 of the vehicle from data points E through H using linear least squares plane fitting. The least squares method can advantageously identify an outlier in the four data points E to H as the data point which is shifted a distance from the adaptation plane. The outlier can correspond to a displacement of one wheel with respect to the other wheels if the distance is above a threshold. For example, the outlier may indicate that a bike is parked on a speed bump or sidewalk. Alternatively, any method of adjusting a current level can be used 320 of the vehicle to the data points E to H.
Als Reaktion auf die Bestimmung einer aktuellen Ebene 320 bestimmt der Prozessor die Position der aktuellen Ebene 320 mit Bezug auf die Referenzebene 310. Insbesondere bestimmt der Prozessor 120 die aktuelle Ebene 320 als die Rotation um die XR-Achse und die YR-Achse (ΔRotXV und ΔRotYV) der Referenzebene 310 und den Höhenparameterwert (hsusp). Solche Rotationen entsprechen jeweils Rollen und Nicken, was durch entsprechende Grundrotationsmatrizen RX-V und RY-V beschrieben werden kann. Es versteht sich, dass die Federungsänderungen nicht typischerweise zu jeglicher signifikanten Gieränderung führen müssen, und somit wird, wie in dieser Ausführungsform vorgesehen ist, der dritte Rotationparameter (ΔRotZV) ignoriert. Bei einer Alternative kann der dritte Rotationsparameter (ΔRotZV) berücksichtigt werden. In diesem Falle kann jegliche signifikante Gieränderung eine Reaktion des Bremssystems anzeigen, die eine zentrierende Netto-Lenkkraft verursacht, die bei einem Lenkwinkel von null erheblich größer als null sein kann. Somit kann der dritte Rotationsparameter (ΔRotZV) als ein Indikator einer optimalen oder nicht optimalen Reaktion des Bremssystems verwendet werden, wie etwa, wenn das Bremssystem nicht ausgeglichen ist.In response to determining a current level 320 the processor determines the position of the current plane 320 with respect to the reference plane 310 . In particular, the processor determines 120 the current level 320 than the rotation around the X R axis and the Y R axis (ΔRotX V and ΔRotY V ) of the reference plane 310 and the altitude parameter value (h susp ). Such rotations correspond to rolling and nodding, which can be described by corresponding basic rotation matrices R XV and R YV . It will be understood that the suspension changes need not typically result in any significant yaw change, and thus, as provided in this embodiment, the third rotation parameter (ΔRotZ V ) is ignored. In an alternative, the third rotation parameter (ΔRotZ V ) be taken into account. In this case, any significant yaw change may be indicative of a response from the braking system causing a net centering steering force that can be significantly greater than zero at zero steering angle. Thus, the third rotation parameter (ΔRotZ V ) can be used as an indicator of an optimal or non-optimal response of the braking system, such as when the braking system is unbalanced.
In Schritt 4 wendet der Prozessor die eine oder die mehreren Änderungen (Rsusp, hsusp) auf den einen oder die mehreren Kamerarotationsparameterwerte (Rextr) und den Höhenparameterwert (hextr) an, um einen oder mehrere angepasste Kamerarotationsparameterwerte (Rpose) oder einen angepassten Höhenparameterwert (hpose) zu erzeugen. Bei einer Ausführungsform wendet der Prozessor die eine oder die mehreren Änderungen (Rsusp, hsusp) durch Multiplizieren des einen oder der mehreren Kamerarotationsparameter (Rextr) mit der einen oder den mehreren Änderungen der Kamerarotationsparameter (Rsusp) folgendermaßen an: Rpose= Rextr Rsusp. Rpose kann somit eine 3x3 Rotationsmatrix sein, die die Kamerapose relativ zu der Straßenoberfläche besser schätzt.In step 4th the processor applies the one or more changes (R susp , h susp ) to the one or more camera rotation parameter values (R extr ) and the height parameter value (h extr ) to obtain one or more adjusted camera rotation parameter values (R pose ) or an adjusted height parameter value (h pose ). In one embodiment, the processor applies the one or more changes (R susp , h susp ) by multiplying the one or more camera rotation parameters (R extr ) by the one or more changes in camera rotation parameters (R susp ) as follows: R pose = R extr R susp . R pose can thus be a 3x3 rotation matrix that better estimates the camera pose relative to the road surface.
Bei der vorliegenden Ausführungsform bestimmt der Prozessor 120 den angepassten Höhenparameterwert (hpose) anhand der angepassten Position der Kamera 110 als Reaktion auf die Änderung der Fahrzeuglage.In the present embodiment, the processor determines 120 the adjusted height parameter value (h pose ) based on the adjusted position of the camera 110 in response to the change in vehicle position.
In der einfachsten Version kann dies ein Addieren des Versatzes hsusp für die Kamera, abgeleitet aus den Federungsdaten, zu dem extrinsisch berechneten Wert hextr, um hpose zu liefern, involvieren.In the simplest version, this may involve adding the offset h susp for the camera, derived from the suspension data, to the extrinsically calculated value h extr to provide h pose .
Alternativ oder zusätzlich zu der Anpassung der Winkelorientierung der Kamera aufgrund von Änderungen der Fahrzeuglage Ppose, kann eine neue x,y,z-Position der Kamera unter Berücksichtigung der geänderten Federung durch Folgendes gegeben werden:
wobei Pextr die x, y, z-Position der Kamera relativ zu einem Fahrzeugursprung ist, basierend auf extrinsischer Kalibrierung. Die Matrix [0, 0, h]T wird verwendet, da es bei der Ausführungsform nur ein Höhenänderungsmaß gibt, das von den Federungsdaten abgeleitet wurde. Die Parameter zu null könnten gemessen sein, wobei sie in ihrer Größe aber typischerweise so sehr viel kleiner als hsusp sind, dass sie ignoriert werden können.As an alternative or in addition to the adjustment of the angular orientation of the camera due to changes in the vehicle position P pose , a new x, y, z position of the camera can be given, taking into account the changed suspension, by the following: where P extr is the x, y, z position of the camera relative to a vehicle origin based on extrinsic calibration. The matrix [0, 0, h] T is used because, in the embodiment, there is only one amount of height change derived from the suspension data. The parameters to zero could be measured, but their size is typically so much smaller than h susp that they can be ignored.
In Schritt 5 richtet der Prozessor 120 die ROI auf der Grundlage von einem oder mehreren angepassten Kamerarotationsparameterwerten oder von dem angepassten Höhenparameterwert innerhalb des erfassten Bilds aus. Insbesondere schiebt und/oder rotiert der Prozessor 120 innerhalb des FOV 112 der Kamera die ROI, um eine variable Ausrichtung der Kamera 110 relativ zu einer Straßenoberfläche auszugleichen. Die Verschiebung und/oder Rotation der ROI ist relativ zu dem einem oder den mehreren angepassten Kamerarotationsparameterwerten oder dem angepassten Höhenparameterwert.In step 5 sets up the processor 120 the ROI based on one or more adjusted camera rotation parameter values or the adjusted height parameter value within the captured image. In particular, the processor pushes and / or rotates 120 within the FOV 112 the camera's ROI to a variable camera orientation 110 to balance relative to a road surface. The shift and / or rotation of the ROI is relative to the one or more adjusted camera rotation parameter values or the adjusted height parameter value.
In Schritt 6 liefert der Prozessor 120 ein Bild eines gegebenen Teils der das Fahrzeug umgebenden Umwelt von der ROI. Insbesondere erfasst der Prozessor 120 ein Bild, das der angepassten ROI entspricht und transformiert ein solches Bild in ein abgeflachtes rechteckiges Bild, das einen Teil der das Fahrzeug 102 umgebenden Umwelt repräsentiert.In step 6th the processor delivers 120 an image of a given portion of the environment surrounding the vehicle from the ROI. In particular, the processor detects 120 an image that corresponds to the adjusted ROI and transforms such an image into a flattened rectangular image that represents part of the vehicle 102 surrounding environment.
Das hier vorstehend beschriebene Verarbeitungsverfahren kann in dem Bilderfassungssystem 100 betreibbar sein, um aufeinanderfolgende Bilder aufzunehmen und diese zu verarbeiten. Diese Bilder können durch ein (nicht gezeigtes) Abbildungssystem als Draufsichten des das Fahrzeug 102 umgebenden Bodens angezeigt werden. Wenn eine Vielzahl von Fahrzeugkameras vorgesehen ist, von denen jede ein Sichtfeld aufweist, die sich voneinander unterscheiden oder sich zumindest teilweise überlappen, liefern die Bilder von jeder Kamera nebeneinandergestellt zusammen mit dem Draufsichtbild des Fahrzeugs somit eine genaue Repräsentation der Draufsicht von sowohl dem Fahrzeug als auch des angrenzenden Bodens.The processing method described hereinabove can be performed in the image acquisition system 100 be operable to capture and process sequential images. These images can be viewed as top views of the vehicle by an imaging system (not shown) 102 surrounding soil. If a plurality of vehicle cameras are provided, each of which has a field of view that is different from one another or at least partially overlapping, the images from each camera juxtaposed together with the top view image of the vehicle thus provide an accurate representation of the top view of both the vehicle and the vehicle of the adjacent floor.
Die verbesserte Messung des Rotations- und des Höhenversatzes von jeder Kamera auf der Grundlage von Federungsdaten bedeutet, dass Bildinformationen an den angrenzenden Bildgrenzen mehr dazu neigen, besser ausgerichtet zu sein, und dies verringert die Notwendigkeit extensiver Bildanalyse, -transformation und -zusammensetzung, um ein Verbunddraufsichtbild zu produzieren.The improved measurement of the rotation and height offset of each camera based on suspension data means that image information at the adjacent image boundaries is more likely to be better aligned, and this reduces the need for extensive image analysis, transformation and composition in order to obtain a Produce composite top view image.
Es sei angemerkt, dass die Rate, mit welcher die extrinsischen Parameter (Rextr, hextr) von dem MTC-Modul 122 bestimmt wird, nicht dieselbe sein muss wie die Rate, mit welcher die Federungsparameter (Rsusp, hsusp) bestimmt werden und somit werden die angepassten Parameter (Rpose, hpose) von dem Zwischenmodul 124 bestimmt. Falls beispielsweise eine Fahrzeuggeschwindigkeit zu hoch ist, beispielsweise > 50 km/h, zum Erzeugen neuer extrinsischer Parameter (Rextr, hextr) durch das MTC-Modul 122, oder falls das MTC-Modul 122 nur beim Starten des Fahrzeugs laufengelassen wird, könnten die extrinsischen Parameter (Rextr, hextr) dennoch schnell von dem Zwischenmodul 124 aktualisiert werden, d. h. fast mit dem Aktualisierungszyklus der Federungssignaldaten von dem CAN-Bus. Somit kann das Modul 124 extrinsische Kameraparameter nach dem Hochfahren (Zündung) anpassen, als Reaktion auf eine erhöhte Beladung des Fahrzeugs oder, wenn auf einer Böschung gekurvt wird (Rollwinkeldaten) und/oder während Fahrens auf einer Autobahn/Landstraße, wenn die Federungseinstellungen aktiv durch den Fahrzeugcontroller geändert werden.It should be noted that the rate at which the extrinsic parameters (R extr , h extr ) from the MTC module 122 is determined does not have to be the same as the rate at which the suspension parameters (R susp , h susp ) are determined and thus the adjusted parameters (R pose , h pose ) are determined by the intermediate module 124 certainly. If, for example, a vehicle speed is too high, for example> 50 km / h, for generating new extrinsic parameters (R extr , h extr ) by the MTC module 122 , or if the MTC module 122 is only allowed to run when the vehicle is started, the extrinsic parameters (R extr , h extr ) could nevertheless quickly be transferred from the intermediate module 124 updated, ie almost with the update cycle of the suspension signal data from the CAN bus. Thus, the module 124 extrinsic camera parameters adapt to start-up (ignition) in response to an increased load on the vehicle or when cornering on an embankment (roll angle data) and / or while driving on a motorway / country road if the suspension settings are actively changed by the vehicle controller.
Es versteht sich, dass, wo eine Vielzahl von Fahrzeugkameras vorgesehen ist, sich jede Kameraorientierung als Reaktion auf die Änderung der Fahrzeuglage um den denselben Nick-, Roll- und Gierwinkel ändern wird. Daher muss der Prozess 120 das Bestimmen einer oder mehrerer Änderungen der Kamerarotationsparameterwerte für jede Kamera nicht wiederholen, da die Rotationsmatrixanpassung (Rpose), abgeleitet von den Federungsdaten (Rsusp, hsusp), für jede Kamera dieselbe ist. Allerdings muss der vertikale Höhenversatz, abgeleitet von den Federungsdaten, möglicherweise gemäß jeder X,Y-Kameraverschiebung innerhalb des Fahrzeugs übersetzt werden, bevor dieser Versatz angewandt wird.It will be understood that where a plurality of vehicle cameras are provided, each camera orientation will change in response to the change in vehicle attitude by the same pitch, roll and yaw angles. Hence the process must 120 do not repeat determining one or more changes in camera rotation parameter values for each camera since the rotation matrix adjustment (R pose ) derived from the suspension data (R susp , h susp ) is the same for each camera. However, the vertical height offset derived from the suspension data may need to be translated according to any X, Y camera shift within the vehicle before this offset is applied.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
WO 2012/139636 [0003, 0037]WO 2012/139636 [0003, 0037]
-
WO 2012/139660 [0004, 0041]WO 2012/139660 [0004, 0041]
-
WO 2012/143036 [0005, 0041]WO 2012/143036 [0005, 0041]
