DE102010026224A1 - Method and device for detecting a lateral environment of a vehicle - Google Patents

Method and device for detecting a lateral environment of a vehicle Download PDF

Info

Publication number
DE102010026224A1
DE102010026224A1 DE102010026224A DE102010026224A DE102010026224A1 DE 102010026224 A1 DE102010026224 A1 DE 102010026224A1 DE 102010026224 A DE102010026224 A DE 102010026224A DE 102010026224 A DE102010026224 A DE 102010026224A DE 102010026224 A1 DE102010026224 A1 DE 102010026224A1
Authority
DE
Germany
Prior art keywords
vehicle
display unit
image data
distance
lateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010026224A
Other languages
German (de)
Inventor
Dipl.-Inform. Franz Stefan
Dipl.-Inform. Gloger Joachim
Dipl.-Inform. Gressmann Markus
Dipl.-Inform. Hahn Stefan
Thomas Ruland
Dipl.-Ing. Terzis Anestis
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010026224A priority Critical patent/DE102010026224A1/en
Priority to PCT/EP2011/003251 priority patent/WO2012003941A2/en
Publication of DE102010026224A1 publication Critical patent/DE102010026224A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges (1), wobei mittels zumindest einer an jeweils einer Fahrzeugseite (1.1, 1.2) angeordneten Bilderfassungseinheit (B1, B2) fortlaufend Bilddaten erfasst und auf einer der jeweiligen Bilderfassungseinheit (B1, B2) zugeordneten Anzeigeeinheit (A1, A2) ausgegeben werden. Erfindungsgemäß wird mittels der erfassten Bilddaten ein seitlicher Abstand des Fahrzeuges (1) zu wenigstens einem seitlich zu dem Fahrzeug (1) befindlichen Objekt ermittelt und bei Unterschreitung eines ersten Grenzwertes des seitlichen Abstandes wird auf der Anzeigeeinheit (A1, A2) eine Abstandsinformation (I) angezeigt.The invention relates to a method and a device for capturing the lateral surroundings of a vehicle (1), with at least one image capturing unit (B1, B2) arranged on each side of the vehicle (1.1, 1.2) continuously capturing image data and transferring it to one of the respective image capturing units (B1 , B2) associated display unit (A1, A2) can be output. According to the invention, a lateral distance of the vehicle (1) to at least one object located to the side of the vehicle (1) is determined by means of the captured image data and, if the lateral distance falls below a first limit value, distance information (I) is displayed on the display unit (A1, A2) displayed.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges, wobei mittels zumindest einer an jeweils einer Fahrzeugseite angeordneten Bilderfassungseinheit fortlaufend Bilddaten erfasst und auf einer der jeweiligen Bilderfassungseinheit zugeordneten Anzeigeeinheit ausgegeben werden.The invention relates to a method and a device for detecting a lateral environment of a vehicle, wherein image data are continuously recorded by means of at least one image acquisition unit arranged on one vehicle side and output on a display unit assigned to the respective image acquisition unit.

In heutigen Fahrzeugen sind verschiedene Fahrerassistenzsysteme zur Unterstützung eines Fahrzeugführers in bestimmten Fahrsituationen angeordnet. Bei den Fahrerassistenzvorrichtungen handelt es sich üblicherweise um elektronische Zusatzeinrichtungen.In today's vehicles, various driver assistance systems are arranged to assist a driver in certain driving situations. The driver assistance devices are usually electronic ancillary devices.

Aus der DE 199 51 376 A1 ist ein Spiegelersatz an einem Fahrzeug bekannt, wobei herkömmliche optische Spiegel durch Kombinationen von Kameras und Monitoren ersetzt werden. Dazu übertragen je eine an einer rechten und einer linken Fahrzeugseite angebrachte, nach hinten gerichtete Kamera lückenlos Bilder auf jeweils einen von zwei sich im Sichtbereich eines Fahrers des Fahrzeuges angebrachten Monitor. Optional ist ein dritter Monitor im Sichtbereich des Fahrers angeordnet, welcher wahlweise ein Bild einer am Fahrzeugheck oder an einer Fahrzeugfront oder im Fahrzeug selbst angebrachten Kamera anzeigt.From the DE 199 51 376 A1 For example, a mirror replacement on a vehicle is known wherein conventional optical mirrors are replaced by combinations of cameras and monitors. For this purpose, each transmitted to a right and a left side of the vehicle, rear-facing camera seamlessly transfer images to each one of two mounted in the field of view of a driver of the vehicle monitor. Optionally, a third monitor is arranged in the driver's field of vision, which optionally displays an image of a camera mounted on the rear of the vehicle or on a vehicle front or in the vehicle itself.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges anzugeben.The invention has for its object to provide a comparison with the prior art improved method and an improved device for detecting a lateral environment of a vehicle.

Die Aufgabe wird erfindungsgemäß hinsichtlich des Verfahrens durch die in Anspruch 1 und hinsichtlich der Vorrichtung durch die in Anspruch 5 angegebenen Merkmale gelöst.The object is achieved with respect to the method by the in claim 1 and in terms of the device by the features specified in claim 5.

Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous developments of the invention are the subject of the dependent claims.

Bei einem Verfahren zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges werden mittels zumindest einer an jeweils einer Fahrzeugseite angeordneten Bilderfassungseinheit fortlaufend Bilddaten erfasst und auf einer der jeweiligen Bilderfassungseinheit zugeordneten Anzeigeeinheit ausgegeben. Erfindungsgemäß wird mittels der erfassten Bilddaten ein seitlicher Abstand des Fahrzeuges zu wenigstens einem seitlich zu dem Fahrzeug befindlichen Objekt ermittelt und bei Unterschreitung eines ersten Grenzwertes des seitlichen Abstandes wird auf der Anzeigeeinheit eine Abstandsinformation angezeigt.In a method for detecting a lateral environment of a vehicle, image data are continuously recorded by means of at least one image acquisition unit arranged on one vehicle side and output on a display unit assigned to the respective image acquisition unit. According to the invention, a lateral distance of the vehicle to at least one object located laterally to the vehicle is determined by means of the acquired image data, and when a first limit value of the lateral distance is undershot, a distance information is displayed on the display unit.

Durch das Anzeigen einer Abstandsinformation wird ein Fahrzeugführer im Betrieb des Fahrzeuges in besonders vorteilhafter Weise beispielsweise in Baustellenbereichen auf Autobahnen, bei Park- und/oder Manövriersituationen unterstützt.By displaying a distance information, a driver is supported in the operation of the vehicle in a particularly advantageous manner, for example in construction areas on highways, in parking and / or maneuvering situations.

Dabei sind die Bilderfassungseinheiten anstelle von am Fahrzeug angeordneten Seitenspiegeln bevorzugt an der A-Säule des Fahrzeuges angeordnet, wobei die Bilderfassungseinheiten im Vergleich zu herkömmlichen Außenspiegeln geringere Abmessungen und auch ein geringeres Gewicht aufweisen.In this case, instead of image mirrors arranged on the vehicle, the image acquisition units are preferably arranged on the A pillar of the vehicle, the image acquisition units having smaller dimensions and also a lower weight in comparison to conventional exterior mirrors.

Vorzugsweise sind die Bilderfassungseinheiten im Bereich von so genannten Regenmulden am Fahrzeug angeordnet, wodurch die Bilderfassungseinheiten gegenüber Verschmutzungen und/oder Witterungseinflüssen weitgehend geschützt angeordnet sind.Preferably, the image capture units are arranged in the region of so-called rain pits on the vehicle, whereby the image capture units are arranged largely protected from contamination and / or weathering.

In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden Fahrdynamikdaten, wie beispielsweise ein Lenkwinkel und/oder eine momentane Fahrgeschwindigkeit zur Plausibilisierung der Abstandsinformationen einbezogen.In an advantageous embodiment of the method according to the invention, driving dynamics data, such as, for example, a steering angle and / or an instantaneous driving speed for checking the plausibility of the distance information are included.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch eine erfindungsgemäße Vorrichtung zur Seitenabstandswarnung für ein Fahrzeug, 1 1 schematically a device according to the invention for the side clearance warning for a vehicle,

2a schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese bereichsweise überlagernden Abstandsinformation, 2a schematically displayed on a display unit image data with this area overlapping distance information,

2b schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese bereichsweise überlagernden kritischen Abstandsinformation, 2 B schematically illustrated on a display unit image data with this area overlapping critical distance information,

2c schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese bereichsweise überlagernden sehr kritischen Abstandsinformation, 2c schematically represented on a display unit image data with this partially superimposed very critical distance information,

3a schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese überlagernden Abstands- und Höheninformation, 3a schematically displayed on a display unit image data with this overlapping distance and height information,

3b schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese überlagernden Abstands- und Höheninformation und einem frei werdenden Seitenabstand und 3b schematically illustrated on a display unit image data with a superimposed this distance and height information and a freed lateral distance and

3c schematisch auf einer Anzeigeeinheit dargestellte Bilddaten mit einer diese überlagernden Abstands- und Höheninformation und einem zunehmenden frei werdenden Seitenabstand. 3c schematically illustrated on a display unit image data with a superimposed this Distance and altitude information and an increasing freed lateral distance.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

In 1 ist ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung zur Erfassung eines seitlichen Umfeldes des Fahrzeuges 1 dargestellt.In 1 is a vehicle 1 with a device according to the invention for detecting a lateral environment of the vehicle 1 shown.

Die Vorrichtung umfasst zwei Bilderfassungseinheiten B1, B2 in Form von Kameras, wobei jeweils eine Bilderfassungseinheit B1, B2 mit einer Steuereinheit S1, S2 verbunden ist, sowie zwei Anzeigeeinheiten A1, A2.The device comprises two image acquisition units B1, B2 in the form of cameras, wherein in each case an image acquisition unit B1, B2 is connected to a control unit S1, S2, and two display units A1, A2.

Die Steuereinheiten S1, S2 sind zusätzlich mit einem im Fahrzeug 1 angeordneten nicht näher dargestellten Fahrzeug-Bus zur Datenübertragung verbunden.The control units S1, S2 are in addition to one in the vehicle 1 arranged not shown vehicle bus connected to the data transmission.

Eine erste Bilderfassungseinheit B1 ist an einer linken Fahrzeugseite 1.1 an der A-Säule, an welcher üblicherweise ein Außenspiegel am Fahrzeug 1 befestigt ist, angeordnet. Eine zweite Bilderfassungseinheit B2 ist analog an einer rechten Fahrzeugseite 1.2 angeordnet. Die Bilderfassungseinheiten B1, B2 sind in Bezug auf das Fahrzeug 1 nach hinten ausgerichtet und erfassen wenigstens einen Bereich, welcher mit einem herkömmlichen Außenspiegel erfassbar ist.A first image capture unit B1 is on a left side of the vehicle 1.1 on the A-pillar, which is usually an exterior mirror on the vehicle 1 is attached, arranged. A second image capture unit B2 is analogous to a right vehicle side 1.2 arranged. The image capturing units B1, B2 are in relation to the vehicle 1 aligned rearwardly and detect at least one area which is detectable with a conventional exterior mirror.

Die erste Bilderfassungseinheit B1 ist drahtlos oder drahtgebunden mit einer ersten Steuereinheit S1 verbunden, welcher erfasste Bilddaten der ersten Bilderfassungseinheit B1 zugeführt werden.The first image acquisition unit B1 is connected wirelessly or by wire to a first control unit S1, to which acquired image data are supplied to the first image acquisition unit B1.

Die zweite Bilderfassungseinheit B2 ist mit einer zweiten Steuereinheit S2 verbunden, welcher erfasste Bilddaten der zweiten Bilderfassungseinheit B2 zugeführt werden.The second image capture unit B2 is connected to a second control unit S2, which receives captured image data of the second image capture unit B2.

Die von den Bilderfassungseinheiten B1, B2 erfassten Bilddaten werden in der jeweiligen Steuereinheit S1, S2 ausgewertet und verarbeitet, wobei die erfassten Bilddaten der ersten Bilderfassungseinheit B1 an eine erste Anzeigeeinheit A1 und die erfassten Bilddaten der zweiten Bilderfassungseinheit B2 an eine zweite Anzeigeeinheit A2 übertragen werden.The image data captured by the image acquisition units B1, B2 are evaluated and processed in the respective control unit S1, S2, wherein the acquired image data of the first image acquisition unit B1 are transmitted to a first display unit A1 and the acquired image data of the second image capture unit B2 to a second display unit A2.

Die erste Anzeigeeinheit A1 ist der linken Fahrzeugseite 1.1 zugeordnet und vorzugsweise linksseitig im Fahrzeuginnenraum 1.3 im Sichtfeld eines Fahrzeugführers angeordnet. Die zweite Anzeigeeinheit A2 ist der rechten Fahrzeugseite 1.2 zugeordnet und rechtsseitig im Sichtfeld des Fahrzeugführers angeordnet.The first display unit A1 is the left side of the vehicle 1.1 assigned and preferably left side in the vehicle interior 1.3 arranged in the field of view of a driver. The second display unit A2 is the right side of the vehicle 1.2 assigned and arranged on the right side in the field of vision of the driver.

Im Betrieb des Fahrzeuges 1 sind die Bilderfassungseinheiten B1, B2 aktiviert und erfassen fortlaufend Bilddaten, die entsprechend der Fahrzeugseite 1.1, 1.2 auf der jeweiligen Anzeigeeinheit A1, A2 fortlaufend ausgegeben werden. Dabei schaut der Fahrzeugführer auf die jeweilige Anzeigeeinheit A1, A2, um sich über ein Geschehen seitlich des Fahrzeuges 1 zu informieren.In operation of the vehicle 1 are the image acquisition units B1, B2 activated and continuously capture image data corresponding to the vehicle side 1.1 . 1.2 be continuously output on the respective display unit A1, A2. In this case, the driver looks at the respective display unit A1, A2 in order to find out about a happening side of the vehicle 1 to inform.

Die Bilddaten der entsprechenden Fahrzeugseite 1.1, 1.2 werden erfindungsgemäß mittels der Steuereinheiten S1, S2 fortlaufend auf sich zu dem Fahrzeug 1 seitlich befindlichen Objekten überprüft, wobei ein seitlicher Abstand bei erfasstem Objekt mittels geeigneter Bildverarbeitungs-Algorithmen ermittelt wird. Der seitliche Abstand wird bevorzugt in vergleichsweise engen Fahrsituationen und unabhängig einer momentanen Fahrgeschwindigkeit des Fahrzeuges 1 ermittelt.The image data of the corresponding vehicle side 1.1 . 1.2 According to the invention by means of the control units S1, S2 continuously on to the vehicle 1 checked laterally located objects, wherein a lateral distance is detected in the detected object by means of suitable image processing algorithms. The lateral distance is preferred in comparatively narrow driving situations and independent of a current driving speed of the vehicle 1 determined.

Dabei werden bzw. wird als Objekt beispielsweise in engen Baustellenbereichen auf Autobahnen der seitliche Abstand zu anderen Fahrzeugen und zu Baustellenbegrenzungen, die oftmals am Boden angeordnet sind, ermittelt. In Park- und/oder Manövriersituationen wird der seitliche Abstand zu einem in den 2a bis 2c dargestellten Bordstein 2 sowie zu wenigstens einem weiteren Fahrzeug, gemäß den 3a bis 3c ermittelt.In this case, or as an object, for example, in narrow construction areas on highways the lateral distance to other vehicles and site limits, which are often located on the ground, determined. In parking and / or maneuvering situations, the lateral distance to one in the 2a to 2c curb shown 2 as well as to at least one further vehicle according to 3a to 3c determined.

Der ermittelte seitliche Abstand wird ab Unterschreiten eines ersten Grenzwertes die Bilddaten auf der entsprechenden Anzeigeeinheit A1, A2 überlagernd, dynamisch in Echtzeit angezeigt, wie es in den 2a bis 3c näher dargestellt ist.The ascertained lateral distance is displayed dynamically in real time as soon as the image data is superimposed on the corresponding display unit A1, A2, as soon as it falls below a first limit value 2a to 3c is shown in more detail.

2a zeigt das Fahrzeug 1 im Betrieb, wobei die Vorrichtung zur Erfassung eines seitlichen Umfeldes des Fahrzeuges 1 aktiviert ist. 2a shows the vehicle 1 in operation, the device for detecting a lateral environment of the vehicle 1 is activated.

Dabei ist auf der ersten Anzeigeeinheit A1, die mittels der ersten Bilderfassungseinheit B1 erfasste Umgebung linksseitig des Fahrzeuges 1 als Bilddaten dargestellt. Die linke Fahrzeugseite 1.1 ist teilweise von der ersten Bilderfassungseinheit B1 erfasst und ebenfalls auf der ersten Anzeigeeinheit A1 angezeigt. Das Fahrzeug 1 fährt auf einer von dem Bordstein 2 begrenzten Fahrspur 3, wobei weiterhin Gebäude 4 der Umgebung sowie ein Baum 5 von der ersten Bilderfassungseinheit B1 erfasst und mittels der ersten Anzeigeeinheit A1 dargestellt werden.Here, on the first display unit A1, the environment detected by means of the first image acquisition unit B1 is on the left side of the vehicle 1 shown as image data. The left side of the vehicle 1.1 is partially detected by the first image capture unit B1 and also displayed on the first display unit A1. The vehicle 1 drives on one of the curb 2 limited lane 3 , where continue to be buildings 4 the environment as well as a tree 5 detected by the first image capture unit B1 and displayed by the first display unit A1.

Mittels der ersten Steuereinheit S1 werden die erfassten Bilddaten der ersten Bilderfassungseinheit B1 verarbeitet, wobei der Bordstein 2 als ein zur linken Fahrzeugseite 1.1 befindliches Objekt erfasst wurde. Der seitliche Abstand zu dem Bordstein 2 unterschreitet den ersten Grenzwert, so dass der seitliche Abstand als Abstandsinformation I die Bilddaten der ersten Bilderfassungseinheit B1 bereichsweise überlagernd auf der ersten Anzeigeeinheit A1 angezeigt wird. Der von der ersten Steuereinheit S1 ermittelte seitliche Abstand zu dem Bordstein 2 ist als unkritisch eingestuft, d. h., dass sich das Fahrzeug 1 im Fahrbetrieb verhältnismäßig weit von dem Bordstein 2 entfernt bewegt.By means of the first control unit S1, the captured image data of the first image acquisition unit B1 are processed, the curb 2 as one to the left side of the vehicle 1.1 object was detected. The lateral distance to the curb 2 falls short of the first limit value, so that the lateral distance as distance information I, the image data of the first image detection unit B1 is partially superimposed on the first display unit A1. The of the first control unit S1 determined lateral distance to the curb 2 is classified as uncritical, ie, that the vehicle is 1 in driving relatively far from the curb 2 moved away.

Dabei wird die als unkritisch eingestufte Abstandsinformation I als grüne trapezförmige Fläche angezeigt, die sich auf der ersten Anzeigeeinheit A1 zwischen der linken Fahrzeugseite 1.1 und dem Bordstein 2 erstreckt. Durch die rechteckige Fläche als Abstandsinformation I wird angezeigt, dass sich das Fahrzeug 1 nahezu parallel zu dem Bordstein 2 bewegt.In this case, the distance information I classified as uncritical is displayed as a green trapezoidal area, which is located on the first display unit A1 between the left-hand side of the vehicle 1.1 and the curb 2 extends. The rectangular area as distance information I indicates that the vehicle 1 almost parallel to the curb 2 emotional.

Die Fläche der Abstandsinformation I erstreckt sich dabei perspektivisch bis zum hinteren Ende des Fahrzeuges 1, d. h. bis zum hinteren Ende der linken Fahrzeugseite 1.1.The surface of the distance information I extends in perspective to the rear end of the vehicle 1 , ie to the rear end of the left side of the vehicle 1.1 ,

Die die Bilddaten überlagernde Abstandsinformation I wird mittels geeigneter Bildverarbeitungs-Algorithmen in der ersten Steuereinheit 51 in Echtzeit ermittelt und auf der ersten Anzeigeeinheit A1 optisch ausgegeben.The distance information I superimposed on the image data is stored in the first control unit by means of suitable image processing algorithms 51 determined in real time and optically output on the first display unit A1.

In 2b nähert sich das Fahrzeug 1 in dessen Fahrbewegung dem Bordstein 2 seitlich an, wodurch der seitliche Abstand verringert wird. Der ermittelte seitliche Abstand wird mittels der ersten Steuereinheit S1 als kritisch eingestuft und als dreieckige Fläche als Abstandsinformation I zwischen der linken Fahrzeugseite 1.1 und dem Bordstein 2 entsprechend der Fahrbewegung des Fahrzeuges 1 auf der ersten Anzeigeeinheit A1 angezeigt. Dabei ist die dreieckige Fläche als kritisch eingestufte Abstandsinformation I bevorzugt gelb eingefärbt, so dass der Fahrzeugführer aufgrund der Lenkradstellung auf das seitliche Annähern zu dem Bordstein 2 aufmerksam gemacht wird.In 2 B the vehicle is approaching 1 in the driving motion of the curb 2 laterally, whereby the lateral distance is reduced. The determined lateral distance is classified as critical by means of the first control unit S1 and as a triangular area as distance information I between the left side of the vehicle 1.1 and the curb 2 according to the driving movement of the vehicle 1 displayed on the first display unit A1. In this case, the triangular surface is classified as critically classified distance information I preferably yellow, so that the driver due to the steering wheel position on the lateral approach to the curb 2 is made aware.

2c zeigt das Fahrzeug 1, welches sich aufgrund der Lenkradstellung in dessen Fahrbewegung kurz vor einem Anstoß an den Bordstein 2 befindet. Der sich zunehmend verringernde seitliche Abstand zu dem Bordstein 2 ist entsprechend des Fahrverlaufes des Fahrzeuges 1 als Abstandsinformation I in Form einer weiteren dreieckigen Fläche auf der ersten Anzeigeeinheit A1 dargestellt. Der ermittelte seitliche Abstand unterschreitet einen zweiten Grenzwert, so dass die Abstandsinformation I zur Signalisierung eines bevorstehenden Anstoßes des Fahrzeuges 1 an den Bordstein 2 bevorzugt rot eingefärbt ist, wobei zusätzlich ein akustisches Warnsignal an den Fahrzeugführer ausgegeben werden kann. 2c shows the vehicle 1 , which is due to the steering wheel position in the driving movement just before an impact on the curb 2 located. The increasingly decreasing lateral distance to the curb 2 is according to the driving course of the vehicle 1 is shown as distance information I in the form of a further triangular area on the first display unit A1. The determined lateral distance falls below a second limit value, so that the distance information I for signaling an imminent impulse of the vehicle 1 to the curb 2 preferably colored red, with an additional audible warning signal can be issued to the driver.

Zudem ist vorgesehen, den kritischen seitlichen Abstand, welcher den zweiten Grenzwert unterschreitet, mittels eines Pfeils P als optisches Warnelement, welches ebenfalls rot eingefärbt ist, zu markieren.In addition, it is provided to mark the critical lateral distance, which falls below the second limit, by means of an arrow P as an optical warning element, which is also colored red.

Ferner werden zur Ermittlung des seitlichen Abstandes zu Objekten Fahrdynamikdaten des Fahrzeuges 1, wie beispielsweise ein Lenkwinkel und/oder eine momentane Fahrgeschwindigkeit, berücksichtigt, so dass der von der ersten Steuereinheit S1 ermittelte seitliche Abstand plausibilisiert wird.Furthermore, to determine the lateral distance to objects driving dynamics data of the vehicle 1 , such as a steering angle and / or a current vehicle speed, taken into account, so that the determined by the first control unit S1 lateral clearance is plausibility.

In den 3a bis 3c ist ein weiteres Szenario des Fahrzeuges 1 bei Anwendung des erfindungsgemäßen Verfahrens dargestellt. Das Fahrzeug 1 überholt einen Lastkraftwagen 6, wobei das Fahrzeug 1 in Fahrtrichtung dessen rechts zu dem Lastkraftwagen 6 fährt und somit der Überholvorgang mittels der ersten Bilderfassungseinheit B1 erfasst wird. Dargestellt sind mittels der ersten Bilderfassungseinheit B1 erfasste Bilddaten, wobei die linke Fahrzeugseite 1.1 und der Lastkraftwagen 6 teilweise auf der ersten Anzeigeeinheit A1 angezeigt werden.In the 3a to 3c is another scenario of the vehicle 1 represented when using the method according to the invention. The vehicle 1 overtakes a truck 6 , where the vehicle 1 in the direction of travel of the right to the truck 6 moves and thus the overtaking is detected by means of the first image detection unit B1. Shown are image data captured by the first image acquisition unit B1, the left side of the vehicle 1.1 and the truck 6 partially displayed on the first display unit A1.

Der seitliche Abstand zu dem Lastkraftwagen 6 wird mittels der ersten Steuereinheit S1 mittels geeigneter Bildverarbeitungs-Algorithmen erfasst und als unkritisch eingestuft, wodurch die Abstandsinformation I bevorzugt als grün eingefärbte Fläche auf der ersten Anzeigeeinheit A1 dargestellt wird.The lateral distance to the truck 6 is detected by the first control unit S1 by means of suitable image processing algorithms and classified as uncritical, whereby the distance information I is preferably displayed as a green-colored area on the first display unit A1.

Zusätzlich wird für das Fahrzeug, d. h. die linke Fahrzeugseite 1.1 betreffend, eine relevante Höheninformation HI angezeigt. D. h., dass die Höheninformation HI an dem Lastkraftwagen 6 für Bereiche der linken Fahrzeugseite 1.1, auf die sich die Abstandsinformation I bezieht, hervorgehoben dargestellt wird.In addition, for the vehicle, ie the left side of the vehicle 1.1 concerning relevant altitude information HI. That is, the altitude information HI on the truck 6 for areas of the left side of the vehicle 1.1 to which the distance information I refers is highlighted.

Sofern das Fahrzeug 1 zu dem Lastkraftwagen 6 während des Überholvorganges einen kritischen seitlichen Abstand aufweist, also der zweite Grenzwert unterschritten wird, wird die auf der ersten Anzeigeeinheit A1 dargestellte Abstandsinformation I entsprechend eingefärbt angezeigt.Unless the vehicle 1 to the truck 6 During the overtaking process has a critical lateral distance, that is, the second limit value is exceeded, the distance information I displayed on the first display unit A1 is displayed correspondingly colored.

In den 2b und 2c ist das Fahrzeug 1 teilweise an dem Lastkraftwagen 6 vorbeigefahren, wobei ein zusätzlich frei werdender seitlicher Abstand zu dem Lastkraftwagen 6 durch die überlagernde Flächen als Abstandsinformation I und auch in Bezug auf die Höheninformation HI auf der ersten Anzeigeeinheit A1 dargestellt wird. Somit kann der Fahrzeugführer durch Blick auf die erste Anzeigeeinheit A1 den frei werdenden Raum erkennen, wobei die Anzeige dynamisch in Echtzeit an den Fahrzeugführer ausgegeben wird.In the 2 B and 2c is the vehicle 1 partly on the truck 6 passed by, with an additionally freed lateral distance to the truck 6 is represented by the overlapping areas as distance information I and also with respect to the height information HI on the first display unit A1. Thus, by looking at the first display unit A1, the driver can recognize the space being released, the display being dynamically output to the driver in real time.

Alternativ zu der überlagernden Ausgabe der Abstandsinformation I auf der jeweiligen Anzeigeeinheit A1, A2 kann auch ein ”Bild im Bild Modus” verwendet werden. Dabei wird in dem momentanen Bild der entsprechenden Anzeigeeinheit A1, A2 ein im Vergleich kleineres Bild, beispielsweise in einem Eckbereich der Anzeigeeinheit A1, A2, angezeigt. Dadurch wird das von der entsprechenden Bilderfassungseinheit B1, B2 erfasste seitlich zu dem Fahrzeug 1 befindliche Objekt nicht durch die Abstandsinformation I und durch die Höheninformation HI überlagert angezeigt.As an alternative to the overlapping output of the distance information I on the respective display unit A1, A2, an "image in picture mode" can also be used. In this case, a comparatively smaller image, for example in a corner region of the display unit A1, A2, is displayed in the current image of the corresponding display unit A1, A2. As a result, the side detected by the corresponding image acquisition unit B1, B2 to the side of the vehicle 1 is not indicated by the distance information I and the altitude information HI superimposed.

Weiterhin können die erfassten Bilddaten z. B. über den im Fahrzeug 1 angeordneten Fahrzeug-Bus, der mit den Steuereinheiten S1, S2 verbunden ist, an eine nicht näher dargestellte weitere im Fahrzeuginnenraum 1.3 angeordnete Anzeigeeinheit übertragen und angezeigt werden, wobei auf den im Sichtfeld des Fahrzeugführers angeordneten Anzeigeeinheiten A1, A2 die Abstandsinformation I dargestellt ist.Furthermore, the captured image data z. B. on the in the vehicle 1 arranged vehicle bus, which is connected to the control units S1, S2, to a non-illustrated further in the vehicle interior 1.3 arranged display unit are transmitted and displayed, wherein the distance information I is shown on the arranged in the field of view of the driver display units A1, A2.

Denkbar ist auch, zur Bilderfassung 3D-Kameras einzusetzen, so dass dreidimensionale Bilddaten auf den Anzeigeeinheiten A1, A2 ausgegeben werden.It is also conceivable to use 3D cameras for image acquisition, so that three-dimensional image data are output on the display units A1, A2.

Mittels des erfindungsgemäßen Verfahrens ist es möglich, den Fahrzeugführer des Fahrzeuges 1 beim Abschätzen von seitlichen Abständen zu unterstützen, indem für die dem Fahrzeugführer vorliegenden Fahrsituation hilfreiche Zusatzinformationen auf der der Fahrzeugseite 1.1, 1.2 zugeordneten Anzeigeeinheit A1, A2 eingeblendet werden.By means of the method according to the invention, it is possible for the driver of the vehicle 1 to assist in estimating lateral distances by providing helpful additional information on the vehicle side for the driver's driving situation 1.1 . 1.2 associated display unit A1, A2 are displayed.

Die die Fahrzeugseiten 1.1, 1.2 betreffende Abstandsinformation I kann über den Fahrzeug-Bus an weitere Erfassungseinheiten des Fahrzeuges 1 übermittelt werden, wodurch eine Detektion von beispielsweise am Fahrzeug 1 angeordneten radarbasierten Vorrichtungen für einen entsprechenden Seitenbereich des Fahrzeuges 1, beispielsweise eine Tot-Winkel-Überwachung, verbessert werden kann.The vehicle sides 1.1 . 1.2 relevant distance information I can via the vehicle bus to other detection units of the vehicle 1 be transmitted, whereby a detection of, for example, the vehicle 1 arranged radar-based devices for a corresponding side region of the vehicle 1 For example, a dead-angle monitoring, can be improved.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
1.11.1
linke Fahrzeugseiteleft side of the vehicle
1.21.2
rechte Fahrzeugseiteright vehicle side
1.31.3
FahrzeuginnenraumVehicle interior
22
Bordsteincurbstone
33
Fahrspurlane
44
Gebäudebuilding
55
Baumtree
66
LastkraftwagenLorry
A1A1
erste Anzeigeeinheitfirst display unit
A2A2
zweite Anzeigeeinheitsecond display unit
B1B1
erste Bilderfassungseinheitfirst image capture unit
B2B2
zweite Bilderfassungseinheitsecond image capture unit
HIHI
Höheninformationheight information
II
Abstandsinformationdistance information
PP
Pfeilarrow
S1S1
erste Steuereinheitfirst control unit
S2S2
zweite Steuereinheitsecond control unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 19951376 A1 [0003] DE 19951376 A1 [0003]

Claims (6)

Verfahren zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges (1), wobei mittels zumindest einer an jeweils einer Fahrzeugseite (1.1, 1.2) angeordneten Bilderfassungseinheit (B1, B2) fortlaufend Bilddaten erfasst und auf einer der jeweiligen Bilderfassungseinheit (B1, B2) zugeordneten Anzeigeeinheit (A1, A2) ausgegeben werden, dadurch gekennzeichnet, dass mittels der erfassten Bilddaten ein seitlicher Abstand des Fahrzeuges (1) zu wenigstens einem seitlich zu dem Fahrzeug (1) befindlichen Objekt ermittelt wird und dass bei Unterschreitung eines ersten Grenzwertes des seitlichen Abstandes auf der Anzeigeeinheit (A1, A2) eine Abstandsinformation (I) angezeigt wird.Method for detecting a lateral environment of a vehicle ( 1 ), wherein by means of at least one on each vehicle side ( 1.1 . 1.2 ) image data is continuously acquired and output to a respective image acquisition unit (B1, B2) associated with the display unit (A1, A2), characterized in that by means of the captured image data, a lateral distance of the vehicle ( 1 ) to at least one side of the vehicle ( 1 ) is determined and that when falling below a first limit value of the lateral distance on the display unit (A1, A2) a distance information (I) is displayed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abstandsinformation (I) die angezeigten Bilddaten überlagernd perspektivisch positioniert angezeigt wird.A method according to claim 1, characterized in that the distance information (I) the displayed image data superimposed perspective view is displayed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Unterschreitung eines zweiten Grenzwertes des seitlichen Abstandes zu dem Objekt ein akustisches Warnsignal ausgegeben wird.Method according to one of the preceding claims, characterized in that when falling below a second limit value of the lateral distance to the object, an audible warning signal is output. Verfahren Anspruch 3, dadurch gekennzeichnet, dass bei Unterschreitung des zweiten Grenzwertes des Abstandes auf der Anzeigeeinheit (A1, A2) ein optisches Warnelement ausgegeben wird.A method according to claim 3, characterized in that when falling below the second limit value of the distance on the display unit (A1, A2) an optical warning element is output. Vorrichtung zur Erfassung eines seitlichen Umfeldes eines Fahrzeuges (1), umfassend zumindest jeweils eine an einer Fahrzeugseite (1.1, 1.2) angeordnete Bilderfassungseinheit (B1, B2), wobei jeweils eine Bilderfassungseinheit (B1, B2) mit jeweils einer im Fahrzeuginnenraum (1.3) angeordneten Anzeigeeinheit (A1, A2) verbunden ist, welche fortlaufend erfasste Bilddaten anzeigt, dadurch gekennzeichnet, dass die Bilderfassungseinheiten (B1, B2) mit zumindest einer Steuereinheit (S1, S2) gekoppelt sind, mittels welcher ein seitlicher Abstand des Fahrzeuges (1) zu wenigstens einem seitlich zu dem Fahrzeug (1) befindlichen Objekt ermittelbar ist und dass bei Unterschreitung eines ersten Grenzwertes des seitlichen Abstandes auf der Anzeigeeinheit (A1, A2) eine Abstandsinformation (I) anzeigbar ist.Device for detecting a lateral environment of a vehicle ( 1 ), comprising at least one each on a vehicle side ( 1.1 . 1.2 ) arranged image detection unit (B1, B2), wherein in each case one image detection unit (B1, B2), each with one in the vehicle interior ( 1.3 ), which continuously displays captured image data, characterized in that the image capture units (B1, B2) are coupled to at least one control unit (S1, S2), by means of which a lateral distance of the vehicle ( 1 ) to at least one side of the vehicle ( 1 ) is determinable and that when falling below a first limit value of the lateral distance on the display unit (A1, A2) a distance information (I) can be displayed. Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Bilderfassungseinheit (B1, B2) in einem Bereich angeordnet sind, in welchem üblicherweise ein Fahrzeugaußenspiegel angeordnet ist.Apparatus according to claim 5, characterized in that the image detection unit (B1, B2) are arranged in an area in which usually a vehicle outside mirror is arranged.
DE102010026224A 2010-07-06 2010-07-06 Method and device for detecting a lateral environment of a vehicle Withdrawn DE102010026224A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102010026224A DE102010026224A1 (en) 2010-07-06 2010-07-06 Method and device for detecting a lateral environment of a vehicle
PCT/EP2011/003251 WO2012003941A2 (en) 2010-07-06 2011-06-30 Method and device for detecting a lateral environment of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010026224A DE102010026224A1 (en) 2010-07-06 2010-07-06 Method and device for detecting a lateral environment of a vehicle

Publications (1)

Publication Number Publication Date
DE102010026224A1 true DE102010026224A1 (en) 2012-01-12

Family

ID=44627976

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010026224A Withdrawn DE102010026224A1 (en) 2010-07-06 2010-07-06 Method and device for detecting a lateral environment of a vehicle

Country Status (2)

Country Link
DE (1) DE102010026224A1 (en)
WO (1) WO2012003941A2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951376A1 (en) 1999-10-26 2001-06-07 Silvio Foerst Mirror replacement system for vehicle; has combination of cameras on left-hand and right-hand side of vehicle, and facing backwards, and monitors to display camera images instead of usual mirrors

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001039232A (en) * 1999-07-27 2001-02-13 Honda Access Corp Camera device for vehicle
US6559761B1 (en) * 2001-10-05 2003-05-06 Ford Global Technologies, Llc Display system for vehicle environment awareness
DE10244148A1 (en) * 2002-09-23 2004-04-08 Daimlerchrysler Ag Method and device for video-based observation and measurement of the lateral surroundings of a vehicle
KR100757596B1 (en) * 2006-05-18 2007-09-10 현대자동차주식회사 Device and method for sensing object of front and side using camera
JP5088669B2 (en) * 2007-03-23 2012-12-05 株式会社デンソー Vehicle periphery monitoring device
WO2010122747A1 (en) * 2009-04-23 2010-10-28 パナソニック株式会社 Driving support device, driving support method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951376A1 (en) 1999-10-26 2001-06-07 Silvio Foerst Mirror replacement system for vehicle; has combination of cameras on left-hand and right-hand side of vehicle, and facing backwards, and monitors to display camera images instead of usual mirrors

Also Published As

Publication number Publication date
WO2012003941A3 (en) 2012-04-26
WO2012003941A2 (en) 2012-01-12

Similar Documents

Publication Publication Date Title
EP2603413B1 (en) Method for supporting a parking procedure of a motor vehicle, driver assistance system, and motor vehicle
DE102005063445B4 (en) Rangierhilfe for drivers of vehicles or vehicle combinations, which consist of mutually bendable vehicle elements
EP2755859B1 (en) Method and device for an assist system in a vehicle for carrying out an autonomous or semi-autonomous driving maneuver
DE102014107917A1 (en) A method and apparatus for avoiding a collision of a vehicle comprising a motor vehicle and a trailer with an obstacle
DE102007011180A1 (en) Rangierhilfe and method for drivers of vehicles or vehicle combinations, which consist of mutually bendable vehicle elements
EP2272691B1 (en) Method for determining a position of a trailer attached to a vehicle relative to the vehicle and driver assistance system for a vehicle
DE102016100326A1 (en) Target monitoring system with a lens cleaning device
DE102011009106A1 (en) Method for operating a driver assistance system of a motor vehicle and motor vehicle issuing a recommendation relating to a passing process
EP3219533A2 (en) Viewing system for a motor vehicle, in particular a commercial vehicle
DE102006059684A1 (en) Driver assistance system for, particularly truck, has indicating device that has projector for warping information on road surface such that vehicle guide observes in operation of information
DE102013216490A1 (en) A system for providing a signal to an object in the environment of the system
DE102012108563A1 (en) Method and devices for collision warning during lane changes
DE102010054221A1 (en) Method for assisting driver of motor car during lane change, involves determining lane course of past travel path from information of lane and past travel path, and graphically displaying lane course of past travel distance to driver
DE102014116037A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
DE102008046544A1 (en) Vehicle e.g. passenger car, surrounding monitoring method, utilized for passenger transportation, involves displaying section of complete image for positioning of vehicle, and selecting section as function of vehicle movement direction
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
WO2009015778A1 (en) Method and device for driver support when routing a vehicle or vehicle combination
DE102015116542A1 (en) Method for determining a parking area for parking a motor vehicle, driver assistance system and motor vehicle
DE102010049216A1 (en) Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102015010535A1 (en) Camera-based environmental detection for commercial vehicles
DE102015013043A1 (en) Method for avoiding a collision or at least for reducing a collision severity of a vehicle
DE102009057336A1 (en) Device for monitoring spatial area outside car, has processing unit containing information about static object and about objects and persons within spatial area, so that display unit generates alert and controls actuation of vehicle door
DE102005058498A1 (en) Driver assistance system for parking and out-parking of vehicle, comprises evaluating processor unit, which is formed for manipulating display of instruction to driver
DE102019111477A1 (en) Method for parking a vehicle from a curb
DE102015007179A1 (en) Environment detection device for a motor vehicle

Legal Events

Date Code Title Description
R120 Application withdrawn or ip right abandoned
R120 Application withdrawn or ip right abandoned

Effective date: 20121208