EP2229594A1 - Method and device for displaying the environment of a vehicle - Google Patents

Method and device for displaying the environment of a vehicle

Info

Publication number
EP2229594A1
EP2229594A1 EP08870110A EP08870110A EP2229594A1 EP 2229594 A1 EP2229594 A1 EP 2229594A1 EP 08870110 A EP08870110 A EP 08870110A EP 08870110 A EP08870110 A EP 08870110A EP 2229594 A1 EP2229594 A1 EP 2229594A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
detection sensor
image
environmental
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP08870110A
Other languages
German (de)
French (fr)
Inventor
Roland Schmid
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2229594A1 publication Critical patent/EP2229594A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9314—Parking operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations
    • G01S2015/933—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past
    • G01S2015/935—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations for measuring the dimensions of the parking space when driving past for measuring the contour, e.g. a trajectory of measurement points, representing the boundary of the parking space

Definitions

  • the invention relates to a method for displaying the surroundings of a vehicle, in particular a motor vehicle, by means of at least one display device of the vehicle, wherein the environment is detected as at least one detection sensor as an environment image while driving or when the vehicle is stationary.
  • the invention relates to a device for displaying the environment of a vehicle, in particular a motor vehicle, with at least one display device associated with the vehicle and at least one detection sensor for detecting an environmental image of the environment while driving or at a standstill of the vehicle.
  • Methods and devices of the type mentioned are known from the prior art. Often these are used in conjunction with parking systems of motor vehicles, in which the driver to facilitate the parking on a display device of the vehicle, the closer environment are represented by color representation of the critical distances to the vehicle.
  • the next environment of the vehicle is detected by means of a detection sensor, wherein only the currently detected objects or contours of these objects in the area before and / or behind the vehicle, which are detected directly by the one or more detection sensors are displayed. In particular, only the nearest object, but not an object located behind this closest object, is displayed or detected.
  • Published patent application DE 10 2004 027 640 A1 discloses such a method or such a device in which, while the vehicle is moving past a parking space, it is moved by means of the parking space Detection sensor is measured so that a schematic environment image of the contour of the parking space can be obtained.
  • the published patent application DE 197 41 896 A1 further discloses a device for displaying the surroundings of a vehicle of the type mentioned above, which has a (picture) camera with which also distance data can be transmitted to recorded pixels to the control unit, whereby the on a display unit represented environment of the vehicle not only the nearest, but also behind it objects can represent.
  • this requires a high computing power and also allows only the representation of the currently captured by the camera environment image / area of the environment.
  • the inventive method provides that by means of the detection sensor of a certain area of the environment in different
  • Vehicle positions are determined in each case an environmental image and / or by at least two spaced detection sensors of the specific environmental area respectively at least one environmental image is determined, wherein each of the environmental images obtained a composite environment image and displayed by means of the display device. It is therefore provided on the one hand that in each case an environmental image is determined in different vehicle positions by means of a detection sensor, for example during the drive of the vehicle, by a specific environmental region.
  • the surrounding area By detecting the particular surrounding area from two different vehicle positions by means of the detection sensor, the surrounding area is "viewed" from different angles / perspectives, thereby creating different environmental images capturing the surrounding area from different sides, from which a composite environmental image is obtained
  • the surrounding area By viewing the surrounding area from different angles, it is possible to detect not only nearest but also underlying objects and display them accordingly by means of the display device of the vehicle Alternatively or in addition
  • environmental images are acquired from different "angles" by means of at least two detection sensors arranged at a distance from one another.
  • the advantage of using a plurality of detection sensors is that the environmental image composed of the environmental images can also be obtained when the vehicle is at a standstill.
  • the composite environment image advantageously results in a map of the surroundings, which reproduces the surroundings of the vehicle in great detail, preferably in a plan view of the vehicle.
  • Ultrasonic sensor used.
  • ultrasonic sensors are used for all detection sensors of the vehicle.
  • Ultrasonic sensors are known in today's parking systems state of the art, so here on the one hand not to be discussed in more detail, and on the other hand it is clear that the use of such detection sensors is simple and inexpensive.
  • the distance to an object can be detected or determined directly. Contours of the object in the detection area can also be detected and determined by means of a plurality of ultrasonic sensors.
  • a short-range radar sensor a lidar sensor or a so-called range imager is used as the detection sensor.
  • a lidar sensor a so-called range imager is used as the detection sensor.
  • the speed, the steering angle and / or the yaw angle of the vehicle are taken into account when obtaining the composite environment image or the environment map. This makes it possible to clearly detect the environmental images acquired by the detection sensor or by the detection sensors
  • a door opening assistant When obtaining a composite environment image while driving the vehicle, it is also advantageous that objects which are located on one side of the vehicle in the environment can also be recognized and taken into account, for example, by a door opening assistant, so that a driver points out, for example, after a parking operation is that a particular door should not be opened because there is a risk of collision with an adjacent object.
  • a door opening assistant would require a detection sensor arranged on the door.
  • this can be dispensed with by means of the method according to the invention since the composite environment image represents the surroundings of the vehicle and not only the currently detected surrounding area.
  • the speed, the steering angle and / or the yaw angle of the vehicle are detected by means of sensors, which are preferably already present in the vehicle. This allows a particularly cost-effective determination of the speed, the steering angle and / or the yaw angle.
  • the speed is advantageously detected by means of one or more radar speed sensors.
  • At least one detection sensor is aligned substantially perpendicular to the longitudinal axis of the vehicle.
  • Usually four detection sensors are mounted in the front and / or rear of the vehicle, which are aligned substantially forward or backward. When detecting the environment of the vehicle while driving, these are also sufficient to detect laterally arranged to the vehicle objects.
  • At standstill of the vehicle it is however advantageous if in addition at least one detection sensor is aligned on at least one side of the vehicle substantially perpendicular to the longitudinal axis of the vehicle. As a result, even when the vehicle is stationary, objects located next to the vehicle can be detected and displayed to the driver by means of the display device.
  • Viewing the surrounding area from different angles can, as already stated, determine not only distances to objects but also the shape of the objects. Thus, for example, be differentiated between a continuous wall and a post or a post row.
  • a trajectory is displayed as a function of the current steering angle in the composite environment image.
  • This trajectory indicates the route of the vehicle along which the vehicle would move at the current steering angle.
  • a SoII-T is displayed, which specifies the driver of the vehicle a driving distance, for example, to reach a parking position.
  • the driver is additionally made aware by acoustic and / or haptic warning signals on detected by the detection sensor or by the detection sensors objects.
  • objects detected in the surroundings of the vehicle are marked differently graphically, in particular color, as a function of their risk factor.
  • objects that are not obstructive become black
  • objects that are detected / detected as an obstacle, but are not in a critical area turn green
  • objects that are in a critical area but are still far away are yellow
  • Objects that require the driver to intervene to avoid a collision orange
  • objects with which a collision is imminent shown in red.
  • the composite environment image can also be used for autonomous or semi-autonomous parking operations.
  • the composite environment image is supplemented by (video) images of at least one reversing camera and / or side camera of the vehicle.
  • video images of at least one reversing camera and / or side camera of the vehicle.
  • the driver of the vehicle has access to the composite environment image / the environment map and additionally an actual video image of the environment or an environmental region.
  • the composite environment image is stored after a parking operation.
  • parking out the stored environmental image can then be used again, so that the driver, even before he has moved the vehicle, already the environment map of the environment of the vehicle is available.
  • new and / or missing objects are marked differently graphically, in particular color. Particular preference is given to displaying missing objects by means of a dashed contour line.
  • objects and / or surrounding areas are graphically marked, preferably in color, which can not be verified. Here, the driver of the vehicle is prompted to check these objects / surrounding areas themselves.
  • the advantageous method for displaying the surroundings of a vehicle can be used, for example, when maneuvering in narrow streets, driveways or parking garages.
  • a complete all-round view of the vehicle is obtained from the environmental images as a composite environment image.
  • the detection sensors are arranged and aligned at corresponding locations of the vehicle.
  • the device according to the invention for displaying the surroundings of a vehicle is characterized in that the display device is associated with at least one computing unit, the detected by the detection sensor in at least two different vehicle positions environmental images of a certain environmental area and / or two spaced apart on the vehicle detection sensors detected environmental images of the particular environmental area joins together to form a composite environment image and displayed by the display device.
  • At least one detection sensor is designed as an ultrasonic sensor.
  • all detection sensors are designed as ultrasonic sensors.
  • At least one detection sensor is arranged aligned substantially perpendicular to the longitudinal axis of the vehicle.
  • this detection sensor is arranged directly in the region of a door of the vehicle or on the door.
  • the display device and / or the
  • Computing unit is connected to at least one rear view camera and / or at least one side camera / are.
  • the computing unit is expediently assigned one or more sensors for detecting the speed, the steering angle and / or the yaw angle of the vehicle.
  • FIGS. 1 A and 1 B show a current traffic situation and an environmental image composed according to the advantageous method
  • FIG. 1A shows a top view of a traffic situation with a vehicle 1 located on a road 2.
  • the road 2 has on its - viewed in the direction of travel of the vehicle 1 - right side on a side strip or parking strip 3, on which a vehicle 4 is parked.
  • the parking strip 3 is bounded on its right side by a curb 5.
  • the driver of the vehicle 1 now wants to park in the parking space between the parked vehicle 4 and the bollard 7.
  • a respective environmental image 10 is determined by a specific surrounding area of the vehicle 1 in different vehicle positions of the vehicle 1. This can be done, for example, when driving past the parking space formed between the parked vehicle 4 and the bollard 7.
  • the detection sensor is corresponding to the vehicle 1, in particular vertically to the longitudinal axis of the vehicle 1, to order.
  • at least two detection sensors arranged at a distance from one another and arranged on the vehicle 1, in each case at least one environmental image, preferably simultaneously, is determined from the determined environmental region.
  • a composite environmental image 10 is obtained in each case and, as shown in FIG. 1B, displayed by means of the display device.
  • the environment image 10 shows the vehicle 1 in a plan view, or in the so-called bird-view representation.
  • dashed lines 11 a driving tube or a trajectory 13 is shown, which indicates the way that the vehicle 1 would drive with a current steering angle during a backward movement.
  • the environment of the vehicle 1 is shown only schematically in FIG. 1B as in the prior art, the contours of the nearest objects or obstacles being indicated.
  • an obstacle area 12 which is composed of the vehicle 4, the curb 5 and the bollard 7, as shown in Figure 1 A, as a contiguous area, advantageously shown in yellow.
  • FIG. 2A shows the traffic situation from FIG. 1A at a later point in time at which the driver has moved the vehicle 1 backwards obliquely into the parking space between the vehicle 4 and the bollard 7.
  • the vehicle 1 is now partly already in the parking space.
  • FIG. 2B shows a composite environmental image 15 which was obtained according to the advantageous method. Shown is the vehicle 1 in a plan view (bird-view view).
  • the advantageous method it is possible to determine the shape of the object 6 or of the bollard 7 by viewing from different perspectives and correspondingly as in the figure 2B, to display. The object 6 is thus displayed separately from the obstacle area 12 shown in FIG. 1B.
  • the object 8 is also shown in orange, since it is indeed in the currently available driving tube or in the currently present trajectory 13, but the distance to the vehicle 1 is not critical.
  • the intersecting region 16 overlapping with the trajectory 13 is marked in color in the surrounding image 15. The driver can now distinguish between next and behind objects as well as recognize the shape of objects.
  • ultrasonic sensors are used as detection sensors.
  • detection sensors 18 and a display device 19 representing the composite environment image 15 are illustrated by way of example for illustration purposes in FIG. 2A. In this case, an arithmetic unit 20 composing the surroundings images is integrated into the display device 19.
  • FIG. 3A shows the traffic situation from the preceding FIGS. 1A and 2A at an even later point in time when the vehicle 1 is in a parking position in the parking space between the vehicle 4 and the bollard 7.
  • the vehicle 1 stands with its rear area close to the bollard 7 or the object 6 and with a passenger door 17 at the height of the object 8 and the post 9.
  • FIG. 3B shows the environmental image 15 corresponding to the traffic situation shown in FIG. 3A at the even later point in time.
  • the object 8 and the object 6 are displayed in red, since they are located very close to the vehicle, ie in a critical area.
  • the proximity of the vehicle increases its risk factor, thereby changing the color from the previously uncritical orange to red.
  • the object 6 or the bollard 7 is therefore shown red, or recorded as high risk, since it / he is in the current trajectory 13 or in the Ride of the vehicle 1 is located.
  • the object 8 or the post 9, however, has a high risk because it is close to the door of the passenger 17.
  • the driver and / or the passenger should be made aware by means of the display or the composite environment image 15 that the door 17 should not be opened or can not be opened.
  • the door can just be opened so far that it does not collide with the object 8 or post 9.
  • the composite environment image 15 (dynamic 2D image), which represents an environment map of the entire vicinity of the vehicle
  • a driver of the vehicle 1 can be visually assisted, in particular during parking operations or when maneuvering in close proximity.
  • the steering angle, the yaw angle and / or the speed of the vehicle are advantageously detected.
  • the driver may easily avoid collisions and / or risks in maneuvering and / or parking due to the information provided to him by the display.
  • the determined when parking, composite environmental image 15 is stored and used again when you parked. In this case, advantageously, a verification and plausibility check by means of a new detection of the environment should be performed.
  • the vehicle 1 is typically equipped with ten or twelve ultrasonic sensors, with four detection sensors or ultrasonic sensors being provided on the front and rear of the vehicle as the basis of a standard parking system.
  • at least one detection sensor is provided on each side of the vehicle.
  • the number of rear, front and side detection sensors can be varied. Whereby with increasing number the detail accuracy of the environment picture increases.
  • the advantageous method makes it possible by detecting a specific environmental region of the environment Different perspectives determining the shape of objects, as well as the detection of several consecutively arranged objects (multi-target capability).
  • the surroundings of the vehicle 1 are expediently divided into a plurality of different contiguous or partially overlapping surrounding areas, the division depending on the arrangement, number and orientation of the detection sensors, and subsequently after detection of the respective surrounding area be brought together from different perspectives to the composite environment image.

Abstract

The invention relates to a method for displaying the environment of a vehicle, particularly a motor vehicle, by means of at least one display device of the vehicle, wherein the environment is detected while driving or during standstill of the vehicle by at least one detection sensor as an environmental image. The invention provides that an environmental image each is determined of a certain environmental region in different vehicle positions by means of the detection sensor and/or at least one environmental image is determined of the certain environmental region by means of at least two detection sensors positioned at a distance from each other, wherein a composite environmental image is obtained from the environmental images and is displayed by the display device. The invention further relates to a device for displaying the environment of a vehicle.

Description

Beschreibung description
Titel Verfahren und Vorrichtung zum Anzeigen der Umgebung eines FahrzeugsTitle Method and apparatus for displaying the environment of a vehicle
Die Erfindung betrifft ein Verfahren zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mittels mindestens einer Anzeigeeinrichtung des Fahrzeugs, wobei die Umgebung während der Fahrt oder im Stillstand des Fahrzeugs von mindestens einem Erfassungssensor als Umgebungsbild erfasst wird.The invention relates to a method for displaying the surroundings of a vehicle, in particular a motor vehicle, by means of at least one display device of the vehicle, wherein the environment is detected as at least one detection sensor as an environment image while driving or when the vehicle is stationary.
Ferner betrifft die Erfindung eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mit mindestens einer dem Fahrzeug zugeordneten Anzeigeeinrichtung und mindestens einem Erfassungssensor zur Erfassung eines Umgebungsbildes der Umgebung während der Fahrt oder im Stillstand des Fahrzeugs.Furthermore, the invention relates to a device for displaying the environment of a vehicle, in particular a motor vehicle, with at least one display device associated with the vehicle and at least one detection sensor for detecting an environmental image of the environment while driving or at a standstill of the vehicle.
Stand der TechnikState of the art
Verfahren und Vorrichtungen der eingangs genannten Art sind aus dem Stand der Technik bekannt. Häufig werden diese in Zusammenhang mit Einparksystemen von Kraftfahrzeugen verwendet, bei denen dem Fahrer zum Erleichtern des Einparkvorgangs auf einer Anzeigeeinrichtung des Fahrzeugs die nähere Umgebung durch farbliche Darstellung der kritischen Abstände zu dem Fahrzeug dargestellt werden. Dazu wird die nächste Umgebung des Fahrzeugs mittels eines Erfassungssensors erfasst, wobei nur die momentan erfassten Objekte beziehungsweise Konturen dieser Objekte im Bereich vor und/oder hinter dem Fahrzeug, die unmittelbar von dem einen oder von mehreren Erfassungssensoren erfasst werden, dargestellt werden. Insbesondere wird nur das nächstgelegene Objekt, jedoch nicht ein sich hinter diesem nächstgelegenen Objekt befindliches Objekt dargestellt oder erfasst. Aus der Offenlegungsschrift DE 10 2004 027 640 A1 geht ein derartiges Verfahren beziehungsweise eine derartige Vorrichtung hervor, bei der während der Fahrt des Fahrzeugs beim Vorbeifahren an einer Parklücke diese mittels des Erfassungssensors vermessen wird, sodass ein schematisches Umgebungsbild der Kontur der Parklücke gewonnen werden kann. Aus der Offenlegungsschrift DE 197 41 896 A1 geht weiterhin eine Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs der eingangs genannten Art hervor, die eine (Bild-)Kamera aufweist, mit der auch Entfernungsdaten zu aufgenommenen Bildpunkten an die Steuereinheit übermittelt werden können, wodurch die auf einer Anzeigeeinheit dargestellte Umgebung des Fahrzeugs nicht nur die nächstliegenden, sondern auch dahinter liegende Objekte darstellen kann. Dies erfordert jedoch eine hohe Rechenleistung und erlaubt ebenfalls lediglich die Darstellung des von der Kamera aktuell erfassten Umgebungsbildes/Bereiches der Umgebung.Methods and devices of the type mentioned are known from the prior art. Often these are used in conjunction with parking systems of motor vehicles, in which the driver to facilitate the parking on a display device of the vehicle, the closer environment are represented by color representation of the critical distances to the vehicle. For this purpose, the next environment of the vehicle is detected by means of a detection sensor, wherein only the currently detected objects or contours of these objects in the area before and / or behind the vehicle, which are detected directly by the one or more detection sensors are displayed. In particular, only the nearest object, but not an object located behind this closest object, is displayed or detected. Published patent application DE 10 2004 027 640 A1 discloses such a method or such a device in which, while the vehicle is moving past a parking space, it is moved by means of the parking space Detection sensor is measured so that a schematic environment image of the contour of the parking space can be obtained. The published patent application DE 197 41 896 A1 further discloses a device for displaying the surroundings of a vehicle of the type mentioned above, which has a (picture) camera with which also distance data can be transmitted to recorded pixels to the control unit, whereby the on a display unit represented environment of the vehicle not only the nearest, but also behind it objects can represent. However, this requires a high computing power and also allows only the representation of the currently captured by the camera environment image / area of the environment.
Offenbarung der ErfindungDisclosure of the invention
Das erfindungsgemäße Verfahren sieht vor, dass mittels des Erfassungssensors von einem bestimmten Umgebungsbereich in unterschiedlichenThe inventive method provides that by means of the detection sensor of a certain area of the environment in different
Fahrzeugpositionen jeweils ein Umgebungsbild ermittelt und/oder mittels mindestens zwei zueinander beabstandeten Erfassungssensoren von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild ermittelt wird, wobei aus den Umgebungsbildern jeweils ein zusammengesetztes Umgebungsbild gewonnen und mittels der Anzeigeeinrichtung angezeigt wird. Es ist also zum Einen vorgesehen, dass in unterschiedlichen Fahrzeugpositionen mittels eines Erfassungssensors, zum Beispiel während der Fahrt des Fahrzeugs, von einem bestimmten Umgebungsbereich jeweils ein Umgebungsbild ermittelt wird. Dadurch, dass der bestimmte Umgebungsbereich aus zwei unterschiedlichen Fahrzeugpositionen heraus mittels des Erfassungssensors erfasst wird, wird der Umgebungsbereich aus unterschiedlichen Winkeln/Perspektiven „betrachtet", wodurch unterschiedliche, den Umgebungsbereich von unterschiedlichen Seiten erfassende Umgebungsbilder erstellt werden. Aus diesen wird dann ein zusammengesetztes Umgebungsbild gewonnen, indem die Informationen, die den Umgebungsbildern jeweils entnommen werden können, zu einem Umgebungsbild zusammengesetzt werden. Durch Betrachtung des Umgebungsbereichs aus unterschiedlichen Blickwinkeln ist es hierbei möglich, nicht nur nächstliegende, sondern auch dahinter liegende Objekte zu erfassen und entsprechend mittels der Anzeigeeinrichtung des Fahrzeugs darzustellen. Alternativ oder zusätzlich dazu ist vorgesehen, dass im Stillstand und/oder während der Fahrt des Fahrzeugs von dem bestimmten Umgebungsbereich Umgebungsbilder aus unterschiedlichen „Blickwinkeln" mittels mindestens zwei zueinander beabstandet angeordneten Erfassungssensoren erfasst werden. Dies hat den gleichen Effekt, wie die oben beschriebene Erfassung des Umgebungsbereichs aus zwei unterschiedlichen Fahrzeugpositionen mittels eines Erfassungssensors, zum Beispiel während der Fahrt. Die Verwendung mehrerer Erfassungssensoren hat hierbei den Vorteil, dass das aus den Umgebungsbildern zusammengesetzte Umgebungsbild auch im Stillstand des Fahrzeugs gewonnen werden kann. Darüber hinaus kann das zusammengesetzte Umgebungsbild wesentlich schneller gewonnen werden, da der bestimmte Umgebungsbereich aus unterschiedlichen Perspektiven gleichzeitig erfasst werden kann. Mittels mehrerer Erfassungssensoren ist es darüber hinaus möglich, auf einfache Art und Weise die aktuelle Umgebung des Fahrzeugs sowohl mit nächstliegenden, als auch mit dahinter liegenden Objekten darzustellen. Das zusammengesetzte Umgebungsbild ergibt vorteilhafterweise eine Umgebungskarte, die die Umgebung des Fahrzeugs besonders detailgetreu, bevorzugt in einer Draufsicht auf das Fahrzeug wiedergibt.Vehicle positions are determined in each case an environmental image and / or by at least two spaced detection sensors of the specific environmental area respectively at least one environmental image is determined, wherein each of the environmental images obtained a composite environment image and displayed by means of the display device. It is therefore provided on the one hand that in each case an environmental image is determined in different vehicle positions by means of a detection sensor, for example during the drive of the vehicle, by a specific environmental region. By detecting the particular surrounding area from two different vehicle positions by means of the detection sensor, the surrounding area is "viewed" from different angles / perspectives, thereby creating different environmental images capturing the surrounding area from different sides, from which a composite environmental image is obtained By viewing the surrounding area from different angles, it is possible to detect not only nearest but also underlying objects and display them accordingly by means of the display device of the vehicle Alternatively or in addition It is envisaged that at standstill and / or while the vehicle is driving from the determined surrounding area, environmental images are acquired from different "angles" by means of at least two detection sensors arranged at a distance from one another. This has the same effect as the above-described detection of the surrounding area from two different ones The advantage of using a plurality of detection sensors is that the environmental image composed of the environmental images can also be obtained when the vehicle is at a standstill In addition, by means of several detection sensors, it is possible to easily determine the current surroundings of the vehicle both with the aid of a plurality of detection sensors egendenden, as well as with underlying objects represent. The composite environment image advantageously results in a map of the surroundings, which reproduces the surroundings of the vehicle in great detail, preferably in a plan view of the vehicle.
Nach einer Weiterbildung der Erfindung wird als Erfassungssensor einAccording to a development of the invention is as a detection sensor
Ultraschall-Sensor verwendet. Bevorzugt werden Ultraschall-Sensoren für alle Erfassungssensoren des Fahrzeugs verwendet. Ultraschall-Sensoren sind bei heute bekannten Parksystemen Stand der Technik, sodass hier zum Einen nicht näher darauf eingegangen werden soll, und zum Anderen klar ist, dass die Verwendung derartiger Erfassungssensoren sich einfach und kostengünstig gestaltet. Mittels eines Ultraschall-Sensors kann insbesondere direkt die Entfernung zu einem Objekt erfasst beziehungsweise ermittelt werden. Mittels mehrerer Ultraschall-Sensoren sind auch Konturen des Objekts im Erfassungsbereich erfassbar und ermittelbar.Ultrasonic sensor used. Preferably, ultrasonic sensors are used for all detection sensors of the vehicle. Ultrasonic sensors are known in today's parking systems state of the art, so here on the one hand not to be discussed in more detail, and on the other hand it is clear that the use of such detection sensors is simple and inexpensive. By means of an ultrasound sensor, in particular, the distance to an object can be detected or determined directly. Contours of the object in the detection area can also be detected and determined by means of a plurality of ultrasonic sensors.
Alternativ dazu ist vorgesehen, dass als Erfassungssensor ein Short-Range- Radarsensor, ein Lidar-Sensor oder ein sogenannter Range-Imager verwendet wird. Sind mehrere Erfassungssensoren vorgesehen, so ist es auch denkbar, eine Kombination aus den oben genannten Erfassungssensoren zu verwenden. Vorteilhafterweise werden bei der Gewinnung des zusammengesetzten Umgebungsbilds beziehungsweise der Umgebungskarte die Geschwindigkeit, der Lenkwinkel und/oder der Gierwinkel des Fahrzeugs berücksichtigt. Hierdurch ist es möglich, die von dem Erfassungssensor beziehungsweise von den Erfassungssensoren erfassten Umgebungsbilder eindeutig in einemAlternatively, it is provided that a short-range radar sensor, a lidar sensor or a so-called range imager is used as the detection sensor. If several detection sensors are provided, then it is also conceivable to use a combination of the above-mentioned detection sensors. Advantageously, the speed, the steering angle and / or the yaw angle of the vehicle are taken into account when obtaining the composite environment image or the environment map. This makes it possible to clearly detect the environmental images acquired by the detection sensor or by the detection sensors
Koordinatensystem in Bezug auf das Fahrzeug auszurichten und entsprechend zusammenzusetzen. Beim Gewinnen eines zusammengesetzten Umgebungsbildes während der Fahrt des Fahrzeugs ist es vorteilhaft, dass auch Objekte, die sich an einer Seite des Fahrzeugs in der Umgebung befinden, ebenfalls erkannt und beispielsweise von einem Türöffnungsassistenten berücksichtigt werden können, sodass ein Fahrer nach einem Einparkvorgang beispielsweise darauf hingewiesen wird, dass eine bestimmte Tür nicht geöffnet werden sollte, da eine Kollisionsgefahr mit einem sich daneben befindlichen Objekt besteht. Im einfachsten Fall wäre für einen derartigen Türöffnungsassistenten ein an der Tür angeordneter Erfassungssensor notwendig. Mittels des erfindungsgemäßen Verfahrens kann dies jedoch entfallen, da das zusammengesetzte Umgebungsbild die Umgebung des Fahrzeugs und nicht nur den momentan erfassten Umgebungsbereich darstellt.Align coordinate system with respect to the vehicle and assemble accordingly. When obtaining a composite environment image while driving the vehicle, it is also advantageous that objects which are located on one side of the vehicle in the environment can also be recognized and taken into account, for example, by a door opening assistant, so that a driver points out, for example, after a parking operation is that a particular door should not be opened because there is a risk of collision with an adjacent object. In the simplest case, such a door opening assistant would require a detection sensor arranged on the door. However, this can be dispensed with by means of the method according to the invention since the composite environment image represents the surroundings of the vehicle and not only the currently detected surrounding area.
Zweckmäßigerweise werden die Geschwindigkeit, der Lenkwinkel und/oder der Gierwinkel des Fahrzeugs mittels Sensoren erfasst, die vorzugsweise bereits im Fahrzeug vorhanden sind. Hierdurch wird eine besonders kostengünstige Bestimmung der Geschwindigkeit, des Lenkwinkels und/oder des Gierwinkels ermöglicht.Expediently, the speed, the steering angle and / or the yaw angle of the vehicle are detected by means of sensors, which are preferably already present in the vehicle. This allows a particularly cost-effective determination of the speed, the steering angle and / or the yaw angle.
Die Geschwindigkeit wird vorteilhafterweise mittels eines oder mehrerer Radardrehzahlsensoren erfasst.The speed is advantageously detected by means of one or more radar speed sensors.
Mit Vorteil ist vorgesehen, dass mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird. Üblicherweise werden im Front- und/oder Heckbereich des Fahrzeugs je vier Erfassungssensoren angebracht, die im Wesentlichen nach vorne oder nach hinten ausgerichtet sind. Bei einer Erfassung der Umgebung des Fahrzeugs während der Fahrt reichen diese auch aus, um seitlich zu dem Fahrzeug angeordnete Objekte zu erfassen. Im Stillstand des Fahrzeugs, ist es jedoch vorteilhaft, wenn zusätzlich mindestens ein Erfassungssensor an zumindest einer Seite des Fahrzeugs im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird. Hierdurch können auch im Stillstand des Fahrzeugs Objekte, die sich neben dem Fahrzeug befinden, erfasst und dem Fahrer mittels der Anzeigeeinrichtung angezeigt werden. Grundsätzlich ist es natürlich denkbar, die Anzahl der verwendeten Erfassungssensoren zu erhöhen, um ein noch detaillierteres Umgebungsbild zu erhalten. Ebenfalls ist auch eine Reduzierung von Erfassungssensoren möglich. Bei der Verwendung von Ultraschall-Sensoren werden die Abstände zu Objekten in bekannter Weise, mittels Triangulation benachbarter Sensorsignale berechnet. Durch dasIt is advantageously provided that at least one detection sensor is aligned substantially perpendicular to the longitudinal axis of the vehicle. Usually four detection sensors are mounted in the front and / or rear of the vehicle, which are aligned substantially forward or backward. When detecting the environment of the vehicle while driving, these are also sufficient to detect laterally arranged to the vehicle objects. At standstill of the vehicle, it is however advantageous if in addition at least one detection sensor is aligned on at least one side of the vehicle substantially perpendicular to the longitudinal axis of the vehicle. As a result, even when the vehicle is stationary, objects located next to the vehicle can be detected and displayed to the driver by means of the display device. In principle, it is of course conceivable to increase the number of detection sensors used in order to obtain a more detailed environmental image. Also, a reduction of detection sensors is possible. When ultrasonic sensors are used, the distances to objects are calculated in a known manner by means of triangulation of adjacent sensor signals. By the
Betrachten des Umgebungsbereichs aus verschiedenen Blickwinkeln lassen sich, wie bereits gesagt, nicht nur Abstände zu Objekten sondern auch die Form der Objekte ermitteln. So kann beispielsweise zwischen einer durchgängigen Mauer und einem Pfosten oder einer Pfostenreihe differenziert werden.Viewing the surrounding area from different angles can, as already stated, determine not only distances to objects but also the shape of the objects. Thus, for example, be differentiated between a continuous wall and a post or a post row.
Nach einer Weiterbildung der Erfindung wird eine Trajektorie in Abhängigkeit des aktuellen Lenkwinkels in dem zusammengesetzten Umgebungsbild angezeigt. Diese Trajektorie zeigt die Fahrstrecke des Fahrzeugs an, entlang welcher sich das Fahrzeug bei dem aktuellen Lenkwinkel bewegen würde. Zusätzlich oder alternativ wird mittels der Anzeigeeinrichtung in Abhängigkeit von dem gewonnenen Umgebungsbild eine SoII-T rajektorie angezeigt, die dem Fahrer des Fahrzeugs eine Fahrstrecke, beispielsweise zum Erreichen einer Parkposition, vorgibt. Natürlich ist es auch denkbar, dass der Fahrer zusätzlich durch akustische und/oder haptische Warnsignale auf von dem Erfassungssensor beziehungsweise von den Erfassungssensoren erfasste Objekte aufmerksam gemacht wird.According to a development of the invention, a trajectory is displayed as a function of the current steering angle in the composite environment image. This trajectory indicates the route of the vehicle along which the vehicle would move at the current steering angle. Additionally or alternatively, by means of the display device as a function of the acquired environmental image, a SoII-T is displayed, which specifies the driver of the vehicle a driving distance, for example, to reach a parking position. Of course, it is also conceivable that the driver is additionally made aware by acoustic and / or haptic warning signals on detected by the detection sensor or by the detection sensors objects.
Vorteilhafterweise werden in der Umgebung des Fahrzeugs erfasste Objekte in Abhängigkeit ihres Risikofaktors unterschiedlich grafisch, insbesondere farblich gekennzeichnet. So werden beispielsweise Objekte, die kein Hindernis darstellen, schwarz, Objekte, die als Hindernis erkannt/erfasst werden, sich aber nicht in einem kritischen Bereich befinden, grün, Objekte, die sich in einem kritischen Bereich, jedoch noch weit entfernt befinden, gelb, Objekte, die ein Eingreifen des Fahrers zur Vermeidung einer Kollision erfordern, orange, und Objekte, mit denen eine Kollision bevorsteht, rot dargestellt. Vorteilhafterweise kann das zusammengesetzte Umgebungsbild auch für autonome oder semi-autonome Einparkvorgänge benutzt werden.Advantageously, objects detected in the surroundings of the vehicle are marked differently graphically, in particular color, as a function of their risk factor. For example, objects that are not obstructive become black, objects that are detected / detected as an obstacle, but are not in a critical area, turn green, objects that are in a critical area but are still far away are yellow, Objects that require the driver to intervene to avoid a collision, orange, and objects with which a collision is imminent, shown in red. Advantageously, the composite environment image can also be used for autonomous or semi-autonomous parking operations.
Nach einer vorteilhaften Weiterbildung der Erfindung wird das zusammengesetzte Umgebungsbild durch (Video-)Bilder von mindesten einer Rückfahrkamera und/oder Seitenkamera des Fahrzeugs ergänzt. So steht dem Fahrer des Fahrzeugs zum Einen das zusammengesetzte Umgebungsbild/die Umgebungskarte und zusätzlich ein tatsächliches Videobild der Umgebung beziehungsweise eines Umgebungsbereichs zur Verfügung.According to an advantageous development of the invention, the composite environment image is supplemented by (video) images of at least one reversing camera and / or side camera of the vehicle. Thus, on the one hand the driver of the vehicle has access to the composite environment image / the environment map and additionally an actual video image of the environment or an environmental region.
Bevorzugt wird das zusammengesetzte Umgebungsbild nach einem Einparkvorgang gespeichert. Bei einem Ausparken kann das gespeicherte Umgebungsbild dann wieder verwendet werden, sodass dem Fahrer, noch bevor er das Fahrzeug bewegt hat, bereits die Umgebungskarte der Umgebung des Fahrzeugs zur Verfügung steht. Da sich die Umgebung jedoch in der Zwischenzeit verändert haben kann, wird zweckmäßigerweise das gespeicherte Umgebungsbild mit einem aktuellen zusammengefassten Umgebungsbild verglichen, um neue und/oder fehlende Objekte in der Umgebung zu ermitteln. Bevorzugt erfolgt dies mittels der mindestens zwei zueinander beabstandeten Erfassungssensoren im Stillstand des Fahrzeugs, wobei ebenfalls ein Gewinnen des aktuell zusammengefassten Umgebungsbildes mittels eines Erfassungssensors, wie oben beschrieben, denkbar ist.Preferably, the composite environment image is stored after a parking operation. When parking out the stored environmental image can then be used again, so that the driver, even before he has moved the vehicle, already the environment map of the environment of the vehicle is available. However, since the environment may have changed in the meantime, it is convenient to compare the stored environment image with a current aggregated environment image to determine new and / or missing objects in the environment. This is preferably done by means of the at least two detection sensors spaced apart from each other when the vehicle is at a standstill, wherein it is likewise conceivable to obtain the currently combined environmental image by means of a detection sensor as described above.
Weiterhin ist vorgesehen, dass neue und/oder fehlende Objekte unterschiedlich grafisch, insbesondere farblich gekennzeichnet werden. Besonders bevorzugt werden fehlende Objekte mittels einer gestrichelten Konturlinie angezeigt. Bevorzugt werden ebenfalls Objekte und/oder Umgebungsbereiche grafisch, vorzugsweise farblich gekennzeichnet, die nicht verifiziert werden können. Hier wird der Fahrer des Fahrzeugs dazu aufgefordert, diese Objekte/Umgebungsbereiche selbst zu überprüfen.It is further provided that new and / or missing objects are marked differently graphically, in particular color. Particular preference is given to displaying missing objects by means of a dashed contour line. Preferably also objects and / or surrounding areas are graphically marked, preferably in color, which can not be verified. Here, the driver of the vehicle is prompted to check these objects / surrounding areas themselves.
Das vorteilhafte Verfahren zum Anzeigen der Umgebung eines Fahrzeugs kann beispielweise beim Manövrieren in engen Gassen, Einfahrten oder Parkhäusern verwendet werden. Besonders bevorzugt wird aus den Umgebungsbildern eine vollständige Rundumsicht-Darstellung des Fahrzeugs als zusammengesetztes Umgebungsbild gewonnen. Die Erfassungssensoren werden dazu an entsprechenden Stellen des Fahrzeugs angeordnet und ausgerichtet.The advantageous method for displaying the surroundings of a vehicle can be used, for example, when maneuvering in narrow streets, driveways or parking garages. Particularly preferably, a complete all-round view of the vehicle is obtained from the environmental images as a composite environment image. The detection sensors are arranged and aligned at corresponding locations of the vehicle.
Die erfindungsgemäße Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs ist dadurch gekennzeichnet, dass der Anzeigeeinrichtung zumindest eine Recheneinheit zugeordnet ist, die von dem Erfassungssensor in mindestens zwei unterschiedlichen Fahrzeugpositionen erfasste Umgebungsbilder eines bestimmten Umgebungsbereichs und/oder von zwei zueinander beabstandet an dem Fahrzeug angeordneten Erfassungssensoren erfasste Umgebungsbilder des bestimmten Umgebungsbereichs zu einem zusammengesetzten Umgebungsbild zusammenfügt und mittels der Anzeigeeinrichtung anzeigt.The device according to the invention for displaying the surroundings of a vehicle is characterized in that the display device is associated with at least one computing unit, the detected by the detection sensor in at least two different vehicle positions environmental images of a certain environmental area and / or two spaced apart on the vehicle detection sensors detected environmental images of the particular environmental area joins together to form a composite environment image and displayed by the display device.
Vorteilhafterweise ist mindestens ein Erfassungssensor als Ultraschall-Sensor ausgebildet. Besonders bevorzugt sind alle Erfassungssensoren als Ultraschall- Sensoren ausgebildet.Advantageously, at least one detection sensor is designed as an ultrasonic sensor. Particularly preferably, all detection sensors are designed as ultrasonic sensors.
Vorteilhafterweise ist mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet angeordnet. Besonders bevorzugt ist dieser Erfassungssensor im Bereich einer Tür des Fahrzeugs oder an der Tür direkt angeordnet.Advantageously, at least one detection sensor is arranged aligned substantially perpendicular to the longitudinal axis of the vehicle. Particularly preferably, this detection sensor is arranged directly in the region of a door of the vehicle or on the door.
Weiterhin ist vorgesehen, dass die Anzeigeeinrichtung und/oder dieFurthermore, it is provided that the display device and / or the
Recheneinheit mit mindestens einer Rückfahrkamera und/oder mindestens einer Seitenkamera verbunden ist/sind.Computing unit is connected to at least one rear view camera and / or at least one side camera / are.
Zweckmäßigerweise sind der Recheneinheit ein oder mehrere Sensoren zur Erfassung der Geschwindigkeit, des Lenkwinkels und/oder des Gierwinkels des Fahrzeugs zugeordnet.The computing unit is expediently assigned one or more sensors for detecting the speed, the steering angle and / or the yaw angle of the vehicle.
Kurze Beschreibung der Zeichnungen Im Folgenden soll die Erfindung anhand mehrerer Zeichnungen näher erläutert werden. Dazu zeigenBrief description of the drawings In the following, the invention will be explained in more detail with reference to several drawings. Show this
Figuren 1 A und 1 B eine aktuelle Verkehrssituation sowie ein nach dem vorteilhaften Verfahren zusammengesetztes Umgebungsbild,FIGS. 1 A and 1 B show a current traffic situation and an environmental image composed according to the advantageous method;
Figuren 2A und 2B die Verkehrssituation zu einem späteren Zeitpunkt sowie das entsprechend zusammengesetzte Umgebungsbild undFigures 2A and 2B, the traffic situation at a later date and the corresponding composite environment image and
Figuren 3A und 3B die Verkehrssituation zu einem noch späteren Zeitpunkt sowie ein entsprechendes zusammengesetztes Umgebungsbild.Figures 3A and 3B, the traffic situation at an even later date and a corresponding composite environment image.
Ausführungsform(en) der ErfindungEmbodiment (s) of the invention
Die Figur 1 A zeigt in einer Draufsicht eine Verkehrsituation mit einem Fahrzeug 1 , das sich auf einer Straße 2 befindet. Die Straße 2 weist auf ihrer - in Fahrtrichtung des Fahrzeugs 1 gesehenen - rechten Seite einen Seitenstreifen beziehungsweise Parkstreifen 3 auf, auf dem ein Fahrzeug 4 geparkt steht. Der Parkstreifen 3 wird auf seiner rechten Seite durch einen Bordstein 5 begrenzt. Beabstandet zu dem parkenden Fahrzeug 4 ist auf dem Parkstreifen 3 ein Objekt 6, das als Poller 7 ausgebildet ist, nahe zu der Straße 2 angeordnet. Zwischen dem parkenden Fahrzeug 4 und dem Poller 7 ist auf der dem Parkstreifen 3 gegenüberliegenden Seite des Borsteins 5 ein Objekt 8, das als Pfosten 9, beispielsweise einer Straßenlaterne, ausgebildet ist, nahe zu dem Bordstein 5 angeordnet. Der Fahrer des Fahrzeugs 1 möchte nun in die Parklücke, zwischen dem parkenden Fahrzeug 4 und dem Poller 7 einparken.FIG. 1A shows a top view of a traffic situation with a vehicle 1 located on a road 2. The road 2 has on its - viewed in the direction of travel of the vehicle 1 - right side on a side strip or parking strip 3, on which a vehicle 4 is parked. The parking strip 3 is bounded on its right side by a curb 5. Spaced to the parking vehicle 4 is on the parking strip 3, an object 6, which is designed as a bollard 7, arranged close to the road 2. Between the parked vehicle 4 and the bollard 7 is on the parking strip 3 opposite side of the bristle 5, an object 8, which is designed as a post 9, for example, a street lamp, arranged close to the curb 5. The driver of the vehicle 1 now wants to park in the parking space between the parked vehicle 4 and the bollard 7.
Die Figur 1 B zeigt die Anzeige einer Anzeigeeinrichtung zum Anzeigen der Umgebung des Fahrzeugs 1. Mittels eines Erfassungssensors wird von einem bestimmten Umgebungsbereich des Fahrzeugs 1 in unterschiedlichen Fahrzeugpositionen des Fahrzeugs 1 jeweils ein Umgebungsbild 10 ermittelt. Dies kann beispielsweise beim Vorbeifahren an der zwischen dem parkenden Fahrzeug 4 und dem Poller 7 gebildeten Parklücke erfolgen. Hierzu ist der Erfassungssensor entsprechend an dem Fahrzeug 1 , insbesondere senkrecht zur Längsachse des Fahrzeugs 1 , anzuordnen. Zusätzlich oder alternativ wird mittels mindestens zweier zueinander beabstandeten Erfassungssensoren, die an dem Fahrzeug 1 angeordnet sind, von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild, bevorzugt gleichzeitig ermittelt. Aus den Umgebungsbildern des einen Erfassungssensors oder der mindestens zwei Erfassungssensoren wird jeweils ein zusammengesetztes Umgebungsbild 10 gewonnen und, wie in der Figur 1 B dargestellt, mittels der Anzeigeeinrichtung angezeigt. Das Umgebungsbild 10 zeigt das Fahrzeug 1 in einer Draufsicht, beziehungsweise in der sogenannten Bird-View-Darstellung. Mittels gestrichelter Linien 11 ist ein Fahrschlauch beziehungsweise eine Trajektorie 13 dargestellt, die den Weg angibt, den das Fahrzeug 1 mit einem aktuellen Lenkwinkel bei einer Rückwärtsbewegung fahren würde. Die Umgebung des Fahrzeugs 1 wird in der Figur 1 B wie im Stand der Technik nur schematisch dargestellt, wobei die Konturen der nächstliegenden Objekte beziehungsweise Hindernisse angedeutet werden. So wird ein Hindernisbereich 12, der sich aus dem Fahrzeug 4, dem Bordstein 5 und dem Poller 7, wie in der Figur 1 A dargestellt, zusammensetzt, als ein zusammenhängender Bereich, vorteilhafterweise in gelber Farbe, dargestellt. Ein vorstehender Abschnitt des Bereichs, der den Poller 7 berücksichtigt, wird von der Trajektorie 13 geschnitten und liegt daher im Fahrschlauch beziehungsweise auf Kollisionskurs mit dem Fahrzeug 1. Daher wird dieser Überschneidungsbereich 14 vorteilhafterweise in einer anderen Farbe, vorzugsweise orange, dargestellt. Mit dem vorteilhaften Verfahren, wie oben beschrieben, ist jedoch eine noch detailgetreuere Darstellung beziehungsweise Anzeige der Umgebung des Fahrzeugs 1 möglich. Diese wird nun in Bezug auf die Figuren 2A bis 3B näher erläutert.1 B shows the display of a display device for displaying the surroundings of the vehicle 1. By means of a detection sensor, a respective environmental image 10 is determined by a specific surrounding area of the vehicle 1 in different vehicle positions of the vehicle 1. This can be done, for example, when driving past the parking space formed between the parked vehicle 4 and the bollard 7. For this purpose, the detection sensor is corresponding to the vehicle 1, in particular vertically to the longitudinal axis of the vehicle 1, to order. Additionally or alternatively, by means of at least two detection sensors arranged at a distance from one another and arranged on the vehicle 1, in each case at least one environmental image, preferably simultaneously, is determined from the determined environmental region. From the environmental images of the one detection sensor or the at least two detection sensors, a composite environmental image 10 is obtained in each case and, as shown in FIG. 1B, displayed by means of the display device. The environment image 10 shows the vehicle 1 in a plan view, or in the so-called bird-view representation. By dashed lines 11, a driving tube or a trajectory 13 is shown, which indicates the way that the vehicle 1 would drive with a current steering angle during a backward movement. The environment of the vehicle 1 is shown only schematically in FIG. 1B as in the prior art, the contours of the nearest objects or obstacles being indicated. Thus, an obstacle area 12, which is composed of the vehicle 4, the curb 5 and the bollard 7, as shown in Figure 1 A, as a contiguous area, advantageously shown in yellow. A protruding portion of the area that takes account of the bollard 7 is cut by the trajectory 13 and therefore lies in the travel path or on a collision course with the vehicle 1. Therefore, this overlap region 14 is advantageously displayed in a different color, preferably orange. With the advantageous method, as described above, however, a more detailed representation or display of the environment of the vehicle 1 is possible. This will now be explained in more detail with reference to FIGS. 2A to 3B.
Die Figur 2A zeigt die Verkehrssituation aus der Figur 1 A zu einem späteren Zeitpunkt, zu dem der Fahrer das Fahrzeug 1 rückwärts schräg in die Parklücke zwischen dem Fahrzeug 4 und Poller 7 bewegt hat. Das Fahrzeug 1 steht nun teilweise bereits in der Parklücke. Die Figur 2B zeigt dazu ein zusammengesetztes Umgebungsbild 15, das gemäß dem vorteilhaften Verfahren gewonnen wurde. Dargestellt ist das Fahrzeug 1 in einer Draufsicht (Bird-View-Darstellung). Durch das vorteilhafte Verfahren ist es möglich, die Form des Objekts 6 beziehungsweise des Pollers 7 durch die Betrachtung aus unterschiedlichen Perspektiven zu ermitteln und entsprechend wie in der Figur 2B dargestellt, anzuzeigen. Das Objekt 6 ist somit getrennt von dem in der Figur 1 B dargestellten Hindernisbereich 12 angezeigt. Die Figur 2B zeigt den übrigen Hindernisbereich 12 - mit Ausnahme des Objekts 6 - weiterhin an, wobei nunmehr auch der Pfosten 9 beziehungsweise das Objekt 8, der/das sich jenseits des Bordsteins 5 befindet, angezeigt wird. Vorteilhafterweise wird das Objekt 8 ebenfalls orange dargestellt, da es sich zwar in dem aktuell vorliegenden Fahrschlauch beziehungsweise in der aktuell vorliegenden Trajektorie 13 befindet, aber die Entfernung zum Fahrzeug 1 noch unkritisch ist. Ebenso wird der sich mit der Trajektorie 13 überschneidende Überschneidungsbereich 16 in dem Umgebungsbild 15 farblich markiert. Der Fahrer kann nun zwischen nächsten und dahinter liegenden Objekten unterscheiden, sowie die Form von Objekten erkennen. Dies wird durch das vorteilhafte, oben beschriebene Zusammensetzen von den von dem jeweiligen Umgebungsbereich erfassten Umgebungsbildern möglich. Vorteilhafterweise werden als Erfassungssensoren hierbei Ultraschall-Sensoren verwendet. In der Figur 2A sind hierzu Erfassungssensoren 18 sowie eine das zusammengesetzte Umgebungsbild 15 darstellende Anzeigeeinrichtung 19 beispielhaft zur Veranschaulichung dargestellt. In die Anzeigeeinrichtung 19 ist hierbei eine die Umgebungsbilder zusammensetzende Recheneinheit 20 integriert.FIG. 2A shows the traffic situation from FIG. 1A at a later point in time at which the driver has moved the vehicle 1 backwards obliquely into the parking space between the vehicle 4 and the bollard 7. The vehicle 1 is now partly already in the parking space. FIG. 2B shows a composite environmental image 15 which was obtained according to the advantageous method. Shown is the vehicle 1 in a plan view (bird-view view). By means of the advantageous method, it is possible to determine the shape of the object 6 or of the bollard 7 by viewing from different perspectives and correspondingly as in the figure 2B, to display. The object 6 is thus displayed separately from the obstacle area 12 shown in FIG. 1B. FIG. 2B further indicates the remaining obstacle area 12, with the exception of the object 6, whereby the post 9 or the object 8 which is located beyond the curb 5 is now also displayed. Advantageously, the object 8 is also shown in orange, since it is indeed in the currently available driving tube or in the currently present trajectory 13, but the distance to the vehicle 1 is not critical. Likewise, the intersecting region 16 overlapping with the trajectory 13 is marked in color in the surrounding image 15. The driver can now distinguish between next and behind objects as well as recognize the shape of objects. This is made possible by the advantageous composition of the environmental images captured by the respective surrounding area as described above. Advantageously, ultrasonic sensors are used as detection sensors. For this purpose, detection sensors 18 and a display device 19 representing the composite environment image 15 are illustrated by way of example for illustration purposes in FIG. 2A. In this case, an arithmetic unit 20 composing the surroundings images is integrated into the display device 19.
Die Figur 3A zeigt die Verkehrssituation aus den vorhergehenden Figuren 1 A und 2A zu einem noch späteren Zeitpunkt, zu dem das Fahrzeug 1 in der Parklücke zwischen dem Fahrzeug 4 und dem Poller 7 in einer Parkposition steht. Das Fahrzeug 1 steht dabei mit seinem Heckbereich nahe an dem Poller 7 beziehungsweise dem Objekt 6 und mit einer Beifahrertür 17 auf Höhe des Objekts 8 beziehungsweise des Pfostens 9.FIG. 3A shows the traffic situation from the preceding FIGS. 1A and 2A at an even later point in time when the vehicle 1 is in a parking position in the parking space between the vehicle 4 and the bollard 7. The vehicle 1 stands with its rear area close to the bollard 7 or the object 6 and with a passenger door 17 at the height of the object 8 and the post 9.
Die Figur 3B zeigt das Umgebungsbild 15 entsprechend der in der Figur 3A dargestellten Verkehrssituation zu dem noch späteren Zeitpunkt. Hierbei werden das Objekt 8 und das Objekt 6 rot dargestellt, da sie sich sehr nah an dem Fahrzeug, also in einem kritischen Bereich befinden. Durch die Nähe des Fahrzeugs wird ihr Risikofaktor erhöht, und dadurch die Farbe von dem vorher unkritischen Orange zu Rot geändert. Dabei wird das Objekt 6 beziehungsweise der Poller 7 deshalb rot dargestellt, beziehungsweise als hohes Risiko erfasst, da es/er sich in der aktuellen Trajektorie 13 beziehungsweise in dem Fahrschlauch des Fahrzeugs 1 befindet. Das Objekt 8 beziehungsweise der Pfosten 9 weist hingegen deshalb ein hohes Risiko auf, weil es/er sich nahe zu der Tür des Beifahrers 17 befindet. Hierdurch soll der Fahrer und/oder der Beifahrer mittels der Anzeige beziehungsweise dem zusammengesetzten Umgebungsbild 15 darauf aufmerksam gemacht werden, dass die Tür 17 nicht geöffnet werden sollte beziehungsweise nicht geöffnet werden kann. Als Sicherheitsmaßnahme ist es hierbei denkbar, die Tür 17 automatisch zu verriegeln oder mittels haptischer und/oder akustischer Signale die Aufmerksamkeit des Fahrers und/oder des Beifahrers auf das Risiko durch das Objekt 8 hinzuweisen. Weiterhin ist es denkbar, dass die Tür gerade so weit geöffnet werden kann, dass sie nicht mit dem Objekt 8 beziehungsweise Pfosten 9 kollidiert.FIG. 3B shows the environmental image 15 corresponding to the traffic situation shown in FIG. 3A at the even later point in time. In this case, the object 8 and the object 6 are displayed in red, since they are located very close to the vehicle, ie in a critical area. The proximity of the vehicle increases its risk factor, thereby changing the color from the previously uncritical orange to red. In this case, the object 6 or the bollard 7 is therefore shown red, or recorded as high risk, since it / he is in the current trajectory 13 or in the Ride of the vehicle 1 is located. The object 8 or the post 9, however, has a high risk because it is close to the door of the passenger 17. In this way, the driver and / or the passenger should be made aware by means of the display or the composite environment image 15 that the door 17 should not be opened or can not be opened. As a safety measure, it is conceivable here to automatically lock the door 17 or to alert the driver and / or the passenger to the risk by the object 8 by means of haptic and / or acoustic signals. Furthermore, it is conceivable that the door can just be opened so far that it does not collide with the object 8 or post 9.
Durch das zusammengesetzte Umgebungsbild 15 (dynamisches 2D-BiId), das eine Umgebungskarte der gesamten näheren Umgebung des Fahrzeugs darstellt, kann ein Fahrer des Fahrzeugs 1 insbesondere bei Einparkvorgängen oder beim Rangieren in enger Umgebung visuell unterstützt werden. Zur Positionierung der erfassten Hindernisse/Objekte zu dem Fahrzeug 1 auf der Anzeigeeinrichtung 19 werden vorteilhafterweise der Lenkwinkel, der Gierwinkel und/oder die Geschwindigkeit des Fahrzeugs erfasst. Der Fahrer kann aufgrund der ihm durch die Anzeige bereitgestellten Informationen leicht Kollisionen und/oder Risiken beim Rangieren und/oder Einparken aus dem Weg gehen. Vorteilhafterweise wird das beim Einparken ermittelte, zusammengesetzte Umgebungsbild 15 abgespeichert und beim Ausparken wieder verwendet. Wobei hierbei vorteilhafterweise eine Verifizierung und Plausibilisierung mittels einer erneuten Erfassung der Umgebung durchgeführt werden sollte. Das Fahrzeug 1 wird typischerweise mit zehn oder zwölf Ultraschallsensoren ausgestattet, wobei als Basis eines Standardparksystems jeweils vier Erfassungssensoren beziehungsweise Ultraschall-Sensoren vorne und hinten an dem Fahrzeug vorgesehen sind. Zusätzlich ist es vorteilhaft, wenn an jeder Seite des Fahrzeugs zumindest je ein Erfassungssensor vorgesehen wird. Grundsätzlich kann jedoch die Anzahl der hinteren, vorderen und seitlichen Erfassungssensoren variiert werden. Wobei mit zunehmender Anzahl die Detailgenauigkeit des Umgebungsbildes steigt. Insgesamt ermöglicht das vorteilhafte Verfahren durch das Erfassen eines bestimmten Umgebungsbereichs der Umgebung aus unterschiedlichen Perspektiven das Bestimmen der Form von Objekten, sowie das Erfassen mehrerer hintereinander angeordneter Objekte (Mehrzielfähigkeit). Bezogen auf das vorliegende Ausführungsbeispiel der Figuren 1A bis 3B wird die Umgebung des Fahrzeugs 1 zweckmäßigerweise in mehrere unterschiedliche aneinander grenzende oder sich teilweise überlappende Umgebungsbereiche eingeteilt, wobei die Einteilung abhängig von Anordnung, Anzahl und Ausrichtung der Erfassungssensoren ist, und anschließend nach Erfassung des jeweiligen Umgebungsbereichs aus unterschiedlichen Perspektiven zu dem zusammengesetzten Umgebungsbild zusammengeführt werden. By means of the composite environment image 15 (dynamic 2D image), which represents an environment map of the entire vicinity of the vehicle, a driver of the vehicle 1 can be visually assisted, in particular during parking operations or when maneuvering in close proximity. For positioning the detected obstacles / objects to the vehicle 1 on the display device 19, the steering angle, the yaw angle and / or the speed of the vehicle are advantageously detected. The driver may easily avoid collisions and / or risks in maneuvering and / or parking due to the information provided to him by the display. Advantageously, the determined when parking, composite environmental image 15 is stored and used again when you parked. In this case, advantageously, a verification and plausibility check by means of a new detection of the environment should be performed. The vehicle 1 is typically equipped with ten or twelve ultrasonic sensors, with four detection sensors or ultrasonic sensors being provided on the front and rear of the vehicle as the basis of a standard parking system. In addition, it is advantageous if at least one detection sensor is provided on each side of the vehicle. In principle, however, the number of rear, front and side detection sensors can be varied. Whereby with increasing number the detail accuracy of the environment picture increases. Overall, the advantageous method makes it possible by detecting a specific environmental region of the environment Different perspectives determining the shape of objects, as well as the detection of several consecutively arranged objects (multi-target capability). With reference to the present embodiment of FIGS. 1A to 3B, the surroundings of the vehicle 1 are expediently divided into a plurality of different contiguous or partially overlapping surrounding areas, the division depending on the arrangement, number and orientation of the detection sensors, and subsequently after detection of the respective surrounding area be brought together from different perspectives to the composite environment image.

Claims

Ansprüche claims
1. Verfahren zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mittels mindestens einer Anzeigeeinrichtung des Fahrzeugs, wobei die Umgebung während der Fahrt oder im Stillstand des Fahrzeugs von mindestens einem Erfassungssensor als Umgebungsbild erfasst wird, dadurch gekennzeichnet, dass mittels des Erfassungssensors von einem bestimmten Umgebungsbereich in unterschiedlichen Fahrzeugpositionen jeweils ein Umgebungsbild ermittelt und/oder mittels mindestens zweier zueinander beabstandeten1. A method for displaying the environment of a vehicle, in particular a motor vehicle, by means of at least one display device of the vehicle, wherein the environment is detected while driving or at a standstill of the vehicle by at least one detection sensor as environmental image, characterized in that by means of the detection sensor of a certain Ambient area determined in different vehicle positions in each case an environmental image and / or by means of at least two spaced apart
Erfassungssensoren von dem bestimmten Umgebungsbereich jeweils mindestens ein Umgebungsbild ermittelt wird, wobei aus den Umgebungsbildern ein zusammengesetztes Umgebungsbild gewonnen und mittels der Anzeigeeinrichtung angezeigt wird.Detection sensors of the specific environmental area in each case at least one environmental image is determined, wherein obtained from the environmental images, a composite environment image and displayed by means of the display device.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Erfassungssensor ein Ultraschall-Sensor verwendet wird.2. The method according to claim 1, characterized in that an ultrasonic sensor is used as a detection sensor.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Erfassungssensor ein Short-Range-Radarsensor, ein Lidar-Sensor oder ein Range-Imager verwendet wird.3. The method according to claim 1, characterized in that a short-range radar sensor, a lidar sensor or a range imager is used as a detection sensor.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Gewinnung des zusammengesetzten Umgebungsbildes die Geschwindigkeit, der Lenkwinkel und/oder der4. The method according to any one of the preceding claims, characterized in that in the recovery of the composite environment image, the speed, the steering angle and / or the
Gierwinkel des Fahrzeugs berücksichtigt werden.Yaw angle of the vehicle are taken into account.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Geschwindigkeit mittels eines oder mehrerer Raddrehzahlsensoren erfasst wird.5. The method according to any one of the preceding claims, characterized in that the speed is detected by means of one or more wheel speed sensors.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor im Wesentlichen senkrecht zur Längsachse des Fahrzeugs ausgerichtet wird. 6. The method according to any one of the preceding claims, characterized in that at least one detection sensor is aligned substantially perpendicular to the longitudinal axis of the vehicle.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Trajektorie in Abhängigkeit des aktuellen Lenkwinkel in dem zusammengesetzten Umgebungsbild angezeigt wird.7. The method according to any one of the preceding claims, characterized in that a trajectory is displayed in dependence on the current steering angle in the composite environment image.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Umgebung erfasste Objekte in Abhängigkeit ihres Risikofaktors unterschiedlich grafisch, insbesondere farblich gekennzeichnet werden.8. The method according to any one of the preceding claims, characterized in that detected in the environment objects are characterized differently graphically, in particular color, depending on their risk factor.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zusammengesetzte Umgebungsbild für autonome oder semi-autonome Einparkvorgänge benutzt wird.9. The method according to any one of the preceding claims, characterized in that the composite environment image is used for autonomous or semi-autonomous parking operations.
10.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zusammengesetzte Umgebungsbild durch10.Verfahren according to any one of the preceding claims, characterized in that the composite environment image by
Bilder von mindestens einer Rückfahrkamera und/oder einer Seitenkamera ergänzt wird.Pictures of at least one rear view camera and / or a side camera is added.
11.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das aktuelle zusammengesetzte Umgebungsbild nach einem Einparkvorgang gespeichert wird.11.Verfahren according to any one of the preceding claims, characterized in that the current composite environment image is stored after a parking operation.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das gespeicherte Umgebungsbild mit einem aktuellen zusammengefassten Umgebungsbild verglichen wird, um neue und/oder fehlende Objekte in der Umgebung zu ermitteln.12. The method according to any one of the preceding claims, characterized in that the stored environment image is compared with a current summarized environment image to determine new and / or missing objects in the environment.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein neues und/oder fehlendes Objekt grafisch, insbesondere farblich gekennzeichnet wird.13. The method according to any one of the preceding claims, characterized in that a new and / or missing object is characterized graphically, in particular color.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das gespeicherte und mit neuen und/oder fehlenden Objekten ergänzte Umgebungsbild für Ausparkvorgänge benutzt wird. 14. The method according to any one of the preceding claims, characterized in that the stored and supplemented with new and / or missing objects environment image is used for Ausparkvorgänge.
15. Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs, insbesondere Kraftfahrzeugs, mit mindestens einer dem Fahrzeug zugeordneten Anzeigeeinrichtung zum Anzeigen der Umgebung und mindestens einem Erfassungssensor zur Erfassung eines Umgebungsbildes während der15. A device for displaying the surroundings of a vehicle, in particular a motor vehicle, with at least one display device associated with the vehicle for displaying the surroundings and at least one detection sensor for detecting an environmental image during the
Fahrt oder im Stillstand des Fahrzeugs, dadurch gekennzeichnet, dass der Anzeigeeinrichtung (19) zumindest eine Recheneinheit (20) zugeordnet ist, die von dem Erfassungssensor (18) in mindestens zwei unterschiedlichen Fahrzeugpositionen erfasste Umgebungsbilder eines bestimmten Umgebungsbereichs und/oder von zwei zueinander beabstandet an dem Fahrzeug (1 ) angeordneten Erfassungssensoren (18) erfasste Umgebungsbilder des bestimmten Umgebungsbereichs zu einem zusammengesetzten Umgebungsbild (10, 15) zusammenfügt und mittels der Anzeigeeinrichtung (19) anzeigt.Drive or standstill of the vehicle, characterized in that the display device (19) is associated with at least one computing unit (20), the detected by the detection sensor (18) in at least two different vehicle positions environmental images of a particular surrounding area and / or spaced from each other at two Detection sensors (18) arranged in the vehicle (1) combine environmental images of the particular surrounding area into a composite environment image (10, 15) and display them by means of the display device (19).
16. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) als Ultraschall-Sensor (21 ) ausgebildet ist.16. The apparatus according to claim 15, characterized in that at least one detection sensor (18) as an ultrasonic sensor (21) is formed.
17. Vorrichtung nach Anspruch 15, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) als Short-Range-Radarsensor, Lidar-Senosr oder Range-Imager ausgebildet ist.17. The device according to claim 15, characterized in that at least one detection sensor (18) is designed as a short-range radar sensor, Lidar-Senosr or range imager.
18. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mindestens ein Erfassungssensor (18) insbesondere an einer Seite des Fahrzeugs (1 ) im Wesentlichen senkrecht zur Längsachse des Fahrzeugs (1 ) ausgerichtet angeordnet ist.18. Device according to one of the preceding claims, characterized in that at least one detection sensor (18) in particular on one side of the vehicle (1) is arranged substantially perpendicular to the longitudinal axis of the vehicle (1) aligned.
19. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anzeigeeinrichtung (19) und/oder die19. Device according to one of the preceding claims, characterized in that the display device (19) and / or the
Recheneinheit (20) mit mindestens einer Seitenkamera und/oder mindestens einer Rückfahrkamera verbunden ist/sind. Computing unit (20) is connected to at least one side camera and / or at least one rear-view camera / are.
20. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen oder mehrere Raddrehzahlsensoren zur Erfassung der Geschwindigkeit des Fahrzeugs (1 ). 20. Device according to one of the preceding claims, characterized by one or more wheel speed sensors for detecting the speed of the vehicle (1).
EP08870110A 2008-01-09 2008-11-10 Method and device for displaying the environment of a vehicle Withdrawn EP2229594A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008003662A DE102008003662A1 (en) 2008-01-09 2008-01-09 Method and device for displaying the environment of a vehicle
PCT/EP2008/065239 WO2009086967A1 (en) 2008-01-09 2008-11-10 Method and device for displaying the environment of a vehicle

Publications (1)

Publication Number Publication Date
EP2229594A1 true EP2229594A1 (en) 2010-09-22

Family

ID=40419178

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08870110A Withdrawn EP2229594A1 (en) 2008-01-09 2008-11-10 Method and device for displaying the environment of a vehicle

Country Status (6)

Country Link
US (1) US20100329510A1 (en)
EP (1) EP2229594A1 (en)
CN (1) CN101910866A (en)
DE (1) DE102008003662A1 (en)
RU (1) RU2010133248A (en)
WO (1) WO2009086967A1 (en)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009028760A1 (en) * 2009-08-20 2011-02-24 Robert Bosch Gmbh Method for testing the environment of a motor vehicle
DE102009028832A1 (en) * 2009-08-24 2011-03-03 Robert Bosch Gmbh Method for marking historical data in vehicle environment maps
DE102010010912A1 (en) * 2010-03-10 2010-12-02 Daimler Ag Driver assistance device for vehicle, has sensor unit for detecting object in surrounding of vehicle and display unit for optical representation of detected object by sensor unit to schematic top view of vehicle
JP5062498B2 (en) * 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 Reference data generation system and position positioning system for landscape matching
JP5057183B2 (en) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 Reference data generation system and position positioning system for landscape matching
CN101833092B (en) * 2010-04-27 2012-07-04 成都捌零科技有限公司 360-degree dead-angle-free obstacle intelligent detection and early warning method for vehicle
DE102010031672A1 (en) 2010-07-22 2012-01-26 Robert Bosch Gmbh Method for assisting a driver of a motor vehicle
DE102010051206A1 (en) * 2010-11-12 2012-05-16 Valeo Schalter Und Sensoren Gmbh A method of generating an image of a vehicle environment and imaging device
GB2491560B (en) 2011-05-12 2014-12-03 Jaguar Land Rover Ltd Monitoring apparatus and method
DE102011102744A1 (en) * 2011-05-28 2012-11-29 Connaught Electronics Ltd. Method for operating a camera system of a motor vehicle, motor vehicle and system with a motor vehicle and a separate computing device
FR2979299B1 (en) * 2011-08-31 2014-09-12 Peugeot Citroen Automobiles Sa TREATMENT DEVICE FOR ESTIMATING A FUTURE TRACK OF A VEHICLE ASSOCIATED WITH A COLOR FUNCTION OF AN ESTIMATED RISK OF COLLISION RISK FOR A DRIVING ASSISTANCE SYSTEM
DE102011112149A1 (en) * 2011-09-01 2013-03-07 Valeo Schalter Und Sensoren Gmbh Method for carrying out a parking operation of a vehicle and driver assistance device
KR101316501B1 (en) * 2011-10-14 2013-10-10 현대자동차주식회사 Parking area detection system and method thereof using mesh space analysis
DE102011086433A1 (en) * 2011-11-16 2013-05-16 Robert Bosch Gmbh Memory-based maneuvering assistance system
DE102011121285A1 (en) * 2011-12-15 2013-06-20 Gm Global Technology Operations, Llc parking aid
JP5857224B2 (en) * 2012-03-30 2016-02-10 パナソニックＩｐマネジメント株式会社 Parking assistance device and parking assistance method
DE102012012265A1 (en) 2012-06-20 2013-12-24 Audi Ag Method for operating a motor vehicle comprising a parking assistance system
DE102012015922A1 (en) * 2012-08-10 2014-02-13 Daimler Ag A method for performing a parking operation of a vehicle by means of a driver assistance system
WO2014028872A2 (en) * 2012-08-17 2014-02-20 Marquet Louis D Systems and methods to enhance operational planning
DE102012214959B4 (en) 2012-08-23 2019-03-28 Robert Bosch Gmbh Method for collision avoidance or for reducing accident damage and driver assistance system
KR101401399B1 (en) * 2012-10-12 2014-05-30 현대모비스 주식회사 Parking Assist Apparatus and Parking Assist Method and Parking Assist System Using the Same
JP5935655B2 (en) * 2012-10-24 2016-06-15 株式会社デンソー Information display device
DE102012022276A1 (en) * 2012-11-14 2014-05-28 Volkswagen Aktiengesellschaft Method and device for warning against cross traffic in the event of a breakdown
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
CN103616675A (en) * 2013-11-04 2014-03-05 法雷奥汽车内部控制（深圳）有限公司 Integrated reversing radar and control method thereof
CN103675827A (en) * 2013-11-18 2014-03-26 法雷奥汽车内部控制（深圳）有限公司 Vehicle-mounted radar detection virtual panorama system
CN104730514A (en) * 2013-12-19 2015-06-24 青岛盛嘉信息科技有限公司 Four-wheel distance measurement device
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US10328932B2 (en) 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
JP6528382B2 (en) * 2014-10-22 2019-06-12 株式会社Ｓｏｋｅｎ Vehicle Obstacle Detection Device
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
US9834141B2 (en) 2014-10-28 2017-12-05 Nissan North America, Inc. Vehicle object detection system
US9725040B2 (en) 2014-10-28 2017-08-08 Nissan North America, Inc. Vehicle object detection system
FR3031707B1 (en) * 2015-01-16 2018-06-29 Renault S.A.S. METHOD AND DEVICE FOR AIDING THE REVERSE MANEUVER OF A MOTOR VEHICLE
CN107531182B (en) * 2015-08-27 2023-10-27 Jvc 建伍株式会社 Display device for vehicle and display method for vehicle
US10179590B2 (en) 2015-09-10 2019-01-15 Ford Global Technologies, Llc Park out assist
US20170102451A1 (en) * 2015-10-12 2017-04-13 Companion Bike Seat Methods and systems for providing a personal and portable ranging system
CN105427671A (en) * 2015-12-20 2016-03-23 李俊娇 Driving aid device in fog area based on radar detection
KR102359806B1 (en) * 2016-06-27 2022-02-09 모빌아이 비젼 테크놀로지스 엘티디 Control of the host vehicle based on the detected parking vehicle characteristics
DE102016011915A1 (en) 2016-10-05 2017-06-01 Daimler Ag Method for displaying an environment of a vehicle
US11392133B2 (en) * 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
CN108099905B (en) * 2017-12-18 2020-08-18 深圳大学 Vehicle yaw detection method and system and machine vision system
WO2019133786A1 (en) * 2017-12-29 2019-07-04 General Electric Company Sonic pole position triangulation in a lighting system
DE102018214875A1 (en) * 2018-08-31 2020-03-05 Audi Ag Method and arrangement for generating an environmental representation of a vehicle and vehicle with such an arrangement
DE102019123778A1 (en) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Representing a vehicle environment for moving the vehicle to a target position
CN111198385A (en) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 Obstacle detection method, obstacle detection device, computer device, and storage medium
EP4194883A1 (en) * 2021-12-09 2023-06-14 Aptiv Technologies Limited Device and method for determining objects around a vehicle
CN117455792B (en) * 2023-12-25 2024-03-22 武汉车凌智联科技有限公司 Method for synthesizing and processing 360-degree panoramic image built-in vehicle

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3844340A1 (en) * 1988-12-30 1990-07-05 Licentia Gmbh Parking aid
DE19741896C2 (en) 1997-09-23 1999-08-12 Opel Adam Ag Device for the visual representation of areas around a motor vehicle
EP1050866B1 (en) * 1999-04-28 2003-07-09 Matsushita Electric Industrial Co., Ltd. Parking assistance device and method
US6483429B1 (en) * 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
JP2002036991A (en) * 2000-07-27 2002-02-06 Honda Motor Co Ltd Parking support device
JP3750512B2 (en) * 2000-10-12 2006-03-01 日産自動車株式会社 Vehicle obstacle detection device
JP4765213B2 (en) * 2001-07-19 2011-09-07 日産自動車株式会社 Parking assistance device for vehicles
DE10220426A1 (en) * 2002-05-08 2003-11-20 Valeo Schalter & Sensoren Gmbh Method for operating a parking assistance system and parking assistance system
DE10257722A1 (en) * 2002-12-11 2004-07-01 Robert Bosch Gmbh parking aid
JP2005025692A (en) * 2003-07-04 2005-01-27 Suzuki Motor Corp Vehicle information provision apparatus
DE10331948A1 (en) * 2003-07-15 2005-02-24 Valeo Schalter Und Sensoren Gmbh Maneuvering assistance method for vehicle, storing recorded maneuver and supporting repeated performance of stored maneuver
JP3931857B2 (en) * 2003-07-23 2007-06-20 トヨタ自動車株式会社 Parking assistance device and reverse assistance device
DE102004027640A1 (en) 2004-06-05 2006-06-08 Robert Bosch Gmbh Method and device for assisted parking of a motor vehicle
US7106183B2 (en) * 2004-08-26 2006-09-12 Nesa International Incorporated Rearview camera and sensor system for vehicles
JP4724522B2 (en) * 2004-10-28 2011-07-13 株式会社デンソー Vehicle periphery visibility support system
JP4604703B2 (en) * 2004-12-21 2011-01-05 アイシン精機株式会社 Parking assistance device
DE102005027165B4 (en) * 2005-06-13 2024-01-25 Robert Bosch Gmbh Method and device for issuing parking instructions
JP2007030700A (en) * 2005-07-27 2007-02-08 Aisin Seiki Co Ltd Parking support device
JP4882302B2 (en) * 2005-07-28 2012-02-22 株式会社アドヴィックス Parking assistance control device and parking assistance control system
JP4622806B2 (en) * 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
JP4414959B2 (en) * 2005-11-16 2010-02-17 アイシン精機株式会社 Parking assistance device
DE102005061909A1 (en) * 2005-12-23 2007-07-05 Volkswagen Ag Automotive semi-automatic parking guidance system reverses front wheel azimuth setting in response to directional change
JP4769625B2 (en) * 2006-04-25 2011-09-07 トヨタ自動車株式会社 Parking assistance device and parking assistance method
JP5309442B2 (en) * 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 Parking support method and parking support device
US7970535B2 (en) * 2006-07-04 2011-06-28 Denso Corporation Drive assist system
US8332097B2 (en) * 2007-12-14 2012-12-11 Denso International America, Inc. Method of detecting an object near a vehicle

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2009086967A1 *

Also Published As

Publication number Publication date
US20100329510A1 (en) 2010-12-30
WO2009086967A1 (en) 2009-07-16
DE102008003662A1 (en) 2009-07-16
RU2010133248A (en) 2012-02-20
CN101910866A (en) 2010-12-08

Similar Documents

Publication Publication Date Title
EP2229594A1 (en) Method and device for displaying the environment of a vehicle
EP2766237B1 (en) Device for assisting a driver driving a vehicle or for independently driving a vehicle
EP1147032B1 (en) Device for monitoring the surrounding area of a vehicle during parking
DE102008036009B4 (en) Method for collision protection of a motor vehicle and parking garage assistant
EP2493745B1 (en) Method for support when driving out of a parking space
EP2594461B1 (en) Method for detecting a parking space for a motor vehicle, parking assistance system and motor vehicle with a parking assistance system
DE102015202435A1 (en) Vehicle control system for aligning an inductive charging connection
DE102008004633A1 (en) Method and device for detecting and / or measuring a parking space
EP2982572B1 (en) Method for assisting a driver of a motor vehicle when driving out of a parking space, driver assistance system, and motor vehicle
EP1642768A1 (en) Procedure for displaying the vehicle driving area
DE102009024083A1 (en) Method for carrying out an at least semi-autonomous parking operation of a vehicle and parking assistance system for a vehicle
WO2012069330A1 (en) Method and device for assisting a driver of a motor vehicle when exiting a parking space, and motor vehicle
EP1874611A1 (en) Method and device for evaluating distance measuring data of a distance measuring system of a motor vehicle
DE102006051977B4 (en) Parking assistance system
DE102009046726A1 (en) Method for detecting and selecting e.g. longitudinal parking spaces, for aiding driver of car for transporting persons or materials, involves displaying surfaces as possible parking spaces, and selecting suitable parking spaces
WO2006069973A1 (en) Method for determining the ability to enter a parking space and a parking assist device
WO2011138164A1 (en) Method for operating a driver assistance system of a vehicle, driver assistance system and vehicle
DE102009046674A1 (en) Method for assisting parking process of motor vehicle i.e. lorry, by parking device, involves instaneously detecting contours of actuating position by sensor device, and guiding motor vehicle to actuating position by parking device
WO2012003942A2 (en) Method and device for driver support when driving and/or parking a vehicle
WO2012171740A1 (en) Retrofit parking assistance kit
EP2493746B1 (en) Method for assisting a driver while parking
WO2012019941A1 (en) Method for assisting a driver in controlling a motor vehicle, and driver assistance system
DE102010000964A1 (en) Method for assisting a driver of a motor vehicle
DE102010001288A1 (en) Method for assisting a driver of a motor vehicle when parking
WO2014202496A1 (en) Method for displaying environment information in a vehicle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100809

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17Q First examination report despatched

Effective date: 20110119

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110531