EP2637898A1 - Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung - Google Patents

Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung

Info

Publication number
EP2637898A1
EP2637898A1 EP11785353.1A EP11785353A EP2637898A1 EP 2637898 A1 EP2637898 A1 EP 2637898A1 EP 11785353 A EP11785353 A EP 11785353A EP 2637898 A1 EP2637898 A1 EP 2637898A1
Authority
EP
European Patent Office
Prior art keywords
image
vehicle
camera
parking
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11785353.1A
Other languages
English (en)
French (fr)
Inventor
Vsevolod Vovkushevsky
Jens Bammert
Tobias Geiger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Publication of EP2637898A1 publication Critical patent/EP2637898A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a method for generating an image of a vehicle environment of a vehicle with a camera by recording a first partial image in a first position or orientation of the camera and recording at least one second partial image in at least one second position or
  • the present invention relates to a
  • An imaging device for generating an image of a vehicle environment of a vehicle with a corresponding camera.
  • Vehicles often have driver assistance systems to assist the driver in operating the vehicle.
  • Such assistance systems include z. B. a
  • Parking assistance system an ACC system, a lane keeping system, a lane change system, a high beam assistant and the like.
  • some cameras built into the vehicle provide the driver with information about the surroundings of the vehicle.
  • either the current image of the camera or current images of cameras are displayed individually or in combination, or the individual images are processed so that a virtual image emerges from a bird's eye view.
  • Systems are also known which use different sensors (usually ultrasound-based) to scan the surroundings of the vehicle and calculate the distances between the vehicle itself and the obstacles used to warn the driver.
  • Systems are also known which calculate a trajectory in recognized parking spaces and can maneuver the vehicle by driving the steering semi-automatically into the parking space. If such systems are operated separately, it may be difficult for the driver to associate the warning or event with the camera image. In addition, it is not always clear from the picture which obstacle is critical and which is not.
  • a navigation device connects image data acquired by an image data acquisition unit to a position where the Image data are recorded, and stores the data as a previous image data in an image memory.
  • the control unit further determines whether the vehicle has entered at least in a parking target area. Is determined that the vehicle in the
  • Parking set area then an earlier image based on the earlier image data taken by the parking target area and a current image based on the image data obtained at the current position of the vehicle are displayed on a direction display.
  • US Pat. No. 7,212,653 B2 discloses an image processing system for a vehicle for taking pictures from the surroundings of the vehicle. The images are stored and a processed image obtained by processing a previous image taken before reaching a current position is superimposed on a portion of a current image that can not be captured by the camera.
  • the system has one
  • An imaging member for recording with a single camera during the transition of the vehicle from a first to a second location, first and second images around the vehicle at a first and second location and at a first and second time.
  • the system has an object distance calculating part for calculating a distance from the vehicle to the 3D object by using the position of the 3D object in each of the first and second images and the transition data of the vehicle.
  • an image generator is provided for generating a third image based on the images and the acquired data.
  • the object of the present invention is to obtain more meaningful images of a vehicle environment and to assist the driver
  • a method for generating an image of a vehicle surroundings of a vehicle with a camera
  • Each field corresponds to the entire detection range of the camera
  • the first field and the second field are assembled to the image of the vehicle environment so that the image shows a larger area than each field.
  • a camera for capturing a first partial image in a first position or orientation and for capturing at least one second partial image in at least one second position or orientation of the camera, wherein
  • Each field corresponds to the entire detection range of the camera, further comprising
  • An image synthesis device with which the first field and the second field to the image of the vehicle environment is composable so that the image shows a larger area than each field.
  • the driver can thereby avoid the situation in the
  • the generated image may have a virtual viewpoint above the vehicle. It is thus provided a bird's eye view image. Such a picture further makes it easier for the driver to assess the current situation.
  • the picture shows a parking space in at least one of the fields
  • the driver is presented in a normal mode one or more of the partial images and in an extended mode, when the parking space is recognized as free, the entire composite image.
  • the parking space can be measured by means of an ultrasonic sensor.
  • ultrasonic sensors are robust and reliable. You can capture limitations of a parking space for surveying or visual representation with sufficient accuracy.
  • an artificial picture element which represents a dimension of the parking space, an obstacle or a calculated parking path is superimposed in the picture.
  • obstacles that are outside the field of view of the camera system can also be displayed. With this information, the driver can lead the vehicle much safer.
  • a picture element representing an automatically proposed parking position can be faded into the picture and the parking position can be changed by manually shifting the picture element.
  • the driver can thus one
  • Parking process of the vehicle carried out semi-automatically or fully automatically. Of the Parking process can thus be better assessed or tracked by the driver.
  • the image may represent multiple parking spaces in the vehicle environment, and the driver may select one of them for parking.
  • the image is not only used to visualize a parking operation in a given parking space, but also to select one of several parking spaces meaningful.
  • the imaging device can have a plurality of cameras. Then, the images taken in parallel with the cameras can be used together with images taken earlier by the cameras to produce an overall image. It may be sufficient if each of the individual cameras each have a detection range corresponding to a radius of less than 5 m. This is usually sufficient to register the critical environment of a vehicle, in particular for a parking operation.
  • a vehicle equipped with such a driver assistance system can be guided by a driver very comfortably.
  • Fig. 1 is a bird's eye view of a parking situation with parallel
  • Fig. 2 is a block diagram of a controller with connected
  • Fig. 3 is a principle block diagram of the controller of Fig. 2;
  • Fig. 5 is a map of the environment in a schematic representation
  • Fig. 6 is a map view, as of a invention
  • Imaging device is generated.
  • Embodiments of the present invention In contrast to the known systems for generating images of a
  • Vehicle environment the consecutively obtained in different vehicle positions or orientations or positions of the camera images so put together that an image of the vehicle environment can be displayed, which has a larger area than the detection range of a single camera.
  • Camera system can be used in particular to take in the measurement of a parking space successively multiple images, store them and then using the images taken and by means of displacement sensors (wheel sensors on the vehicle, possibly a steering angle sensor) determined travel path to generate an expanded environment image that the parking space and covering the parking space limiting obstacles.
  • displacement sensors wheel sensors on the vehicle, possibly a steering angle sensor
  • partially overlapping images can be combined to form a new image, the new image combining image information from the individual images and resulting in a larger image.
  • the general approach is to combine the display and environmental sensing functions.
  • the resulting HMI output is particularly understandable for the driver.
  • the environment of the vehicle is scanned by means of suitable sensors and an image of the environment is stored in an environment map (see FIG.
  • the information stored in the area map is further processed so that individual obstacles can be identified and classified.
  • the risk of collision is also determined and, if necessary, values for a distance-to-collision and time-to-collision calculated.
  • the information obtained using the environment map is used when generating HMI images.
  • the detected obstacles are displayed directly at the right places in the image (obstacle highlighting).
  • the dangerous obstacles are highlighted by a special presentation.
  • distances can also be displayed as bars or numeric values.
  • the predicted or planned trajectory, for example, of a semi-automatic parking process of the vehicle is also displayed. This type of presentation can be used both for images generated from a natural perspective (live view) and for images created as a bird's-eye view.
  • Obstacles 3, 4, 5, the target position 6 in the parking space 2 and the currently planned trajectory are displayed.
  • Such a representation can also be used for an interactive correction of, for example, the target position by the driver.
  • a corresponding input means is then provided to move the picture element, which is shown as a superposition element (target position 6) in the overall picture.
  • the system calculates the
  • the camera or the cameras of the vehicle 1 take a plurality of partial images, from which a current image 7 (bird's-eye view in FIG. 1 or enlarged live-view image) is generated.
  • Image 7 is thus the result of a combination of images taken at partially different times, these images individually covering only a part of the image 7, if necessary with overlapping. That generated
  • Whole image can be expanded with virtual objects that have not been seen with the camera, but z. B. already detected by ultrasound.
  • a camera image 7 possibly composed of several partial images, is available up to half of the gap 2.
  • a curb 4 or a wall could be detected.
  • Curb 4 may already be displayed above the camera image 7 in the image presented to the driver. If necessary, the curb 4 is even displayed behind the parked vehicles 3 and 5 in the image, if it was registered by other sensors or interpolated computationally. All these aspects help to better connect the camera image with reality.
  • the camera image 7 extends to the limit of the detection range of the camera system. In the example of FIG. 7, however, the camera image 7 does not extend to the curb 4.
  • the area between the border of the camera image 7 and the curb 4 can be shown in color for better orientation of the driver.
  • the parking space 2 or the target position 6 could be marked green, which conveys to the driver that the parking space is sufficiently large.
  • the area from the detection limit of the camera system to the curb could be grayed out. In particular, it can be represented with that color which possesses, for example, the roadway or the optically detected partial area of the parking space.
  • the curb 4 au outside the detection range of the camera system is detected by the ultrasonic sensors in position and size. From these measured quantities, a virtual object and its position are calculated true to scale in the enlarged image displayed to the driver.
  • the extended image is thus composed of a camera image (possibly several sub-images) and the virtual objects, with intervening areas possibly being suitably colored.
  • the "camera image" can be calculated from one or more live-view images.
  • This fade-out is always dynamically adapted to the current image representation or the current position of the vehicle.
  • the camera images are processed so that objects can be recognized. In doing so, the information from the area map for the calculation of interesting areas and
  • Another illustration possibility relates to the fading in of the information about the environment into the viewing devices used by the driver taking into account the
  • Such vision devices include mirrors (side mirrors, rearview mirrors) and head-up display's front and
  • Rear window or a hologram presentation unit which moves the static or dynamic, recognized objects in the field of view of the driver.
  • the driver moves in the direction of an obstacle to be warned, he can there recognize the object or obstacle being warned, real and marked, and he understands the warning during the parking operation or the driving movement.
  • Particularly advantageous is a representation in combination with the electronic, camera-based mirrors, in which the image is generated purely electronically and suggests a mirror image.
  • the map information can be blended into all the mirror images so that the driver, no matter where he looks, can always perceive the system view of the obstacles, trajectory, and so forth.
  • control unit 10 which is networked with several peripheral devices 1 1 to 16.
  • This controller 16 is capable of producing an image according to the present invention. For this purpose it receives corresponding image information or partial images from a camera 1 1 or more cameras.
  • the controller 10 the camera 1 1 drive to capture images.
  • the orientation of the camera 1 1 can be varied via the control unit 10.
  • control unit 10 has as further suppliers of
  • Input information ultrasonic sensors 12 These provide, for example
  • an electric power steering are connected to the control unit 10, for example via a CAN bus. It delivers the current steering angle to the
  • an ESP 14 (Electronic Stabilization Program) is connected to the control unit via the CAN-BUS.
  • the ESP 14 provides motion data to the controller 10. This includes, for example, the wheel speed, the roll direction, the yaw rate, the acceleration, and the like.
  • control unit 10 is connected here to a head unit 15.
  • head unit 15 any other optical output device
  • control unit 10 (eg screen). It can also be controlled by the control unit 10, several optical display devices.
  • a speaker 16 or more speakers is used as an acoustic wave
  • the structure and the data flows of a system implementing the solution according to the invention will now be explained with reference to FIG.
  • the camera 1 1 is in a
  • Video processing unit 20 embedded. It supplies video raw data 21 to
  • Video controller 22 This will, as indicated by the rectangle on the right edge of the box of the video controller 22, result in a processing loop
  • an ultrasonic processing 30 is provided. It comprises the ultrasonic sensor 12. This supplies raw data 31 to a signal filter 32. The filtered sensor data 33 become a
  • Obstacle detection unit 34 supplied. This continuously performs a data analysis to detect obstacles in a processing loop.
  • a position detection unit 40 (eg, odometry, ESP, EPS, etc.) constantly supplies current position data 41 to a memory unit 42. From this memory unit 42, the video control unit 22 and the obstacle detection unit 34 call
  • the current position on request 43 is made available to a memory unit 44 in which the local map of the immediate vicinity of the vehicle (see Fig. 6) is stored.
  • the surrounding area refers to a radius of 30 m around the vehicle.
  • an object tracking 45 is constantly performed. In this case, it is calculated, for example, in which direction an object moves relative to the vehicle, so that it can also be displayed when it is outside the detection range of the camera 11 or the ultrasonic sensors 12.
  • a functional logic 50 receives on request 51 map data or
  • Obstacle information from the memory unit 44 is from an ultrasonic parking assistant 53, which also the desired
  • a continuous processing loop constantly checks and calculates the distances. For example, he issues corresponding warnings 55 to the driver via a loudspeaker.
  • segment data 56 of the ultrasonic parking assistant 53 are stored in a memory unit 57 of the functional logic 50. For example, this data relates to bars that need to be superimposed on an image.
  • a display control unit 58 of the function logic 50 receives video data 25 processed by the video control unit 22. Further, the display control unit 58 obtains map data or obstacle information 46 from the memory unit 44 on request 59. Further, the display control unit 58 reads the ultrasonic segment data from the display unit
  • Display control unit 58 is constantly running a fitting and generating process 61 for overlay elements.
  • the display control unit 58 makes an output 62, for example to a screen or a head unit, each of which forms an optical interface to the driver.
  • An interaction 63 takes place between the driver and the display control unit 58.
  • the driver can, for example, change the display or, for example, move an element in the image (for example, shift parking position marking).
  • FIG. 4 shows a live view representation, which may be composed of several sub-images.
  • a roadway 70 to recognize on the right side parking 71 are located.
  • one of the parking spaces 71 has a detected obstacle 72, 73.
  • the obstacle 73 is not in the detection area of the camera, it is displayed as a virtual object because it was detected in a previous image or by another sensor. It was taken for the current presentation.
  • the system has detected a wall 74 as an obstacle. Between the two vehicles, d. H.
  • a parking space 75 which detects the system and overlays with a rectangular overlay element in perspective exactly in the live view image.
  • the system computes a target position 76, which is also marked by a rectangular overlay element (overlay) in the live view image. If necessary, a trajectory for a parking process is displayed in the image.
  • the image shown in Fig. 4 may be composed of a plurality of partial images obtained in succession in different vehicle positions.
  • the image can also be enlarged or widened on the right-hand edge so that the obstacle 73 can then also be seen in order to facilitate orientation for the driver.
  • FIG. 5 first shows a real situation in a schematic representation.
  • a vehicle 80 parks in accordance with a trajectory 81 between two vehicles 82 and 83.
  • In the parking lot are numerous other obstacles such as a wall 84, a motorcycle 85, other vehicles 86 and garbage cans 87.
  • the imaging device of the vehicle 80 registers these obstacles and makes a map therefrom, as shown in FIG 6 is shown.
  • Each obstacle is blocked by a block 82 'to 87' d.
  • H. virtual object symbolized.
  • the motorcycle 85 is symbolized by the block 85 '.
  • the image presented to the driver FIG.
  • Conventional camera systems comprise at least one reversing camera and side cameras (eg in the exterior mirrors or corner regions of the bumpers). These camera systems have a detection range of approx. 2 m to 4 m range around the vehicle. This detection range is usually not sufficient to represent the parking space over its entire extent along the guideway.
  • the camera images are therefore combined in the present example to a total image of a virtual viewpoint above the vehicle (bird-view).
  • the successively recorded images can be used, in particular, as shown here, to measure a parking space.
  • the recorded images are stored and used to generate an expanded environmental image on the basis of the travel sensors (wheel sensors on the vehicle, optionally a steering angle sensor) determined by means of displacement sensors. This image represents the parking space and the parking space limiting obstacles, for example, as shown in FIG. 6 again.
  • the camera system according to the invention particularly knows a normal mode
  • the parking process can then be semi-automatic (steering only) or fully automated (steering and braking).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Ein Fahrer soll beim Führen seines Fahrzeugs (1,80) optisch besser unterstützt werden können. Dazu wird ein Verfahren zum Erzeugen eines Bilds (7) einer Fahrzeugumgebung des Fahrzeugs mit einer Kamera (11) durch Aufnehmen eines ersten Teilbilds in einer ersten Position oder aus Richtung der Kamera und Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder Ausrichtung der Kamera vorgeschlagen, wobei jedes Teilbild dem gesamten Erfassungsbereich der Kamera entspricht. Das erste Teilbild und das zweite Teilbild werden so zu dem Bild der Fahrzeugumgebung zusammengesetzt, dass das Bild einen größeren Bereich zeigt als jedes Teilbild.

Description

Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und
Abbildungsvorrichtung
Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung eines Fahrzeugs mit einer Kamera durch Aufnehmen eines ersten Teilbilds in einer ersten Position oder Ausrichtung der Kamera und Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder
Ausrichtung der Kamera, wobei jedes Teilbild dem gesamten Erfassungsbereich der Kamera entspricht. Darüber hinaus betrifft die vorliegende Erfindung eine
Abbildungsvorrichtung zum Erzeugen eines Bilds einer Fahrzeugumgebung eines Fahrzeugs mit einer entsprechenden Kamera.
Fahrzeuge besitzen vielfach Fahrerassistenzsysteme, um den Fahrer beim Betrieb des Fahrzeugs zu unterstützen. Zu derartigen Assistenzsystemen zählen z. B. ein
Parkassistenzsystem, ein ACC-System, ein Spurhaltesystem, ein Spurwechselsystem, ein Fernlichtassistent und dergleichen.
Von diesen Assistenzsystemen vermitteln einige mit Hilfe in das Fahrzeug eingebauter Kameras dem Fahrer Informationen über die Umgebung des Fahrzeugs. Dabei werden entweder das aktuelle Bild der Kamera beziehungsweise aktuelle Bilder von Kameras einzeln oder in Kombination angezeigt, oder die einzelnen Bilder werden so verarbeitet, dass ein virtuelles Bild aus der Vogelperspektive entsteht. Es sind ebenfalls Systeme bekannt, die mit Hilfe unterschiedlicher Sensoren (meist auf Ultraschallbasis) die Umgebung des Fahrzeugs abtasten und die Abstände zwischen dem eigenen Fahrzeug und den Hindernissen berechnen, die zur Warnung des Fahrers verwendet werden. Ebenfalls sind Systeme bekannt, die eine Trajektorie in erkannte Parklücken berechnen und das Fahrzeug durch Ansteuern der Lenkung halbautomatisch in die Parklücke manövrieren können. Wenn solche Systeme getrennt betrieben werden, kann es für den Fahrer schwierig sein, die Warnung beziehungsweise das Geschehen dem Kamerabild zuzuordnen. Darüber hinaus ist es nicht immer aus dem Bild ersichtlich, welches Hindernis kritisch ist und welches nicht.
Aus der Druckschrift DE 10 2006 000 245 A1 ist ein Parkunterstützungsverfahren und eine entsprechende Vorrichtung bekannt. Eine Navigationsvorrichtung verbindet mittels einer Bilddatenbeschaffungseinheit beschaffte Bilddaten mit einer Position, bei der die Bilddaten aufgenommen wurden, und speichert die Daten als frühere Bilddaten in einem Bildspeicher. Die Steuerungseinheit bestimmt ferner, ob das Fahrzeug zumindest in einem Parksollbereich eingetreten ist. Wird bestimmt, dass das Fahrzeug in den
Parksollbereich eingetreten ist, dann wird ein früheres Bild auf der Basis der früheren Bilddaten, die von dem Parksollbereich aufgenommen wurden, und ein gegenwärtiges Bild auf der Basis bei der gegenwärtigen Position des Fahrzeugs erhaltenen Bilddaten auf eine Richtungsanzeige gebracht.
Darüber hinaus offenbart die Druckschrift US 7,212,653 B2 ein Bildverarbeitungssystem für ein Fahrzeug, mit dem Bilder aus der Umgebung des Fahrzeugs aufgenommen werden. Die Bilder werden gespeichert, und ein verarbeitetes Bild, das durch Verarbeiten eines früheren Bilds erhalten wird, welches vor dem Erreichen einer momentanen Position aufgenommen wurde, wird einem Teil eines gegenwärtigen Bilds überlagert, der von der Kamera nicht erfasst werden kann.
Ferner ist in der Druckschrift EP 1 094 337 B1 ein System zur Einparkhilfe beschrieben. Es wird ein Bild um das Fahrzeug aufgenommen, und der Fahrer wird davon
benachrichtigt, welches 3D-Objekt sich dort befindet. Das System besitzt einen
Bildaufnahmeteil zum Aufnehmen mit einer einzelnen Kamera während des Übergangs des Fahrzeugs von einem ersten an einen zweiten Ort, von ersten und zweiten Bildern um das Fahrzeug herum an einem ersten und zweiten Ort und zu einer ersten und zweiten Zeit. Außerdem besitzt das System ein Objektentfernungsberechnungsteil zum Berechnen einer Entfernung von dem Fahrzeug zu dem 3D-Objekt durch Verwenden der Position des 3D-Objekts in jedem der ersten und zweiten Bilder und der Übergangsdaten des Fahrzeugs. Schließlich ist eine Bilderzeugungseinrichtung zum Erzeugen eines dritten Bilds vorgesehen, welches auf den Bildern und den aufgenommenen Daten basiert.
Es ist somit die Erzeugung eines Bilds der Fahrzeugumgebung aus mehreren
nacheinander an verschiedenen Fahrzeugpositionen mittels eines Kamerasystems aufgenommenen Bildern bekannt. Die nacheinander aufgenommenen Bilder werden entweder dazu verwendet, um die Entfernungen zu Hindernissen im Kamerabild zu bestimmen oder um durch Hindernisse verdeckte Bildbereiche mit entsprechenden Ausschnitten aus vergangenen Bildern zu füllen. Die Aufgabe der vorliegenden Erfindung besteht darin, aussagekräftigere Bilder einer Fahrzeugumgebung zu gewinnen und diese zur Unterstützung des Fahrers
insbesondere für einen Einparkassistenten zu nutzen.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren nach Anspruch 1 sowie eine Abbildungsvorrichtung nach Anspruch 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Erfindungsgemäß wird somit bereitgestellt ein Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung eines Fahrzeugs mit einer Kamera durch
- Aufnehmen eines ersten Teilbilds in einer ersten Position oder Ausrichtung der Kamera und
- Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder Ausrichtung der Kamera, wobei
- jedes Teilbild dem gesamten Erfassungsbereich der Kamera entspricht, und wobei
- das erste Teilbild und das zweite Teilbild zu dem Bild der Fahrzeugumgebung so zusammengesetzt werden, dass das Bild einen größeren Bereich zeigt als jedes Teilbild.
Darüber hinaus wird vorgeschlagen eine Abbildungsvorrichtung zum Erzeugen eines Bilds einer Fahrzeugumgebung eines Fahrzeugs mit
- einer Kamera zum Aufnehmen eines ersten Teilbilds in einer ersten Position oder Ausrichtung und zum Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder Ausrichtung der Kamera, wobei
- jedes Teilbild dem gesamten Erfassungsbereich der Kamera entspricht, weiterhin umfassend
- eine Bildsyntheseeinrichtung, mit der das erste Teilbild und das zweite Teilbild zu dem Bild der Fahrzeugumgebung so zusammensetzbar ist, dass das Bild einen größeren Bereich zeigt als jedes Teilbild.
In vorteilhafter Weise ist es somit möglich, aus mehreren Teilbildern ein größeres Gesamtbild einer Fahrzeugumgebung zu gewinnen, welches für den Fahrer
aussagekräftiger ist. Insbesondere kann der Fahrer dadurch die Situation in der
Umgebung des Fahrzeugs besser einschätzen. In einer speziellen Ausführungsform kann das erzeugte Bild einen virtuellen Blickpunkt oberhalb des Fahrzeugs besitzen. Es wird damit ein Bild aus der Vogelperspektive bereitgestellt. Ein derartiges Bild erleichtert es dem Fahrer weiter, die aktuelle Situation einzuschätzen.
Besonders vorteilhaft lässt sich das Erzeugen eines größeren Bilds aus mehreren Teilbildern einer Kamera für die Unterstützung eines Fahrers beim Einparken nutzen. Dabei zeigt das Bild eine Parklücke, die in mindestens einem der Teilbilder
aufgenommen wurde. Somit lässt sich in dem Bild nicht nur die Parklücke oder gar nur ein Teil der Parklücke darstellen, sondern vielmehr ein größerer Abschnitt der Umgebung oder zumindest die gesamte Parklücke.
In einer vorteilhaften Ausgestaltung wird dem Fahrer in einem Normalmodus eines oder mehrere der Teilbilder und in einem erweiterten Modus, wenn die Parklücke als frei erkannt wird, das gesamte zusammengesetzte Bild dargestellt. Es erfolgt also eine situationsabhängige Darstellung insbesondere mit einem größeren Bild, wenn ein Einparkvorgang bevorsteht.
Die Parklücke kann mittels eines Ultraschallsensors vermessen werden. Derartige Sensoren sind robust und zuverlässig. Sie können Begrenzungen einer Parklücke für das Vermessen oder optische Darstellen ausreichend genau erfassen.
In einer weiteren Ausführungsform wird in das Bild ein künstliches Bildelement eingeblendet, das eine Abmessung der Parklücke, ein Hindernis oder eine berechnete Einparkbahn repräsentiert. Insbesondere können auch Hindernisse dargestellt werden, die außerhalb des Sichtbereichs des Kamerasystems liegen. Mit diesen Informationen kann der Fahrer das Fahrzeug deutlich sicherer führen.
Des Weiteren kann in das Bild ein eine automatisch vorgeschlagene Parkposition repräsentierendes Bildelement eingeblendet und die Parkposition durch manuelles Verschieben des Bildelements verändert werden. Der Fahrer kann somit eine
automatisch vorgeschlagene Parkposition durch einfaches Eingeben in ein Eingabemittel in gewünschter Weise verändern.
In einer weiteren Ausführungsform wird während der Darstellung des Bilds ein
Einparkvorgang des Fahrzeugs halbautomatisch oder vollautomatisch durchgeführt. Der Einparkvorgang kann somit vom Fahrer besser eingeschätzt beziehungsweise verfolgt werden.
Weiterhin kann das Bild mehrere Parklücken in der Fahrzeugumgebung darstellen, und der Fahrer kann eine davon für das Einparken auswählen. Damit wird das Bild nicht nur dazu verwendet, um einen Einparkvorgang in eine vorgegebene Parklücke zu visualisieren, sondern auch um eine von mehreren Parklücken sinnvoll auszuwählen.
Die erfindungsgemäße Abbildungsvorrichtung kann mehrere Kameras aufweisen. Dann können die mit den Kameras parallel aufgenommenen Bilder zusammen mit von den Kameras früher aufgenommenen Bildern zur Erzeugung eines Gesamtbilds genutzt werden. Dabei kann es genügen, wenn jede der einzelnen Kameras jeweils einen Erfassungsbereich entsprechend einem Radius von weniger als 5 m aufweist. Dies ist in der Regel ausreichend, um die kritische Umgebung eines Fahrzeugs insbesondere für einen Einparkvorgang zu registrieren.
Wie bereits angedeutet wurde, ist es besonders vorteilhaft, die Abbildungsvorrichtung in ein Fahrerassistenzsystem und insbesondere in ein Parkassistenzsystem zu integrieren. Ein mit einem derartigen Fahrerassistenzsystem ausgestattetes Fahrzeug lässt sich von einem Fahrer sehr komfortabel führen.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichnungen näher erläutert, in denen zeigen:
Fig. 1 eine vogelperspektivische Draufsicht auf eine Parksituation mit paralleler
Parklücke zur Fahrbahn;
Fig. 2 ein Blockschaltdiagramm eines Steuergeräts mit angeschlossenen
Fahrzeugkomponenten;
Fig. 3 ein prinzipielles Blockschaltdiagramm des Steuergeräts von Fig. 2;
Fig. 4 eine erfindungsgemäß erzeugte Live-View-Ansicht;
Fig. 5 eine Umgebungskarte in schematischer Darstellung und
Fig. 6 eine Kartenansicht, wie sie von einer erfindungsgemäßen
Abbildungsvorrichtung erzeugbar ist.
Die nachfolgend näher geschilderten Ausführungsbeispiele stellen bevorzugte
Ausführungsformen der vorliegenden Erfindung dar. Im Unterschied zu den bekannten Systemen zum Erzeugen von Bildern einer
Fahrzeugumgebung werden erfindungsgemäß die nacheinander in verschiedenen Fahrzeugpositionen oder Ausrichtungen beziehungsweise Positionen der Kamera gewonnenen Bilder derart aneinandergesetzt, dass ein Bild der Fahrzeugumgebung angezeigt werden kann, das einen größeren Bereich als der Erfassungsbereich einer einzelnen Kamera aufweist. Die Abbildungsvorrichtung beziehungsweise das
Kamerasystem lässt sich insbesondere dazu verwenden, bei der Vermessung einer Parklücke nacheinander mehrere Bilder aufzunehmen, diese zu speichern und dann anhand der aufgenommenen Bilder und des mittels Wegsensoren (Radsensoren am Fahrzeug, gegebenenfalls ein Lenkwinkelsensor) ermittelten Fahrwegs ein erweitetes Umgebungsbild zu erzeugen, das die Parklücke und die die Parklücke begrenzenden Hindernisse abdeckt. Somit können ggf. teils überlappende Bilder zu einem neuen Bild zusammengefügt werden, wobei das neue Bild Bildinformationen von den einzelnen Bildern kombiniert und ein größeres Bild ergibt.
Der generelle Ansatz besteht darin, dass die Anzeige- und Umwelterfassungsfunktionen kombiniert werden. Die sich daraus ergebende HMI-Ausgabe ist für den Fahrer besonders verständlich. Dabei wird die Umgebung des Fahrzeugs mittels geeigneter Sensorik abgetastet und ein Abbild der Umgebung in einer Umgebungskarte (vgl. Fig. 6) gespeichert. Die Informationen, die in der Umgebungskarte gespeichert sind, werden weiterverarbeitet, sodass einzelne Hindernisse erkannt und klassifiziert werden können. Optional wird ebenfalls die Kollisionsgefahr bestimmt und, falls nötig, Werte für eine Distance-to-Collision und Time-to-Collision berechnet. Die Informationen, die mittels der Umgebungskarte gewonnen wurden, werden bei der Generierung von HMI-Bildern verwendet. Dabei werden die erkannten Hindernisse direkt an die richtigen Stellen in das Bild eingeblendet (Obstacle-Highlighting). Die gefährlichen Hindernisse werden durch eine besondere Darstellung hervorgehoben. Zusätzlich können auch Abstände als Balken oder numerische Werte angezeigt werden. Des Weiteren wird auch die vorhergesagte bzw. geplante Trajektorie beispielsweise eines halbautomatischen Parkvorgangs des Fahrzeugs eingeblendet. Diese Art der Darstellung ist sowohl für Bilder verwendbar, die aus einem natürlichen Blickwinkel generiert werden (Live-View), als auch für Bilder, die als virtuelle Vogelperspektive (Bird-View) erzeugt werden.
Für die Bird-View-Variante ist es ebenfalls möglich, ein virtuelles Umgebungsbild (vergleiche Fig. 1 ) über größere Bereiche als der momentan sichtbare Bereich zu generieren. Dabei werden einzelne Bird-View-Bilder mit Odometrie kombiniert und gegebenenfalls mit weiterer Sensorikinformation ergänzt, sodass sich ein ständig sich vergrößerndes virtuelles Bild ergibt. Der Vorteil davon ist, dass man zum Beispiel gleich nach der Vorbeifahrt mit dem eigenen Wagen 1 an einer erkannten Parklücke 2 den gesamten Parklückenbereich sehen kann. Gleichzeitig können alle erkannten
Hindernisse 3, 4, 5, die Zielposition 6 in der Parklücke 2 und die momentan geplante Trajektorie (in Fig. 1 nicht eingezeichnet) angezeigt werden. Eine solche Darstellung kann auch für eine interaktive Korrektur von zum Beispiel der Zielposition durch den Fahrer verwendet werden. In dem Fahrzeug ist dann ein entsprechendes Eingabemittel vorgesehen, um das Bildelement, das als Überlagerungselement (Zielposition 6) in dem Gesamtbild dargestellt ist, zu verschieben. Das System berechnet daraus die
tatsächliche neue Parkposition und ermittelt eine entsprechende neue Trajektorie.
Die Kamera beziehungsweise die Kameras des Fahrzeugs 1 nehmen gegebenenfalls mehrere Teilbilder auf, aus denen ein aktuelles Bild 7 (Vogelperspektive in Fig. 1 oder vergrößertes Live-View-Bild) generiert wird. Bild 7 ist somit Ergebnis einer Kombination von zu teilweise unterschiedlichen Zeiten aufgenommenen Bildern, wobei diese Bilder einzeln nur ein Teil des Bilds 7 ggf. mit Überlappung abdecken. Das generierte
Gesamtbild kann mit virtuellen Objekten erweitert werden, die mit der Kamera noch nicht gesehen wurden, aber z. B. durch Ultraschall bereits detektiert wurden. Gemäß dem Beispiel von Fig. 1 steht nach der Vorbeifahrt des Wagens 1 an der zur Fahrbahn parallelen Parklücke 2 ein gegebenenfalls aus mehreren Teilbildern zusammengesetztes Kamerabild 7 bis zur Hälfte der Lücke 2 zur Verfügung. Durch Ultraschall konnte ein Bordstein 4 oder eine Wand detektiert werden. Die erkannte Parklücke 2 samt
Bordstein 4 kann über das Kamerabild 7 hinaus in dem Bild, das dem Fahrer präsentiert wird, bereits dargestellt werden. Gegebenenfalls wird in dem Bild sogar der Bordstein 4 hinter den parkenden Fahrzeugen 3 und 5 dargestellt, wenn er durch anderweitige Sensorik registriert oder rechnerisch interpoliert wurde. All diese Aspekte helfen, das Kamerabild mit der Realität besser in Verbindung zu bringen.
Das Kamerabild 7 reicht bis zur Grenze des Erfassungsbereichs des Kamerasystems. In dem Beispiel von Fig. 7 reicht das Kamerabild 7 jedoch nicht bis zum Bordstein 4. Der Bereich zwischen der Grenze des Kamerabilds 7 und dem Bordstein 4 kann zur besseren Orientierung des Fahrers farblich dargestellt sein. In dem Beispiel von Fig. 1 könnte beispielsweise die Parklücke 2 beziehungsweise die Zielposition 6 grün gekennzeichnet sein, was dem Fahrer vermittelt, dass die Parklücke ausreichend groß ist. Wäre die Parklücke zu kurz, könnte der Bereich von der Erfassungsgrenze des Kamerasystems bis zur Bordsteinkante beispielsweise grau dargestellt werden. Insbesondere kann er mit derjenigen Farbe dargestellt werden, die beispielsweise die Fahrbahn beziehungsweise der optisch erfasste Teilbereich der Parklücke besitzt.
Der Bordstein 4 au ßerhalb des Erfassungsbereichs des Kamerasystems wird durch die Ultraschallsensoren hinsichtlich Position und Größe erfasst. Aus diesen Messgrößen wird ein virtuelles Objekt und seine Position maßstabsgenau in dem erweiterten Bild, das dem Fahrer dargestellt wird, berechnet. Das erweiterte Bild setzt sich also aus einem Kamerabild (gegebenenfalls mehrere Teilbilder) und den virtuellen Objekten zusammen, wobei dazwischen liegende Bereiche unter Umständen zweckdienlich gefärbt sind. Im Falle der Vogelperspektive kann das„Kamerabild" aus einem oder mehreren Live-View- Bildern berechnet werden.
Für die Live-View-Variante ist es zusätzlich möglich, die Informationen aus der
Umgebungskarte (vergleiche Fig. 6) so einzublenden, dass die von realen Hindernissen im Bild verdeckten Teile von anderen Hindernissen tatsächlich„versteckt" bleiben. Dies bedeutet, dass eine virtuelle Darstellung von Hindernissen in dem Bild unter
Berücksichtigung der Verdeckung der virtuellen Darstellung durch Hindernisse im realen Kamerabild erfolgt. Es entsteht somit ein„Augmented Reality"-Bild. So wird
beispielsweise bei der Darstellung einer Parklücke mit Bordstein das Ende des
Bordsteins, das von dem Hindernis am Lückenende verdeckt ist, nicht über dem
Hindernis gezeichnet, sondern entsprechend ausgeblendet werden. Dieses Ausblenden ist stets dynamisch an die aktuelle Bilddarstellung beziehungsweise die aktuelle Position des Fahrzeugs anzupassen. Um dies zu ermöglichen, werden die Kamerabilder verarbeitet, damit Objekte darin zu erkennen sind. Dabei werden die Informationen aus der Umgebungskarte zur Berechnung von interessanten Bereichen und
Algorithmuseinstellungen verwendet.
Eine weitere Darstellungsmöglichkeit betrifft das Einblenden der Informationen über die Umgebung in die vom Fahrer benutzten Sichtgeräte unter Berücksichtigung des
Blickwinkels des Fahrers zum jeweiligen Sichtgerät. Zu derartigen Sichtgeräten zählen Spiegel (Seitenspiegel, Rückspiegel) sowie Head-Up-Display's an Front- und
Heckscheibe oder eine Hologrammdarstellungseinheit, welche die statischen oder dynamischen, erkannten Objekte in das Blickfeld des Fahrers rückt. Wenn der Fahrer sich in die Richtung eines Hindernisses bewegt, vor dem gewarnt wird, kann er dort das Objekt beziehungsweise Hindernis, vor dem gewarnt wird, real und markiert erkennen, und er versteht die Warnung während des Einparkvorgangs oder der Fahrbewegung. Besonders Vorteilhaft ist eine Darstellung in Kombination mit den elektronischen, kamerabasierten Spiegeln, bei denen das Bild rein elektronisch erzeugt wird und ein Spiegelbild suggeriert. In diesem Fall können die Karteninformationen fließend in alle Spiegelbilder eingeblendet werden, so dass der Fahrer, egal wohin er blickt, immer die Systemsicht auf die Hindernisse, Trajektorie und so weiter wahrnehmen kann.
Fig. 2 zeigt nun ein Steuergerät 10, das mit mehreren Peripheriegeräten 1 1 bis 16 vernetzt ist. Dieses Steuergerät 16 ist in der Lage, ein Bild gemäß der vorliegenden Erfindung zu erzeugen. Dazu erhält es entsprechende Bildinformation beziehungsweise Teilbilder von einer Kamera 1 1 beziehungsweise mehreren Kameras. Wie die
Doppelpfeile an den Schnittstellen anzeigen, kann das Steuergerät 10 die Kamera 1 1 zur Aufnahme von Bildern ansteuern. Gegebenenfalls kann auch die Ausrichtung der Kamera 1 1 über das Steuergerät 10 variiert werden.
Darüber hinaus besitzt das Steuergerät 10 als weitere Lieferanten von
Eingangsinformation Ultraschallsensoren 12. Diese liefern beispielsweise
Abstandsinformationen aus der Umgebung des Fahrzeugs. Die Datenverbindung zwischen Ultraschallsensor 12 und Steuergerät 10 ist gegebenenfalls wieder
bidirektional.
Weiterhin sind an das Steuergerät 10 beispielsweise über einen CAN-BUS ein (Electric Power Steering) angeschlossen. Es liefert den aktuellen Lenkwinkel an das
Steuergerät 10, was für das Zusammensetzen der Teilbilder zu dem Gesamtbild hilfreich oder notwendig ist. Zudem ist ein ESP 14 (Electronic Stabilisation Program) über den CAN-BUS mit dem Steuergerät verbunden. Das ESP 14 liefert Bewegungsdaten an das Steuergerät 10. Darunter fallen beispielsweise die Radgeschwindigkeit, die Rollrichtung, die Gierrate, die Beschleunigung und dergleichen.
Zur Ausgabe der Bilddaten ist das Steuergerät 10 hier mit einer Headunit 15 verbunden. Alternativ zu der Headunit 15 kann jedes andere optische Ausgabegerät
(z. B. Bildschirm) verwendet werden. Es können auch mehrere optische Anzeigegeräte von dem Steuergerät 10 angesteuert werden.
Weiterhin dient ein Lautsprecher 16 oder mehrere Lautsprecher als akustische
Ausgabegeräte für das Steuergerät 10. Es besteht daher gemäß Fig. 2 eine
monodirektionale Verbindung von dem Steuergerät 10 zu dem Lautsprecher 16. Über den Lautsprecher 16 können in üblicher Weise Warnungen an den Fahrer abgegeben werden.
Anhand von Fig. 3 werden nun die Struktur und die Datenflüsse eines Systems, welches die erfindungsgemäße Lösung realisiert, erläutert. Die Kamera 1 1 ist in eine
Videoverarbeitungseinheit 20 eingebettet. Sie liefert Videorohdaten 21 an ein
Videosteuergerät 22. Dieses führt, wie das Rechteck am rechten Rand des Kästchens des Videosteuergeräts 22 andeutet, in einer Verarbeitungsschleife eine
Videosignalverarbeitung 23 aus. Parallel hierzu ist eine Ultraschallverarbeitung 30 vorgesehen. Sie umfasst den Ultraschallsensor 12. Dieser liefert Rohdaten 31 an ein Signalfilter 32. Die gefilterten Sensordaten 33 werden einer
Hindernisdetektionseinheit 34 zugeführt. Diese führt in einer Verarbeitungsschleife fortlaufend eine Datenanalyse zur Erkennung von Hindernissen durch.
Eine Positionserfassungseinheit 40 (z. B. Odometrie, ESP, EPS etc.) liefert ständig aktuelle Positionsdaten 41 an eine Speichereinheit 42. Von dieser Speichereinheit 42 rufen das Videosteuergerät 22 und die Hindernisdetektionseinheit 34 mit
entsprechenden Abrufen 24 und 36 die jeweils aktuelle Position des Fahrzeugs ab. Ebenfalls wird die aktuelle Position auf Abruf 43 einer Speichereinheit 44 zur Verfügung gestellt, in der die lokale Karte der näheren Umgebung des Fahrzeugs (vgl. Fig. 6) gespeichert ist. Die nähere Umgebung bezieht sich beispielsweise auf einen Umkreis von 30 m um das Fahrzeug. In der Speichereinheit 44 werden auch
Hindernisinformationen 37 von der Hindernisdetektionseinheit 34 gespeichert. In der Speichereinheit 44 wird ständig eine Objektverfolgung 45 durchgeführt. Dabei wird beispielsweise berechnet, in welche Richtung sich ein Objekt relativ zu dem Fahrzeug bewegt, sodass es auch dann dargestellt werden kann, wenn es sich au ßerhalb des Detektionsbereichs der Kamera 1 1 oder der Ultraschallsensoren 12 befindet.
Eine Funktionslogik 50 erhält auf Anfrage 51 Kartendaten beziehungsweise
Hindernisinformationen von der Speichereinheit 44. Insbesondere geht die Anfrage 51 von einem Ultraschallparkassistenten 53 aus, der auch die gewünschten
Informationen 52 erhält. In ihm läuft in einer kontinuierlichen Verarbeitungsschleife ständig eine Überprüfung und Berechnung 54 der Distanzen. Er gibt beispielsweise über einen Lautsprecher entsprechende Warnungen 55 an den Fahrer aus. Darüber hinaus werden Segmentdaten 56 des Ultraschallparkassistenten 53 in einer Speichereinheit 57 der Funktionslogik 50 gespeichert. Diese Daten betreffen beispielsweise Balken, die in ein Bild eingeblendet werden müssen. Eine Anzeigesteuereinheit 58 der Funktionslogik 50 erhält von dem Videosteuergerät 22 verarbeitete Videodaten 25. Weiterhin erhält die Anzeigesteuereinheit 58 auf Anfrage 59 von der Speichereinheit 44 Kartendaten beziehungsweise Hindernisinformationen 46. Ferner liest die Anzeigesteuereinheit 58 die Ultraschallsegmentdaten von der
Speichereinheit 57 durch eine entsprechende Leseanfrage 60. In der
Anzeigesteuereinheit 58 läuft ständig ein Anpass- und Erzeugungsprozess 61 für Überlagerungselemente.
Die Anzeigesteuereinheit 58 tätigt eine Ausgabe 62 beispielsweise an einen Bildschirm oder eine Headunit, die jeweils eine optische Schnittstelle zu dem Fahrer bilden.
Zwischen Fahrer und Anzeigesteuereinheit 58 findet eine Interaktion 63 statt. Dabei kann der Fahrer beispielsweise die Anzeige verändern oder beispielsweise ein Element in dem Bild verschieben (z. B. Parkpositionsmarkierung verschieben).
Mit den oben dargestellten Hintergrundinformationen lassen sich nun konkrete Beispiele anhand der Figuren 4 bis 6 besser verstehen. In Fig. 4 ist eine Live-View-Darstellung wiedergegeben, die gegebenenfalls aus mehreren Teilbildern zusammengesetzt ist. Es ist eine Fahrbahn 70 zu erkennen, an deren rechter Seite sich Parkplätze 71 befinden. Auf zweien der Parkplätze 71 befindet sich jeweils ein detektiertes Hindernis 72, 73. Obwohl sich das Hindernis 73 nicht im Erfassungsbereich der Kamera befindet, wird es als virtuelles Objekt dargestellt, da es in einem früheren Bild oder durch einen anderen Sensor erfasst wurde. Es wurde für die aktuelle Darstellung mitgeführt. Weiterhin hat das System eine Wand 74 als Hindernis detektiert. Zwischen den beiden Fahrzeugen, d. h. den Hindernissen 72 und 73 und der Wand 74 befindet sich eine Parklücke 75, die das System erkannt und mit einem rechteckigen Überlagerungselement perspektivisch exakt in das Live-View-Bild einblendet. Innerhalb der Parklücke 75 berechnet das System eine Zielposition 76, die ebenfalls durch ein rechteckiges Überlagerungselement (Overlay) in dem Live-View-Bild markiert ist. Gegebenenfalls wird in das Bild noch eine Trajektorie für einen Einparkvorgang eingeblendet.
Das in Fig. 4 dargestellte Bild kann aus mehreren Teilbildern zusammengesetzt sein, die hintereinander in verschiedenen Fahrzeugpositionen gewonnen wurden. Beispielsweise kann das Bild auch am rechten Rand vergrößert beziehungsweise erweitert sein, sodass dann auch das Hindernis 73 zu sehen ist, um dem Fahrer die Orientierung zu erleichtern. Anhand der Figuren 5 und 6 wird nun eine Anwendung des erfindungsgemäßen
Systems, d. h. der Abbildungsvorrichtung des Einparksystems eines Fahrzeugs bei vogelperspektivischer Darstellung vorgestellt. Fig. 5 zeigt zunächst eine reale Situation in schematischer Darstellung. Ein Fahrzeug 80 parkt gemäß einer Trajektorie 81 zwischen zwei Fahrzeugen 82 und 83 ein. Auf dem Parkplatz befinden sich zahlreiche weitere Hindernisse wie beispielsweise eine Mauer 84, ein Motorrad 85, weitere Fahrzeuge 86 und Mülltonnen 87. Bei der Fahrt auf dem Parkplatz registriert die Abbildungsvorrichtung des Fahrzeugs 80 diese Hindernisse und fertigt daraus eine Karte an, wie sie in Fig. 6 dargestellt ist. Jedes Hindernis wird durch einen Block 82' bis 87' d. h. virtuelles Objekt, symbolisiert. So wird beispielsweise das Motorrad 85 durch den Block 85' symbolisiert. Das dem Fahrer präsentierte Bild (Fig. 6) zeigt sämtliche für ihn relevanten Objekte bzw. Hindernisse (hier vereinfacht als Blöcke) sowie eine Draufsicht seines eigenen Wagens 80 und der Einparktrajektorie 81 . Somit kann sich der Fahrer auf dem Parkplatz für den Einparkvorgang besser orientieren. Gegebenenfalls werden in dem Bild mehrere Parkplätze angeboten, von denen er einen interaktiv auswählen kann.
Übliche Kamerasysteme umfassen wenigstens eine Rückfahrkamera und seitliche Kameras (z. B. in den Au ßenspiegeln oder Eckbereichen der Stoßfänger). Diese Kamerasysteme haben einen Erfassungsbereich von ca. 2 m bis 4 m Reichweite um das Fahrzeug. Dieser Erfassungsbereich reicht in der Regel nicht aus, die Parklücke über ihre gesamte Erstreckung entlang des Fahrwegs darzustellen. Die Kamerabilder werden daher im vorliegenden Beispiel zu einem Gesamtbild von einem virtuellen Blickpunkt oberhalb des Fahrzeugs kombiniert (Bird-View). Die nacheinander aufgenommenen Bilder können insbesondere, wie hier gezeigt ist, zur Vermessung einer Parklücke verwendet werden. Dazu werden die aufgenommenen Bilder gespeichert und daraus anhand des mittels Wegsensoren (Radsensoren am Fahrzeug, gegebenenfalls ein Lenkwinkelsensor) ermittelten Fahrwegs ein erweitertes Umgebungsbild erzeugt. Dieses Bild gibt die Parklücke und die Parklücke begrenzenden Hindernisse beispielsweise gemäß Fig. 6 wieder.
Das erfindungsgemäße Kamerasystem wei ßt insbesondere einen Normalmodus
(Darstellung der aktuellen Kamerabilder mit 2 m bis 4 m Erfassungsbereich) sowie einen erweiterten Modus (durch Bilder aus der Vergangenheit) auf. Der erweiterte Modus wird insbesondere nach der Vermessung einer Parklücke aktiviert, wenn dem Fahrer die Parklücke als frei angezeigt wird. Der Einparkvorgang kann dann halbautomatisch (nur lenken) oder vollautomatisch erfolgen (lenken und bremsen).

Claims

Patentansprüche
1 . Verfahren zum Erzeugen eines Bilds (7) einer Fahrzeugumgebung eines
Fahrzeugs (1 ,80) mit mindestens einer Kamera (1 1 ) durch
- Aufnehmen eines ersten Teilbilds in einer ersten Position oder Ausrichtung der Kamera (1 1 ) und
- Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder Ausrichtung der Kamera (1 1 ), wobei
- jedes Teilbild dem gesamten Erfassungsbereich der Kamera (1 1 ) entspricht, dadurch gekennzeichnet, dass
- das erste Teilbild und das zweite Teilbild zu dem Bild (7) der
Fahrzeugumgebung so zusammengesetzt werden, dass das Bild einen größeren Bereich zeigt als jedes Teilbild.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
das Bild (7) einen virtuellen Blickpunkt oberhalb des Fahrzeugs (1 ,80) besitzt.
3. Verfahren zum Unterstützen eines Fahrers beim Einparken durch Erzeugen des Bilds gemäß einem der vorhergehenden Ansprüche, wobei das Bild (7) eine Parklücke (2,75), die in mindestens einem der Teilbilder aufgenommen wurde, zeigt.
4. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass
dem Fahrer in einem Normalmodus eines oder mehrere der Teilbilder und in einem erweiterten Modus, wenn die Parklücke (2,75) als frei erkannt wird, das gesamte zusammengesetzte Bild (7) dargestellt wird.
5. Verfahren nach Anspruch 3 oder 4,
dadurch gekennzeichnet, dass die Parklücke (2,75) mittels mindestens eines Ultraschallsensors (12) vermessen
Verfahren nach einem der Ansprüche 3 bis 5,
dadurch gekennzeichnet, dass
in das Bild (7) ein künstliches Bildelement eingeblendet wird, das eine Abmessung der Parklücke (2,75), ein Hindernis (3, 5, 72, 73) oder eine berechnete
Einparkbahn repräsentiert.
Verfahren nach einem der Ansprüche 3 bis 6,
dadurch gekennzeichnet, dass
in das Bild (7) ein eine automatisch vorgeschlagene Parkposition (6,76)
repräsentierendes Bildelement eingeblendet und die Parkposition durch manuelles Verschieben des Bildelements verändert wird.
Verfahren nach einem der Ansprüche 3 bis 7,
dadurch gekennzeichnet, dass
während der Darstellung des Bilds (7) ein Einparkvorgang des Fahrzeugs halbautomatisch oder vollautomatisch durchgeführt wird.
Verfahren nach einem der Ansprüche 3 bis 8,
dadurch gekennzeichnet, dass
das Bild (7) mehrere Parklücken (2,75) in der Fahrzeugumgebung darstellt, und der Fahrer eine davon für das Einparken auswählt.
10. Abbildungsvorrichtung zum Erzeugen eines Bilds (7) einer Fahrzeugumgebung eines Fahrzeugs mit
- einer Kamera (1 1 ) zum Aufnehmen eines ersten Teilbilds in einer ersten
Position oder Ausrichtung und zum Aufnehmen mindestens eines zweiten Teilbilds in mindestens einer zweiten Position oder Ausrichtung der
Kamera (1 1 ), wobei
- jedes Teilbild dem gesamten Erfassungsbereich der Kamera (1 1 ) entspricht, gekennzeichnet durch - eine Bildsyntheseeinrichtung (10, 44), mit der das erste Teilbild und das zweite Teilbild zu dem Bild (7) der Fahrzeugumgebung so zusammensetzbar ist, dass das Bild (7) einen größeren Bereich zeigt als jedes Teilbild.
1 1 . Abbildungsvorrichtung nach Anspruch 10,
dadurch gekennzeichnet, dass
sie mehrere Kameras (1 1 ) mit jeweils einem Erfassungsbereich entsprechend einem Radius von weniger als 5 m aufweist.
12. Fahrerassistenzsystem mit einer Abbildungsvorrichtung nach Anspruch 10 oder 1 1 .
13. Fahrzeug mit einer Abbildungsvorrichtung nach Anspruch 10 oder 1 1 oder einem Fahrerassistenzsystem nach Anspruch 12.
EP11785353.1A 2010-11-12 2011-10-26 Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung Withdrawn EP2637898A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010051206A DE102010051206A1 (de) 2010-11-12 2010-11-12 Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
PCT/EP2011/068728 WO2012062573A1 (de) 2010-11-12 2011-10-26 Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung

Publications (1)

Publication Number Publication Date
EP2637898A1 true EP2637898A1 (de) 2013-09-18

Family

ID=45001710

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11785353.1A Withdrawn EP2637898A1 (de) 2010-11-12 2011-10-26 Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung

Country Status (5)

Country Link
US (1) US9544549B2 (de)
EP (1) EP2637898A1 (de)
CN (1) CN103328261A (de)
DE (1) DE102010051206A1 (de)
WO (1) WO2012062573A1 (de)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9969428B2 (en) * 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
DE102012023706A1 (de) * 2012-12-05 2014-06-05 Daimler Ag Fahrzeugseitiges Verfahren und fahrzeugseitige Vorrichtung zum Erfassen und Anzeigen von Parklücken für ein Fahrzeug
KR20150022436A (ko) * 2013-08-23 2015-03-04 주식회사 만도 주차 제어 장치, 방법 및 시스템
DE102013019374B4 (de) * 2013-11-19 2022-09-08 Audi Ag Verfahren zum Betrieb eines zur vollständig automatisierten Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugsystems und Kraftfahrzeug
KR101478135B1 (ko) * 2013-12-02 2014-12-31 현대모비스(주) 프로젝션 유닛을 이용한 증강현실 차선변경 보조 시스템
JP2017503593A (ja) * 2014-01-24 2017-02-02 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 光学形状検出装置の視点を伴う仮想画像
JP6096155B2 (ja) * 2014-09-12 2017-03-15 アイシン精機株式会社 運転支援装置及び運転支援システム
KR20160065549A (ko) * 2014-12-01 2016-06-09 현대모비스 주식회사 차량의 자동 출차 제어장치 및 그 방법
WO2016109829A1 (en) * 2014-12-31 2016-07-07 Robert Bosch Gmbh Autonomous maneuver notification for autonomous vehicles
US9592826B2 (en) * 2015-02-13 2017-03-14 Ford Global Technologies, Llc System and method for parallel parking a vehicle
DE102015205377A1 (de) * 2015-03-25 2016-09-29 Volkswagen Aktiengesellschaft Ansicht einer Umgebung eines Fahrzeugs
US9751558B2 (en) 2015-03-25 2017-09-05 Ford Global Technologies, Llc Handwheel obstruction detection and inertia compensation
WO2016168788A2 (en) 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Containerized communications gateway
JP6562709B2 (ja) * 2015-05-14 2019-08-21 株式会社デンソーテン 駐車支援装置および駐車支援方法
DE102015212370B4 (de) 2015-07-02 2023-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Darstellung einer Fahrzeugumgebung eines Fahrzeuges
KR101795151B1 (ko) * 2015-10-05 2017-12-01 현대자동차주식회사 주차안내 장치 및 방법
US9981656B2 (en) 2015-10-13 2018-05-29 Ford Global Technologies, Llc Vehicle parking assist system
KR102042371B1 (ko) * 2015-10-22 2019-11-07 닛산 지도우샤 가부시키가이샤 주차 스페이스 검출 방법 및 장치
US10366611B2 (en) * 2015-10-22 2019-07-30 Nissan Motor Co., Ltd. Parking support information display method and parking support device
US9783112B2 (en) * 2015-10-27 2017-10-10 Cnh Industrial America Llc Rear windshield implement status heads-up display
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10328933B2 (en) 2015-10-29 2019-06-25 Ford Global Technologies, Llc Cognitive reverse speed limiting
KR101892026B1 (ko) 2015-11-10 2018-08-27 현대자동차주식회사 차량의 원격 주차 제어 방법 및 장치
US10606257B2 (en) * 2015-11-10 2020-03-31 Hyundai Motor Company Automatic parking system and automatic parking method
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
US9895945B2 (en) 2015-12-08 2018-02-20 Ford Global Technologies, Llc Trailer backup assist system with hitch assist
JP6545108B2 (ja) * 2016-01-14 2019-07-17 アルパイン株式会社 駐車支援装置および駐車支援方法
US9987983B2 (en) 2016-02-11 2018-06-05 GM Global Technology Operations LLC Parking assist system for a vehicle and method of using the same
EP3229172A1 (de) * 2016-04-04 2017-10-11 Conti Temic microelectronic GmbH Fahrerassistenzsystem mit variabler bildauflösung
DE102016208369A1 (de) * 2016-05-17 2017-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren
JP6642306B2 (ja) * 2016-06-29 2020-02-05 アイシン精機株式会社 周辺監視装置
KR101916515B1 (ko) * 2016-07-20 2018-11-07 현대자동차주식회사 원격 전자동 주차지원시스템에서의 주차모드 안내 방법
JP6743593B2 (ja) * 2016-08-31 2020-08-19 アイシン精機株式会社 駐車支援装置
US9829883B1 (en) 2016-10-17 2017-11-28 Ford Global Technologies, Llc Trailer backup assist system having remote control and user sight management
US10501112B2 (en) * 2016-11-14 2019-12-10 Ford Global Technologies, Llc Steering system with active compensation for road disturbances
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
DE102017200160A1 (de) * 2017-01-09 2018-07-12 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines abgestellten Kraftfahrzeugs
DE102017218921B4 (de) * 2017-10-24 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
DE102018214875A1 (de) 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
DE102018214874B3 (de) 2018-08-31 2019-12-19 Audi Ag Verfahren und Anordnung zum Erzeugen einer mit Bildinformationen texturierten Umfeldkarte eines Fahrzeugs und Fahrzeug umfassend eine solche Anordnung
DE102018214915A1 (de) * 2018-09-03 2020-03-05 Continental Teves Ag & Co. Ohg System zur Erkennung einer Parklücke in Fahrtrichtung
JP7099914B2 (ja) * 2018-09-07 2022-07-12 株式会社デンソー 電子ミラーの表示制御装置およびそれを備えた電子ミラーシステム
US10589677B1 (en) * 2018-10-11 2020-03-17 GM Global Technology Operations LLC System and method to exhibit information after a pedestrian crash incident
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102019205707A1 (de) * 2019-04-18 2020-10-22 Volkswagen Ag Verfahren zum Erkennen einer Erreichbarkeit einer Ladesäule für ein Elektrofahrzeug
CN110239522B (zh) * 2019-05-17 2023-04-14 浙江吉利控股集团有限公司 一种自动泊车方法、装置及设备
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
DE102019217936A1 (de) * 2019-11-21 2021-05-27 Volkswagen Aktiengesellschaft Verfahren und System zum Steuern eines Zugangs zu einer Parkposition für ein Fahrzeug
CN113359692B (zh) * 2020-02-20 2022-11-25 杭州萤石软件有限公司 一种障碍物的避让方法、可移动机器人
CN113119956B (zh) * 2021-05-19 2023-10-31 广州小鹏汽车科技有限公司 一种基于自动驾驶的交互方法和装置
CN113269998A (zh) * 2021-05-19 2021-08-17 广州小鹏汽车科技有限公司 一种基于自动驾驶中泊车功能的学习方法和装置
KR20230071441A (ko) * 2021-11-16 2023-05-23 현대모비스 주식회사 차량용 인포테인먼트 볼륨의 자동 조정장치 및 방법
DE102022203785A1 (de) 2022-04-14 2023-10-19 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Trajektorie, Berechnungseinheit und Kraftfahrzeug
DE102022111724A1 (de) 2022-05-11 2023-11-16 Valeo Schalter Und Sensoren Gmbh Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug
CN114880064A (zh) * 2022-06-16 2022-08-09 广州小鹏汽车科技有限公司 车辆显示控制方法、车辆和存储介质
CN115042821B (zh) * 2022-08-12 2022-11-04 小米汽车科技有限公司 车辆控制方法、装置、车辆及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006051977A1 (de) * 2005-11-04 2007-05-10 Denso Corp., Kariya Parkassistenzsystem

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19816054B4 (de) * 1997-04-18 2007-02-22 Volkswagen Ag Kamerasystem zum Überwachen einer nicht unmittelbar einsehbaren Umgebung eines Fahrzeugs
US6483429B1 (en) 1999-10-21 2002-11-19 Matsushita Electric Industrial Co., Ltd. Parking assistance system
EP1465135A1 (de) * 2000-04-05 2004-10-06 Matsushita Electric Industrial Co., Ltd. System und Verfahren zur Fahrerunterstützung
DE10045616B4 (de) * 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US7212653B2 (en) 2001-12-12 2007-05-01 Kabushikikaisha Equos Research Image processing system for vehicle
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
DE102004018205A1 (de) * 2004-04-15 2005-11-10 Robert Bosch Gmbh Vorrichtung zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
DE102004050795A1 (de) * 2004-10-19 2006-04-20 Robert Bosch Gmbh Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
JP2006268076A (ja) 2005-03-22 2006-10-05 Sanyo Electric Co Ltd 運転支援システム
JP4561479B2 (ja) 2005-05-26 2010-10-13 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
DE102005034700A1 (de) * 2005-07-26 2007-02-08 Robert Bosch Gmbh Einparkvorrichtung
JP4682809B2 (ja) * 2005-11-04 2011-05-11 株式会社デンソー 駐車支援システム
CN101765527A (zh) * 2007-07-31 2010-06-30 株式会社丰田自动织机 停车辅助装置、停车辅助装置的车辆侧装置、停车辅助方法及停车辅助程序
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP2009129001A (ja) 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
DE102008003662A1 (de) * 2008-01-09 2009-07-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anzeigen der Umgebung eines Fahrzeugs
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006051977A1 (de) * 2005-11-04 2007-05-10 Denso Corp., Kariya Parkassistenzsystem

Also Published As

Publication number Publication date
US20130229524A1 (en) 2013-09-05
CN103328261A (zh) 2013-09-25
DE102010051206A1 (de) 2012-05-16
US9544549B2 (en) 2017-01-10
WO2012062573A1 (de) 2012-05-18

Similar Documents

Publication Publication Date Title
EP2637898A1 (de) Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102008034594B4 (de) Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
EP1642768B1 (de) Verfahren zur Anzeige eines Fahrzeugfahrraums
EP1147032B1 (de) Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs
EP3219533B1 (de) Sichtsystem für ein fahrzeug, insbesondere nutzfahrzeug
DE102010043128B4 (de) Überwachungsvorrichtung für die Fahrzeugumgebung und Verfahren zur Steuerung einer derartigen Überwachungsvorrichtung
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102016106255A1 (de) Fahrzeugaussenseiten-Kamerasysteme und Verfahren
DE102017100004A1 (de) Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
EP3437929A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
EP3695395A1 (de) Verfahren zum darstellen einer umgebung eines fahrzeugs
WO2006114309A1 (de) Verfahren zur grafischen darstellung der umgebung eines kraftfahrzeugs
DE102010000385A1 (de) Fahrzeugperipherieanzeigevorrichtung
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
EP2720906A1 (de) Nachrüstsatz für Parkführung
WO2012003942A2 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs
EP4371298A1 (de) Kamerasystem sowie verfahren zum erzeugen einer ansicht mit einem kamerasystem
EP2801076B1 (de) Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130607

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20140618

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150106