DE102015116958A1 - Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug - Google Patents

Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug Download PDF

Info

Publication number
DE102015116958A1
DE102015116958A1 DE102015116958.4A DE102015116958A DE102015116958A1 DE 102015116958 A1 DE102015116958 A1 DE 102015116958A1 DE 102015116958 A DE102015116958 A DE 102015116958A DE 102015116958 A1 DE102015116958 A1 DE 102015116958A1
Authority
DE
Germany
Prior art keywords
motor vehicle
camera
surrounding area
information
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015116958.4A
Other languages
English (en)
Inventor
Aidan Casey
Ciaran Hughes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102015116958.4A priority Critical patent/DE102015116958A1/de
Publication of DE102015116958A1 publication Critical patent/DE102015116958A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • G03B35/04Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs (8) eines Kraftfahrzeugs (1), bei welchem eine Kamera (3) des Kraftfahrzeugs (1) an einem Kraftfahrzeugteil (7, 12) des Kraftfahrzeugs (1) angeordnet ist, und das Kraftfahrzeugteil (7, 12) im am Kraftfahrzeug (1) angeordneten Zustand relativ zum Kraftfahrzeug (1) bewegt werden kann und der Umgebungsbereich (8) mittels der Kamera (3) erfasst wird, wobei beim Bewegen des Kraftfahrzeugteils (7, 12) relativ zum Kraftfahrzeug (1) im daran angeordneten Zustand die Kamera (3) mit dem Kraftfahrzeugteil (7, 12) mitbewegt wird und relativ zum restlichen Kraftfahrzeug (1) bewegt wird, und bei dieser Bewegung zumindest zeitweise der Umgebungsbereich (8) erfasst wird.

Description

  • Die Erfindung betrifft ein Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs. Eine Kamera des Kraftfahrzeugs ist an einem Kraftfahrzeugteil des Kraftfahrzeugs angeordnet. Das Kraftfahrzeugteil kann im am Kraftfahrzeug angeordneten Zustand relativ zum Kraftfahrzeug bewegt werden. Der Umgebungsbereich wird mittels der Kamera erfasst. Die Erfindung betrifft auch ein Fahrerassistenzsystem sowie ein Kraftfahrzeug mit einem Fahrerassistenzsystem.
  • Verfahren zum Erfassen eines Umgebungsbereichs eines Kraftfahrzeugs sind aus dem Stand der Technik bekannt. So zeigt die WO 2013/110541 A1 ein Verfahren, bei welchem ein Bild von einem Umgebungsbereich erfasst wird. Zusätzlich werden Sensordaten aus dem Umgebungsbereich erfasst. Schließlich wird ein Objekt in dem Umgebungsbereich anhand des Bilds und der Sensordaten erkannt.
  • Es ist Aufgabe der Erfindung, ein Verfahren, ein Fahrerassistenzsystem sowie ein Kraftfahrzeug zu schaffen, mittels welchem ein Umgebungsbereich eines Kraftfahrzeugs einfacher und informativer erfasst werden kann.
  • Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Fahrerassistenzsystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst.
  • Bei einem erfindungsgemäßen Verfahren wird ein Umgebungsbereich eines Kraftfahrzeugs erfasst. Es ist eine Kamera des Kraftfahrzeugs an einem Kraftfahrzeugteil des Kraftfahrzeugs angeordnet. Das Kraftfahrzeugteil ist im am Kraftfahrzeug angeordneten Zustand relativ zum Kraftfahrzeug bewegbar. Der Umgebungsbereich wird mittels der Kamera erfasst. Ein wesentlicher Gedanke der Erfindung ist darin zu sehen, dass beim Bewegen des Kraftfahrzeugteils relativ zum Kraftfahrzeug im daran angeordneten Zustand die Kamera mit dem Kraftfahrzeugteil mitbewegt wird und relativ zum restlichen Kraftfahrzeug bewegt wird und bei dieser Bewegung zumindest zeitweise der Umgebungsbereich erfasst wird.
  • Durch das erfindungsgemäße Verfahren wird es möglich, den Umgebungsbereich einfacher und informativer zu erfassen. Das Erkennen von Objekten in dem Umgebungsbereich, wie beispielsweise Hindernissen, kann dadurch insbesondere bezüglich dem Informationsumfang und der Informationsgenauigkeit verbessert und zuverlässiger erfolgen.
  • Im Stand der Technik wird ein Objekt in dem Umgebungsbereich beispielsweise zweidimensional oder dreidimensional erkannt. Zweidimensional kann das Objekt mit einem gängigen Objekterkennungsverfahren, beispielsweise Haar-Merkmale in Kombination mit einer Support Vector Machine (SVM), erkannt werden. Für das Bereitstellen von dreidimensionalen Informationen von dem Umgebungsbereichs ist üblicherweise ein aktiver Sensor notwendig oder es sind zumindest zwei Bilder von unterschiedlichen Positionen in dem Umgebungsbereich erforderlich. Die zumindest zwei verschiedenen Positionen der Kamera in dem Umgebungsbereich können beispielsweise dadurch erreicht werden, indem sich das Kraftfahrzeug während der Aufnahme bewegt. Vorliegend gilt das Interesse insbesondere dem Bereitstellen von 3D-Information mit einem passiven Sensor, wie der Kamera, bei stehendem Kraftfahrzeug.
  • So ist der Ablauf des Verfahrens insbesondere wie folgt vorgesehen. Während das Kraftfahrzeugteil bewegt wird, werden zumindest zwei Bilder des Umgebungsbereichs zu unterschiedlichen Zeitpunkten aufgenommen. Es ist somit nicht hinderlich, dass das Kraftfahrzeug zu diesen Zeitpunkten nicht bewegt wird. Es können somit Bilder von verschiedenen Positionen der Kamera aufgenommen werden, welche anschließend dazu genutzt werden können, um ein Disparitätsbild und somit 3D-Information über den Umgebungsbereich bereitzustellen. Die Bilder können beispielsweise auch mit einem sogenannten und an sich bekannten „Structure-from-Motion“-Ansatz bearbeitet werden, um die 3D-Information bereitzustellen. Anhand der 3D-Information können nun Objekte, beispielsweise Hindernisse für das Kraftfahrzeug, in dem Umgebungsbereich zuverlässig und präzise erkannt werden.
  • Das Kraftfahrzeugteil kann dabei beispielsweise als einklappbarer Seitenspiegel des Kraftfahrzeugs vorliegen. Wird der Seitenspiegel nun beispielsweise nach Beendigung eines Parkvorgangs, also vor erneutem Fahrtantritt, bewegt, so kann der Umgebungsbereich mittels nur einer 2D-Kamera in dem Kraftfahrzeugteil trotzdem dreidimensional bereitgestellt werden.
  • Vorzugsweise ist vorgesehen, dass die Kamera als 2D-Kamera ausgebildet ist und der Umgebungsbereich bei einer Aufnahme nur zweidimensional erfasst wird. Die Kamera liegt somit vorzugsweise nicht als 3D-Kamera, wie beispielsweise eine Time-of-Flight-Kamera, vor. Somit wird der Umgebungsbereich bei einer Aufnahme also mit einem Bild nur zweidimensional erfasst. Die 3D-Information kann dann anhand von mehreren Aufnahmen mit der 2D-Kamera bestimmt werden.
  • Insbesondere ist es vorgesehen, dass der Umgebungsbereich mit der Kamera während der Bewegung des Kraftfahrzeugteils relativ zum Kraftfahrzeug an zumindest zwei verschiedenen Positionen des Kraftfahrzeugteils erfasst wird. So werden also insbesondere zumindest zwei Bilder an den zwei unterschiedlichen Positionen des Kraftfahrzeugteils aufgenommen. Beispielsweise kann ein Bild aufgenommen werden, wenn der Seitenspiegel des Kraftfahrzeugs vollständig eingeklappt ist, und ein anderes Bild kann aufgenommen werden, während der Seitenspiegel vollständig aufgeklappt ist. Vorzugsweise ist es allerdings vorgesehen, dass während der Bewegung des Kraftfahrzeugteils eine Vielzahl von Bildern aufgenommen wird. Es kann dann ein „Structure-from-Motion“-Ansatz genutzt werden, um die gewünschte 3D-Information des Umgebungsbereichs anhand der Bilder zu bestimmen.
  • Vorzugsweise ist es vorgesehen, dass anhand des erfassten Umgebungsbereichs zumindest bereichsweise eine 3D-Information von dem Umgebungsbereich erzeugt wird. So wird die 3D-Information insbesondere von dem Bereich des Umgebungsbereichs erzeugt, welcher mehrfach durch Aufnahmen mit der Kamera erfasst worden ist. So kann es beispielsweise vorgesehen sein, dass die aufgenommenen Bilder sich überlappen. Anhand der redundanten Information von dem Umgebungsbereich, welche durch die Überlappung bereitgestellt wird, kann dann die 3D-Information bestimmt werden. 3D-Information bedeutet in diesem Zusammenhang, dass insbesondere von der Kamera aus zu jedem Punkt in dem erfassten Umgebungsbereich eine Entfernung bestimmt werden kann. Es kann somit also ein Tiefenwert des jeweiligen Bilds des Umgebungsbereichs angegeben werden. Durch die 3D-Information kann ein Objekt in dem Umgebungsbereich präziser beschrieben werden. Dadurch kann das Objekt beispielsweise wiederum präziser als Hindernis für das Kraftfahrzeug klassifiziert werden.
  • Vorzugsweise ist es vorgesehen, dass anhand der 3D-Information ein Abstand zu dem Objekt in dem Umgebungsbereich bestimmt wird. Durch das Bestimmen des Abstands anhand der 3D-Information kann eine Relevanz des Objekts für das Kraftfahrzeug bestimmt werden. So kann beispielsweise auch bestimmt werden, ob sich das Objekt abhängig von dem Abstand in einem zukünftigen Fahrschlauch des Kraftfahrzeugs befindet. Dadurch kann das Objekt präzise hinsichtlich seiner Relevanz für die Sicherheit des Kraftfahrzeugs eingeordnet werden. Durch den Abstand kann die 3D-Information dann auch beispielsweise für einen Parkvorgang genutzt werden. So kann dann beispielsweise ein Ausparkvorgang des Kraftfahrzeugs abhängig von dem Abstand zu dem Objekt durchgeführt werden.
  • Weiterhin kann es vorgesehen sein, dass eine Warnung an einen Nutzer des Kraftfahrzeugs ausgegeben wird, falls der Abstand zu dem Objekt kleiner als ein Abstandsgrenzwert ist. So kann der Nutzer dann beispielsweise bei einem Parkvorgang gewarnt werden, falls der Abstand zu dem Objekt unterschritten wird. So kann es beispielsweise vorgesehen sein, dass das Kraftfahrzeug in einem unbewegten Zustand vorliegt und lediglich das Kraftfahrzeugteil bewegt wird. Dadurch kann dann die 3D-Information bestimmt werden, anhand welcher der Abstand bestimmt wird. Anschließend wird das Kraftfahrzeug bewegt, und aufgrund der zuvor erfassten 3D-Information sind die Abstände zu Objekten in dem Umgebungsbereich bekannt. Das Kraftfahrzeug kann somit zuverlässiger ohne mit dem Objekt zu kollidieren bewegt werden. Bei einer bevorstehenden Kollision mit dem Objekt kann ein Warnton ausgegeben werden. Das Kraftfahrzeug kann dadurch sicherer und kollisionsfreier betrieben werden.
  • Weiterhin kann es vorgesehen sein, dass die Warnung visuell und/oder akustisch und/oder haptisch an den Nutzer ausgegeben wird. So kann die visuelle Warnung beispielsweise auf einer Anzeigeeinheit des Kraftfahrzeugs ausgegeben werden. Hierzu kann beispielsweise das Kraftfahrzeug als schematische Grafik auf der Anzeigeeinheit dargestellt werden. Die schematische Grafik kann dann anhand der 3D-Information mit Objekten aus dem Umgebungsbereich angereichert werden. Dadurch kann dem Nutzer beispielsweise eine vorhergesehene Kollision mit dem Objekt angezeigt werden. Unterstützt werden kann der angezeigte Hinweis auf die vorhergesehene Kollision beispielsweise mit akustischen Mitteln. So kann beispielsweise mittels eines variablen Tons darauf hingewiesen werden, dass sich das Kraftfahrzeug immer näher an das Objekt annähert. Ergänzend oder alternativ kann dem Nutzer auch haptisch mitgeteilt werden, beispielsweise durch Vibration eines Lenkrads des Kraftfahrzeugs, dass dieser von dem Objekt wegsteuern sollte. Alternativ kann das Kraftfahrzeug auch zumindest semi-autonom betrieben werden und selbst von dem Objekt wegsteuern. Die Warnung kann dann als Steuersignal ausgegeben werden. Das Kraftfahrzeug kann hierdurch ebenfalls wiederum sicherer betrieben werden.
  • In einer weiteren Ausführungsform ist es vorgesehen, dass nach abgeschlossener Bewegung des Kraftfahrzeugteils mit der Kamera der Umgebungsbereich nochmal mit der Kamera erfasst wird und anhand von Informationen, welche durch das nochmalige Erfassen des Umgebungsbereichs bereitgestellt werden, ein Vergleich mit der 3D-Information durchgeführt wird, und ein bei diesem nochmaligen Erfassen des Umgebungsbereichs mittlerweile Abwesendsein des Objekts in der 3D-Information erkannt wird. Durch das nochmalige Erfassen des Umgebungsbereichs kann ein Objekt, welches sich zuvor, während der Bewegung des Kraftfahrzeugteils, in dem Umgebungsbereich befunden hat, nicht mehr in diesem befindet. Falls sich also ein bewegtes Objekt in dem Umgebungsbereich befunden hat, so kann es sein, dass dieses zum Zeitpunkt des nochmaligen Erfassens nicht mehr in dem Umgebungsbereich vorhanden ist. Durch das nochmalige Erfassen kann also beispielsweise eine Zuverlässigkeit der 3D-Information überprüft werden. Weiterhin wird durch das nochmalige Erfassen des Umgebungsbereichs verhindert, dass eine falsche Warnung an den Nutzer ausgegeben wird, da die Warnung auf veralteter Information basieren könnte. Durch diese Vorgehensweise kann die 3D-Information zuverlässig auf Aktualität überprüft werden.
  • Weiterhin kann es vorgesehen sein, dass das nochmalige Erfassen des Umgebungsbereichs mit der Kamera dann durchgeführt wird, falls ein Nutzer des Kraftfahrzeugs als in dem Kraftfahrzeug anwesend erkannt wird und die 3D-Information hinsichtlich des Nutzers als das mittlerweile abwesende Objekt überprüft wird. Der Nutzer in dem Kraftfahrzeug kann beispielsweise dann als anwesend erkannt werden, falls eine Zündung des Kraftfahrzeugs erfolgt und/oder falls ein Sitzsensor die Anwesenheit des Nutzers erkennt. Der Gedanke hinter dem nochmaligen Erfassen des Umgebungsbereichs, falls der Nutzer als in dem Kraftfahrzeug anwesend erkannt wird, ist, dass dadurch erkannt werden kann, ob der Nutzer selbst in der 3D-Information als falsches, nicht mehr aktuelles Hindernis enthalten ist. So kann es beispielsweise sein, dass der Nutzer das Bewegen des Kraftfahrzeugteils, beispielsweise des Seitenspiegels, durch Betätigung eines Funkschlüssels aktiviert, während dieser außerhalb und in der Nähe des Kraftfahrzeugs befindlich ist. Somit könnte der Nutzer durch die Kamera während der Bewegung des Kraftfahrzeugteils erfasst werden und somit wäre dieser auch in der 3D-Information enthalten. Durch das nochmalige Erfassen des Umgebungsbereichs, falls der Nutzer als in dem Kraftfahrzeug anwesend erkannt wird, kann die 3D-Information zuverlässig auf die unerwünschte Anwesenheit des Nutzers in dieser überprüft werden. Die 3D-Information kann dadurch zuverlässiger hinsichtlich eines aktuellen Zustands des Umgebungsbereichs bereitgestellt werden.
  • In einer weiteren Ausführungsform kann es vorgesehen sein, dass eine Bewegungsrichtung des Kraftfahrzeugs und/oder eine Geschwindigkeit des Kraftfahrzeugs bestimmt wird und abhängig von der bestimmten Bewegungsrichtung und/oder der bestimmten Geschwindigkeit zusätzlich unter Berücksichtigung von Information des Umgebungsbereichs an den zwei verschiedenen Positionen eine Vorhersage über eine mögliche Kollision mit einem Objekt in dem Umgebungsbereich getroffen wird. So wird mit der Information des Umgebungsbereichs an den zwei verschiedenen Positionen der Kamera insbesondere die 3D-Information erzeugt. Durch die 3D-Information wiederum kann eine Position des Objekts relativ zu dem Kraftfahrzeug präzise bestimmt werden. Ist nun die Bewegungsrichtung des Kraftfahrzeugs, beispielsweise über einen Lenkwinkelsensor des Kraftfahrzeugs, bekannt und/oder ist nun die Geschwindigkeit, beispielsweise über einen Geschwindigkeitssensor des Kraftfahrzeugs und/oder eine Gangschaltungsinformation des Kraftfahrzeugs bekannt, so lässt sich dadurch die mögliche Kollision mit dem Objekt in dem Umgebungsbereich vorhersagen. Durch die Vorhersage der möglichen Kollision kann das Kraftfahrzeug sicherer betrieben werden.
  • Weiterhin kann es vorzugsweise vorgesehen sein, dass eine redundante Information des Umgebungsbereichs durch eine erste Aufnahme an der ersten Position und eine zweite Aufnahme an der zweiten Position mit der Kamera bereitgestellt wird, und anhand der redundanten Information ein Bildaufnahmequalität, insbesondere eine Farbtreue, der Kamera geprüft wird. So liegt die redundante Information des Umgebungsbereichs beispielsweise durch ein Überlappen der ersten Aufnahme und der zweiten Aufnahme vor. Ist nun beispielsweise der überlappende Bereich, also die redundante Information, in der ersten Aufnahme mit Farbwerten abgebildet, welche sich von den Farbwerten innerhalb des überlappenden Bereichs der zweiten Aufnahme unterscheiden, so kann dies als Hinweis genutzt werden, um die Bildaufnahmequalität der Kamera zu überprüfen. Möglich wäre, dass ein Bildsensor der Kamera abhängig von dem jeweiligen Bildsensorbereich des Bildsensors unterschiedliche Farben wiedergibt. So wird dann beispielsweise am Rand des Bildsensors eine andere Farbe für die gleiche Stelle des Umgebungsbereichs bereitgestellt, als dies für einen anderen Bildsensorbereich der Fall ist. So kann die Anordnung der Kamera in dem Kraftfahrzeugteil und der Betrieb der Kamera während der Bewegung des Kraftfahrzeugteils nicht nur zur Erzeugung der 3D-Information genutzt werden, sondern auch, um die Bildaufnahmequalität der Kamera zu überprüfen. Falls dann also festgestellt werden sollte, dass die Bildaufnahmequalität der Kamera sich nicht innerhalb eines vorgegebenen Toleranzbereichs befindet, so kann ein Hinweis an den Nutzer des Kraftfahrzeugs und/oder an eine Werkstatt die mangelhafte Bildqualität betreffend ausgegeben werden. Die redundante Information kann beispielsweise durch Aufnahme eines Fahrzeugs in dem Erfassungsbereich der Kamera bezogen werden. Anhand einer Farbe des Fahrzeugs in dem Umgebungsbereich kann dann beispielsweise auch ein Anpassen eines automatischen Weißabgleichs durchgeführt werden. Es kann dann aber auch ein Signal an die Kamera ausgegeben werden, um Bildverarbeitungsparameter, beispielsweise eines Bildnachbearbeitungsverfahrens, anzupassen.
  • Insbesondere ist es vorgesehen, dass ein Seitenspiegel des Kraftfahrzeugs als das Kraftfahrzeugteil während des Erfassens des Umgebungsbereichs mittels der Kamera bewegt wird. Insbesondere vorgesehen ist es dann, dass die Kamera in dem Seitenspiegel angeordnet ist und der Seitenspiegel beispielsweise vor einem Einparkvorgang und/oder während eines Einparkvorgangs und/oder nach einem Einparkvorgang eingeklappt wird und/oder der Seitenspiegel vor einem Ausparkvorgang und/oder während eines Ausparkvorgangs und/oder nach einem Ausparkvorgang ausgeklappt wird. Es kann auch vorgesehen sein, dass der Seitenspiegel lediglich ein- und ausgeklappt wird, um die 3D-Information bereitzustellen. So kann der Nutzer beispielsweise das Ein- und Ausklappen des Seitenspiegels aktivieren, während dieser sich in dem Ein- oder Ausparkvorgang befindet, um die 3D-Information zu erlangen. Der Seitenspiegel verfügt vorzugsweise über einen Aktor, welcher diese einklappt. Das Einklappen kann beispielsweise auch erfolgen, um mit einer geringeren Fahrzeugbreite einparken zu können und/oder um das Kraftfahrzeug während des Parkens vor Beschädigung der Seitenspiegel zu schützen. Die Anordnung der Kamera ist aber nicht auf das Anordnen in dem Seitenspiegel beschränkt. So kann die Kamera beispielsweise auch in einer Heckklappe oder einer Klappe, welche genutzt wird, um die Kamera zu verdecken, beispielsweise wenn das Kraftfahrzeug geparkt ist, angeordnet werden.
  • Die Kamera kann beispielsweise an einem Emblem des Kraftfahrzeugs beispielsweise an einer Heckklappe des Kraftfahrzeugs angeordnet sein, welches die Kamera verdeckt, wenn diese nicht benötigt wird. Wird die Kamera dann benötigt, so kann ein Erfassungsbereich der Kamera durch eine Rotationsbewegung des Emblems in Richtung des Umgebungsbereichs gerichtet werden. Während der Rotationsbewegung kann der Umgebungsbereich dann erfasst werden. Auch kann die Kamera beispielsweise in einem Schiebedach oder einem beweglichen Sonnendach und/oder einem Verdeck eines Cabrios und/oder einer Türe des Kraftfahrzeugs als das Kraftfahrzeugteil angeordnet sein. So kann die Heckklappe beispielsweise auch per Funkfernbedienung geöffnet werden. Während des Öffnungsvorgangs kann dann beispielsweise der Umgebungsbereich an zumindest zwei unterschiedlichen Positionen der Kamera erfasst werden. Somit kann wiederum die 3D-Information bereitgestellt werden.
  • In einer weiteren Ausführungsform kann es vorgesehen sein, dass eine Lage der Kamera an dem Kraftfahrzeugteil überprüft wird und dazu bei einem ersten Bewegungsvorgang des Kraftfahrzeugteils die Position eines Referenzobjekts am Kraftfahrzeug, wie es durch die Kamera bei einem zweiten Bewegungsvorgang des Kraftfahrzeugteils erfasst wurde, verglichen wird und abhängig von dem Vergleich eine Lageänderung der Kamera an dem Kraftfahrzeugteil erkannt wird. Insbesondere werden der erste Bewegungsvorgang und der zweite Bewegungsvorgang separat ausgeführt, beispielsweise hintereinander. Weiterhin ist es insbesondere vorgesehen, dass sich die Position des Referenzobjekts während der Zeit zwischen den Bewegungsvorgängen nicht ändert. Dadurch kann dann eine Kalibrierung der mechanischen Führung der Kamera und/oder des Kraftfahrzeugteils erfolgen. So kann beispielsweise der erste Bewegungsvorgang ausgeführt werden, und dazu wird abgespeichert, an welcher Position des Kraftfahrzeugteils dieser gestartet wird und an welcher Position des Kraftfahrzeugteils dieser beendet wird. Bei dem zweiten Bewegungsvorgang sollten eine Startposition und eine Endposition jeweils der Startposition und der Endposition des ersten Bewegungsvorgangs entsprechen. Falls sich die Kamera nach dem zweiten Bewegungsvorgang in einer anderen Position befindet als dies nach dem ersten Bewegungsvorgang der Fall war, gibt dies einen Hinweis auf eine Fehlausrichtung der Kamera und/oder des Kraftfahrzeugteils. Als Folge kann beispielsweise eine Distanz, über welche sich das Kraftfahrzeugteil und/oder die Kamera bewegen sollte, angepasst werden. Es kann aber auch eine Suche nach der Ursache der mechanischen Ungenauigkeit ausgelöst werden. Als das Referenzobjekt ist insbesondere ein Bauteil des Kraftfahrzeugs, wie beispielsweise ein Türgriff des Kraftfahrzeugs, vorgesehen, es kann aber auch beispielsweise ein parkendes und dadurch statisches Fahrzeug in dem Erfassungsbereich der Kamera genutzt werden.
  • Die Erfindung betrifft ein Fahrerassistenzsystem für ein Kraftfahrzeug. Das Fahrerassistenzsystem umfasst zumindest eine Kamera und eine Auswerteeinheit. Weiterhin ist das Fahrerassistenzsystem dazu ausgebildet, ein erfindungsgemäßes Verfahren durchzuführen.
  • Das Fahrerassistenzsystem kann beispielsweise als Hinderniswarnsystem und/oder als Umfeldsichtsystem (CMS – camera monitoring system) ausgebildet sein. Weiterhin kann das Fahrerassistenzsystem beispielsweise als Parkassistent und/oder als Querverkehrwarnsystem ausgebildet sein. So kann durch das Querverkehrwarnsystem beispielsweise ein anderer Verkehrsteilnehmer erkannt werden, welcher sich von links oder von rechts des Hecks und/oder der Front des Kraftfahrzeugs annähert.
  • Die Erfindung betrifft auch ein Kraftfahrzeug mit einem erfindungsgemäßen Fahrerassistenzsystem.
  • Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrerassistenzsystem sowie für das erfindungsgemäße Kraftfahrzeug.
  • Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der Kamera gegebenen Positionen und Orientierungen angegeben.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen.
  • Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
  • Dabei zeigen:
  • 1 eine schematische Draufsicht eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einem Fahrerassistenzsystem;
  • 2 eine schematische Darstellung eines Seitenspiegels des Kraftfahrzeugs mit einer daran angeordneten Kamera des Kraftfahrzeugs; und
  • 3 eine schematische Draufsicht auf eine Parkfläche mit dem Kraftfahrzeug bei einem Parkvorgang.
  • In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
  • In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Fahrerassistenzsystem 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst in dem Ausführungsbeispiel eine Kamera 3, eine Auswerteeinheit 4 und eine Anzeigeeinheit 5. Die Anzeigeeinheit 5 kann beispielsweise an einer Mittelkonsole 6 des Kraftfahrzeugs 1 angeordnet sein. Weiterhin kann die Anzeigeeinheit 5 beispielsweise als LCD-Display ausgebildet sein. Die Auswerteeinheit 4 kann beispielsweise in die Kamera 3 integriert sein oder aber separat zu der Kamera 3 ausgebildet sein.
  • Die Kamera 3 ist an einem als Kraftfahrzeugteil des Kraftfahrzeugs 1 ausgebildeten Seitenspiegel 7 des Kraftfahrzeugs 1 angeordnet. Die Kamera 3 kann beispielsweise an einer Unterseite des Seitenspiegels 7 angeordnet sein. Die Anordnung der Kamera 3 an dem Seitenspiegel 7 ist aber vielfältig möglich, vorzugsweise allerdings so, dass ein Umgebungsbereich 8 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann.
  • Der Seitenspiegel 7 ist gemäß dem Ausführungsbeispiel an einer linken Seite 9 des Kraftfahrzeugs 1 angeordnet. Der Seitenspiegel 7 kann aber ebenso gut ergänzend oder alternativ an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet sein. Weiterhin ist der Seitenspiegel 7 relativ zum Kraftfahrzeug 1 bewegbar angeordnet. Das bedeutet, dass der Seitenspiegel 7 mitsamt der Kamera 3 relativ zu dem Kraftfahrzeug 1 bewegt werden kann. Die Bewegung kann beispielsweise durch einen Aktor 11, welcher von dem Kraftfahrzeugteil umfasst wird, mechanisch ausgeführt werden.
  • In einer nicht weiter dargestellten Ausführungsform kann die Kamera 3 aber auch ergänzend oder alternativ an einer Heckklappe 12 des Kraftfahrzeugs 1 und/oder an einem Verdeck des Kraftfahrzeugs 1 und/oder an einem Schiebedach des Kraftfahrzeugs 1 und/oder an einer Sonnenblende des Kraftfahrzeugs 1, welche relativ zu dem Kraftfahrzeug 1 bewegbar ist, angeordnet sein. Die Kamera 3 kann auch ohne den Seitenspiegel 7 direkt mit dem Aktor 11 an das Kraftfahrzeug 1 angeordnet sein. So kann die Kamera beispielsweise Bestandteil eines Umfeldsichtsystems (CMS – camera monitoring system) sein.
  • Die Kamera 3 kann als CMOS-Kamera (complementary metal-oxide-semiconductor) oder aber als CCD-Kamera (charge-coupled device) oder als eine beliebige Bilderfassungseinrichtung ausgebildet sein. Die Kamera 3 stellt eine Bildsequenz von Bildern des Umgebungsbereichs 8 bereit. Die Bildsequenz der Bilder wird beispielsweise dann in Echtzeit durch die Auswerteeinheit 4 verarbeitet. Die Kamera 3 ist insbesondere als 2D-Kamera ausgebildet, mit welcher die Einzelbilder der Bildsequenz lediglich zweidimensional erfasst werden. Für ein Einzelbild wird also insbesondere keine Tiefeninformation durch die Kamera 3 selbst bereitgestellt.
  • In dem Umgebungsbereich 8 ist ein Objekt 13 angeordnet. Das Objekt 13 kann beispielsweise ein Hindernis für das Kraftfahrzeug 1 darstellen. So kann das Objekt 13 beispielsweise als anderer Verkehrsteilnehmer, beispielsweise anderes Kraftfahrzeug, ausgebildet sein. Das Objekt 13 ist in einem Abstand 14 zu dem Kraftfahrzeug 1 angeordnet.
  • 2 zeigt den Seitenspiegel 7 in einer Detaildarstellung. An dem Seitenspiegel 7 ist die Kamera 3 angeordnet. Der Seitenspiegel 7 ist relativ zu dem Kraftfahrzeug 1 bewegbar. Gemäß 2 befindet sich der Seitenspiegel 7 in einer ersten Position 15. Da der Seitenspiegel 7 jedoch relativ zu dem Kraftfahrzeug 1 bewegt werden kann, kann er sich – wie gestrichelt dargestellt – auch in einer zweiten Position 16 befinden. Vorzugsweise kann sich der Seitenspiegel 7 in mehreren verschiedenen Positionen als nur der ersten Position 15 und der zweiten Position 16 befinden. Die erste Position 15 kann beispielsweise von dem Seitenspiegel 7 eingenommen werden, falls der Seitenspiegel 7 in einem ausgeklappten Zustand vorliegt und somit von einem Nutzer des Kraftfahrzeugs genutzt werden kann, um über eine Spiegelfläche des Seitenspiegels 7 einen hinteren Teil des Umgebungsbereichs 8 zu beobachten. Die zweite Position 16 kann von dem Seitenspiegel 7 beispielsweise dann eingenommen werden, wenn dieser eingeklappt ist, um eine Abmessung des Kraftfahrzeugs 1 in Richtung der Querachse zu reduzieren und dadurch beispielsweise besser parken zu können oder die Gefahr, dass ein anderer Verkehrsteilnehmer mit dem Seitenspiegel 7 kollidiert, zu reduzieren.
  • Während des Bewegens des Seitenspiegels 7 wird der Umgebungsbereich 8 zumindest teilweise erfasst. Die Kamera 3 bewegt sich während des Bewegens des Seitenspiegels 7 mit dem Seitenspiegel 7 mit. Somit wird der Umgebungsbereich 8 zumindest teilweise mit zumindest zwei Aufnahmen von zumindest zwei verschiedenen Positionen 15, 16 erfasst. Die Bewegung des Seitenspiegels 7 kann beispielsweise über den Aktor 11 erfolgen.
  • Die jeweilige Position 15, 16 der Kamera 3 kann beispielsweise über einen mechanischen Sensor erfolgen. Ergänzend oder alternativ kann die Position 15, 16 auch über feste Merkmale an dem Kraftfahrzeug 1 bestimmt werden. So kann beispielsweise während der Bewegung der Kamera 3 ein festes Merkmal des Kraftfahrzeugs 1, wie beispielsweise ein Türgriff, ein Vorderrad, ein Hinterrad, eine Seite und/oder ein in sonstiger Weise geeignetes festes Merkmal des Kraftfahrzeugs 1 genutzt werden, um einen Bewegungsweg der Kamera 3 und dadurch die erste Position 15 und die zweite Position 16 zu bestimmen.
  • Das erfindungsgemäße Verfahren läuft also beispielsweise nun wie folgt ab. Der Seitenspiegel 7 wird zusammen mit der Kamera 3 relativ zu dem Kraftfahrzeug 1 bewegt. Während des Bewegens wird zumindest eine erste Aufnahme an der ersten Position 15 und eine zweite Aufnahme an der zweiten Position 16 mit der Kamera 3 gemacht. Anhand der ersten Aufnahme und der zweiten Aufnahme kann nun eine 3D-Information zumindest bereichsweise von dem Umgebungsbereich 8 erzeugt werden. Das Erzeugen der 3D-Information kann beispielsweise mittels eines „Structure-from-Motion“-Ansatzes (SfM) erzeugt werden. Dadurch kann die Position des Objekts 13 in dem Umgebungsbereich 8 iterativ bestimmt werden. Die 3D-Information kann aber auch in vielfältiger anderer Weise erzeugt werden. Grundsätzlich kann hier das Prinzip der Stereoskopie angewandt werden. Durch die 3D-Information kann also eine Lage des Objekts 13 im Raum bestimmt werden. Dadurch kann dann der Abstand 14 zwischen dem Objekt 13 und dem Kraftfahrzeug 1 bestimmt werden.
  • Der „Structure-from-Motion“-Ansatz ist eine Methode, um eine Distanz in Bildern zu erzeugen. Er bezieht sich auf den Prozess der Schätzung von dreidimensionalen Strukturen ausgehend von zweidimensionalen Bildsequenzen, welche mit lokalen Bewegungssignalen gekoppelt sein können.
  • Zur Unterstützung und der Möglichkeit der genaueren Auswertung der Aufnahmen kann der Bewegungsweg der Kamera 3 mit einem mechanischen Sensor und/oder festen Merkmalen an dem Kraftfahrzeug 1 erfasst werden.
  • 3 zeigt nun eine Parkfläche 17 mit zumindest einem Stellplatz 18. Das Kraftfahrzeug 1 befindet sich momentan bei der Ausübung eines Parkmanövers. So wird beabsichtigt mit dem Kraftfahrzeug 1 aus dem Stellplatz 18 auszuparken. Bevor das Kraftfahrzeug 1 in Bewegung versetzt wurde und dadurch mit dem Parkmanöver begonnen wurde, wurde der Seitenspiegel 7 ausgeklappt und von der zweiten Position 16 in die erste Position 15 verlagert. Somit konnten während des Wechsels der Positionen 15, 16 zumindest die erste Aufnahme und die zweite Aufnahme getätigt werden. Anhand derer wurde die 3D-Information erzeugt und der Abstand 14 zu dem Objekt 13 bestimmt. Das Objekt 13 liegt gemäß 3 als benachbartes, parkendes Kraftfahrzeug vor. Anhand des Abstands 14 kann das Kraftfahrzeug 1 nun bei dem Ausparkvorgang durch das Fahrerassistenzsystem 2 unterstützt werden. So kann einem Nutzer des Fahrerassistenzsystems 2 beispielsweise visuell und/oder haptisch und/oder akustisch eine Warnung ausgegeben werden, falls der Abstand 14 einen Abstandsgrenzwert unterschreitet. Die visuelle Warnung kann beispielsweise auf der Anzeigeeinheit 5 ausgegeben werden.
  • Ergänzend oder anstatt kann durch das Erfassen des Umgebungsbereichs 8 an der ersten Position 15 und der zweiten Position 16 eine Bildaufnahmequalität überprüft werden. So kann beispielsweise festgestellt werden, ob in einem überlappenden Bereich der ersten Aufnahme an der ersten Position 15 und der zweiten Aufnahme an der zweiten Position 16 der gleiche Farbton in den jeweiligen Aufnahmen vorhanden ist. Somit lässt sich eine Aussage über die Farbtreue der Kamera treffen. Es können aber auch weitere Bildaufnahmequalitätsparameter der Kamera 3 geprüft werden, wie beispielsweise ein automatischer Weißabgleich. Als Folge kann das Bildsignalverarbeitungsverfahren direkt in der Kamera 3 oder zu einem späteren Zeitpunkt in der Verarbeitungskette angepasst werden.
  • Weiterhin ergänzend oder anstatt kann eine Lage der Kamera 3 an dem Seitenspiegel 7 überprüft werden, indem ein erster Bewegungsvorgang des Seitenspiegels 7 und ein zweiter Bewegungsvorgang des Seitenspiegels 7 ausgeführt wird. Die beiden Bewegungsvorgänge sind unterschiedlich. Während der Aufnahme wird ein Referenzobjekt, welches an dem Kraftfahrzeug 1 angeordnet ist, erfasst. Abhängig von dem statischen Referenzobjekt kann dann eine Lageänderung der Kamera 3 an dem Seitenspiegel 7 erkannt werden. Das Referenzobjekt kann beispielsweise durch einen Türgriff des Kraftfahrzeugs charakterisiert sein. Die Lageänderung bedeutet, dass die Kamera 3 und/oder der Seitenspiegel 7 in einer anderen Ausgangsposition nach dem zweiten Bewegungsvorgang abgelegt wird, als dies nach dem ersten Bewegungsvorgang der Fall war.
  • Weiterhin kann es vorgesehen sein, dass nach abgeschlossener Bewegung des Seitenspiegels 7, also nach den Aufnahmen an der ersten Position 15 und der zweiten Position 16, insbesondere nach Bewegungsende des Seitenspiegels 7, der Umgebungsbereich 8 zumindest teilweise nochmal mit der Kamera 3 erfasst wird.
  • Anhand des nochmaligen Erfassens des Umgebungsbereichs 8 kann dann ein Vergleich mit der 3D-Information durchgeführt werden. Es kann nun festgestellt werden, ob sich in der 3D-Information ein mittlerweile veraltetes Objekt befindet, welches nun in der Information des nochmaligen Erfassens nicht mehr vorhanden ist. Das nochmalige Erfassen kann beispielsweise dann durchgeführt werden, wenn der Nutzer des Fahrerassistenzsystems 2 als in dem Kraftfahrzeug 1 anwesend erkannt wird. Die Anwesenheit kann beispielsweise durch Aktivieren der Zündung oder durch einen Personenanwesenheitssensor in einem Sitz des Kraftfahrzeugs 1 erkannt werden. Wird also erkannt, dass der Nutzer in dem Kraftfahrzeug 1 anwesend ist, so kann das nochmalige Erfassen durchgeführt werden und die 3D-Information kann anhand der Information des nochmaligen Erfassens überprüft werden. So kann festgestellt werden, ob der Nutzer selbst in der 3D-Information vorhanden ist.
  • Das Vorhandensein des Nutzers in der 3D-Information ist unerwünscht, da dadurch ein Objekt in dem Umgebungsbereich 8 beschrieben wird, welches zu dem Zeitpunkt des Ausparkens nicht mehr vorhanden ist. Das Vorhandensein des Nutzers in der 3D-Information kann vorkommen, wenn der Nutzer das Kraftfahrzeug 1 aus der Ferne, beispielsweise mit einer Fernbedienung wie einem Funkschlüssel, aufsperrt. Steht der Nutzer also während des Aufsperrens des Kraftfahrzeugs 1 in dem Erfassungsbereich der Kamera 3, so kann dieser dann auch in der 3D-Information vorhanden sein. Durch das nochmalige Erfassen kann das Vorhandensein des Nutzers in der 3D-Information allerdings erkannt werden, und somit kann die 3D-Information auch dementsprechend angepasst werden, sodass diese ohne den Nutzer als die aktuelle Situation verfälschende Eigenschaft bereitgestellt wird.
  • So kann beispielsweise auch eine letzte Aufnahme beim Abschluss des Einparkvorgangs verglichen werden mit einer ersten Aufnahme, welche beim Ausparken des Kraftfahrzeugs 1 getätigt wird. So kann beispielsweise überprüft werden, ob sich die Szene in dem Umgebungsbereich 8 geändert hat. Es kann dann beispielsweise auch die während des Einparkens erzeugte Information für das Ausparken genutzt werden.
  • Die Kamera 3 kann beispielsweise auch in der Heckklappe 12 angeordnet sein. Falls die Kamera 3 in der Heckklappe 12 angeordnet ist, kann dann beispielsweise bestimmt werden, wie weit die Heckklappe 12 geöffnet werden kann, um nicht an ein umliegendes Objekt anzustoßen. So kann beispielsweise anhand der erzeugten 3D-Information eine Aussage darüber getroffen werden, wie die Abstände zu den benachbarten Objekten der Heckklappe 12 sind. Falls die Abstände zu gering sind, um ein vollständiges Öffnen der Heckklappe 12 zu ermöglichen, kann es vorgesehen sein, dass die Heckklappe 12 automatisch vor dem weiteren Öffnen gestoppt wird, beispielsweise so lange, bis der Nutzer des Fahrerassistenzsystems 2 weitere Befehle erteilt. Dadurch kann eine Kollision der Heckklappe 12 mit einem Hindernis in dem Umgebungsbereich 8 verhindert werden.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2013/110541 A1 [0002]

Claims (15)

  1. Verfahren zum Erfassen eines Umgebungsbereichs (8) eines Kraftfahrzeugs (1), bei welchem eine Kamera (3) des Kraftfahrzeugs (1) an einem Kraftfahrzeugteil (7, 12) des Kraftfahrzeugs (1) angeordnet ist, und das Kraftfahrzeugteil (7, 12) im am Kraftfahrzeug (1) angeordneten Zustand relativ zum Kraftfahrzeug (1) bewegt werden kann, und der Umgebungsbereich (8) mittels der Kamera (3) erfasst wird, dadurch gekennzeichnet, dass beim Bewegen des Kraftfahrzeugteils (7, 12) relativ zum Kraftfahrzeug (1) im am Kraftfahrzeugteil (7, 12) angeordneten Zustand der Kamera (3) die Kamera (3) mit dem Kraftfahrzeugteil (7, 12) mitbewegt wird und relativ zum restlichen Kraftfahrzeug (1) bewegt wird, und bei dieser Bewegung zumindest zeitweise der Umgebungsbereich (8) mit der Kamera (3) erfasst wird.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Umgebungsbereich (8) bei einer Aufnahme nur zweidimensional durch die als 2D-Kamera ausgebildete Kamera (3) erfasst wird.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Umgebungsbereich (8) mit der Kamera (3) während der Bewegung des Kraftfahrzeugteils (7, 12) relativ zum Kraftfahrzeug (1) an zumindest zwei verschiedenen Positionen (15, 16) des Kraftfahrzeugteils (7, 12) erfasst wird.
  4. Verfahren nach Anspruch 2 und 3, dadurch gekennzeichnet, dass anhand von dem erfassten Umgebungsbereich (8) zumindest bereichsweise eine 3D-Information von dem Umgebungsbereich (8) erzeugt wird.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass anhand der 3D-Information ein Abstand (14) zu einem Objekt (13) in dem Umgebungsbereich (8) bestimmt wird.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass eine Warnung an einen Nutzer des Kraftfahrzeugs (1) ausgegeben wird, falls der Abstand (14) zu dem Objekt (13) kleiner als ein Abstandsgrenzwert ist.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Warnung visuell und/oder akustisch und/oder haptisch an den Nutzer ausgegeben wird.
  8. Verfahren nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass nach abgeschlossener Bewegung des Kraftfahrzeugteils (7, 12) mit der Kamera (3) der Umgebungsbereich (8) noch mal mit der Kamera (3) erfasst wird, und anhand von Information, welche durch das nochmalige Erfassen des Umgebungsbereichs (8) bereitgestellt wird, ein Vergleich mit der 3D-Information durchgeführt wird, und bei diesem nochmaligen Erfassen des Umgebungsbereichs (8) ein mittlerweile Abwesend sein des Objekts (13) in der 3D-Information erkannt wird.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das nochmalige Erfassen des Umgebungsbereichs (8) mit der Kamera (3) dann durchgeführt wird, falls ein Nutzer des Kraftfahrzeugs (1) als in dem Kraftfahrzeug (1) anwesend erkannt wird, und die 3D-Information hinsichtlich des Nutzers als das mittlerweile abwesende Objekt (13) überprüft wird.
  10. Verfahren nach einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass eine Bewegungsrichtung des Kraftfahrzeugs (1) und/oder eine Geschwindigkeit des Kraftfahrzeugs (1) bestimmt wird, und abhängig von der bestimmten Bewegungsrichtung und/oder der bestimmten Geschwindigkeit zusätzlich unter Berücksichtigung von Information des Umgebungsbereichs (8) an den zwei verschiedenen Positionen (15, 16) eine Vorhersage über eine mögliche Kollision mit einem Objekt (13) in dem Umgebungsbereich (8) getroffen wird.
  11. Verfahren nach einem der Ansprüche 3 bis 10, dadurch gekennzeichnet, dass eine redundante Information des Umgebungsbereichs (8) durch eine erste Aufnahme an der ersten Position (15) und eine zweite Aufnahme an der zweiten Position (16) mit der Kamera (3) bereitgestellt wird, und anhand der redundanten Information eine Bildaufnahmequalität, insbesondere eine Farbtreue, der Kamera (3) geprüft wird.
  12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Seitenspiegel (7) des Kraftfahrzeugs (1) als das Kraftfahrzeugteil während des Erfassens des Umgebungsbereichs (8) mittels der Kamera (3) bewegt wird.
  13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Lage der Kamera (3) an dem Kraftfahrzeugteil (7, 12) überprüft wird und dazu bei einem ersten Bewegungsvorgang des Kraftfahrzeugteils (7, 12) die Position eines Referenzobjekts am Kraftfahrzeug (1), wie es durch die Kamera (3) bei einem zweiten Bewegungsvorgang des Kraftfahrzeugteils (7, 12) erfasst wurde, verglichen wird, und abhängig von dem Vergleich eine Lageänderung der Kamera (3) an dem Kraftfahrzeugteil (7, 12) erkannt wird.
  14. Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), welches eine Kamera (3) und eine Auswerteeinheit (4) umfasst, und dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
  15. Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.
DE102015116958.4A 2015-10-06 2015-10-06 Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug Pending DE102015116958A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015116958.4A DE102015116958A1 (de) 2015-10-06 2015-10-06 Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015116958.4A DE102015116958A1 (de) 2015-10-06 2015-10-06 Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug

Publications (1)

Publication Number Publication Date
DE102015116958A1 true DE102015116958A1 (de) 2017-04-06

Family

ID=58355601

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015116958.4A Pending DE102015116958A1 (de) 2015-10-06 2015-10-06 Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug

Country Status (1)

Country Link
DE (1) DE102015116958A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022204362B3 (de) 2022-05-03 2023-07-06 Vitesco Technologies GmbH Verfahren zur Überprüfung einer Time-of-Flight Kamera zur Schmutzerkennung
DE102022212273A1 (de) 2022-11-17 2024-05-23 Continental Autonomous Mobility Germany GmbH Ermittlung eines Abstands eines stehenden Fahrzeugs von zumindest einem Objekt und/oder Hindernis in einer Umgebung des Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009031809A1 (de) * 2009-07-03 2011-01-13 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
WO2013110541A1 (en) 2012-01-26 2013-08-01 Connaught Electronics Ltd. Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
DE102012219810A1 (de) * 2012-10-30 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs mit einer an einem Außenspiegel angeordneten Kamera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009031809A1 (de) * 2009-07-03 2011-01-13 Volkswagen Ag Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
WO2013110541A1 (en) 2012-01-26 2013-08-01 Connaught Electronics Ltd. Method for operating a driver assistance device of a motor vehicle, driver assistance device and motor vehicle
DE102012219810A1 (de) * 2012-10-30 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs mit einer an einem Außenspiegel angeordneten Kamera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022204362B3 (de) 2022-05-03 2023-07-06 Vitesco Technologies GmbH Verfahren zur Überprüfung einer Time-of-Flight Kamera zur Schmutzerkennung
DE102022212273A1 (de) 2022-11-17 2024-05-23 Continental Autonomous Mobility Germany GmbH Ermittlung eines Abstands eines stehenden Fahrzeugs von zumindest einem Objekt und/oder Hindernis in einer Umgebung des Fahrzeugs

Similar Documents

Publication Publication Date Title
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
DE102009031809B4 (de) Verfahren und Vorrichtung zur Vermessung des Umfeldes eines Kraftfahrzeugs
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP3251922B1 (de) Verfahren zum autonomen einparken eines kraftfahrzeugs in eine parklücke mit ausgabe eines ausstiegssignals an den fahrer, fahrerassistenzsystem sowie kraftfahrzeug
DE102012022336A1 (de) Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
DE102014210043A1 (de) Verfahren zur Durchführung eines Einparkvorgangs eines Fahrzeugs in eine Querparklücke, sowie entsprechendes Computerprogramm und Einparkassistent
DE102010034139A1 (de) Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
DE102011079913A1 (de) Sichtunterstützungssystem für einen Fahrer und Fahrzeug mit einem solchen System
EP2559236A1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
DE102009046726A1 (de) Auswahl einer Parklücke aus mehreren erkannten Parklücken
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102016011853A1 (de) Verfahren zum Generieren von dreidimensionalen Informationen einer Umgebung eines Fahrzeugs
DE102013012522A1 (de) Bilderfassungseinrichtung für einen Kraftwagen, Kraftwagen mit einer Bilderfassungseinrichtung und Verfahren zum Betreiben einer Bilderfassungseinrichtung
DE102014011613A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs für ein Fahrzeug
EP3580923B1 (de) Kamerasystem für ein fahrzeug
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102013102952A1 (de) Verfahren und Vorrichtung zur Durchführung eines automatischen Ausparkmanövers eines Fahrzeugs
DE102015212252A1 (de) Verfahren zur Einparkunterstützung eines Fahrzeugs
DE102015116958A1 (de) Verfahren zum Erfassen eines Umgebungsbereichs, Fahrerassistenzsystem und Kraftfahrzeug
DE102013214305A1 (de) Verfahren zur Vermeidung einer Kollision eines Fahrzeuges mit mindestens einem Objekt, Fahrerassistenzsystem und Fahrzeug
DE102017116239A1 (de) Verfahren zum Längseinparken eines Kraftfahrzeugs in eine Längsparklücke, wobei Abstandsschwellwerte verringert werden, Parkassistenzsystem sowie Kraftfahrzeug
DE102018207756B3 (de) Verfahren zum Bereitstellen einer vorgegebenen Abbildung von einer Fahrzeugumgebung eines Kraftfahrzeugs, Kamerasystem für ein Kraftfahrzeug sowie Kraftfahrzeug mit einem derartigen Kamerasystem
EP1834849A1 (de) Verfahren zur Ermittlung von Objektparametern eines Fußgängers
DE102016218602A1 (de) Verfahren zur veränderten Wahrnehmung der Außenwelt eines Fahrzeugs
EP3069934B1 (de) Verfahren zum erzeugen eines gesamtbildes einer fahrzeugumgebung eines fahrzeuges und entsprechende vorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed