DE102019218492A1 - Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs - Google Patents

Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs Download PDF

Info

Publication number
DE102019218492A1
DE102019218492A1 DE102019218492.8A DE102019218492A DE102019218492A1 DE 102019218492 A1 DE102019218492 A1 DE 102019218492A1 DE 102019218492 A DE102019218492 A DE 102019218492A DE 102019218492 A1 DE102019218492 A1 DE 102019218492A1
Authority
DE
Germany
Prior art keywords
vehicle
measurement
ultrasonic sensor
acoustic signals
wetness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102019218492.8A
Other languages
English (en)
Inventor
Timo Koenig
Simon Weissenmayer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019218492.8A priority Critical patent/DE102019218492A1/de
Publication of DE102019218492A1 publication Critical patent/DE102019218492A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Es wird ein Verfahren zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs vorgeschlagen, umfassend zumindest die Schritte:- Durchführen einer ersten Messung von ersten akustischen Signalen und Bestimmung eines ersten Nässewertes einer Fahrbahn, auf der sich das Fahrzeug bewegt, durch Auswertung der ersten akustischen Signale,- Durchführen einer zweiten Messung von zweiten akustischen Signalen und Bestimmung eines zweiten Nässewertes der Fahrbahn durch Auswertung der zweiten akustischen Signale,wobei die erste Messung und die zweite Messung unabhängig voneinander durchgeführt werden,- Vergleichen des ersten Nässewertes und des zweiten Nässewertes,- Abhängig vom Ergebnis des Vergleichs, Erkennen eines bewegten Objekts in der Umgebung des Fahrzeugs.

Description

  • Die Erfindung betrifft ein Verfahren zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs, insbesondere eines anderen Fahrzeugs, das sich dem Fahrzeug seitlich von hinten nähert. Die Erkennung erfolgt mittels durch die Fahrzeuge auf der Fahrbahn verursachte Abrollgeräusche. Ein weiterer Aspekt der Erfindung betrifft ein Fahrerassistenzsystem welches zur Ausführung des Verfahrens eingerichtet ist.
  • Stand der Technik
  • Bei der Fahrt eines Fahrzeugs auf einer Fahrbahn entstehen Abrollgeräusche, welche durch das Abrollen eines Rads des Fahrzeugs auf der Fahrbahn verursacht werden. Diese Abrollgeräusche sind abhängig vom witterungsbedingten Zustand der Fahrbahn, sodass die Abrollgeräusche variieren für eine trockene Fahrbahn, eine feuchte Fahrbahn, eine verschneite Fahrbahn, eine vereiste Fahrbahn und eine nasse Fahrbahn, wobei bei einer nassen Fahrbahn die Abrollgeräusche auch noch davon abhängig sind, wie hoch der Wasserstand auf der Fahrbahn ist. Die Abrollgeräusche ähneln einem Rauschen und werden im Fall einer nassen Fahrbahn auch als Nasszischen bezeichnet.
  • Um einen witterungsbedingten Zustand der Fahrbahn zu erkennen, ist es wünschenswert, ohnehin am Fahrzeug vorhandene Sensoren zu verwenden, wie beispielsweise einen Ultraschallsensor. Ein solcher Ultraschallsensor umfasst einen Schallwandler, der eingerichtet ist, Ultraschallpulse auszusenden und von Objekten in der Umgebung reflektierte Echos wieder zu empfangen. Ein solcher Schallwandler eines Ultraschallsensors kann auch die Abrollgeräusche messen. Hierbei ist jedoch problematisch, dass die Abrollgeräusche von ihrer Charakteristik her dem bei einem Ultraschallsensor immer vorhandenen Grundrauschen ähneln. Dieses Grundrauschen der Ultraschallsensoren ist zudem von der momentanen Temperatur des Ultraschallsensors abhängig und steigt in der Regel bei zunehmender Temperatur an. Bei der Verwendung von Schwellenwerten zur Einstufung des Fahrbahnzustands anhand des durch einen Ultraschallsensor bestimmten Rauschpegels kann es somit zu Fehlern kommen. Beispielsweise kann bei hohen Sensortemperaturen der Fall auftreten, dass eine Straße fälschlicherweise als feucht erkannt wird, obwohl diese trocken ist.
  • Aus DE 10 2006 037 591 A1 ist eine Vorrichtung zur Erfassung eines bewegten Objekts bekannt. Die Vorrichtung weist mehrere Ultraschallsensoren mit verschiedenen Erfassungsbereichen auf. Die Ultraschallsensoren sind in ihrer Empfindlichkeit einstellbar. Zum Einstellen der Empfindlichkeit wird eine Messung der aktuellen Umfeldbedingungen durchgeführt. Die Umfeldbedingungen umfassen insbesondere eine Dämpfung der Amplitude des Ultraschalls und ein aufgrund einer nassen Straße erhöhtes Grundrauschen. Für die Schätzung des Umfeldrauschens werden weitere Sensoren der Vorrichtung in einen Passiv-Modus geschaltet, in dem diese keine Schallwellen aussenden, sondern nur das Fremdrauschen aus der Umwelt empfangen.
  • Die aus dem Stand der Technik bekannten Verfahren kann es sich als störend auswirken, wenn zusätzliche Geräusche, beispielsweise Abrollgeräusche von anderen Fahrzeugen empfangen werden.
  • Ferner ist es aus dem Stand der Technik bekannt, seitlich herannahende Fahrzeuge im Rahmen eines sogenannten Totwinkelassistenten durch deren Geräusche zu erkennen.
  • Herkömmliche, ultraschallbasierte Totwinkelassistent können das Problem aufweisen, dass sie bei nasser Straße und hohen Fahrzeuggeschwindigkeiten nur sehr eingeschränkt funktionieren, da die Umgebungsgeräusche (u.a. Reifengeräusche) so laut sind, dass sie vor allem Echos von weit entfernten Fahrzeugen überlagern können.
  • Umgebungsgeräusche können allerdings auch gezielt für die Erkennung von bewegten Objekten verwendet werden.
  • So beschreibt DE 10 2011 087 839 A1 ein Verfahren zum Erfassen mindestens eines bewegten Objekts in der Umgebung eines Fahrzeugs unter Verwendung von Ultraschallsensoren. Dabei ist vorgesehen, abhängig von der Geschwindigkeit des Fahrzeugs von einem Sende- und Empfangsbetrieb, bei dem Ultraschall ausgesendet und Echos wieder empfangen werden, auf einen reinen Empfangsbetrieb umzuschalten. Im reinen Empfangsbetrieb wird ausgenutzt, dass fahrende Fahrzeuge immer ein Rauschsignal auch im Ultraschallbereich aufgrund von insbesondere Wind-, Motor- und Abrollgeräuschen aussenden.
  • DE 10 2017 119 042 A1 beschreibt ein Verfahren zur Vermeidung von Totwinkelwarnungen durch Gischt. Dabei ist vorgesehen, Gischt zu erkennen und von realen Objekten zu unterscheiden. Dazu wird ein erster Sensor eingesetzt, der den Bereich des toten Winkels überwacht und es wird ein zweiter Sensor vorgesehen, der einen anderen Bereich überwacht.
  • DE 10 2016 218 238 B3 beschreibt ein Verfahren zur Erkennung einer nassen oder feuchten Fahrbahn und zur Objektdetektion. Dabei ist vorgesehen, aus einem empfangen Echosignal sowohl auf den Abstand eines Objekts als auch auf den Zustand der Fahrbahn zu schließen.
  • Der Erfindung liegt insbesondere die Aufgabe zugrunde, vor allem bei nasser Fahrbahn und hohen Geschwindigkeiten Fahrzeuge im toten Winkel zuverlässig zu erkennen.
  • Offenbarung der Erfindung
  • Die Aufgabe wird durch das Verfahren bzw. das Fahrerassistenzsystem bzw. das Fahrzeug gemäß den unabhängigen Ansprüchen gelöst.
  • Die Unteransprüche beschreiben bevorzugte Ausführungen der Erfindung.
  • Nach einem ersten Aspekt der Erfindung wird ein Verfahren zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs vorgeschlagen, umfassend zumindest die Schritte:
    • - Durchführen einer ersten Messung von ersten akustischen Signalen und Bestimmung eines ersten Nässewertes einer Fahrbahn, auf der sich das Fahrzeug bewegt, durch Auswertung der ersten akustischen Signale,
    • - Durchführen einer zweiten Messung von zweiten akustischen Signalen und Bestimmung eines zweiten Nässewertes der Fahrbahn durch Auswertung der zweiten akustischen Signale, wobei die erste Messung und die zweite Messung unabhängig voneinander durchgeführt werden,
    • - Vergleichen des ersten Nässewertes und des zweiten Nässewertes,
    • - Abhängig vom Ergebnis des Vergleichs, Erkennen eines bewegten Objekts in der Umgebung des Fahrzeugs.
  • Der Erfindung liegt die Idee zugrunde, die Nässe der Fahrbahn mit mehreren unabhängigen Messungen, z.B. durch verschiedene akustische Sensoren und/oder akustischen Methoden unabhängig voneinander zu bestimmen. Je stärker sich die mittels der jeweiligen Messung berechneten Nässewerte unterscheiden, umso wahrscheinlicher ist es, dass einzelne Sensorsignale durch ein bewegtes Objekt (z. B. Fahrzeug) in der Nähe des Fahrzeugs gestört wurden. Unterscheiden sich die Nässewerte sehr, beispielsweise mehr als eine bestimmte Schwelle, dann wird ein bewegtes Objekt in der Umgebung des Fahrzeugs erkannt.
  • Die unabhängigen Messungen können zum Beispiel mit mehreren unabhängig voneinander messenden akustischen Sensoren durchgeführt werden. Alternativ ist es möglich mit nur einem Sensor auf mehrere Weisen weitgehend unabhängige Nässewerte zu bestimmen, zum Beispiel indem mehrere Frequenzbereiche eines empfangenen Signals ausgewertet werden.
  • In einer bevorzugten Ausführung der Erfindung wird die erste Messung mittels eines ersten Ultraschallsensors durchgeführt wird und die zweite Messung mittels eines zweiten Ultraschallsensors durchgeführt. Daraus ergibt sich der Vorteil, dass durch die Verwendung separater Ultraschallsensoren die Unabhängigkeit der aus den erfassten Messdaten bestimmten Nässewerte vorgegeben ist. Insbesondere können Ultraschallsensoren genutzt werden, die beispielsweise zur Umfelderfassung und/oder Abstandsmessung vorgesehen sind.
  • in einer alternativen bevorzugten Ausführung der Erfindung wird die erste Messung mittels eines ersten Ultraschallsensors und die zweite Messung mit demselben Ultraschallsensor durchgeführt. Dabei werden bevorzugt bei der ersten Messung akustische Signale eines ersten Frequenzbereiches erfasst und bei der zweiten Messung akustische Signale eines zweiten Frequenzbereiches erfasst werden, wobei der erste Frequenzbereich und der zweite Frequenzbereich verschieden zueinander, insbesondere disjunkt, sind. Diese Ausführung hat den Vorteil, dass die Erfindung mit nur einem Sensor realisiert werden kann. Die unterschiedlichen Frequenzbereiche können zum Beispiel derart gewählt werden, dass sie Nässeinformationen von verschiedenen Bereichen der Fahrbahn enthalten. So kann beispielsweise ein erster Frequenzbereich so gewählt werden, dass er hauptsächlich Abrollgeräusche von Reifen enthält, während der zweite Frequenzbereich derart gewählt wird, dass sogenannte Bodenechos von zuvor von dem Ultraschallsensor ausgesendeten Ultraschallpulsen, die an der Fahrbahn reflektiert werden, empfangen werden. Sowohl aus den Abrollgeräuschen als auch aus den Bodenechos können beispielsweise durch Auswertung charakteristischer Signaleigenschaften, Informationen über die Fahrbahnnässe bestimmt werden und ein jeweiliger Nässewert bestimmt werden. Die so bestimmten Nässewerte sind unabhängig, da sie je nach Ausrichtung des Ultraschallsensors unterschiedlichen Bereichen der Fahrbahn entstammen können.
  • Insbesondere ist vorgesehen, dass die erste Messung und die zweite Messung zeitgleich durchgeführt werden.
  • Bevorzugt kann eine Differenz zwischen dem ersten Nässewert und dem zweiten Nässewert berechnet werden Ein bewegtes Objekt in der Umgebung des Fahrzeugs kann erkannt werden, wenn der berechnete Betrag der Differenz zwischen dem ersten und dem zweiten Nässewert größer als ein bestimmter Grenzwert ist. Auf diese Weise kann ein Unterschied zwischen den unabhängig bestimmten Nässewerten mit technisch besonders einfachen Mitteln und damit besonders effizient bestimmt werden.
  • Bevorzugt werden die ersten akustischen Signale von einem ersten Bereich der Fahrbahn empfangen und die zweiten akustischen Signale von einem zweiten, Bereich der Fahrbahn empfangen werden, wobei der erste Bereich und der zweite Bereich verschieden sind. Damit kann sichergestellt werden, dass die Messungen unabhängig sind. Störgeräusche, die von einem bewegten Objekt verursacht werden, werden damit vorteilhaft in nur einer Messung erfasst, so dass sich ein möglichst großer Unterschied der Nässewerte ergibt und das bewegte Objekt zuverlässig erkannt werden kann.
  • Besonders bevorzugt erfolgt mindestens eine dritte Messung von dritten akustischen Signalen und Bestimmung eines dritten Nässewertes der Fahrbahn durch Auswertung der dritten akustischen Signale, wobei die dritte Messung unabhängig von der ersten Messung und der zweiten Messung durchgeführt wird. Durch Vergleichen des ersten Nässewertes mit dem dritten Nässewert und/oder durch Vergleichen des zweiten Nässewertes mit dem dritten Nässewert kann das Erkennen eines bewegten Objekts in der Umgebung des Fahrzeugs plausibilisiert werden oder es können und/oder Eigenschaften des Objekts bestimmt werden, insbesondere eine relative Position des Objekts zu dem Fahrzeug. In derartiger Weise können auch weitere unabhängige Messungen durchgeführt werden, beispielsweise vierte, fünfte, usw. Messungen.
  • So können insbesondere eine Mehrzahl von unabhängigen Nässewerten bestimmt werden, ein Mittelwert und eine Standardabweichung der Nässewerte berechnet werden und ein bewegtes Objekt in der Umgebung des Fahrzeugs basierend auf der Standardabweichung erkannt werden. So kann die Standardabweichung als Maß dafür dienen, wie sehr sich die Nässewerte voneinander unterscheiden. Da bevorzugt viele Sensoren an ähnlichen bzw. räumlich nah beieinanderliegende Einbaupositionen am Fahrzeug angeordnet sind und daher deren Messungen in ähnlicher Weise auf Objekte wie auch auf Nässeänderungen reagieren, kann es günstig sein, die Einflüsse bei der Berechnung der Standardabweichung zu gewichten. Einzelne Messwerte, die besonders unabhängig vom Rest der Messwerte reagieren können zum Beispiel höher gewichtet werden, als Messwerte, die stärker mit anderen Messwerten korreliert sind.
  • Wenn durch ein Verfahren gemäß der Erfindung ein bewegtes Objekt in der Umgebung des Fahrzeugs erkannt wird, so kann beispielsweise ein Warnsignal erzeugt werden. Das Warnsignal kann für einen Fahrer des Fahrzeugs ausgegeben werden, z.B. visuell. Alternativ oder zusätzlich kann das Warnsignal in dem Fahrzeug zur Aktivierung von Sicherheitsfunktionen verwendet werden. So kann beispielsweise eine Längs- und/oder Querregelung des Fahrzeugs angepasst werden, um eine Kollision des Fahrzeugs mit dem bewegten Objekt zu vermeiden. Beispielsweise kann ein Spurwechsel des Fahrzeugs verhindert werden.
  • Nach einem zweiten Aspekt der Erfindung wird ein Fahrerassistenzsystem für ein Fahrzeug vorgeschlagen, umfassend mindestens einen Ultraschallsensor und eine Auswerteeinheit, wobei das Fahrerassistenzsystem eingerichtet ist, ein erfindungsgemäßes Verfahren auszuführen. Der Ultraschallsensor ist dabei ausgebildet, akustische Signalen von der Fahrbahn auf der sich das Fahrzeug bewegt, zu empfangen und die Auswerteeinheit ausgebildet ist, einen Nässewert der Fahrbahn, durch Auswertung der akustischen Signale zu bestimmen und durch einen Vergleich von unabhängig bestimmten Nässewerten ein bewegtes Objekt in der Umgebung des Fahrzeugs zu erkennen.
  • Bevorzugt weist das Fahrerassistenzsystem mindestens einen ersten Ultraschallsensor zur Durchführung der ersten Messung und mindestens einen zweiten Ultraschallsensor zur Durchführung der zweiten Messung auf.
  • Weiter bevorzugt weisen erste Ultraschallsensor und der zweite Ultraschallsensor voneinander verschiedene Empfindlichkeiten und/oder Empfangscharakteristiken auf.
  • Die durch die Ultraschallsensoren erzeugten Messsignale können durch eine informationstechnische Anbindung der Ultraschallsensoren an die Auswerteeinheit (zum Beispiel über ein Bussystem eines Bordnetzes des Fahrzeugs) übertragen werden und in der Auswerteeinheit beispielsweise in einer intern und/oder extern mit der Auswerteeinheit verbundenen Speichereinheit abgelegt werden.
  • Das Ermitteln der Nässewerte und/oder das Vergleichen der Nässewerte und das Erkennen eines bewegten Objekts in der Umgebung des Fahrzeugs abhängig vom Ergebnis des Vergleichs, kann insbesondere auf Basis eines durch die Auswerteeinheit ausgeführten Computerprogramms erfolgen, welches bevorzugt eingerichtet ist auf Basis empfangener Ultraschallrauschpegel in den ersten und zweiten empfangenen akustischen Signalen, eine aktuell vorhandene Nässe auf einer Fahrbahnoberfläche zu ermitteln und einen Nässewert zu berechnen. Diese Ultraschallrauschpegel können insbesondere durch den Kontakt eines oder mehrerer Reifen des Fahrzeugs im Fahrbetrieb des Fahrzeugs erzeugt werden. Hier wird die Tatsache ausgenutzt, dass ein evtl. vorhandenes Medium zwischen einer Kontaktfläche eines jeweiligen Reifens und der Fahrbahnoberfläche (z. B. Wasser) bei zunehmender Menge dieses Mediums in der Regel zu einem zunehmenden Ultraschallrauschpegel führt. Es sei darauf hingewiesen, dass ein Nässewert auch auf Basis anderer Informationen in den empfangenen akustischen Signalen ermittelt werden kann (z. B. auf Basis empfangener Clutter-Pegel usw.)
  • Nach einem dritten Aspekt der Erfindung wird ein Fahrzeug, z.B. ein Kraftfahrzeug, insbesondere ein PKW oder LKW, vorgeschlagen, das ein erfindungsgemäßes Fahrerassistenzsystem aufweist.
  • Bevorzugt ist ein erster Ultraschallsensor an einer ersten Position an dem Fahrzeug derart angeordnet, dass er erste akustische Signalen aus einem ersten Bereich der Fahrbahn empfängt. Ein zweiter Ultraschallsensor ist bevorzugt an einer zweiten Position an dem Fahrzeug derart angeordnet, dass er zweite akustische Signalen aus einem zweiten Bereich der Fahrbahn empfängt. Die erste Position kann bevorzugt derart gewählt werden, dass der erste Ultraschallsensor durch Bauteile des Fahrzeugs vor Störgeräuschen abgeschirmt ist. Die zweite Position kann bevorzugt derart gewählt werden, dass der zweite Ultraschallsensor bevorzugt Störgeräusche empfängt. Dabei können die beiden Ultraschallsensoren insbesondere räumlich nah beieinander angeordnet sein.
  • Es ist dabei vorteilhaft, Ultraschallsensoren an Positionen am Fahrzeug anzubringen, die besonders empfindlich gegenüber Änderungen der fahrzeugeigenen Störgeräusche (z. B. Reifengeräusche) sind. Das ist zum Beispiel für Ultraschallsensoren an Positionen der Fall, die stark von Schmutzwasser und Gischt betroffen sind. Weiterhin ist es vorteilhaft zusätzliche Ultraschallsensoren an Positionen anzubringen, die besonders unempfindlich gegenüber Störgeräuschen sind, aber dafür besonders empfindlich für Störgeräusche sind, die von anderen Objekten kommen. Das ist zum Beispiel für Ultraschallsensoren der Fall, die nach vorne gerichtet sind und einen großen Abstand zu den Reifen haben. Des Weiteren kann es günstig sein, akustische Sensoren hinter den Rädern im Bereich des Unterbodens des Fahrzeugs anzubringen, so dass das Rad den Sensor weitgehend von den Fahrgeräuschen anderer Fahrzeuge abschirmt und gleichzeitig aber die Fahrgeräusche des Reifens besonders gut erfassen kann. Ebenso kann es günstig sein, Ultraschallsensoren mit besonders fokussierten Schallkegeln bzw. Empfangscharakteristiken und damit besonders hoher Reichweite einzusetzen um dadurch unempfindlich gegenüber den Fahrgeräuschen des eigenen Fahrzeugs zu sein und die Fahrgeräusche anderer Fahrzeuge besonders gut wahrnehmen zu können.
  • In einer bevorzugten Ausführung ist mindestens ein Ultraschallsensor des Fahrerassistenzsystems an dem Unterboden des Fahrzeugs im Bereich eines Rades oder an einem Radkasten des Fahrzeugs oder an einem Stoßfänger des Fahrzeugs angeordnet.
  • Besonders bevorzugt können zwei Ultraschallsensoren sehr dicht nebeneinander an dem Fahrzeug angebracht sein, wobei beide Ultraschallsensoren nahezu das gleiche Umfeld beobachten und wobei ein Ultraschallsensor besonders stark und der andere Ultraschallsensor aufgrund des jeweiligen Einbauorts und/oder der jeweiligen Ausrichtung und/oder der jeweiligen Empfangscharakteristik der Ultraschallsensoren im Vergleich nicht so stark von den Reifengeräuschen des eigenen Fahrzeugs beeinflusst wird. Dies kann insbesondere durch Einbauorte der Ultraschallsensoren an der Karosserie in der Nähe des Radkastens umgesetzt werden.
  • Das Fahrzeug weist bevorzugt mindestens zwei Ultraschallsensoren an seiner rechten Seite und mindestens zwei Ultraschallsensoren an seiner linken Seite (jeweils bezogen auf die Längsachse, in Fahrtrichtung) auf. Da beispielsweise die rechte und die linke Reifenspur unterschiedlich nass sein können, werden bevorzugt die Messwerte der rechten Ultraschallsensoren und der linken Ultraschallsensoren getrennt voneinander ausgewertet. Das hat zudem den Vorteil, dass auf diese Weise zuverlässig unterschieden werden kann, ob sich ein bewegtes Objekt rechts oder links vom eigenen Fahrzeug befindet.
  • Durch die Erfindung ergeben sich weiterhin die folgenden Vorteile:
    • Die Verwendung der Nässewerte zur Erkennung eines bewegten Objekts ist besonders günstig, da für die Berechnung der Nässewerte bereits viele Störquellen und Abhängigkeiten mit anderen physikalischen Größen wie zum Beispiel der Abhängigkeit zur Fahrzeuggeschwindigkeit berücksichtigt und kompensiert werden müssen.
  • Andere Fahrzeuge im toten Winkel des eigenen Fahrzeugs können mit Hilfe der Erfindung passiv anhand von deren Störgeräuschen (Reifen und Motorgeräusche) erkannt werden. Das ist vor allem bei nasser Straße und hohen Geschwindigkeiten von Vorteil, da hier eine Echoortung gemäß dem Stand der Technik aufgrund der besonders lauten Reifengeräusche sehr in der Reichweite begrenzt ist.
  • Figurenliste
  • Ausführungsformen der Erfindung werden anhand der Zeichnung und der nachfolgenden Beschreibung näher erläutert.
    • Die 1 zeigt schematisch ein Fahrzeug mit einem Fahrerassistenzsystem gemäß einem ersten möglichen Ausführungsbeispiel der Erfindung.
    • Die 2 zeigt schematisch ein Fahrzeug mit einem Fahrerassistenzsystem gemäß einem zweiten möglichen Ausführungsbeispiel der Erfindung.
  • Ausführungsformen der Erfindung
  • 1 zeigt in Seitenansicht ein Fahrzeug 1, das zur Erkennung eines bewegten Objekts in der Umgebung des Fahrzeugs 1, insbesondere zur Erkennung von sich seitlich von hinten nähernder anderer Fahrzeuge, ein erfindungsgemäß ausgebildetes Fahrerassistenzsystem 10 aufweist. Das Fahrzeug 1 weist einen ersten Ultraschallsensor 12 an einer ersten Position 2 im Bereich eines Radkastens des Fahrzeugs 1 auf, der derart angeordnet ist, dass er erste akustische Signale aus einem ersten Bereich 24 der Fahrbahn 17 empfängt. Ein zweiter Ultraschallsensor 14 ist an einer zweiten Position 4 an dem Fahrzeug 1 derart angeordnet, dass er zweite akustische Signale aus einem zweiten Bereich 23 der Fahrbahn 17 empfängt. Die empfangenen akustischen Signale werden beispielsweise durch das Abrollen von Reifen auf der, insbesondere nassen, Fahrbahn 17 verursacht. Diese Abrollgeräusche können durch das Fahrzeug 1 selbst oder zusätzlich durch ein anderes sich bewegendes Fahrzeug verursacht werden. Hierbei ist die erste Position 2 am Radkasten hinter dem Rad 18 (bezogen auf die Fahrtrichtung) derart gewählt, dass der erste Ultraschallsensor 12 durch Bauteile des Fahrzeugs 1 vor Störgeräuschen, die durch andere Fahrzeuge verursacht werden weitgehend abgeschirmt ist. Die zweite Position 4 ist in Fahrtrichtung vor dem Reifen 18 derart gewählt, dass der zweite Ultraschallsensor 14 bevorzugt durch andere Fahrzeuge verursachte Störgeräusche empfängt.
  • In 2 ist eine Fahrsituation in Draufsicht dargestellt. Ein Fahrzeug 1 mit einem gemäß einer möglichen Ausführung der Erfindung ausgestalteten Fahrerassistenzsystem. An dem Fahrzeug 1 ist ein erster Ultraschallsensor 12 an einem vorderen Stoßfänger des Fahrzeugs 1 angeordnet. Seitlich an der Karosserie des Fahrzeugs 1 ist zweiter Ultraschallsensor 14 angeordnet. Ein dritter Ultraschallsensor 16 ist an einem hinteren Stoßfänger des Fahrzeugs 1 angeordnet. Die Ansteuerung der Ultraschallsensoren 12, 14 und 16 erfolgt in diesem Beispiel derart, dass sie gleichzeitig akustische Signale aus der Umgebung des Fahrzeugs 1 empfangen. Da die Raumbereiche aus denen die Ultraschallsensoren 12, 14 und 16 akustisch Signale empfangen können, voneinander verschieden sind, können die Von den Ultraschallsensoren 12, 14 und 16 durchgeführten Messungen als unabhängig voneinander betrachtet werden.
  • Rechts hinter dem Fahrzeug 1 nähert sich ein weiteres Fahrzeug 3, das ebenfalls Abrollgeräusche als Störgeräusche 35 erzeugt. Vor dem Fahrzeug 1 ist die Fahrbahn 17 frei, so dass der erste Ultraschallsensor 12 in der dargestellten Situation weitestgehend nur Abrollgeräusche der Reifen des Fahrzeugs 1 selbst als erste akustische Signale empfängt. Durch Auswertung der von dem ersten Ultraschallsensor 12 empfangenen ersten akustischen Signale wird ein erster Nässewert der Fahrbahn 17 bestimmt. Der zweite Ultraschallsensor 14 empfängt zweite akustische Signale, die von beiden Fahrzeugen 1 und 3 verursacht werden. Durch Auswertung dieser zweiten akustischen Signale wird ein zweiter Nässewert der Fahrbahn 17 bestimmt. Der zweite Ultraschallsensor 16 empfängt dritte akustische Signale, die ebenfalls von beiden Fahrzeugen 1 und 3 verursacht werden, wobei aufgrund der Ausrichtung des Ultraschallsensor 16 hauptsächlich Störgeräusche 35, also nicht vom Fahrzeug 1 selbst erzeugte Geräusche empfangen werden. Durch Auswertung dieser dritten akustischen Signale wird ein dritter Nässewert der Fahrbahn 17 bestimmt.
  • Durch Vergleichen der ersten, zweiten und dritten Nässewerte kann nun das Fahrzeug 3 als ein bewegten Objekt 30 in der Umgebung des Fahrzeugs 1 erkannt werden. Dazu kann der erste Nässewert mit dem zweiten Nässewert verglichen werden. Wenn der Betrag der Differenz des ersten Nässewerts und des zweiten Nässewerts einen bestimmten Grenzwert übersteigt, kann das Fahrzeug 3 als ein bewegten Objekt 30 in der Umgebung des Fahrzeugs 1 erkannt werden. Um dieses Ergebnis zu verifizieren bzw. zu plausibilisieren, kann weiterhin der erste Nässewert mit dem dritten Nässewert verglichen werden und/oder der zweite Nässewert mit dem dritten Nässewert verglichen werden. Weiterhin kann auf diese Weise eine Information über die relative Position des Fahrzeugs 3 zu dem Fahrzeug 1 gewonnen werden.
  • Alternativ oder zusätzlich kann ein Mittelwert der ersten, zweiten und dritten Nässewerte gebildet werden und eine Standardabweichung bestimmt werden. Durch einen Vergleich der jeweiligen Unterschiede der ersten, zweiten und dritten Nässewerte mit dem Mittelwert und Vergleich der jeweiligen Abweichung mit der Standardabweichung können weitere Informationen bezüglich eines bewegten Objekts 30 in der Umgebung des Fahrzeugs 1 gewonnen werden. Beispielsweise können die Messergebnisse derjenigen der Ultraschallsensoren 12, 14, 16 für die Auswertung stärker berücksichtigt werden, bei denen die bestimmten Nässewerte besonders stark vom Mittelwert abweichen.
  • Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 102006037591 A1 [0004]
    • DE 102011087839 A1 [0009]
    • DE 102017119042 A1 [0010]
    • DE 102016218238 B3 [0011]

Claims (15)

  1. Verfahren zum Erkennen eines bewegten Objekts (30) in der Umgebung eines Fahrzeugs (1) umfassend zumindest die Schritte: - Durchführen einer ersten Messung von ersten akustischen Signalen und Bestimmung eines ersten Nässewertes einer Fahrbahn (17), auf der sich das Fahrzeug (1) bewegt, durch Auswertung der ersten akustischen Signale, - Durchführen einer zweiten Messung von zweiten akustischen Signalen und Bestimmung eines zweiten Nässewertes der Fahrbahn (17) durch Auswertung der zweiten akustischen Signale, wobei die erste Messung und die zweite Messung unabhängig voneinander durchgeführt werden, - Vergleichen des ersten Nässewertes und des zweiten Nässewertes, - Abhängig vom Ergebnis des Vergleichs, Erkennen eines bewegten Objekts (30) in der Umgebung des Fahrzeugs (1).
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erste Messung mittels eines ersten Ultraschallsensors (12) durchgeführt wird und die zweite Messung mittels eines zweiten Ultraschallsensors (14) durchgeführt wird.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die erste Messung mittels eines ersten Ultraschallsensors (12) und die zweite Messung mit demselben Ultraschallsensor (12) durchgeführt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass bei der ersten Messung akustische Signale eines ersten Frequenzbereiches erfasst werden und dass bei der zweiten Messung akustische Signale eines zweiten Frequenzbereiches erfasst werden, wobei der erste Frequenzbereich und der zweite Frequenzbereich verschieden zueinander, insbesondere disjunkt, sind.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die erste Messung und die zweite Messung zeitgleich durchgeführt werden.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Differenz zwischen dem ersten Nässewert und dem zweiten Nässewert berechnet wird und ein bewegtes Objekt (30) in der Umgebung des Fahrzeugs (1) erkannt wird, wenn der Betrag der Differenz größer als ein bestimmter Grenzwert ist.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die ersten akustischen Signale von einem ersten Bereich (24) der Fahrbahn (17) empfangen werden und die zweiten akustischen Signale von einem zweiten Bereich (23) der Fahrbahn (17) empfangen werden, wobei der erste Bereich (24) und der zweite Bereich (23) verschieden sind.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass mindestens eine dritte Messung von dritten akustischen Signalen und Bestimmung eines dritten Nässewertes der Fahrbahn (17) durch Auswertung der dritten akustischen Signale durchgeführt wird, wobei die dritte Messung unabhängig von der ersten Messung und der zweiten Messung durchgeführt wird und durch Vergleichen des ersten Nässewertes mit dem dritten Nässewert und/oder durch Vergleichen des zweiten Nässewertes mit dem dritten Nässewert das Erkennen eines bewegten Objekts (30) in der Umgebung des Fahrzeugs (1) plausibilisiert wird und/oder Eigenschaften des Objekts (30) bestimmt werden, insbesondere eine relative Position des Objekts (30) zu dem Fahrzeug (1).
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass eine Mehrzahl von unabhängigen Nässewerten bestimmt wird, ein Mittelwert und eine Standardabweichung der Nässewerte berechnet wird und ein bewegtes Objekt (30) in der Umgebung des Fahrzeugs (1) basierend auf der Standardabweichung erkannt wird.
  10. Fahrerassistenzsystem (10) für ein Fahrzeug (1) umfassend mindestens einen Ultraschallsensor (12, 14), und ein Auswerteeinheit (16), dadurch gekennzeichnet, dass das Fahrerassistenzsystem (10) eingerichtet ist, das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen, wobei der Ultraschallsensor (12, 14) ausgebildet ist, akustische Signale von der Fahrbahn (17) auf der sich das Fahrzeug (1) bewegt, zu empfangen und das Auswerteeinheit (16) ausgebildet ist, einen Nässewert der Fahrbahn (17), durch Auswertung der akustischen Signale zu bestimmen und durch einen Vergleich von unabhängig bestimmten Nässewerten ein bewegtes Objekt (30) in der Umgebung des Fahrzeugs (1) zu erkennen.
  11. Fahrerassistenzsystem (10) nach Anspruch 10, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (10) mindestens einen ersten Ultraschallsensor (12) zur Durchführung der ersten Messung und mindestens einen zweiten Ultraschallsensor (14) zur Durchführung der zweiten Messung aufweist.
  12. Fahrerassistenzsystem (10) nach Anspruch 11, dadurch gekennzeichnet, dass der erste Ultraschallsensor und der zweite Ultraschallsensor (12, 14) voneinander verschiedene Empfindlichkeiten und/oder Empfangscharakteristiken aufweisen.
  13. Fahrzeug (1) mit einem Fahrerassistenzsystem (10) nach einem der Ansprüche 10 bis 12.
  14. Fahrzeug (1) nach Anspruch 13, dadurch gekennzeichnet, dass ein erster Ultraschallsensor (12) an einer ersten Position (2) an dem Fahrzeug (1) derart angeordnet ist, dass er erste akustische Signalen aus einem ersten Bereich (24) der Fahrbahn (17) empfängt, und dass ein zweiter Ultraschallsensor (14) an einer zweiten Position (4) an dem Fahrzeug (1) derart angeordnet ist, dass er zweite akustische Signale aus einem zweiten Bereich (23) der Fahrbahn (17) empfängt, wobei die erste Position (2) derart gewählt ist, dass der erste Ultraschallsensor (12) durch Bauteile des Fahrzeugs (1) vor Störgeräuschen abgeschirmt ist und wobei die zweite Position (4) derart gewählt ist, dass der zweite Ultraschallsensor (14) bevorzugt Störgeräusche empfängt, wobei die beiden Ultraschallsensoren (12, 14) insbesondere räumlich nah beieinander angeordnet sind.
  15. Fahrzeug (1) nach einem der Ansprüche 13 oder 14, dadurch gekennzeichnet, dass mindestens ein Ultraschallsensor (12, 14) des Fahrerassistenzsystems (10) an dem Unterboden des Fahrzeugs (1) im Bereich eines Rades oder an einem Radkasten des Fahrzeugs (1) oder an einem Stoßfänger des Fahrzeugs (1) angeordnet ist.
DE102019218492.8A 2019-11-28 2019-11-28 Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs Ceased DE102019218492A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019218492.8A DE102019218492A1 (de) 2019-11-28 2019-11-28 Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019218492.8A DE102019218492A1 (de) 2019-11-28 2019-11-28 Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
DE102019218492A1 true DE102019218492A1 (de) 2021-06-02

Family

ID=75896589

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019218492.8A Ceased DE102019218492A1 (de) 2019-11-28 2019-11-28 Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs

Country Status (1)

Country Link
DE (1) DE102019218492A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023110307A1 (de) * 2021-12-13 2023-06-22 Robert Bosch Gmbh System für ein fahrzeug und zur erkennung eines im umfeld des fahrzeugs befindlichen zweiten fahrzeugs sowie ein fahrzeug mit solch einem system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106400A1 (de) * 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren
DE102017119042A1 (de) * 2017-08-21 2019-02-21 Valeo Schalter Und Sensoren Gmbh Vermeidung von Totwinkelwarnungen durch Gischt

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106400A1 (de) * 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren
DE102017119042A1 (de) * 2017-08-21 2019-02-21 Valeo Schalter Und Sensoren Gmbh Vermeidung von Totwinkelwarnungen durch Gischt

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023110307A1 (de) * 2021-12-13 2023-06-22 Robert Bosch Gmbh System für ein fahrzeug und zur erkennung eines im umfeld des fahrzeugs befindlichen zweiten fahrzeugs sowie ein fahrzeug mit solch einem system

Similar Documents

Publication Publication Date Title
DE102010033207B4 (de) Verfahren und Vorrichtung zur Umfeldüberwachung für ein Fahrzeug
DE102009047284B4 (de) Verfahren zur Anpassung der Empfindlichkeit von Ultraschallsensoren
EP3226028A1 (de) Verfahren zum betreiben eines ultraschallsensors eines kraftfahrzeugs mit bestimmung der luftfeuchtigkeit, fahrerassistenzsystem sowie kraftfahrzeug
DE102017103275A1 (de) Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mithilfe eines Ultraschallsensors mit verbesserter Filterung von Bodenreflexionen, Steuergerät, Ultraschallsensorvorrichtung sowie Kraftfahrzeug
DE102016100732B4 (de) Verfahren zum Betreiben eines Ultraschallsensors eines Kraftfahrzeugs. Ultraschallsensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016113736A1 (de) Verfahren zum Erfassen eines Objekts in einer Umgebung eines Fahrzeugs mit Höhenbestimmung, Fahrerassistenzsystem sowie Fahrzeug
WO2015162132A1 (de) Verfahren zum erkennen eines blockierten zustands eines ultraschallsensors eines kraftfahrzeugs, ultraschallsensorvorrichtung und kraftfahrzeug
DE102015106402A1 (de) Verfahren zum Erkennen eines Zustands einer Fahrbahn anhand eines Echosignals eines Ultraschallsensors, Sensoranordnung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016118307A1 (de) Verfahren zum Erkennen eines Objekts in einer Umgebung eines Kraftfahrzeugs unter Berücksichtigung einer Streuung von Abstandswerten eines Ultraschallsensors, Steuergerät, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102013008953A1 (de) Verfahren zum Betreiben einer Radareinrichtung eines Fahrzeugs, insbesondere eines Kraftwagens, sowie Radareinrichtung für ein Fahrzeug, insbesondere einen Kraftwagen
DE102019101129A1 (de) Ermitteln der Oberflächenbeschaffenheit eines von einem Kraftfahrzeug befahrenen Oberflächenbelags
DE102018111846A1 (de) Verfahren zum Überwachen eines Bodenbereichs unterhalb eines Kraftfahrzeugs mittels einer Ultraschallsensorvorrichtung durch Speichern vom Merkmalen, Ultraschallsensorvorrichtung sowie Fahrerassistenzsystem
DE102012216290A1 (de) Verfahren zur Funktionsüberwachung von Ultraschallsensoren
DE102018103551B4 (de) Verfahren zum Charakterisieren eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs anhand von zuvor gelernten Kurvenparametern, Sensorvorrichtung sowie Fahrerassistenzsystem
DE102019218492A1 (de) Verfahren und Fahrerassistenzsystem zum Erkennen eines bewegten Objekts in der Umgebung eines Fahrzeugs
DE102015122413B4 (de) Verfahren zum Betreiben eines Ultraschallsensors eines Kraftfahrzeugs, Ultraschallsensorvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
WO2019110541A1 (de) Verfahren zur abschätzung einer höhe eines objekts in einem umgebungsbereich eines kraftfahrzeugs mittels eines ultraschallsensors mit statistischer auswertung eines empfangssignals, steuergerät sowie fahrerassistenzsystem
DE102018108791B4 (de) Ultraschallsensorvorrichtung zum Erkennen eines Zustands einer Fahrbahn unter Berücksichtigung einer Lufttemperatur, Fahrerassistenzsystem sowie Verfahren
DE102018103414B4 (de) Verfahren zur Charakterisierung eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Höhenschätzung anhand einer zeitlichen Ableitung eines Empfangssignals eines Ultraschallsensors, Recheneinrichtung sowie Ultraschallsensorvorrichtung
DE102018107819A1 (de) Verfahren zum Betreiben eines Ultraschallsensors eines Kraftfahrzeugs mit Bestimmung einer Ausbreitungsgeschwindigkeit des Ultraschallsignals anhand von Abstandsdaten eines Referenzsystems sowie Vorrichtung
WO2022194746A1 (de) Verfahren zum betreiben einer ultraschallsensorvorrichtung zum überwachen eines unterbodenbereichs eines kraftfahrzeugs, computerprogrammprodukt, computerlesbares speichermedium sowie ultraschallsensorvorrichtung
WO2014095605A1 (de) Verfahren zur detektion eines störsignalanteils in einem elektrischen empfangssignal eines ultraschallsensors, ultraschallsensorvorrichtung und kraftfahrzeug
DE102019203191B3 (de) Verfahren zur Erkennung einer nassen oder feuchten Fahrbahn im Bereich eines Fahrzeugs
WO2021018451A1 (de) Verfahren und vorrichtung zum detektieren einer zumindest partiellen überflutung eines kraftfahrzeugs
WO2019219420A1 (de) Verfahren zum schätzen einer höhe eines objekts in einem umgebungsbereich eines kraftfahrzeugs mittels eines ultraschallsensors durch bestimmung von wahrscheinlichkeitswerten und extraktion von parametern

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final