-
Die vorliegende Erfindung betrifft ein Ultraschallsystem für ein Fahrzeug. Darüber hinaus betrifft die vorliegende Erfindung ein Fahrzeug mit einem solchen Ultraschallsystem. Schließlich betrifft die vorliegende Erfindung ein Verfahren sowie ein Computerprogramm zum Betreiben eines Ultraschallsystems eines Fahrzeugs.
-
Aus dem Stand der Technik sind Ultraschallsysteme für Fahrzeuge bekannt. Solche Ultraschallsysteme umfassen üblicherweise mehrere Ultraschallsensoren. Mit diesen Ultraschallsensoren können Ultraschallsignale ausgesendet werden und die Echos dieser Ultraschallsignale wieder empfangen werden. Anhand der Laufzeit zwischen dem Aussenden des Ultraschallsignals und dem Empfangen des Echos des Ultraschallsignals kann beispielsweise der Abstand zwischen dem Ultraschallsensor und einem Objekt in der Umgebung bestimmt werden.
-
Ultraschallsensoren zeichnen sich dadurch aus, dass diese im Vergleich zu anderen Umfeldsensoren, wie Radarsensoren, Lidar-Sensoren, oder Kamerasystemen, deutlich günstiger und meistens wesentlich robuster sind. Diese lassen sich auch sehr gut in die Fahrzeugkarosserie integrieren. Aus diesem Grund werden die Ultraschallsensoren in Fahrzeugen auch für andere Funktionen eingesetzt. Hierzu beschreibt die
DE 10 2019 117 933 A1 ein Verfahren zum Unterstützen eines Fahrzeugführers, bei welchem ein Schallwandler in einem Radkasten eines Autos den in den Radkasten dringenden Schall in elektrische Signale wandelt. Des Weiteren wird auf nahe dem Auto befindliche weitere Straßenfahrzeuge geschlossen. Der gewandelte Schall kann Ultraschall oder Körperschall sein.
-
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine Information über die Umgebung eines Fahrzeugs, insbesondere über Objekte in der Umgebung des Fahrzeugs, mittels eines Ultraschallsystems gewonnen werden kann. Ferner kann es zur Aufgabe der vorliegenden Erfindung gehören, eine Lösung aufzuzeigen, ein Ultraschallsystem eines Fahrzeugs der eingangs genannten Art auf eine andere, vorteilhafte Art und Weise zu betreiben. Ferner kann es zur Aufgabe der vorliegenden Erfindung gehören, eine Lösung aufzuzeigen, ein Ultraschallsystem eines Fahrzeugs, insbesondere im Rahmen eines funktionalen Updates oder Upgrades, auf vorteilhafte Art und Weise zu verändern.
-
Diese Aufgabe wird erfindungsgemäß durch ein Ultraschallsystem, durch ein Fahrzeug, durch ein Verfahren sowie durch Computerprogramm mit den Merkmalen gemäß jedem der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Es wird darauf hingewiesen, dass zusätzliche Merkmale eines von einem unabhängigen Patentanspruch abhängigen Patentanspruchs ohne die Merkmale des unabhängigen Patentanspruchs oder nur in Kombination mit einer Teilmenge der Merkmale des unabhängigen Patentanspruchs eine eigene und von der Kombination sämtlicher Merkmale des unabhängigen Patentanspruchs unabhängige Erfindung bilden können, die zum Gegenstand eines unabhängigen Anspruchs, einer Teilungsanmeldung oder einer Nachanmeldung gemacht werden kann. Dies gilt in gleicher Weise für in der Beschreibung beschriebene technische Lehren, die eine von den Merkmalen der unabhängigen Patentansprüche unabhängige Erfindung bilden können.
-
Ein erster Aspekt der Erfindung betrifft ein Ultraschallsystem für ein Fahrzeug. Dieses Ultraschallsystem ist dazu eingerichtet, zusätzlich oder alternativ zu dem einem ersten Betriebsmodus, in dem Echos der mit dem zumindest einen Ultraschallsensor ausgesendeten Ultraschallsignale ausgewertet werden, in zumindest einem zweiten Betriebsmodus Ultraschallgeräusche aus einer Umgebung des Fahrzeugs zu erfassen. Hierbei werden die Ultraschallgeräusche von zumindest einem Objekt in der Umgebung emittiert. Dabei unterscheiden sich die Ultraschallgeräusche von Ultraschallsignalen, welche mit zumindest einem Ultraschallsensor des Fahrzeugs ausgesendet und (insbesondere) von dem Objekt reflektiert werden. Des Weiteren ist das Ultraschallsystem dazu eingerichtet, die Ultraschallgeräusche (daraufhin) zum Betreiben zumindest einer Funktionalität des Fahrzeugs auszuwerten.
-
Mit anderen Worten kann der zweite Betriebsmodus alternativ oder zusätzlich zu dem ersten Betriebsmodus betrieben (aktiviert bzw. gesteuert) werden. Bevorzugt ist das Ultraschallsystem eingerichtet, den zweiten Betriebsmodus, den ersten Betriebsmodus und/oder einen Übergang (auch zu verstehen als Umschaltung) von dem ersten Betriebsmodus in den zweiten Betriebsmodus und/oder von dem zweiten Betriebsmodus in den ersten Betriebsmodus, insbesondere abwechselnd, zu aktivieren oder die Anteile der Zeit, in dem der erste Betriebsmodus oder der zweite Betriebsmodus genutzt werden, zu variieren, oder bestimmte Zeitfenster zur Nutzung des ersten Betriebsmodus und/oder des zweiten Betriebsmodus zuzuordnen. Dies kann, insbesondere während des Betriebs des Ultraschallsystems bzw. im Fahr- oder Parkbetrieb des Fahrzeugs, bevorzugt dynamisch, abhängig von den im Rahmen dieses Dokuments beschriebenen Informationen erfolgen.
-
Darüber hinaus ist auch eine Variante vorgesehen, bei der das Ultraschallsystem nicht in dem ersten Betriebsmodus betreibbar ist bzw. betreiben wird. Ausnahmsweise kann das Ultraschallsystem keinen ersten Betriebsmodus aufweisen, sondern nur den zumindest einen zweiten Betriebsmodus aufweisen. Alternativ dazu kann es vorgesehen sein, dass der erste Betriebsmodus für längere Zeit oder auch dauerhaft deaktiviert oder dauerhaft durch den zweiten Betriebsmodus ersetzt wird. Besonders bevorzugt ist allerdings, dass sowohl der ersten erster Betriebsmodus als auch der zweiter Betriebsmodus, insbesondere abwechselnd, verwendet, insbesondere gemäß einer vorausbestimmten Bedingung aktiviert bzw. umgeschaltet werden.
-
Das Ultraschallsystem kann einen oder mehrere Ultraschallsensoren jeweils umfassend zumindest ein Ultraschallmikrofon aufweisen. Mittels des zumindest einen Ultraschallsensors können im zweiten Betriebsmodus mehrere von einem Objekt in der Umgebung des Fahrzeugs emittierte Ultraschallgeräusche empfangen werden. Diese Ultraschallgeräusche unterscheiden sich von Ultraschallsignalen bzw. Echos von Ultraschallsignalen, welche von dem Ultraschallsensor selbst oder auch einem anderen Ultraschallsensor des Fahrzeugs ausgesendet und (insbesondere) von dem Objekt bzw. einem Teil der Umgebung reflektiert werden. Unter den Echos sind im Rahmen des vorliegenden Dokuments insbesondere Direktechos und/oder sogenannte Kreuzechos zu verstehen. Die Ultraschallgeräusche werden, insbesondere in Form der korrespondierenden Signale, zum Betreiben zumindest einer Funktionalität des Fahrzeugs ausgewertet. Ferner kann das Ultraschallsystem auch ausgestaltet sein, eine oder mehrere, abhängig, insbesondere auf Basis von den Ultraschalgeräuschen, betriebene Funktionen des Fahrzeugs auszuführen. Derartige (abhängig von den Ultraschalgeräuschen betreibbare) Funktionen können daher zum Umfang der Erfindung gehören.
-
Der Ultraschallsensor bzw. das Ultraschallmikrofon kann derart ausgebildet sein, dass dieses (im Gegensatz zu einem herkömmlichen, bewusst auf einen sehr engen Frequenzbereich bzw. Resonanzfrequenz reduzierten Bereich) einen breiten Frequenzbereich, z.B. von 25000 Hz bis 150000 Hz, aufweist. Vorteilhafterweise kann dieses ein erweitertes Spektrum oder zumindest zwei spektrale Anteile unterstützen.
-
Das Ultraschallsystem kann eingerichtet sein, die Ultraschallgeräusche (z.B. betreffend dasselbe Zeitintervall und/oder Anordnung von Objekten) aus unterschiedlichen Frequenzbereichen zu verarbeiten, insbesondere abzugleichen. Insbesondere kann der Ultraschallsensor bzw. das Ultraschallmikrofon des Ultraschallsensors (auch) ausgestaltet sein, zumindest teilweise auch von Menschen hörbare Spektralanteile zu erfassen. Beispielsweise wird eine Datenfusion der Signale aus einem ersten, z.B. für Menschen hörbaren, Frequenzbereich mit einem zweiten, z.B. für Menschen nicht hörbaren, Frequenzbereich ausgeführt. Die Signale, die (durch den Ultraschallmikrophon erfasste) Ultraschallgeräusche aus zwei oder mehreren unterschiedlichen Frequenzbereichen repräsentieren, können (z.B. untereinander, insbesondere in verschiedenen Kombinationen) abgeglichen werden. Ein solcher Abgleich kann gemäß eines vorausbestimmten mathematischen Zusammenhangs erfolgen. Abhängig von dem Ergebnis des Abgleichs kann der zumindest eine zweite Betriebsmodus gesteuert werden und/oder eine weitere Auswertung der Ultraschallgeräusche kann variiert werden.
-
In einem Beispiel werden abhängig von dem Ergebnis des Abgleichs die Verarbeitung und/oder Berücksichtigung von den (z.B. aktuell und/oder nachfolgend erfassten) Ultraschallgeräuschen aus bestimmten Frequenzbereichen variiert. Beispielsweise kann abhängig von dem Abgleich der Signale ein Rückschluss darauf gemacht werden, dass Ultraschallgeräusche in einem bestimmten Frequenzbereich, z.B. für eine bestimmte Auswertung und/oder Nutzung, mehr oder minder geeignet bzw. wertvoll sind oder sein werden. Beispielsweise können daraufhin bestimmte Verarbeitungsschritte und/oder Signalpfade (insbesondere sogenannte Pipes in der Signalverarbeitung) variiert, verändert und/oder vorrangig für die mit Ultraschallgeräuschen aus bestimmten Frequenzbereichen korrespondierende Signale ausgeführt werden.
-
In einem Beispiel werden abhängig von dem Ergebnis des Abgleichs Ressourcen der Recheneinheit des Ultraschallsystems, insbesondere Rechenleistung, Speicher, digitale Filter, Mustererkennung, zumindest ein neuronales Netz, abhängig von dem Ergebnis des Abgleichs gesteuert. Durch die Berücksichtigung des Ergebnisses des Abgleichs kann eine verbesserte Mustererkennung, Objekterkennung, etc. in Bezug auf aktuell erfasste und/oder (potentiell) nachfolgende Ultraschallgeräusche ermöglicht werden.
-
Mit dem Ultraschallsensor kann ein (elektrisches, insbesondere digitales) Signal erzeugt werden, welches die Ultraschallgeräusche in der Umgebung repräsentiert (auch zu verstehen als: beschreibt). Dieses Signal kann dann an eine Recheneinrichtung des Ultraschallsystems übertragen werden und das Signal kann mittels der Recheneinrichtung ausgewertet werden. Bevorzugt werden Ultraschallgeräusche eines Objekts, die von zwei oder mehr als zwei der Ultraschallsensoren erfasst sind bzw. die entsprechenden Signale von zwei oder mehr als zwei Ultraschallsensoren in der Recheneinrichtung verarbeitet. Die Recheneinrichtung kann zumindest ein elektronisches Steuergerät, zumindest einen Prozessor, Speicher, ein oder mehrere Signalverarbeitungsmodule, ein oder mehrere Mustererkennungsmodule und/oder eine Implementierung eines neuronalen Netzes, insbesondere DNN (= Deep Neural Network) oder dergleichen umfassen.
-
Die Auswertung von derartigen Ultraschalgeräuschen kann einen großen Vorteil für das Betreiben diverser Fahrzeugfunktionen bzw. bei der Ansteuerung von Funktionseinrichtungen des Fahrzeugs bringen. Diese bieten eine zusätzliche (nach dem Stand der Technik ungenutzte) Informationsquelle über die Umgebung des Fahrzeugs, z.B. über dort befindliche Objekte, Vorgänge, Aktivitäten der Objekte, Parameter des Geschehens in der Umgebung des Fahrzeugs sowie dergleichen. Bevorzugt wird das Ultraschallsystem bzw. die Auswertung der Ultraschallgeräusche im Rahmen von bzw. für das zumindest teilweise automatisierte oder ferngesteuerte Fahren und/oder Parken (auch zu verstehen als Rangieren) eingesetzt. Insbesondere wird abhängig (insbesondere zeitweise auf Basis) von Ultraschallgeräuschen das automatisierte Fahren oder Parken betrieben. Dabei kann eine (zusätzliche, redundante und/oder sonst nicht hinreichend verfügbare) Information über die Objekte in der Umgebung des Fahrzeugs gewonnen und berücksichtigt werden, die durch andere typische Sensoren bzw. durch typische Ultraschallsensoren nicht hinreichend ermittelbar ist. Beispielsweise kann, insbesondere falls ein (unerwarteter) Fehler in einem anderen Sensor des Fahrzeugs auftritt, ein Teil eines Manövers des Fahrzeugs, z.B. ein Manöver zur Verringerung des Risikos bzw. ein sogenanntes Minimum-Risk-Manöver, abhängig von den ausgewerteten Ultraschallgeräuschen ausgeführt werden.
-
Beispielsweise ermöglicht es die Erfindung die Informationen über die Umgebung des Fahrzeugs bzw. den Straßenverkehr zu erfassen bzw. auszuwerten, die für Menschen nicht hörbar und/oder von typischen Fahrzeugsensoren nicht auswertbar sind. Diese mit den günstigen Ultraschallsensoren zu erfassen und diese beispielsweise für ein zumindest teilweise automatisiertes Fahren auszuwerten, kann zu einer großen Einsparung führen.
-
Besonders bevorzugt wird ein Hineinversetzten des Ultraschallsystems in den zweiten Betriebsmodus, eine Ausführung des zweiten Betriebsmodus und/oder ein Beenden des zweiten Betriebsmodus abhängig von einer vorausbestimmten Bedingung ausgeführt. Beispielsweise kann der zweite Betriebsmodus dabei (z.B. nur oder im Wesentlichen nur) anhängig von einer vorausbestimmten Bedingung aktivierbar und/oder eine Funktionalität auf Basis der ausgewerteten Ultraschallgeräusche (insbesondere auf eine bestimmte Art und Weise) betreibbar sein.
-
In dem ersten Betriebsmodus werden mit dem Ultraschallsensor (hingegen bzw. im Gegensatz zu dem zweiten Betriebsmodus), insbesondere bestimmte, aktiv gesendete bzw. reflektierte Ultraschallsignale empfangen und ausgewertet. Diese Ultraschallsignale können von dem Ultraschallsensor selbst ausgesendet werden. Alterativ oder zusätzlich können die Ultraschallsignale von einem weiteren Ultraschallsensor des Fahrzeugs bzw. des Ultraschallsystems ausgesendet werden und mit dem Ultraschallsensor empfangen werden. Dies wird auch als Kreuzmessung bezeichnet. Somit können zur Erfassung der Umgebung einerseits in dem ersten Betriebsmodus die Echos der Ultraschallsignale ausgewertet werden und andererseits können in dem zweiten Betriebsmodus die Ultraschallgeräusche ausgewertet werden. Darüber hinaus ergibt sich durch die Erfindung (auch) der Vorteil, dass sich ein ergebender Widerspruch zwischen der Auswertung der Echos und der Auswertung von den aus der Umgebung des Fahrzeugs stammenden Ultraschallgeräusche gelöst wird.
-
Darüber hinaus können die in den ersten Betriebsmodus ermittelten ersten Sensordaten mit den in dem zweiten Betriebsmodus ermittelten zweiten Sensordaten fusioniert werden. Dabei kann zumindest eine Funktion des Fahrzeugs abhängig von dem Ergebnis der Fusion der ersten Sensordaten und der zweiten Sensordaten betrieben werden.
-
In einer Ausführungsform bezieht sich das Erfassen und/oder das Auswerten der Ultraschallgeräusche auf Ultraschallgeräusche, die von dem zumindest einem Objekt in der Umgebung des Fahrzeugs selbst, insbesondere aufgrund von den in dem Objekt ablaufenden Vorgängen, erzeugt werden und/oder die von dem Objekt aufgrund einer Einwirkung auf ihre jeweilige Umgebung entstehen und/oder aufgrund einer Wechselwirkung zwischen zumindest zwei Objekten entstehen.
-
Dabei kann das Ultraschallsystem eingerichtet sein, Ultraschallgeräusche die von den Objekten selbst stammen, zu erkennen. Diese Ultraschallgeräusche können insbesondere aufgrund der in den Objekten ablaufenden Vorgänge stammen. Diese Ultraschallgeräusche können als solche erkannt werden. Insbesondere kann das Ultraschallsystem eingerichtet sein, unterschiedliche Ultraschallgeräusche, insbesondere Typen bzw. Muster von Ultraschalgeräusche, zu unterscheiden. Es kann auch vorgesehen sein, dass die Ultraschallgeräusche Objekten mit bestimmten Merkmalen bzw. Objekten einer bestimmten Klasse zugeordnet werden. Alternativ oder zusätzlich kann das Ultraschallsystem dazu eingerichtet sein, Ultraschallgeräusche die durch eine Einwirkung der Objekte auf ihre Umgebung bzw. eine Wechselwirkung zwischen zumindest zwei Objekten entstehen, als solche zu erkennen. Bevorzugt kann das Ultraschallsystem eingerichtet sein, Ultraschallgeräusche, die für bestimmte Vorgänge und/oder bestimmte Interaktionen von Objekten bzw. zwischen den Objekten charakteristisch bzw. typisch sind, zu erkennen und/oder zu unterscheiden.
-
Bevorzugt kann eine Ortung eines Objekts anhand der von diesem emittierten, insbesondere erzeugten, Ultraschallgeräuschen erfolgen. Insbesondere kann eine Phasenverschiebung zwischen dem Empfang eines Abschnitts eines Ultraschallgeräuschs von zumindest zwei der Ultraschallmikrofone ermittelt und bei der Ortung des Objekts berücksichtigt werden. Dies kann vorteilhaft mit einer Erkennung des Objekts (als solches bzw. als ein separates Objekt) und/oder einer Erkennung der Klasse des Objekts kombiniert werden.
-
In einer Ausführungsform ist das Ultraschallsystem ferner dazu eingerichtet, ein oder mehrere bestimmte Muster in den Ultraschallgeräuschen zu erkennen und/oder bestimmte Objekte oder eine Klasse der Objekte anhängig von den Ultraschallgeräuschen zu erkennen und/oder einen bestimmten, in den Objekten ablaufenden Vorgang und/oder bestimmte Einwirkungen der Objekte auf ihre Umgebung bzw. eine Wechselwirkung zwischen zumindest zwei der Objekten zu erkennen. Zudem kann das Ultraschallsystem dazu eingerichtet sein, daraufhin die erkannte Information, z.B. in Form einer erkannten Klasse eines Objekts bzw. mehrerer Objekte, im Verfahren zu berücksichtigen. Insbesondere ist das Ultraschallsystem dazu eingerichtet, abhängig von der erkannten Information die Funktionalität des Fahrzeugs, insbesondere ein Fahrerassistenzsystem des Fahrzeugs, zu betreiben.
-
Gemäß einer ersten Variante kann es vorgesehen sein, die Information, z.B. die ermittelte Information über Objekte, ihre Interaktionen sowie dergleichen, funktional zu berücksichtigen. Gemäß einer zweiten Variante kann der weitere Betrieb des Ultraschallsystems gesteuert werden und insbesondere angepasst werden. Bevorzugt können sowohl die erste Variante als auch die zweite Variante ausgeführt werden, wobei selbst die zweite Variante alleine äußerst rentabel ist.
-
In einer weiteren Ausführungsform ist das Ultraschallsystem zudem dazu eingerichtet, ein Maß der Relevanz bestimmter Ultraschallgeräusche und/oder von Objekten, Vorgängen innerhalb der Objekte, Einwirkungen der Objekte auf ihre Umgebung, eine Wechselwirkung zwischen zumindest zwei Objekten zu ermitteln und daraufhin den zweiten Betriebsmodus abhängig von dem ermittelten Maß der Relevanz zu steuern.
-
Beispielsweise kann das Ultraschallsystem eingerichtet sein, zunächst (kurz und/oder ohne eine Unterbrechung des ersten Betriebsmodus) ein Maß der Relevanz bestimmter Ultraschallgeräusche und/oder von Objekten, Vorgängen innerhalb der Objekte, Einwirkungen der Objekte auf ihre Umgebung, eine Wechselwirkung zwischen zumindest zwei Objekten zu ermitteln. Daraufhin kann z.B. ein Bestimmen oder Anpassen zweiter Zeitintervalle, in welchen die von einem Objekt in der Umgebung des Fahrzeugs emittierten Ultraschallgeräusche erfasst werden, erfolgen. Hierbei kann ein Aussenden der Ultraschalsignale zum Erhalt von Echos (erster Betriebsmodus) pausiert werden und/oder ein Verändern eines Verhältnisses zwischen ersten Zeitintervallen und der zweiten Zeitintervallen, z.B. mittels der Steuerung des zweiten Betriebsmodus, bewirkt werden.
-
Mit einfachen Worten erklärt: Das Ultraschallsystem kann zunächst „kurz zuhören“ oder auf eine sonstige Art und Weise ermitteln, inwiefern die besagten (von Objekten emittierten) Ultraschallgeräusche zumindest ein gewisses Maß an Relevanz, z.B. für einen späteren Betrieb einer Fahrzeugfunktion, aufweisen. Sollte dies der Fall sein, kann eine weitere Auswertung der Ultraschallgeräusche intensiviert werden, und insbesondere hierfür ein Echobetrieb (häufiger und/oder für längere Zeitintervalle) unterbrochen werden. Falls ermittelt wird, dass (in der vorliegenden Situation) die besagten Ultraschallgeräusche kein hohes Maß an Relevanz aufweisen bzw. die Erfassung und/oder Auswertung der besagten Geräusche (z.B. funktional) nicht rentabel ist, kann darauf verzichtet und/oder das Ultraschallsystem verstärkt in dem ersten Betriebsmodus betrieben werden.
-
Dies kann beispielsweise der Fall sein, wenn bestimmte Ultraschallgeräusche von (insbesondere bestimmten) Objekten und/oder von einer (insbesondere bestimmten) Einwirkung der Objekte auf ihre Umgebung bzw. eine Wechselwirkung (z.B. zunächst als solche) zwischen zumindest zwei Objekten (wobei zumindest ein Objekt insbesondere ein bestimmtes Objekt, ein Objekt einer bestimmten Klasse ist) erkannt werden, die ein erhöhtes Maß an Relevanz haben.
-
Wenn beispielsweise erkannt wird, dass die Ultraschallgeräusche auf bestimmte Vorgänge, insbesondere auf ein (intensives) Kratzen, Reiben, Bremsen, etc. hinweisen, dann kann (abhängig oder auch unabhängig von den Objekten, die dies verursachen) ein Rückschluss darauf gemacht werden, dass die Vorgänge zumindest ein gewisses Maß an Relevanz aufweisen.
-
Das Maß der Relevanzkann sich insbesondere auf eine auszuführende Funktionalität und/oder eine aktuelle, prädizierte und/oder geplante Bewegung des Fahrzeugs beziehen.
-
Beispielsweise wird das Maß der Relevanz als vergleichsweise hoch eingeschätzt, wenn Ultraschallgeräusche von bestimmten (als relevant eingestuften) Objekten und/oder von (als relevant eingestuften) Vorgängen erkannt werden. Alternativ oder zusätzlich kann das Maß der Relevanz als vergleichsweise hoch eingeschätzt werden, wenn Objekte und/oder Vorgänge aus der Richtung erkannt werden, in die eine (aktuelle, prädizierte oder geplante) Bewegung des Fahrzeugs führt.
-
Beispielsweise kann das Ultraschallsystem dazu eingerichtet sein, den zweiten Betriebsmodus, insbesondere eine weitere Ausführung des zweiten Betriebsmodus, abhängig von der in dem zweiten Betriebsmodus und/oder in dem ersten Betriebsmodus erkannten Information, zu steuern. Beispielsweise, wenn ein Objekt bestimmter Klasse und/oder ein bestimmter Vorgang in einem Objekt, z.B. ein Bremsvorgang des Objekts erkannt wird, kann daraufhin der zweiter Betriebsmodus gesteuert. Im vorliegenden Fall kann die Ausführung des zweiten Betriebsmodus fortgesetzt bzw. ein Umschalten in den ersten Betriebsmodus ausgesetzt bzw. erst später erfolgen.
-
Gemäß einer weiteren Ausführungsform wird (anhand der Auswertung der Ultraschallgeräusche und/oder eines weiteren Kriteriums) bestimmten Objekten bzw. einer Anordnung von Objekten zumindest ein gewisses Maß an Relevanz zugeordnet. Daraufhin kann (auch) ein Erfassen und/oder Auswerten der Ultraschallgeräusche, insbesondere in Richtung der Objekte, variiert, insbesondere intensiviert werden.
-
Das besagte Maß der Relevanz bestimmter Ultraschallgeräusche und/oder von Objekten, Vorgängen innerhalb der Objekte, Einwirkungen der Objekte auf ihre Umgebung, eine Wechselwirkung kann dabei anhand die Auswertung der Ultraschallgeräusche (z.B. wie zuvor beschrieben) ermittelt werden. Alternativ oder zusätzlich kann das Maß der Relevanz anhand der Auswertung von zumindest einem Echo eines ausgesendeten Ultraschallsignals (z.B. anhand des ersten Betriebsmodus des Ultraschallsystems des Fahrzeugs) bestimmt werden. Alternativ oder zusätzlich kann das Maß für die Relevanz anhand der Information auf Basis eines weiteren, nicht auf Ultraschall basierten Sensors des Fahrzeugs ermittelt werden.
-
In einer weiteren Ausführungsform wird das Betreiben des Ultraschallsystems in dem zumindest einen zweiten Betriebsmodus abhängig von einer digitalen Karte, einer zu der digitalen Karte zugeordneten Information und/oder der Auswertung einer Situation in der Umgebung des Fahrzeugs gesteuert.
-
Beispielsweise können aus der digitalen Karte geografische Positionen und/oder Ausrichtungen des Fahrzeugs entnommen werden, für die das Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus freigeschaltet, zumindest teilweise präferiert und/oder eingeschränkt wird.
-
Beispielsweise können in einem ersten Schritt Positionen, Umgebungsmerkmale und/oder Fahrsituationen erfasst werden, an oder bei welchen Fahrzeuge einem, z.B. einen gewissen Schwellwert übersteigenden, Ultraschallgeräuschpegel ausgesetzt sind und/oder bestimmte von Ultraschall gebildete Muster (zumindest statistisch gehäuft) vorkommen. In einem zweiten Schritt kann der zweite Betriebsmodus abhängig von dem Erkennen (bzw. Wiedererkennen) der Positionen, Umgebungsmerkmale und/oder Fahrsituationen betrieben, insbesondere gesteuert, werden.
-
Beispielsweise können die von einem oder mehreren Objekten emittierten Ultraschallgeräusche abhängig von der aktuellen Positionen, Umgebungsmerkmalen und/oder Fahrsituationen erfasst, nicht erfasst, verarbeitet, nicht verarbeitet oder auf eine bestimmte Art und Weise verarbeitet und/oder berücksichtigt werden.
-
Die Situation kann bevorzugt eine (aktuelle und/oder für eine nahe Zukunft von einigen Sekunden prädizierte) Fahrsituation umfassen oder sein.
-
Insbesondere ist eine Fahrsituation (vielmehr) durch ein bestimmtes Muster (auch zu verstehen als ein Datenmuster), z.B. ein Muster kennzeichnend die Anordnung, die Geschwindigkeit der Objekte und/oder die Muster der Parameter der Fahrsituation, gekennzeichnet. Auch kann die Fahrsituation durch ein räumliches Muster der sogenannten Freiräume in der Umgebung des Fahrzeugs gekennzeichnet sein. Beispielsweise kann die Steuerung des Betriebsmodus des Ultraschallsystems abhängig von diesen bzw. derartige Merkmalen bzw. entsprechende Parameter der Fahrsituation erfolgen.
-
Bevorzugt kann die zumindest eine Fahrsituation gekennzeichnet sein durch einen oder mehrere nachfolgend aufgezählte Merkmale:
- - eine (bestimmte) räumliche Verteilung der Verkehrsteilnehmer und/oder der Bewegungsparameter der Verkehrsteilnehmer, insbesondere ein Anordnungsmuster der Verkehrsteilnehmer in der Umgebung des (realen) Fahrzeugs;
- - eine (bestimmte) räumliche Verteilung unbeweglicher Objekte in der Umgebung des Fahrzeugs;
- - eine relative Position und/oder ein Bewegungsparameter zu bestimmten Arten von Spurenmarkierungen, Verkehrszeichen, Ampeln (nicht notwendigerweise zu bestimmten Ampeln, etc.);
- - eine Information über die Vorfahrt des Fahrzeugs, insbesondere gegenüber bestimmten Verkehrsteilnehmern und/oder Verkehrsteilnehmern, die tatsächlich oder zumindest potentiell aus bestimmten Richtungen, z.B. einer querenden Straße rechts oder von links, kommen oder kommen können; und/oder
- - eine Information zu einer, z.B. einen Grenzwert überschreitenden, Handlung eines Verkehrsteilnehmers in der Umgebung des Fahrzeugs, z.B. ein Hupen, Lichthupen, Drängeln, Überholen des Fahrzeugs, ein Überholversuch, sowie dergleichen.
-
Ferner kann die Fahrsituation durch einen oder mehrere Parameter der (im Zusammenhang mit dieser Fahrsituation relevanten) Verkehrsregeln, Verkehrszeichen, Vorfahrten, Ampeln, Ampelphasen sowie dergleichen gekennzeichnet sein. Insbesondere ist unter dem Begriff Fahrsituation ebenfalls eine Park- oder Rangiersituation zu verstehen. Dabei kann ein Parameter, Merkmal und/oder Muster einer Parksituation in einer analogen Art und Weise definiert sein.
-
Bevorzugt kann es sich bei der zumindest einen Fahrsituation um eine, bestimmte Grenzwerte überschreitende, Fahrsituation bzw. um eine Fahrsituation, die durch bestimmte Grenzwerte überschreitende Parameter gekennzeichnet ist, handeln. Beispielsweise kann es sich bei der zumindest einen Fahrsituation um eine Fahrsituation mit einer unerwünschten bzw. gefährlichen Annäherung an ein Objekt oder an einen Verkehrsteilnehmer, mit einem einen Grenzwert überschreitenden Beschleunigungswert, mit einer unterwünschten Anordnung zu weiteren Verkehrsteilnehmern, etc. handeln.
-
Bei der Fahrsituation kann es sich um eine (z.B. vergleichsweise selten vorkommende) Sondersituation oder um eine gefährliche Fahrsituation handeln, z.B. eine Fahrsituation, für die ein erhöhtes Risiko ermittelt oder angenommen wird. Derartige Fahrsituationen können mittels entsprechend definierter Kriterien erkannt, insbesondere prädiziert, werden. Daraufhin kann der Betriebsmodus insbesondere der zweiter Betriebsmodus des Ultraschallsystems abhängig von ermittelten Parametern bzw. erkannten Mustern gesteuert werden.
-
In einer weiteren Ausführungsform wird der zweite Betriebsmodus des Ultraschallsystems, abhängig von einem Automatisierungsgrad in Bezug auf das Fahren oder Parken des Fahrzeugs gesteuert, wobei der Automatisierungsgrad das aktuelle und/oder vorausliegende Zeitintervall betrifft.
-
Als das aktuelle und/oder das vorausliegende Zeitintervall (z.B. von etwa 1, 5, 15, 20, 30, 60 Sekunden) kann auch eine aktuelle und/oder vorausliegende Fahrstrecke (z.B. von etwa 5, 30, 50, 100 Meter) gewählt werden. Besonders bevorzugt kann eine (für einen späteren Zeitpunkt geplante) Erhöhung und/oder Verringerung des Automatisierungsgrads berücksichtigt werden. Alternativ oder zusätzlich kann z.B. zwischen einem (aktuell ausgeführten und/oder prädizierten) Fahrmodus, Einparkmodus, Ausparkmodus, Rangiermodus sowie dergleichen unterschieden werden.
-
In einer weiteren Ausführungsform umfasst das Steuern des Betriebsmodus, insbesondere des zweiten Betriebsmodus, das Bestimmen oder Anpassen erster Zeitintervalle, in welchen ein Echo eines ausgesendeten Ultraschallsignals ausgewertet wird, das Bestimmen oder Anpassen zweiter Zeitintervalle, in welchen die von einem Objekt in der Umgebung des Fahrzeugs emittierten Ultraschallgeräusche erfasst werden, wobei ein Aussenden der Ultraschalsignale pausiert wird, und/oder das Verändern eines Verhältnisses zwischen den ersten Zeitintervallen und den zweiten Zeitintervallen.
-
Bevorzugt kann der Zeitpunkt zum Betrieb oder der Anteil des Betriebs des Ultraschallsystems auf Basis einer Auswertung von Echos und/oder der Anteil abhängig von der Auswertung der Fahrsituation in der Umgebung des Fahrzeugs bestimmt oder angepasst werden.
-
In einer weiteren Ausführungsform erfolgt die Verarbeitung von ersten Messwerten auf Basis einer Auswertung eines Echos des Ultraschallsignals mit den zweiten Messwerten auf Basis der von einem oder mehreren Objekten in der Umgebung des Fahrzeugs emittierten Ultraschallgeräusche, wobei eine Modellierung der Umgebung des Fahrzeugs ermittelt, korrigiert oder ergänzt wird.
-
Beispielsweise kann das Ultraschallsystem (schnell) abwechselnd in dem ersten Betriebsmodus und dem zweiten Betriebsmodus betrieben werden. Beispielsweise kann eine Aktivierung des zweiten Betriebsmodus oder eine Umschaltung von dem ersten Betriebsmodus in den zweiten Betriebsmodus ungefähr alle 5, 3, 2, 1 oder 0,5 Sekunden erfolgen. Diese Betriebsmodi liefern (jeweils) Messwerte, die (in Bezug auf unterschiedliche Kriterien) eine unterschiedliche Güte aufweisen, und/oder (in Bezug auf unterschiedliche Störungen bzw. Störquellen) eine unterschiedliche Empfindlichkeit, Toleranz bzw. Resistenz aufweisen.
-
Besonders bevorzugt erfolgt das Auswerten der die Ultraschallgeräusche repräsentierender Signale nicht-regelbasiert bzw. mittels maschinell gelernten (trainierten) neuronalen Netz, wobei die zweiten Messwerte ermittelt werden. Das Auswerten der Echos (in dem ersten Betriebsmodus) kann hingegen regelbasiert erfolgen, wobei die ersten Messwerte. Das Ultraschallsystem kann ausgestaltet sein, die regelbasiert ermittelten ersten Messwerte zusammen mit den nicht-regelbasiert ermittelten zweiten Messwerten zu verarbeiten, insbesondere im Rahmen derselben Sensorfusion und/oder Funktion des Fahrzeugs zu verwenden. Dabei können besonders präzise und/oder robuste Ergebnisse erzielt werden sowie weitere vom Fachmann leicht nachvollziehbare Vorteile geschaffen werden.
-
Durch eine Verarbeitung der ersten Messwerte auf Basis einer Auswertung des Echos des zumindest eines Ultraschallsensors mit den zweiten Messwerten auf Basis der von einem oder mehreren Objekten in der Umgebung des Fahrzeugs emittierte Ultraschallgeräusche können (z.B. für die erste Messwerte, zweite Messwerte bzw. jeweils andere Messwerte) typische Fehler oder Abweichungen erkannt und/oder zumindest teilweise korrigiert werden.
-
Bevorzugt kann die Verarbeitung der ersten Messwerte und der zweiten Messwerte umfassen:
- - eine zumindest teilweise Korrektur der ersten Messwerte, insbesondere eines bestimmten (z.B. typischen) Fehlers in den ersten Messwerten, abhängig von den zweiten Messwerten;
- - eine zumindest teilweise Korrektur der zweiten Messwerte, insbesondere eines bestimmten (z.B. typischen) Fehlers in den zweiten Messwerten, abhängig von den ersten Messwerten; und/oder
- - Ermitteln dritter Messwerte auf Basis der ersten Messwerte und der zweiten Messwerte.
-
Auf Basis der Verarbeitung kann eine (mathematische) Modellierung der Umgebung des Fahrzeugs erfolgen, die jeweils zumindest teilweise korrigierte, von bestimmten (z.B. für den ersten Betriebsmodus typischen und/oder für den zweiten Betriebsmodus typischen) Artefakten zumindest teilweise befreite und/oder durch erste Messwerte und zweite Messwerte ergänzt ist. Derart verarbeitete Werte, z.B. ein Modell der Umgebung des Fahrzeugs, kann eine höhere Präzision, Verlässlichkeit bzw. Robustheit aufweisen.
-
Gemäß einer weiteren Ausführungsform wird eine Datenfusion abhängig von den ersten Messwerten und den zweiten Messwerten, insbesondere zwischen den ersten Messwerten und den zweiten Messwerten, ausgeführt. Das Ausführen der Interpolation erlaubt es, die ersten Messwerte auf Basis des Ultraschallsystems mit den (gemäß eines anderen Funktionsprinzips ermittelten) zweiten Messwerten desselben Ultraschallsystem zu fusionieren. Das Ultraschallsystem kann somit, z.B. die eigens anhand von zwei unterschiedlichen Funktionsprinzipien ermittelten, Messwerte (mit oder ohne Einbeziehung weiterer Daten, z.B. Messewerte auf Basis anderer Sensoren) untereinander fusionieren. Somit kann die Güte, insbesondere die Genauigkeit und/oder Verlässlichkeit der resultierenden Daten, insbesondere des von den Daten abhängigen Modells der Umgebung, verbessert werden.
-
Beispielsweise kann ein auf einer Auswertung der Ultraschallgeräusche basierender Tracking-Situationsvektor abhängig von den, aus der Umgebung des Fahrzeugs erfassten, Ultraschallinhalten ermittelt werden. Dieser kann zur Fusion mit den Datenabschnitten anderer nach außen gerichteter Sensoren des Fahrzeugs und/oder zum zumindest teilweise automatisierten Fahrern oder Parken genutzt werden. Besonders vorteilhaft ist die Nutzung in einem urbanen Umfeld. Außerdem in allen Situationen bzw. Funktionalitäten, die ein Nahfeld und eine im Wesentlichen entlang der Kontur des Fahrzeugs, insbesondere „Rundum“-Erfassung, berücksichtigen, besonders wichtig.
-
Bevorzugt können (in dem zweiten Betriebsmodus) ermittelte Signale, welche die die Ultraschallgeräusche repräsentieren, im Rahmen einer Sensorfusion verarbeitet werden.
-
In einer weiteren Ausführungsform wird eine Interpolation von mehreren ersten, in dem ersten Betriebsmodus (auf Basis der Auswertung von Echos ermittelten) Messwerten ausgeführt, und/oder es wird eine Interpolation von mehreren zweiten, in dem zweiten Betriebsmodus, (auf Basis der Auswertung von Ultraschallgeräusche ermittelten) Messwerten ausgeführt, und die Verarbeitung, insbesondere die Datenfusion, wird zumindest teilweise anhand (zu verstehen auch: unter Berücksichtigung) der interpolierten ersten Messwerte und/oder der interpolierten zweiten Messwerte ausgeführt.
-
Bevorzugt können die ersten Messwerte für Zeitpunkte interpoliert werden, zu welchen entweder die zweiten Messwerte vorhanden sind oder ein Ergebnis der Interpolation der zweiten Messwerte vorhanden oder zu erwarten sind. Alternativ oder zusätzlich können die zweiten Messwerte für Zeitpunkte interpoliert werden, zu welchen entweder die ersten Messwerte vorhanden sind oder ein Ergebnis der Interpolation der ersten Messwerte vorhanden oder zu erwarten sind. Dabei kann die vorteilhafte Möglichkeit geschaffen werden, die in dem ersten Betriebsmodus ermittelte Messwerte und die in dem zweiten Betriebsmodus ermittelten Messwerte, die bei einem alternierenden Betrieb des Ultraschallsystems zeitlich nicht zueinander passen, dennoch (auch untereinander) fusioniert werden. Durch eine derartige Fusion können die jeweiligen Schwächen bzw. Fehler des ersten Betriebsmodus bzw. des zweiten Betriebsmodus (ggf. gegenseitig) korrigiert werden. Es kann daher (mit nur einem Ultraschallsystem) ein Vorteil erzeugt werden, der sonst nur unter Verwendung verschiedener bzw. verschiedenartiger Sensoren erzeugbar wäre.
-
Dabei kann die Interpolation in Bezug auf eine auf Zeit bezogene Größe (z.B. ein Zeitwert, ein Systemtakt) oder auf eine Distanz bezogene Größe (z.B. auf den Abstand bzw. Fahrdistanz des Fahrzeugs zwischen einzelnen Messwerten) erfolgen. Beispielsweise werden die interpolierten Werte für einen bestimmten Zeitpunkt bzw. die Position des Fahrzeugs abhängig von Messwerten vor dem Zeitpunkt und nach dem Zeitpunkt bzw. vor der Position des Fahrzeugs und nach der Position des Fahrzeugs (während einer Bewegung des Fahrzeugs) ermittelt.
-
Durch die Interpolation kann ein (durch Erfindung entstandener) Nachteil beseitigt werden, dass es für einzelne Zeitpunkte bzw. Positionen des Fahrzeugs, entweder die ersten oder nur die zweiten Messwerte vorliegen. Es kann auch ein möglicher Nachteil behoben werden, bei dem im Falle einer (vergleichsweise schnellen) Bewegung des Fahrzeugs die (meistens nur abwechselnd zueinander erfassbaren) Messwerte sich nicht auf denselben Zeitpunkt bzw. Position des Fahrzeugs beziehen und daher nicht zusammen zweckmäßig auswertbar wären.
-
In einem weiteren Beispiel erfolgt:
- - eine Erkennung und/oder Korrektur von Abweichungen bzw. Fehlern der in den in dem ersten Betriebsmodus ermittelten ersten Messwerte abhängig von den (korrespondierenden, etwa aus demselben Zeitintervall stammenden) in dem zweiten Betriebsmodus ermittelten zweiten Messwerten oder der interpolierten zweiten Messwerte, und/oder
- - eine Erkennung und/oder Korrektur von Abweichungen bzw. Fehlern der in dem zweiten Betriebsmodus ermittelten zweiten Messwerte abhängig von den (korrespondierenden, etwa aus demselben Zeitintervall stammenden) in dem ersten Betriebsmodus ermittelten ersten Messwerten oder der interpolierten ersten Messwerte.
-
Aufgrund einer (sehr unterschiedlichen) Funktionsweise bzw. aufgrund unterschiedlich gelagerter Stärken und Schwächen des zweiten Betriebsmodus und des ersten Betriebsmodus kann eine (sehr effektive) Fehlererkennung und/oder Korrektur erfolgen.
-
In einer weiteren Ausführungsform wird das Betreiben des Ultraschallsystems in dem zumindest einen zweiten Betriebsmodus gesteuert abhängig von einer Anwesenheit (z.B. Erkennung) eines anderen Fahrzeugs in der Umgebung des Fahrzeugs und/oder von der Erfassung und/oder Erkennung eines von einem anderen Fahrzeug ausgesendeten Ultraschallsignals.
-
Dabei kann ein aus der Praxis bekannter Effekt, bei dem sich zwei in der Nähe voneinander auf Basis ausgesendeter Ultraschallsignale betriebene Ultraschallsysteme stören, verringert werden. In einem vereinfachten Beispiel kann sich das Ultraschallsystem des Fahrzeugs (zumindest verstärkt oder überwiegend) in den zweiten Betriebsmodus hineinversetzen.
-
Dabei kann (einerseits) die gegenseitige Störung beseitigt werden (woran auch das eigene Fahrzeug typischerweise sehr interessiert ist), und/oder (andererseits) kann das andere Fahrzeug an den von diesem ausgesandten Ultraschallsignalen sehr genau erkannt werden.
-
Insbesondere kann ein Aktivieren, Steuern, des ersten Betriebsmodus, des zweiten Betriebsmodus und/oder von einem abwechselnden Betrieb des Ultraschallsystems des Fahrzeugs in dem ersten Betriebsmodus und dem zweiten Betriebsmodus, abhängig von dem Betriebsmodus ein Aktivieren, Steuern, des ersten Betriebsmodus, des zweiten Betriebsmodus und/oder von einem abwechselnden Betrieb des Ultraschallsystems des anderen (in der Umgebung des Fahrzeugs befindlichen) Fahrzeugs erfolgen. Dabei kann eine Abstimmung und/oder Synchronisation der Betriebsmodi der Ultraschallsysteme von den zumindest zwei Fahrzeugen eingestellt werden, wobei eine (gegenseitige) Störung stark verringert wird.
-
In einer weiteren Ausführungsform ist das Auswerten der von einem oder mehreren Objekten emittierte Ultraschallgeräusche mittels eines ersten neuronalen Netzes ausführbar, wobei das neuronale Netz trainiert ist: bestimmte Objekte oder eine Klasse von Objekten abhängig von den Ultraschallgeräuschen zu erkennen und/oder einen bestimmten, in den Objekten ablaufenden Vorgang und/oder bestimmter Einwirkungen der Objekte auf ihre jeweilige Umgebung bzw. eine Wechselwirkung zwischen zumindest zwei Objekten zu erkennen.
-
Beispielsweise werden die Ultraschallgeräusche repräsentierende Signale des zumindest eines Ultraschallsensors an die Eingangsschicht des ersten neuronalen Netzes bereitgestellt (auch zu verstehen: geschaltet). Beispielsweise wird die zumindest eine Funktion des Fahrzeugs abhängig von der Ausgangsschicht des ersten neuronalen Netzes betrieben.
-
Beispielsweise ist das erste neuronale Netz trainiert, Ultraschallgeräusche möglichst korrekt, präzisere und/oder (z.B. hinsichtlich Fehler, insbesondere False-Negative und/oder False-Positiv) zu interpretieren, insbesondere Messwerte, Ergebnisse der Vermessung und/oder Klassifikation von Objekten, Abstand zu den Objekten, etc. zu ermitteln (auch zu verstehen: zu schätzen). Dabei kann ein wesentlicher Vorteil erreicht werden, der bei einem für typische Automotive-Ultraschallsysteme regelbasierten Ansatz in der Praxis unerreichbar sind.
-
Gemäß einer weiteren Ausführungsform ist das Ultraschallsystem ferner dazu eingerichtet, den zweiten Betriebsmodus mittels eines zweiten neuronalen Netzes zu steuern, wobei das zweite neuronale Netz trainiert ist, den zweiten Betriebsmodus derart zu steuern, dass: eine präzisere und/oder verlässlichere Auswertung der Ultraschallgeräusche innerhalb des zweiten Betriebsmodus, insbesondere durch das erste neuronale Netz, auszuführen.
-
Die präzisere und/oder verlässlichere Auswertung der Ultraschallgeräusche bezieht sich insbesondere auf präzisere und/oder (z.B. hinsichtlich Fehler, insbesondere False-Negative und/oder False-Positiv) verlässlichere Ausgangswerte (z.B. Messwerte, Ergebnisse der Vermessung und/oder Klassifikation von Objekten, Abstand zu den Objekten, etc.).
-
Insbesondere ist das zweite neuronale Netz trainiert, den zweiten Betriebsmodus derart zu steuern, dass stets, häufig, im Wesentlichen oder zumindest in einem statistischen Mittel das Ergebnis der Auswertung der Ultraschallgeräusche, insbesondere die zweiten Messwerte möglichst präzise, verlässlich ist und/oder zu den Zeitpunkten geliefert wird, die zum Betreiben der zumindest einer Funktion des Fahrzeugs möglichst günstig sind.
-
Beispielsweise kann der zweite Betriebsmodus, z.B. der Übergang in den zweiten Betriebsmodus, der Übergang (bzw. Rückkehr) zu dem ersten Betriebsmodus, ein oder mehrere in diesem Dokument beschriebene Aspekte und/oder Parameter des zweiten Betriebsmodus mittels des zweiten neuronalen Netzes, insbesondere von der Ausgangsschicht des zweiten neuronalen Netzes gesteuert werden.
-
Bevorzugt erfolgt abhängig von den Werten an der Ausgangsschicht des neuronalen Netzes das Bestimmen oder Anpassen erster Zeitintervalle, in welchen ein Echo eines ausgesendeten Ultraschallsignals ausgewertet wird, Bestimmen oder Anpassen zweiter Zeitintervalle, in welchen die von einem Objekt in der Umgebung des Fahrzeugs emittierten Ultraschallgeräusche erfasst werden, wobei die Ausführung des ersten Betriebsmodus insbesondere das Aussenden der Ultraschalsignalen zum Erhalte von Echos, pausiert wird; und/oder das Verändern eines Verhältnisses zwischen den zweiten Zeitintervallen und den ersten Zeitintervallen.
-
Besonders bevorzugt ist das zweite neuronale Netz trainiert, den zweiten Betriebsmodus derart zu steuern, dass das Ergebnis der Ausführung des zweiten Modus und das das Ergebnis des ersten Betriebsmodus und/oder das Ergebnis der Verarbeitung, insbesondere Fusion des Ergebnisses des ersten Betriebsmodus und des zweiten Betriebsmodus (z.B. das Ergebnis der Fusion der ersten Messwerte und der zweiten Messwerte) möglichst präzise und/oder verlässlich ist. Beispielsweise kann das zweite neuronale Netz trainiert sein, das kumulierte Ergebnis aus der Ausführung des zweiten Betriebsmodus und des ersten Betriebsmodus, insbesondere abhängig von einer oder mehreren in diesem Dokument beschriebenen Informationen zu verbessern. Beispielsweise kann das zweite neuronale Netz trainiert sein, abhängig von einer vorliegenden, bereits ermittelten und/oder prädizierten oder vermuteten Information über die Fahrsituation bzw. Parksituation, den zweiten Betriebsmodus, zu steuern. Vereinfacht erklärt ist kann das zweite neuronale Netz trainiert sein, für ein bestmögliches Gesamtergebnis aus dem zweiten Betriebsmodus und dem ersten Betriebsmodus bzw. aus der Fusion der Ergebnisse der Ausführung des zweiten Betriebsmodus und des ersten Betriebsmodus zu gewinnen.
-
In einer weiteren Ausführungsform umfasst das zweite neuronale Netz zumindest einen Teil des ersten neuronalen Netz oder es wird von diesem gesteuert oder das erste neuronale Netz umfasst zumindest einen Teil des zweiten neuronalen Netz oder von es wird diesem gesteuert oder ein drittes neuronales Netz umfasst zumindest einen Teil des ersten und/oder des zweiten neuronalen Netzes oder es wird von diesem gesteuert.
-
Besonders bevorzugt gehört zu dem Ultraschallsystem zumindest ein trainiertes und/oder trainierbares neuronales Netz. Mit diesem kann eine - sonst schwierige - Aufgabe bewältigt werden, die Signale auszuwerten. Mit anderen Worten kann ein derartiges Ultraschallsystem (wie z.B. auch Lebewesen) lernen, die Signale, insbesondere auch Signale, für deren Auswertung keine expliziten Regeln vorliegen oder aufstellbar sind, auszuwerten, insbesondere zu interpretieren. Besonders bevorzugt kann das zweite neuronale Netz trainiert sein, die Erkennung bzw. Wiedererkennung bestimmter Muster, z.B. Ultraschallmuster von unterschiedlichen Verkehrsteilnehmern (PKWs, LKWs, Zweiradfahrer, Menschen, und/oder von bestimmten Ereignissen, z.B. Unfälle oder Zusammenstöße in der Nähe. Alternativ oder zusätzlich kann das neuronale Netz trainiert sein, die Geschwindigkeit eines Objekts anhand von diesem emittierter Ultraschallgeräusche zu ermitteln. Auch kann ein Doppler-Effekt in Bezug auf passiv erfasste Ultraschallwellen angewandt werden. Dabei kann die Geschwindigkeit eines Verkehrsteilnehmers ermittelt werden.
-
Dadurch kann die Auswertbarkeit, insbesondere die Interpretierbarkeit, der Ultraschallinhalte in der Umgebung des Fahrzeugs ein für viele Anwendungen hinreichendes bzw. gutes Niveau erreichen.
-
Dabei kann das dritte neuronale Netz ein neuronales Netz zum Betreiben einer Fahrzeugfunktionalität, insbesondere zum Erzeugen einer Fahrerinformation, eines zumindest teilweise automatisierten Parkens, Rangierens und/oder Fahrens sein.
-
Gemäß einem weiteren Aspekt wird ein Fahrzeug beschrieben. Ein erfindungsgemäßes Fahrzeug umfasst ein erfindungsgemäßes Ultraschallsystem. Das Fahrzeug kann als Kraftfahrzeug und insbesondere als Personenkraftwagen ausgebildet sein. Bevorzugt handelt es sich um ein zumindest teilweise automatisiert und/oder ferngesteuert fahrbares bzw. einparkbares, ausparkbares und/oder rangierbares Fahrzeug. Daraus ergeben sich für den Fachmann leicht nachvollziehbare Vorteile.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Ultraschallsystems eines Fahrzeugs. Das Verfahren umfasst das Erfassen von Ultraschallgeräuschen aus einer Umgebung des Fahrzeugs in zumindest einem zweiten Betriebsmodus, wobei die Ultraschallgeräusche von zumindest einem Objekt in der Umgebung emittiert werden und wobei sich die Ultraschallgeräusche von Ultraschallsignalen, welche mit zumindest einem Ultraschallsensor des Fahrzeugs ausgesendet werden, unterscheiden Zudem umfasst das Verfahren das Auswerten der Ultraschallgeräusche zum Betreiben zumindest einer Funktionalität des Fahrzeugs. Ferner umfasst das Verfahren das Auswerten der Echos der mit dem zumindest einen Ultraschallsensor ausgesendeten Ultraschallsignale zusätzlich oder alternativ zu dem zweiten Betriebsmodus in einem ersten Betriebsmodus.
-
Gemäß einem weiteren Aspekt wird ein erstes Computerprogramm beschrieben, wobei das erste Computerprogramm ausgebildet ist, bei seiner Ausführung auf zumindest einer Recheneinheit, insbesondere der Recheneinheit des Ultraschallsystems bzw. des Fahrzeugs, das in diesem Dokument beschriebene Verfahren auszuführen und/oder das Ultraschallsystem, insbesondere in dem zweiten Betriebsmodus gemäß einem oder mehreren im vorliegenden Dokument beschriebenen Merkmalen, zu betreiben.
-
Gemäß einem weiteren Aspekt wird ein zweites Computerprogramm beschrieben, wobei das zweite Computerprogramm ausgebildet ist, bei seiner Ausführung auf zumindest einer Recheneinheit, insbesondere der Recheneinheit des Ultraschallsystems bzw. des Fahrzeugs, eine, insbesondere dauerhafte, Veränderung der Merkmale des Ultraschallsystems bewirkt, wobei das Ultraschallsystem mit dem zweiten Betriebsmodus versehen wird.
-
Besonders bevorzugt ist das zweite Computerprogram ausgebildet, auf einem einen oder mehrere Ultraschallsensoren umfassenden Fahrzeug, die auf Basis der Auswertung von Direktechos und/oder Kreuzechos betreibbar sind, alternativ oder zusätzlich den zweiten Betriebsmodus einzurichten.
-
Beispielsweise ist das zweite Computerprogramm ausgebildet, insbesondere bei einer einmaligen Ausführung und/oder im Rahmen eines Updates bzw. Upgrade eines Fahrzeugs, insbesondere an einem bereits an einen Kunden ausgelieferten, Fahrzeug das Ultraschallsystem, insbesondere den zweiten Betriebsmodus des Ultraschallsystems einzurichten. Mit anderen Worten, kann das zweite Computerprogramm ein („normales“) im Wesentlichen auf Basis der Auswertung der Echos bzw. Kreuzechos fungierendes System in das erfindungsgemäße Ultraschallsystem verwandeln. Dabei können (z.B. im Rahmen bzw. auf Basis einer bisher ins Fahrzeug verbauten und/oder nachgerüsteten Hardware) Module zur Ausführung der Schritte des erfindungsgemäßen Verfahrens und/oder zur Ausführung des ersten Computerprogramms eingerichtet werden.
-
Das erste Computerprogramm und/oder das zweite Computerprogramm kann als ein Update eines bisherigen Computerprogramms ausgebildet sein, wobei das Update beispielsweise im Rahmen einer Funktionserweiterung, beispielsweise im Rahmen eines sogenannten „Remote Software Update“ die Teile des Computerprogramms bzw. des entsprechenden Programmcodes umfasst.
-
Besonders bevorzugt wird das erste Computerprogramm und/oder das zweite Computerprogramm im Rahmen einer Funktionserweiterung zur Erhöhung des Automatisierungsgrads des Fahrzeugs, bevorzugt drahtlos und/oder ferngesteuert, auf das Fahrzeug gebracht.
-
Gemäß einem weiteren Aspekt wird ein Computerprogrammprodukt umfassend das erste Computerprogramm und/oder das zweite Computerprogramm beschrieben. Das erste Computerprogramm, das zweite Computerprogramm oder das Computerprogrammprodukt umfasst insbesondere Daten, insbesondere Konfigurationsdaten, Parametrierungsdaten zum Ausführen bzw. Betreiben des ersten Computerprogramms und/oder des zweiten Computerprogramms, in einem Fahrzeug, insbesondere in einem bestimmten Fahrzeug.
-
Das Computerprogrammprodukt umfasst insbesondere ein von der Datenverarbeitungsvorrichtung lesbares Medium auf dem der Programmcode gespeichert ist und/oder drahtlos übermittelbare, den Programmcode, insbesondere bestimmte Teile des Programmcode des ersten Computerprogramms und/oder des zweiten Computerprogramms und/oder Daten zum Ausführen bzw. Betreiben des ersten Computerprogramms und/oder des zweiten Computerprogramms umfassende Datenpakete. Insbesondere umfasst das Computerprogrammprodukt ein, insbesondere zeitlich eingeschränktes und/oder an eine weitere Bedingung geknüpftes, Zugriffsrecht auf (z.B. abgelegte und/oder abrufbare) Daten des Computerprogrammprodukts.
-
Die mit Bezug auf das erfindungsgemäße Ultraschallsystem vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Fahrzeug für das erfindungsgemäße Verfahren sowie das erste (bzw. ggf. das zweite) Computerprogramm.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
-
Die Erfindung wird nun ohne Einschränkung der Allgemeinheit anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:
- 1 eine schematische Darstellung eines Fahrzeugs, welches ein Ultraschallsystem aufweist; und
- 2 das Fahrzeug 1 gemäß 1, in dessen Umgebung sich weitere Objekte befinden.
-
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
-
1 zeigt in einer schematischen Darstellung ein Fahrzeug 1, welches vorliegend als Personenkraftwagen ausgebildet ist, in einer Draufsicht. Das Fahrzeug 1 umfasst ein Ultraschallsystem 2. Das Ultraschallsystem 2 umfasst wiederum eine Mehrzahl von Ultraschallsensoren 4 bzw. Ultraschallmikrofonen. In dem vorliegenden Ausführungsbeispiel umfasst das Ultraschallsystem 2 zwölf Ultraschallsensoren 4, von denen sechs in einem Frontbereich 6 des Fahrzeugs 1 und sechs in einem Heckbereich 7 des Kraftfahrzeugs 1 angeordnet sind. Die Ultraschallsensoren 4 sind insbesondere baugleich ausgebildet.
-
Zudem umfasst das Ultraschallsystem 2 eine Recheneinrichtung 3, welche durch zumindest ein elektronisches Steuergerät gebildet sein kann. Die Ultraschallsensoren 4 sind mit der Recheneinrichtung 3 zur Datenübertragung verbunden. Entsprechende Datenleitungen bzw. ein Datenbus sind vorliegend der Übersichtlichkeit halber nicht dargestellt. Mit den Ultraschallsensoren 4 können Objekte 8 in einer Umgebung 5 des Fahrzeugs 1 erfasst werden. Hierzu kann das Ultraschallsystem 2 in einem ersten Betriebsmodus betrieben werden. In diesem ersten Betriebsmodus können mit den Ultraschallsensoren 4 Ultraschallsignale ausgesendet werden und die in der Umgebung 5 reflektierten Echos (z.B. Direktechos und/oder Kreuzechos) der Ultraschallsignale wieder empfangen werden. Anhand der Laufzeit zwischen dem Aussenden eines Ultraschallsignals und dem Empfangen des Echos kann dann beispielsweise der Abstand zu einem Objekt 8 in der Umgebung 5 bestimmt werden.
-
In einem zweiten Betriebsmodus (im Gegensatz zu dem ersten Betriebsmodus) können die Ultraschallsensoren 4 (diverse, beliebige) Ultraschallgeräusche aus der Umgebung 5 empfangen und auswerten. Bevorzugt umfasst das Erfassen der Ultraschallgeräusche ein Erfassen und Auswerten der Ultraschallgeräusche, die ein oder mehrere Objekte in der Umgebung (sozusagen von sich aus) erzeugen bzw. emittieren. Dabei erfolgt sozusagen ein zumindest teilweise passives „Zuhören“.
-
Auf Grundlage der empfangenen Echos und/oder der empfangenen Ultraschallgeräusche können mittels der Ultraschallsensoren 4 jeweils (analoge oder digitale) Signale erzeugt werden und an die Recheneinrichtung 3 zur weiteren Auswertung übertragen werden.
-
Vorliegend kann eine vorteilhafte Kombination des ersten und zweiten Betriebsmodus vorgesehen sein. Beispielsweise kann der zweite Betriebsmodus alternativ oder zusätzlich zu einem an sich bekannten aktiver Betrieb in Form der Auswertung des Eigenechos und des Kreuzechos erfolgen (erster Betriebsmodus).
-
Bevorzugt kann das Ultraschallsystem einrichtet sein, zur Ausführung von einer oder mehreren Kombinationen und/oder Sequenzen aus dem ersten Betriebsmodus und den zweiten Betriebsmodus. Dabei kann abhängig von einer oder mehreren im vorliegenden Dokument beschriebenen Informationen (bzw. von dem Steuerungssignal der abhängig von den ermittelten Informationen ist) eine bestimmte Kombination aus dem ersten Betriebsmodus und dem zweiten Betriebsmodus gewählt bzw. angesteuert werden.
-
Insbesondere kann das Ultraschallsystem eingerichtet sein, automatisch bzw. adaptiv variierende Betriebsmodi auszuführen. Beispielhaft kann (stark vereinfacht):
- - ein überwiegend „aktiver“ Betrieb (gemäß dem ersten Betriebsmodus), z.B. für Park- oder Rangierfunktionen,
- - ein überwiegend „passiver“ Betrieb, z.B. für die Auswertung der Umgebung 5, beispielsweise für das urbane automatisierte Fahren, und/oder
- - ein kombinierter Betrieb, z.B. etwa ein „aktiver“ Betrieb mit (entsprechend, zweckmäßig verlängerten) „Sendepausen“, in welchem vielmehr eine passive Erfassung von Ultraschallgeräuschen aus der Umgebung des Fahrzeugs erfolgt (sozusagen in verschiedene Richtungen „gelauscht“ wird).
-
Bevorzugt kann der zweite Betriebsmodus, Anteil der Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus und/oder bestimmte Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus abhängig von einem Signal eines weiteren Sensors des Fahrzeugs und/oder einer Auswertung der Echos der Ultraschallsignale in dem ersten Betriebsmodus erfolgen.
-
Beispielsweise kann ein (bestimmter) Bedarf an einer (bestimmten) Information aus der Umgebung des Fahrzeugs erkannt werden und daraufhin der zweite Betriebsmodus, ein erhöhter Anteil der Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus und/oder bestimmte Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus verwendet werden. Beispielsweise kann erkannt werden, dass zumindest eine Information aus der Umgebung des Fahrzeugs (z.B. von der digitalen Karte, einem weiteren Sensor des Fahrzeugs und/oder von dem ersten Betriebsmodus des Ultraschallsystems) nicht ausreichend, mit zumindest einer gewissen Wahrscheinlichkeit fehlerhaft und/oder unvollständig ist. Daraufhin kann der zweite Betriebsmodus, ein erhöhter Anteil der Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus, und/oder bestimmte Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus aktiviert bzw. angesteuert werden. Besonders bevorzugt kann durch das Steuern des zweiten Betriebsmodus der Anteil der Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus und/oder bestimmte Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus gewählt werden.
-
2 zeigt das Fahrzeug 1 gemäß 1 in einer beispielhaften Verkehrssituation. Hierbei befinden sich in der Umgebung 5 des Fahrzeugs 1 Objekte 8 in Form eines weiteren Personenkraftwagens 9 sowie eines Lastkraftwagens 10. In dem zweiten Betriebsmodus des Ultraschallsystems 2 können mit den Ultraschallsensoren 4 die von den Objekten 8 in der Umgebung 5 des Fahrzeugs 1 emittierten Ultraschallgeräusche empfangen werden. Diese Ultraschallgeräusche unterscheiden sich von den Echos, die von den Ultraschallsensoren 4 selbst ausgesendet werden.
-
Dabei können mit dem Ultraschallsystem 2 die Ultraschallgeräusche, die von Objekten 8 selbst stammen, erkennen. Beispielsweise können die Ultraschallgeräusche aufgrund der in den Objekten 8 ablaufenden Vorgänge erkannt werden. Ferner kann das Ultraschallsystem 2 dazu eingerichtet sein, Ultraschallgeräusche die durch Einwirkungen der Objekte 8 auf ihre Umgebung 5 bzw. eine Wechselwirkung zwischen zumindest zwei Objekten 8 entstehen, als solche zu erkennen. Somit können die Objekt 8 als solche erkannt werden. Bevorzugt kann das Objekt 8 können auf Grundlage der Ultraschallgeräusche klassifiziert werden. Dabei kann ein Maß der Ähnlichkeit des von dem Objekt 8 emittierten Ultraschallgeräuschs mit einem, zwei oder mehr als zwei von bestimmten (durch Parameter und/oder Trainieren) vorgegebenen Mustern abgeglichen werden. Auf diese Weise kann beispielsweise der Personenkraftwagen 9 von dem Lastkraftwagen 10 unterschieden werden. Dies kann auch auf Objekte 8 angewandt werden, die durch ein oder mehrere Hindernisse (z.B. weitere Fahrzeuge, bauliche Merkmale der Umgebung) verdeckt sind.
-
Beispielsweise kann ein Lastkraftwagen auch dann als solcher erkannt werden, wenn dieser z.B. auf einer nicht unmittelbar benachbarten („übernächsten“) Fahrspur fährt oder steht, und/oder aus einer nicht einsehbaren Ausfahrt oder Einmündung herausfährt. Beispielsweise kann der zweite Betriebsmodus, ein erhöhter Anteil der Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus, und/oder bestimmte Zeitintervalle zum Betreiben des Ultraschallsystems in dem zweiten Betriebsmodus aktiviert werden, wenn ermittelt wird, dass ein bestimmtes Objekt 8 nicht mit einem weiteren Sensor des Fahrzeugs bzw. nicht in einem hinreichenden Maße erkennbar bzw. klassifizierbar ist. Daher kann das Ultraschallsystem besonders vorteilhaft als ein Teil des Systems zum zumindest teilweise automatisierten Fahrern und/oder Parken ausgestaltet bzw. verwendet sein.
-
Um die Objekte 8 anhand der Ultraschallgeräusche näher charakterisieren zu können, kann ein Computerprogramm auf der Recheneinrichtung 3 ausgeführt werden. Hierzu wird bevorzugt zumindest ein neuronales Netz genutzt werden. Dieses neuronale Netz kann eingerichtet und/oder trainiert sein, bestimmte Objekte 8 oder eine Klasse von Objekten 8 abhängig von den Ultraschallgeräuschen zu erkennen. Alternativ oder zusätzlich kann das zumindest eine neuronale Netz trainiert sein, bestimmte in den Objekten 8 ablaufende Vorgänge und/oder bestimmte Einwirkungen der Objekte 8 auf ihre jeweilige Umgebung 5 bzw. eine Wechselwirkung zwischen zumindest zwei Objekten 5 zu erkennen.
-
In Abhängigkeit von der Auswertung der Ultraschallgeräusche aus der Umgebung 5 kann dann zumindest eine Funktionalität im Fahrzeug 1 betrieben werden. Insbesondere kann in Abhängigkeit von den Ultraschallgeräuschen ein Fahrerassistenzsystem des Fahrzeugs 1 betrieben werden.
-
Durch den zweiten Betriebsmodus kann die geringe Reichweite der Ultraschallsensoren 4 in dem ersten Betriebsmodus, welche üblicherweise wenige Meter beträgt wesentlich erweitert, sozusagen „aufgehoben“ werden. Denn, beim passiven Zuhören muss kein hinreichend starkes Signal ausgesendet werden und/oder eine komplexe Streuung bzw. mehrfache Reflektionen eines starken Signals vermieden werden. Darüber hinaus kann eine Störung zahlreicher Tiere, die den Ultraschall hören bzw. unbewusst von diesem beeinflusst werden zumindest verringert werden.
-
Ferner ergibt sich durch die Erfindung der Vorteil, dass der zweite Betriebsmodus auch bei vergleichsweise hohen Geschwindigkeiten des Fahrzeugs nutzbar ist.
-
Des Weiteren wird durch die Erfindung eine (bedarfsabhängig nutzbare) Informationsquelle (z.B. als erste und/oder zweite Messwerte bzw. das Ergebnis der der Fusion der ersten und der zweiten Messwerte) auch dann bereitgestellt, wenn andere Sensoren (z.B. in bestimmten Zeitintervallen) gestört oder (z.B. in Bezug auf bestimmte Objekte, Objektanordnungen, Fahrsituationen) unwirksam bzw. gestört sind. Zudem wird eine Nahfelderkennung bis hin von wenigen Zentimetern (in dem Bereich kann die übrige Sensorik typischerweise keine oder keine verlässlichen Messwerte liefern bzw. Probleme aufweisen) wird ermöglicht. In einem weiteren Beispiel ist der zweite Betriebsmodus nutzbar als zumindest teilweise redundante und/oder zusätzliche Quelle für eine Sensorfusion. Ferner sind die Ultraschallsensoren 4 sind mit einer hinreichend resistenten Membran industriell ausführbar. Beispielsweise kann dadurch ein Einbauort am Fahrzeug bzw. eine Erfassungsperspektive für Objekte 8 zweckmäßig gewählt werden (was z. B. für einen optischen Sensor wegen einer zu hohen Beanspruchung, z.B. in einem unteren Bereich des Fahrzeugs problematisch ist. Schließlich kann durch die Verwendung des Ultraschallsystems eine sehr große Kosteneinsparung erreicht werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102019117933 A1 [0003]
