DE102020109761A1

DE102020109761A1 - Umfeldsensorsystem

Info

Publication number: DE102020109761A1
Application number: DE102020109761.1A
Authority: DE
Inventors: Mena Nagiub
Original assignee: Valeo Schalter und Sensoren GmbH
Current assignee: Valeo Schalter und Sensoren GmbH
Priority date: 2020-04-08
Filing date: 2020-04-08
Publication date: 2021-10-14
Also published as: EP4132829A1; WO2021204586A1

Abstract

Ein Umfeldsensorsystem (1) weist eine Sensoreinheit (2), die dazu eingerichtet ist, Sätze von Sensordaten (S1) für erste Einzelaufnahmen und eine zweite Einzelaufnahme zu erzeugen, die eine Umgebung darstellen, sowie eine Recheneinheit (3), die dazu eingerichtet ist, einen ersten Auswertealgorithmus auf den jeweiligen Satz von Sensordaten (S1) anzuwenden und eine jeweilige erste Zwischenausgabe (S2) zu erzeugen. Die Recheneinheit (3) ist dazu eingerichtet, einen zweiten Auswertealgorithmus auf den Satz von Sensordaten (S1) der zweiten Einzelaufnahme anzuwenden, eine jeweilige zweite Zwischenausgabe (S3) für die zweite Einzelaufnahme zu erzeugen, zu überprüfen, ob ein vordefinierter maximaler Rechenaufwand zur Erzeugung der jeweiligen ersten Zwischenausgabe (S2) überschritten wurde, und eine Endausgabe für die zweite Einzelaufnahme in Abhängigkeit von einem Ergebnis der Überprüfung basierend auf der zweiten Zwischenausgabe (S3) zu erzeugen.

Description

Die vorliegende Erfindung betrifft ein Umfeldsensorsystem, das eine Umfeldsensoreinheit, die dazu eingerichtet ist für eine oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweite Einzelaufnahme jeweilige Sensordatensätze zu erzeugen, die eine Umgebung der Umfeldsensoreinheit darstellen, wobei das eine oder die mehreren ersten Einzelaufnahmen der zweiten Einzelaufnahme vorausgehen, sowie eine Recheneinheit aufweist. Die Erfindung betrifft ferner ein entsprechendes Verfahren zum Betreiben eines Umfeldsensorsystems, ein elektronisches Fahrzeugführungssystem, ein Verfahren zum Führen eines Kraftfahrzeugs und ein Computerprogrammprodukt.
Die Auswertung und Verarbeitung von Ausgabedaten aktiver optischer Sensorsysteme, wie Lidarsysteme, Radarsysteme oder Kamerasysteme, kann eine große Menge an Rechenressourcen wie Rechenzeit und Speicherplatz erfordern. Typischerweise steigen die Anforderungen mit zunehmender Komplexität der dargestellten Szene in der Umgebung.
Andererseits können insbesondere im Zusammenhang mit eingebetteten Systemen, wie sie zum Beispiel in Kraftfahrzeugen beispielsweise für halbautomatisiertes oder automatisiertes Fahren verwendet werden, die Rechenressourcen begrenzt sein. Folglich kann es vorkommen, dass nicht alle verfügbaren Sensordaten innerhalb der erforderlichen Zeit verarbeitet werden können. So kann es vorkommen, dass Sensordaten einzelner oder mehrerer Einzelaufnahmen verworfen werden. Das Verwerfen der Sensordaten kann jedoch zu einer verringerten Zuverlässigkeit der Ausgabe des Umfeldsensorsystems führen. Beispielsweise kann die Zuverlässigkeit von Aufgaben zur Objekterkennung, Objektverfolgung, Segmentierung oder Klassifizierung unter Verwendung der Ausgabe des Umfeldsensorsystems reduziert sein. In der Folge kann dies zu einem verringerten Sicherheits- und/oder Komfortniveau für einen Benutzer führen.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein verbessertes Konzept für ein Umfeldsensorsystem und für den Betrieb eines solchen Sensorsystems bereitzustellen, das die Zuverlässigkeit der vom Umfeldsensorsystem erzeugten Ausgabedaten erhöht.
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
Das verbesserte Konzept basiert auf der Idee, zwei verschiedene Auswertealgorithmen zur Verfügung zu stellen, die auf Sensordaten angewendet werden können, die von einer Umfeldsensoreinheit des Umfeldsensorsystems erzeugt werden. Je nach gegenwärtigem Rechenaufwand wird eine Zwischenausgabe des ersten oder des zweiten Auswertealgorithmus verwendet, um eine Endausgabe zu erzeugen.
Nach dem verbesserten Konzept wird ein Umfeldsensorsystem, insbesondere für ein Kraftfahrzeug, aufweisend eine Umfeldsensoreinheit angegeben. Die Umfeldsensoreinheit ist dazu eingerichtet, für eine oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweiten Einzelaufnahme jeweilige Sätze von Sensordaten zu erzeugen, die eine Umgebung der Umfeldsensoreinheit darstellen, wobei der eine oder die mehreren ersten Einzelaufnahmen der zweiten Einzelaufnahme vorausgehen. Das Umfeldsensorsystem umfasst ferner eine Recheneinheit, die insbesondere mit der Umfeldsensoreinheit gekoppelt ist, um die Sensordatensätze für die ersten Einzelaufnahmen und die zweite Einzelaufnahme zu empfangen. Die Recheneinheit ist dazu eingerichtet, für jeden der einen oder mehreren ersten Einzelaufnahmen einen ersten Auswertealgorithmus auf den jeweiligen Satz von Sensordaten anzuwenden und eine jeweilige erste Zwischenausgabe für die jeweilige erste Einzelaufnahme der einen oder mehreren ersten Einzelaufnahmen zu erzeugen. Die Recheneinheit ist dazu eingerichtet, für jede der einen oder mehreren ersten Einzelaufnahmen zu überprüfen, ob ein vordefinierter maximaler Rechenaufwand für die Erzeugung der jeweiligen ersten Zwischenausgabe überschritten wurde. Die Recheneinheit ist dazu eingerichtet, einen zweiten Auswertealgorithmus auf den Satz von Sensordaten der zweiten Einzelaufnahme anzuwenden und eine entsprechende zweite Zwischenausgabe für die zweite Einzelaufnahme zu erzeugen. Die Recheneinheit ist dazu eingerichtet, in Abhängigkeit von einem Ergebnis der Überprüfung eine Endausgabe für die zweite Einzelaufnahme basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen.
Unter einem Umgebungssensorsystem kann hier und im Folgenden ein Sensorsystem verstanden werden, das dazu in der Lage ist, Sensordaten oder Sensorsignale zu erzeugen, die eine Umgebung des Sensorsystem, im vorliegenden Fall der Sensoreinheit oder des Kraftfahrzeugs, repräsentieren oder abbilden. Insbesondere Lidarsysteme, Radarsysteme oder Kamerasysteme können als Umfeldsensorsysteme angesehen werden.
Abhängig von der spezifischen Ausführung des Umfeldsensorsystems kann auch die Ausführung der Umfeldsensoreinheit unterschiedlich sein. Wenn das Umfeldsensorsystem beispielsweise als Kamerasystem ausgeführt ist, kann die Umfeldsensoreinheit einen Imager-Chip und/oder ein anderes Array von lichtempfindlichen Pixeln oder optischen Detektoren enthalten.
Wenn das Umfeldsensorsystem als Lidarsystem ausgeführt ist, kann die Umfeldsensoreinheit beispielsweise eine oder mehrere Lichtquellen zum Aussenden von Licht und einen oder mehrere optische Detektoren zum Erfassen reflektierter Anteile des ausgesendeten Lichts beinhalten.
Ist das Umfeldsensorsystem als Radarsystem ausgeführt, kann die Umfeldsensoreinheit zum Beispiel eine oder mehrere Sende- oder Empfangsantennen und zum Beispiel eine Front-End-Schaltung für den Betrieb der Antennen enthalten.
Da die eine oder die mehreren ersten Einzelaufnahmen den zweiten Einzelaufnahmen vorausgehen, kann die zweite Einzelaufnahme zum Beispiel direkt auf das eine oder die mehreren ersten Einzelaufnahmen folgen.
Die Recheneinheit kann beispielsweise eine Speichereinheit aufweisen, die den ersten und den zweiten Auswertealgorithmus speichert.
Die Recheneinheit kann auch ein oder mehrere Verarbeitungsmodule umfassen, um den ersten und den zweiten Algorithmus auf die jeweiligen Sensordaten anzuwenden.
Hier und im Folgenden kann ein Modul als Hardwaremodul oder als Softwaremodul verstanden werden. Insbesondere kann ein Modul auch einen Hardware- und einen auf der Hardware implementierten Softwareteil umfassen.
Ein Softwaremodul kann als ein Teil des Softwarecodes verstanden werden, der funktionell verbunden und zu einer Einheit kombiniert ist. Ein Softwaremodul kann mehrere Verarbeitungsschritte und/oder Datenstrukturen umfassen oder implementieren.
Die erste Zwischenausgabe einer gegebenen Einzelaufnahme kann als Ergebnis des ersten Auswertealgorithmus verstanden werden, wenn er auf den jeweiligen Satz von Sensordaten dieser Einzelaufnahme angewendet wird. Dasselbe gilt analog für die zweite Zwischenausgabe. Die erste und die zweite Zwischenausgabe können auch als erste beziehungsweise zweite Zwischenausgabedaten bezeichnet werden.
Der erste und der zweite Auswertealgorithmus können zum Beispiel unterschiedliche Performanzeigenschaften, unterschiedliche Funktionalitäten und so weiter haben. Daher können die verschiedenen Algorithmen unterschiedliche Rechenanforderungen haben, insbesondere hinsichtlich der Rechenzeit und/oder des Speicherbedarfs.
Das Umfeldsensorsystem nach dem verbesserten Konzept verwendet das Ergebnis der Überprüfung des Rechenaufwands, um zu entscheiden, ob die zweite Zwischenausgabe zur Erzeugung der Endausgabe für die zweite Einzelaufnahme verwendet wird. Insbesondere kann basierend auf dem Ergebnis der Überprüfung entschieden werden, ob die zweite Zwischenausgabe oder eine entsprechender erste Zwischenausgabe für die zweite Einzelaufnahme zur Erzeugung der Endausgabe verwendet wird. Auf diese Weise kann die Recheneinheit den ersten oder den zweiten Auswertealgorithmus für die Erzeugung der Endausgabe auswählen, um den Betrieb des Systems besser an die tatsächliche Umgebungsszene anzupassen. Zum Beispiel kann im Falle einer besonders komplexen Szene, die typischerweise zu einem erhöhten Rechenaufwand und insbesondere zu einer Erhöhung der Rechenzeit führt, eine verringerte Leistung oder Funktionalität in Kauf genommen werden, indem die zweite Zwischenausgabe für die Erzeugung der Endausgabe gewählt wird. Stattdessen kann das System im Vergleich zum ersten Auswertealgorithmus von einer geringeren Menge an Berechnungsressourcen profitieren, die der zweite Auswertealgorithmus benötigt.
Insbesondere kann die zweite Zwischenausgabe zur Erzeugung der Endausgabe verwendet werden, falls das Ergebnis der Überprüfung darauf hinweist, dass die Sensordaten der ersten Einzelaufnahmen einer besonders komplexen Umgebungsszene entsprechen.
Durch die Verwendung der zweiten Zwischenausgabe zum Erzeugen der Endausgabe in Abhängigkeit von dem Ergebnis der Überprüfung kann vermieden werden, dass einzelne Sensordatensätze, insbesondere der Satz der Sensordaten der zweiten Einzelaufnahme, verworfen wird, falls der erste Auswertealgorithmus die Sensordaten für eine komplexe Szene nicht angemessen verarbeiten kann.
Folglich kann durch das verbesserte Konzept die potentielle Verwurfrate der Sensordaten reduziert werden, was die Zuverlässigkeit der Endausgabe erhöht.
Insbesondere ermöglicht das verbesserte Konzept einen dynamischen und situationsspezifischen Kompromiss zwischen maximaler Leistung und Funktionalität durch die Verwendung der ersten Zwischenausgabe auf der einen Seite und reduziertem Risiko von Datenverlusten durch die Verwendung der zweiten Zwischenausgabe.
Gemäß mehreren Ausführungsformen des Umfeldsensorsystems ist der zweite Auswertealgorithmus so ausgelegt, dass er weniger Rechenressourcen benötigt als der erste Auswertealgorithmus.
Dabei können die Rechenressourcen zum Beispiel Rechenzeit oder Verarbeitungszeit und/oder Speicherplatz, insbesondere permanent verfügbarer Speicherplatz oder Speicherplatz für Arbeitsdaten, zum Beispiel RAM-Speicher, umfassen.
Mit anderen Worten, benötigt der zweite Auswertealgorithmus für den gleichen Satz von Eingabedaten beziehungsweise Sensordaten für die Erzeugung der jeweiligen zweiten Zwischenausgabe weniger Rechenressourcen als der erste Auswertealgorithmus für die Erzeugung der entsprechenden ersten Zwischenausgabe.
Insbesondere im Hinblick auf einen vordefinierten Satz von Leistungskennzahlen, KPIs, erfüllt der zweite Bewertungsalgorithmus möglicherweise nicht so viele KPIs wie der erste Bewertungsalgorithmus für denselben Satz von Eingabedaten oder Sensordaten.
Mit anderen Worten, kann die reduzierte Leistung oder Funktionalität des zweiten Auswertealgorithmus akzeptiert werden, wenn das Ergebnis der Überprüfung auf eine hohe Arbeitsbelastung des ersten Auswertealgorithmus hindeutet, zum Beispiel im Falle einer besonders komplexen Szene.
Beispielsweise kann der zweite Auswertealgorithmus mit einer geringeren Genauigkeit arbeiten als der erste Auswertealgorithmus.
Der zweite Algorithmus kann zum Beispiel weniger genaue Rechenschemata oder mathematische Modelle verwenden, um die zweite Zwischenausgabe zu erzeugen im Vergleich zum ersten Algorithmus, um die erste Zwischenausgabe zu erzeugen.
Der zweite Auswertealgorithmus kann auch mit einer im Vergleich zum ersten Auswertealgorithmus reduzierten Auflösung arbeiten.
Beispielsweise kann der zweite Auswertealgorithmus die eingegebenen Sensordaten auf eine andere Weise filtern als der erste Auswertealgorithmus. Infolgedessen muss der zweite Auswertealgorithmus möglicherweise eine geringere Menge an Eingabedaten verarbeiten.
Auf diese Weise kann erreicht werden, dass für den Fall, dass der erste Auswertealgorithmus nicht in der Lage ist, geforderte Zeitlimits einzuhalten, der zweite Auswertealgorithmus die geforderten Zeitlimits trotzdem einhalten kann.
Gemäß mehreren Ausführungsformen ist die Recheneinheit, insbesondere ein Auswertemodul der Recheneinheit, dazu eingerichtet, für jeden der einen oder mehreren ersten Einzelaufnahmen zu ermitteln, ob eine jeweils vorgegebene Zeitanforderung erfüllt ist, um zu prüfen, ob der jeweilige maximale Rechenaufwand überschritten ist.
Dabei kann die Zeitanforderung so verstanden werden, dass sie erfüllt ist, wenn der erste Auswertealgorithmus die erste Zwischenausgabe erzeugt hat, bevor ein entsprechendes individuelles Zeitlimit abgelaufen ist.
Mit anderen Worten, wenn die Zeitanforderung erfüllt ist, ist der jeweilige maximale Rechenaufwand nicht überschritten.
Andererseits kann in einigen Ausführungsformen, wenn die Zeitanforderungen nicht erfüllt wurden, der entsprechende Rechenaufwand überschritten worden sein. In anderen Ausführungsformen können jedoch weitere Bedingungen für das Überschreiten des maximalen Rechenaufwands gelten.
Gemäß verschiedenen Ausführungsformen ist die Recheneinheit dazu eingerichtet, für jede der einen oder mehreren ersten Einzelaufnahmen und/oder für die zweite Einzelaufnahme einen vordefinierten Komplexitätsgrad der dargestellten Umgebung zu bestimmen. Die Recheneinheit ist dazu eingerichtet, die Endausgabe für die zweite Einzelaufnahme in Abhängigkeit von den bestimmten Komplexitätsgraden, insbesondere in Abhängigkeit von allen bestimmten Komplexitätsgraden, zu erzeugen.
Insbesondere ist die Recheneinheit dazu eingerichtet, die Endausgabe für die zweite Einzelaufnahme abhängig von den bestimmten Komplexitätsgraden basierend auf der ersten Zwischenausgabe der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen.
Der vordefinierte Grad der Komplexität kann zum Beispiel durch eine Anzahl von identifizierten Segmenten in der dargestellten Umgebung gegeben sein. Dabei kann die Anzahl der Segmente einem Ergebnis eines Segmentierungsalgorithmus oder eines semantischen Segmentierungsalgorithmus entsprechen, der zum Beispiel von dem ersten und/oder dem zweiten Auswertealgorithmus beinhaltet sein kann.
Beispielsweise kann der Komplexitätsgrad einer Anzahl von Objekten entsprechen oder mit einer Anzahl von Objekten korreliert sein, die in der dargestellten Umgebung identifiziert werden.
Beispielsweise können die Sensordaten eine entsprechende Objektliste enthalten. In diesem Fall kann der vordefinierte Komplexitätsgrad einer Anzahl von Objekten in der Objektliste entsprechen.
Die Sensordaten können beispielsweise eine Punktwolke beinhalten, zum Beispiel eine Lidar-Punktwolke. Dann kann ein Segment einem Cluster von korrelierten Punkten in der Punktwolke entsprechen. Der vordefinierte Komplexitätsgrad kann in diesem Fall der Anzahl der Segmente entsprechen.
Die Sensordaten können zum Beispiel Kameradaten einschließlich jeweiliger individueller Pixelwerte umfassen. Ein Segment kann einem Cluster von korrelierten Pixeln entsprechen. In diesem Fall kann die Anzahl der Segmente dem vordefinierten Komplexitätsgrad entsprechen.
Insbesondere kann die Recheneinheit dazu eingerichtet sein, in Abhängigkeit von den ermittelten Komplexitätsgraden und dem Ergebnis der Überprüfung die Endausgabe für die zweite Einzelaufnahme zu erzeugen.
Der Komplexitätsgrad kann auch als Teil des Rechenaufwands verstanden werden oder zum Rechenaufwand beitragen. Mit anderen Worten, die Überprüfung, ob der maximale Rechenaufwand überschritten wurde, kann explizit oder implizit die Bestimmung des Komplexitätsgrades beinhalten.
Insbesondere ein höherer Grad an Komplexität kann ein signifikanter Beitrag oder der einzige signifikante Beitrag für einen erhöhten Rechenaufwand sein. Daher können unter Berücksichtigung des Komplexitätsgrades für die Erzeugung des Endergebnisses besonders zuverlässige Ergebnisse erzielt werden.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, den ersten Auswertealgorithmus auf den Satz von Sensordaten der zweiten Einzelaufnahme anzuwenden und eine entsprechende erste Zwischenausgabe für die zweite Einzelaufnahme zu erzeugen. Die Recheneinheit ist dazu eingerichtet, die Endausgabe abhängig von dem Ergebnis der Überprüfung entweder basierend auf der ersten Zwischenausgabe des zweiten Einzelaufnahmen oder basierend auf der zweiten Zwischenausgabe des zweiten Einzelaufnahmen zu erzeugen.
Gemäß verschiedenen Ausführungsformen ist die Recheneinheit dazu eingerichtet, abhängig von dem Ergebnis der Überprüfung in einem normalen oder in einem eingeschränkten Betriebsmodus zu arbeiten. Die Recheneinheit ist dazu eingerichtet, die Endausgabe basierend auf der ersten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen, wenn die Recheneinheit im normalen Betriebsmodus arbeitet und basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme, wenn die Recheneinheit im eingeschränkten Betriebsmodus arbeitet.
Insbesondere können der erste und der zweite Auswertealgorithmus kontinuierlich auf jede Einzelaufnahme einer Folge von Einzelaufnahmen angewendet werden, welche die eine oder die mehreren ersten Einzelaufnahmen und die zweiten Einzelaufnahme beinhaltet. Die Recheneinheit kann basierend auf dem Ergebnis der Überprüfung bestimmen, welche Zwischenausgabe zur Erzeugung der Endausgabe verwendet wird.
Solche Ausführungsformen ermöglichen eine besonders schnelle Reaktion auf eine sich verändernde Umgebung.
Insbesondere wenn die Endausgabe basierend auf der ersten Zwischenausgabe erzeugt wird, wird sie nicht basierend auf der zweiten Zwischenausgabe erzeugt oder sie wird unabhängig von der zweiten Zwischenausgabe erzeugt. Andererseits, wenn die Endausgabe basierend auf der zweiten Zwischenausgabe erzeugt wird, wird sie nicht basierend auf der ersten Zwischenausgabe erzeugt oder sie wird unabhängig von der ersten Zwischenausgabe erzeugt.
Je nach den tatsächlichen Anforderungen kann die Recheneinheit von der ersten Zwischenausgabe auf die zweite Zwischenausgabe umschalten, um das Risiko eines Datenverlusts sofort zu verringern.
Insbesondere kann die Recheneinheit dazu eingerichtet sein, in Abhängigkeit von einem Ergebnis einer weiteren Überprüfung, ob der maximale Rechenaufwand für die Erzeugung der jeweiligen ersten Zwischenausgabe des zweiten Einzelaufnahmen überschritten wurde, in dem normalen Betriebsmodus oder in dem eingeschränkten Betriebsmodus arbeiten.
Das Arbeiten in dem normalen Betriebsmodus oder in dem eingeschränkten Betriebsmodus kann so verstanden werden, dass der jeweilige Betriebsmodus aktiviert wird oder aktiviert bleibt.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, für jede von einer oder mehreren dritten Einzelaufnahmen nach der zweiten Einzelaufnahme festzustellen, ob der vordefinierte maximale Rechenaufwand zur Erzeugung einer jeweiligen zweiten Zwischenausgabe durch Anwendung des zweiten Auswertealgorithmus überschritten ist abhängig von dem Ergebnis der weiteren Überprüfung von dem eingeschränkten Betriebsmodus in den normalen Betriebsmodus oder in einen ausgesetzten Modus zu wechseln.
Im ausgesetzten Modus kann die Recheneinheit beispielsweise die Endausgabe weder basierend auf der ersten Zwischenausgabe noch basierend auf der zweiten Zwischenausgabe erzeugen. Insbesondere kann die Recheneinheit dann die Endausgabe überhaupt nicht erzeugen.
Gemäß mehreren Ausführungsformen umfasst die Recheneinheit ein Auswertemodul, das dazu eingerichtet ist, die Überprüfung durchzuführen, ob der vorgegebene maximale Rechenaufwand überschritten wurde. Das Auswertemodul ist dazu eingerichtet, in Abhängigkeit von dem Ergebnis der Überprüfung ein Triggersignal zu erzeugen. Die Recheneinheit beinhaltet ein Multiplexermodul, das dazu eingerichtet ist, in Abhängigkeit von dem Triggersignal die zweite Zwischenausgabe der zweiten Einzelaufnahme zur Erzeugung der Endausgabe der zweiten Einzelaufnahme auszuwählen.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, die Endausgabe für die zweite Einzelaufnahme nur dann basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen, wenn das Ergebnis der Überprüfung anzeigt, dass der jeweilige maximale Rechenaufwand für mindestens eine der einen oder der mehreren ersten Einzelaufnahmen überschritten wurde.
Mit anderen Worten kann das Ergebnis der Überprüfung, das anzeigt, dass der jeweilige maximale Rechenaufwand für mindestens einen der einen oder mehreren ersten Einzelaufnahmen überschritten wurde, als notwendige Bedingung für die Erzeugung der Endausgabe basierend auf der zweiten Zwischenausgabe erachtet werden.
Falls das maximale Maß an Rechenaufwand für mindestens eine der ersten Einzelaufnahmen überschritten wurde, kann dies als Hinweis darauf gewertet werden, dass der erste Algorithmus die Komplexität der Szene nicht vollständig bewältigen kann.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, die Endausgabe für die zweite Einzelaufnahme nur dann basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen, wenn das Ergebnis der Überprüfung anzeigt, dass der jeweilige maximale Rechenaufwand für mindestens eine vordefinierte Schwellenanzahl von Einzelaufnahmen des einen oder mehrerer erster Einzelaufnahmen überschritten wurde.
Gemäß verschiedenen Ausführungsformen ist die Recheneinheit dazu eingerichtet, die Endausgabe für die zweite Einzelaufnahme basierend auf der ersten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen, wenn das Ergebnis der Überprüfung anzeigt, dass der jeweilige maximale Rechenaufwand für keine der ersten Einzelaufnahmen überschritten wurde.
Mit anderen Worten kann das Ergebnis der Überprüfung, das anzeigt, dass der jeweilige maximale Rechenaufwand für keine der ersten Einzelaufnahmen überschritten wurde, als hinreichende Bedingung für die Erzeugung der Endausgabe basierend auf der ersten Zwischenausgabe betrachtet werden.
Auf diese Weise kann sichergestellt werden, dass die maximale Leistung und Funktionalität so lange wie möglich erhalten bleibt.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, abhängig von dem Ergebnis der weiteren Überprüfung weiter zu überprüfen, ob der maximale Rechenaufwand für die Erzeugung der jeweiligen ersten Zwischenausgabe der zweiten Einzelaufnahme überschritten wurde und die Endausgabe für die zweite Einzelaufnahme basierend auf der Basis der ersten Zwischenausgabe der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme zu erzeugen.
Insbesondere kann die Recheneinheit dazu eingerichtet sein, zu überprüfen, ob eine entsprechende weitere Zeitanforderung erfüllt ist, um weiter zu überprüfen, ob der maximale Rechenaufwand für die Erzeugung der jeweiligen ersten Zwischenausgabe der zweiten Einzelaufnahme überschritten wurde.
Auf diese Weise werden ein historischer und ein aktueller Komplexitätsgrad, mit anderen Worten die Komplexität gemäß der ersten und gemäß der zweiten Einzelaufnahme, berücksichtigt. Auf diese Weise kann eine unnötige Reduzierung der Leistung oder Funktionalität vermieden werden.
Gemäß mehreren Ausführungsformen ist die Recheneinheit dazu eingerichtet, ein Informationssignal zu erzeugen, wobei das Informationssignal anzeigt, ob die Endausgabe für die zweite Einzelaufnahme basierend auf der ersten Zwischenausgabe der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme erzeugt wird oder erzeugt worden ist.
Mit anderen Worten kann das Informationssignal angeben, basierend auf welcher der ersten und zweiten Zwischenausgabe die Endausgabe für die zweite Einzelaufnahme erzeugt wird.
Das Informationssignal kann zum Beispiel in nachfolgenden Prozessen oder Aufgaben unter Verwendung der Endausgabedaten verwendet werden. Insbesondere können die Funktionalitäten entsprechend angepasst werden. Beispielsweise kann bei einem Umfeldsensorsystem eines Kraftfahrzeugs ein Automatisierungsgrad basierend auf dem Informationssignal angepasst oder reduziert werden. Auf diese Weise kann ein verbessertes Sicherheitsniveau erreicht werden.
Gemäß mehreren Ausführungsformen umfasst das Erzeugen der Endausgabe für die zweite Einzelaufnahme basierend auf der zweiten Zwischenausgabe die Verwendung der zweiten Zwischenausgabe als Endausgabe für die zweite Einzelaufnahme.
Gemäß mehreren Ausführungsformen umfasst das Erzeugen der Endausgabe für die zweite Einzelaufnahme basierend auf der ersten Zwischenausgabe die Verwendung der ersten Zwischenausgabe der zweiten Einzelaufnahme als Endausgabe für die zweite Einzelaufnahme.
Das Umfeldsensorsystem ist gemäß mehreren Ausführungsformen als aktives optisches Sensorsystem, insbesondere als Lidarsystem, ausgestaltet.
Das Umfeldsensorsystem ist gemäß verschiedenen Ausführungsformen als Kamerasystem oder als Radarsystem ausgestaltet.
Gemäß dem verbesserten Konzept wird auch ein elektronisches Fahrzeugführungssystem, insbesondere für ein Kraftfahrzeug, angegeben. Das elektronische Fahrzeugführungssystem beinhaltet ein Umfeldsensorsystem nach dem verbesserten Konzept und ein Steuergerät. Die Steuereinheit ist dazu eingerichtet, abhängig von der Endausgabe für die zweite Einzelaufnahme mindestens ein Steuersignal zu erzeugen, um das Kraftfahrzeug zumindest teilweise automatisch zu führen.
Ein elektronisches Fahrzeugführungssystem kann als ein elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom und insbesondere ohne manuelles Eingreifen oder manuelle Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs zu führen. Das Fahrzeug führt die erforderlichen Lenkmanöver, Brems- und/oder Beschleunigungsmanöver und so weiter automatisch durch. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollständig autonomen Fahrmodus nach Stufe 5 der SAE J3016-Klassifizierung implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als Fahrerassistenzsystem (englisch: „Advanced Driver Assistance System“, ADAS) implementiert sein, das den Fahrer beim teilautomatischen oder teilautonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus entsprechend den Stufen 1 bis 4 der SAE J3016-Klassifizierung implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf die entsprechende Norm vom Juni 2018.
Die zumindest teilweise automatische Führung des Fahrzeugs kann daher die Führung des Fahrzeugs nach einem vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 der Klassifizierung SAE J3016 beinhalten. Das zumindest teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs in einem teilautomatischen oder teilautonomen Fahrmodus gemäß den Stufen 1 bis 4 der SAE J3016-Klassifizierung beinhalten.
In einigen Ausführungsformen des elektronischen Fahrzeugführungssystems kann die Steuereinheit die Recheneinheit des Umfeldsensorsystems ganz oder teilweise beinhalten oder umgekehrt.
Nach dem verbesserten Konzept wird auch ein Kraftfahrzeug angegeben, das ein elektronisches Fahrzeugführungssystem nach dem verbesserten Konzept oder ein Umfeldsensorsystem nach dem verbesserten Konzept aufweist.
Nach dem verbesserten Konzept wird auch ein Verfahren zum Betrieb eines Umfeldsensorsystems vorgesehen. Dabei werden von dem Umfeldsensorsystem, insbesondere von der Umfeldsensoreinheit, für eine oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweite Einzelaufnahme, wobei das eine oder die mehreren ersten Einzelaufnahmen dem zweiten Einzelaufnahme vorausgehen, jeweils Sensordatensätze erzeugt, die eine Umgebung des Umfeldsensorsystems, insbesondere einer Umfeldsensoreinheit des Umfeldsensorsystems, abbilden. Für jedes der einen oder mehreren ersten Einzelaufnahmen wird ein erster Auswertealgorithmus, insbesondere durch eine Recheneinheit des Umfeldsensorsystems, auf den jeweiligen Satz von Sensordaten angewendet, um jeweils eine erste Zwischenausgabe zu erzeugen. Für jedes der einen oder mehreren ersten Einzelaufnahmen wird, insbesondere durch die Recheneinheit, geprüft, ob ein vordefinierter maximaler Rechenaufwand zur Erzeugung des jeweiligen ersten Zwischenausgangs überschritten ist. Ein zweiter Auswertealgorithmus wird, insbesondere durch die Recheneinheit, auf den Satz von Sensordaten der zweiten Einzelaufnahme angewendet, um eine entsprechende zweite Zwischenausgabe für die zweite Einzelaufnahme zu erzeugen. Basierend auf der zweiten Zwischenausgabe der zweiten Einzelaufnahme wird, insbesondere durch die Recheneinheit, in Abhängigkeit von einem Überprüfungsergebnis eine Endausgabe für die zweite Einzelaufnahme erzeugt.
Weitere Ausführungsformen des Verfahrens zum Betrieb eines Umfeldsensorsystems nach dem verbesserten Konzept folgen direkt aus den verschiedenen Ausführungsformen des Umfeldsensorsystems nach dem verbesserten Konzept und aus den Ausführungsformen des elektronischen Fahrzeugführungssystems nach dem verbesserten Konzept und umgekehrt. Insbesondere kann ein Umfeldsensorsystem nach dem verbesserten Konzept dazu programmiert oder eingerichtet sein, ein Verfahren zum Betrieb eines Umfeldsensorsystems nach dem verbesserten Konzept auszuführe oder es führt ein solches Verfahren aus.
Gemäß dem verbesserten Konzept wird auch ein Verfahren zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs angegeben. Dabei wird ein Umfeldsensorsystem des Kraftfahrzeugs gemäß einem Verfahren zum Betrieb eines Umfeldsensorsystems nach dem verbesserten Konzept betrieben. In Abhängigkeit von der Endausgabe für die zweite Einzelaufnahme wird mindestens ein Steuersignal zur zumindest teilweise automatischen Führung des Kraftfahrzeugs erzeugt.
Das Fahrzeug wird zum Beispiel in Abhängigkeit von den Steuersignalen zum Beispiel durch ein elektronisches Fahrzeugführungssystem nach dem verbesserten Konzept geführt.
Weitere Ausführungsformen des Verfahrens zum Führen eines Kraftfahrzeugs folgen direkt aus den verschiedenen Ausführungsformen des Umfeldsensorsystems nach dem verbesserten Konzept und des elektronischen Fahrzeugführungssystems nach dem verbesserten Konzept und umgekehrt. Insbesondere kann ein elektronisches Fahrzeugführungssystem nach dem verbesserten Konzept dazu eingerichtet oder programmiert sein, ein Verfahren zum Führen eines Kraftfahrzeugs nach dem verbesserten Konzept durchzuführen oder es führt ein solches Verfahren durch.
Nach dem verbesserten Konzept wird ein erstes Computerprogrammprodukt mit ersten Befehlen angegeben. Wenn die ersten Befehle oder das erste Computerprogramm von einem Umfeldsensorsystem nach dem verbesserten Konzept ausgeführt werden, insbesondere von der Recheneinheit des Umfeldsensorsystems, veranlassen die ersten Befehle das Umfeldsensorsystem, ein Verfahren zum Betrieb eines Umfeldsensorsystems nach dem verbesserten Konzept durchzuführen.
Nach dem verbesserten Konzept wird auch ein zweites Computerprogramm mit zweiten Befehlen angegeben. Wenn die zweiten Befehle oder das zweite Computerprogramm von einem elektronischen Fahrzeugführungssystem nach dem verbesserten Konzept ausgeführt werden, veranlassen die zweiten Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren zum zumindest teilweisen automatischen Führen eines Kraftfahrzeugs nach dem verbesserten Konzept durchzuführen.
Nach dem verbesserten Konzept wird auch ein computerlesbares Speichermedium angegeben, das eine Ausführungsform des ersten Computerprogramms und/oder eine Ausführungsform des zweiten Computerprogramms nach dem verbesserten Konzept speichert.
Das erste Computerprogramm, das zweite Computerprogramm und das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte betrachtet werden, die die ersten Befehle beziehungsweise die zweiten Befehle enthalten.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Abbildungen und der Beschreibung der Figuren. Die oben in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die unten in der Beschreibung der Figuren genannten und/oder in den Figuren dargestellten Merkmale und Merkmalskombinationen allein können von dem verbesserten Konzept nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Damit sind Ausführungsformen von dem verbesserten Konzepts umfasst und offenbart, die nicht explizit in den Abbildungen gezeigt oder erläutert sind, sondern sich aus anderen Merkmalskombinationen aus den erläuterten Implementierungen ergeben und durch diese erzeugt werden können. Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, können von dem verbesserten Konzept umfasst sein. Darüber hinaus können Ausführungen und Merkmalskombinationen, die über die in den Bezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von dem verbesserten Konzept umfasst sein.
In den Figuren zeigen

1 schematisch ein Fahrzeug mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems nach dem verbesserten Konzept;
2 schematisch eine beispielhafte Ausführungsform eines Umfeldsensorsystems nach dem verbesserten Konzept; und
3 schematisch einen Teil einer weiteren beispielhaften Ausführungsform eines Umfeldsensorsystems nach dem verbesserten Konzept.

1 zeigt schematisch ein Kraftfahrzeug 10 mit einer beispielhaften Ausführungsform eines elektronischen Fahrzeugführungssystems 17 nach dem verbesserten Konzept.
Das elektronische Fahrzeugführungssystem 17 beinhaltet eine beispielhafte Ausführungsform eines Umfeldsensorsystems 1 nach dem verbesserten Konzept und ein mit dem Sensorsystem 1 gekoppelten Steuereinheit 4.
In einigen Ausführungsform kann die Steuereinheit 4 im Folgenden in Bezug auf das Umfeldsensorsystem 1 beschriebene Aufgaben, insbesondere in Bezug auf eine Recheneinheit 3 (siehe 2) des Umfeldsensorsystems, übernehmen und umgekehrt.
Das Umfeldsensorsystem 1 hat ein Sichtfeld 5 und kann Objekte 6 erkennen, die sich im Sichtfeld 5 befinden.
Insbesondere kann das Umfeldsensorsystem 1 während des Betriebs während aufeinanderfolgender Einzelaufnahmen kontinuierlich oder wiederholt das Sichtfeld 5 abbilden und für jede Einzelaufnahmen entsprechende Sensordatensätze S1 (siehe 2) erzeugen.
Insbesondere kann das Umfeldsensorsystem 1 eine Umfeldsensoreinheit 2 (siehe 2) aufweisen, die dazu eingerichtet ist, entsprechende Sensordatensätze S1 zu erzeugen, die eine Umgebung des Umfeldsensorsystems 2, insbesondere das Sichtfeld 5, für eine oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweite Einzelaufnahme darstellen.
Die Recheneinheit 3 kann basierend auf den Sensordaten für die zweite Einzelaufnahme eine Endausgabe für die zweite Einzelaufnahme erzeugen, und die Steuereinheit 4 kann basierend auf der Endausgabe für die zweite Einzelaufnahme eines oder mehrere Steuersignale zur zumindest teilweise automatischen Führung des Fahrzeugs 10 erzeugen.
Im Folgenden wird die Funktionsweise des Umfeldsensorsystems 1 im Hinblick auf 2 und 3 näher erläutert.
2 zeigt eine Blockdarstellung einer beispielhaften Ausführungsform eines Umfeldsensorsystems 1 nach dem verbesserten Konzept, das zum Beispiel in dem elektronischen Fahrzeugführungssystem 17 aus 1 eingesetzt werden kann.
Wie oben beschrieben, beinhaltet das Sensorsystem1 eine Umfeldsensoreinheit 2 und eine mit der Umfeldsensoreinheit 2 gekoppelte Recheneinheit 3.
Die Recheneinheit 3 kann ein Verarbeitungsmodul 7 mit einem ersten Algorithmusmodul 8 und einem zweiten Algorithmusmodul 9 aufweisen. Darüber hinaus umfasst die Recheneinheit 3 ein Zeitplanmodul 11. Das erste Algorithmusmodul 8, das zweite Algorithmusmodul 9 und das Zeitplanmodul 11 können jeweils die Sensordaten S1 empfangen.
Das Zeitplanmodul 11 kann ein erstes Aktivierungssignal S6 erzeugen und dem ersten Algorithmusmodul 8 zur Verfügung stellen und ein zweites Aktivierungssignal S7 erzeugen und dem zweiten Algorithmusmodul 9 zur Verfügung stellen.
Das erste Algorithmusmodul 8 kann einen ersten Auswertealgorithmus auf die Sensordaten S1 anwenden und eine erste Zwischenausgabe S2 basierend auf einem entsprechenden Ergebnis des ersten Algorithmus erzeugen.
Das zweite Algorithmusmodul 9 kann einen zweiten Auswertealgorithmus auf die Sensordaten S1 anwenden und eine zweite Zwischenausgabe S3 basierend auf einem entsprechenden Ergebnis des zweiten Algorithmus erzeugen.
Insbesondere wird der erste Algorithmus auf die Sensordaten S1 angewendet, wenn das erste Aktivierungssignal S6 logisch 1 oder ein entsprechender Wert ist. Wenn andererseits das zweite Aktivierungssignal S7 für den zweiten Algorithmusmodul 9 logisch 1 oder ein entsprechender Wert ist, wird der zweite Algorithmus auf die Sensordaten S1 angewendet.
Darüber hinaus kann der erste Algorithmusmodul 8 ein erstes Zeitsignal S4 erzeugen, das die entsprechende Ausführungszeit für die Erzeugung der ersten Zwischenausgabe S2 anzeigt, und der zweite Algorithmusmodul 9 kann ein zweites Taktsignal S5 erzeugen, das die entsprechende Ausführungszeit für die Erzeugung der zweiten Zwischenausgabe S3 anzeigt.
Das Zeitplanmodul 11 kann neben den Sensordaten S1 auch die Zwischenausgaben S2, S3 und die Zeitsignale S4, S5 empfangen.
Auf einer Ausgangsseite des Zeitplanmoduls 11 kann das Zeitplanmodul 11 entweder die erste Zwischenausgabe S2 oder die zweite Zwischenausgabe S3 oder keine von beiden ausgeben.
Darüber hinaus kann das Zeitplanmodul 11 optional ein Informationssignal S9 und/oder ein Aktivzustandssignal S12 ausgeben.
3 zeigt eine Blockdarstellung einer beispielhaften Ausführungsform des Zeitplanmoduls 11, das zum Beispiel in einem Umfeldsensorsystem 1, wie es in Bezug auf 1 oder 2 beschrieben ist, eingesetzt werden kann.
Das Zeitplanmodul 11 umfasst zum Beispiel ein Auswertemodul 12 und ein Multiplexermodul 13. Das Auswertemodul 12 kann zum Beispiel ein Komplexitätsschätzungsmodul 14, ein Deadline-Modul 15 und ein Aktivierungsmodul 16 umfassen.
Das Komplexitätsschätzungsmodul 14 kann die Zwischenausgaben S2, S3 und die Sensordaten S1 empfangen. Insbesondere kann das Komplexitätsschätzungsmodul 14 die Ausgaben früherer Einzelaufnahmen akkumuliert für mehrere Einzelaufnahmen empfangen.
Das Deadline-Modul 15 kann die Zeitsignale S4, S5 empfangen und die Zeitsignale S4, S5 mit den jeweiligen vordefinierten Zeitgrenzen für die Ausführung des ersten beziehungsweise zweiten Algorithmus vergleichen.
Als Ausgabe kann das Deadline-Modul 15 ein Deadline-Signal S10 erzeugen, das anzeigt, ob die jeweiligen Zeitgrenzen vom ersten und/oder zweiten Algorithmus eingehalten wurden. Das Deadline-Signal S10 kann auch vom Komplexitätsschätzungsmodul 14 empfangen werden.
Das Komplexitätsschätzungsmodul 14 kann aus den Zwischenausgaben S2, S3, den Sensordaten S1 und dem Deadline-Signal S10 bestimmen, ob sich das System 1 in einem komplexen Szenenszenario befindet, für das der Sensor nicht ausgelegt ist, oder sich wahrscheinlich in einem solchen Szenenszenario befinden wird. Wenn sich das System 1 für mindestens eine vordefinierte Zeitspanne in dem komplexen Szenenszenario befunden hat, während das erste Algorithmusmodul 8 in Betrieb ist, kann das Komplexitätsschätzungsmodul 14 ein erstes Triggersignal S11 erzeugen und an das Aktivierungsmodul 16 liefern. Das erste Triggersignal S11 kann dann anzeigen, dass der zweite Algorithmus für das Erzeugen der Endausgabe verwendet werden soll oder das Verarbeitungsmodul 7 die Verarbeitung stoppen soll.
Falls die Verarbeitung bereits gestoppt ist, werden die Zwischenausgabedaten S2, S3 nicht erzeugt und das Komplexitätsschätzungsmodul 14 kann nur von den Sensordaten S1 abhängen. In diesem Fall kann das Komplexitätsschätzungsmodul 14 die Sensordaten S1 allein verwenden, um die Komplexität der Szene zu erkennen und das erste Triggersignal S1 entsprechend zu erzeugen. Wenn die Szene für eine ausreichend lange Zeit einfacher wird, kann das erste Triggersignal S11 anzeigen, dass der erste Algorithmus erneut für die Erzeugung der Endausgabe verwendet werden sollte.
Das Aktivierungsmodul 16 kann das erste Triggersignal S11 empfangen, das zum Beispiel einen von drei Werten haben kann, die normale Verarbeitung, eingeschränkte Verarbeitung oder keine Verarbeitung anzeigen. Dabei kann die normale Verarbeitung der Verwendung des ersten Algorithmus zum Erzeugen der Endausgabe entsprechen, eingeschränkte Verarbeitung kann der Verwendung des zweiten Algorithmus entsprechen, und keine Verarbeitung kann der Verwendung keines der beiden Algorithmen entsprechen.
Basierend auf dem ersten Triggersignal S11 kann das Aktivierungsmodul 16 ein zweites Triggersignal S8 erzeugen und dem Multiplexermodul 13 zur Verfügung stellen. Der Inhalt des zweiten Triggersignals S8 kann zum Beispiel mit dem Inhalt des ersten Triggersignals S11 identisch sein oder diesem entsprechen.
Das Aktivierungsmodul 16 kann auch die Aktivierungssignale S6, S7 abhängig vom ersten Triggersignal S11 erzeugen.
Das Multiplexermodul 13 kann das zweite Triggersignal S8 sowie die Zwischenausgaben S2, S3 empfangen.
Abhängig vom zweiten Triggersignal S8 wählt das Multiplexermodul 13 entweder die erste Zwischenausgabe S2 oder die zweiten Zwischenausgabe S3 oder keine von beiden aus, um sie jeweils als Endausgabe weiterzuleiten.
Das Multiplexermodul 13 kann auch abhängig von der Zwischenausgabe S2, S3, die aktuell tatsächlich als Endausgabe verwendet wird, das Informationssignal S9 erzeugen, das ein Automobil-Sicherheitsintegritätslevel, ASIL, anzeigen kann. Das Informationssignal kann zum Beispiel ASIL-B oder QM anzeigen.
Wie beschrieben, ermöglicht das verbesserte Konzept die Erzeugung von Ausgabedaten eines aktiven optischen Sensorsystems mit einer verbesserten Zuverlässigkeit, indem das Risiko oder die Rate des Datenverlusts reduziert wird.
Das verbesserte Konzept kann zum Beispiel besonders geeignet sein für Ausführungsformen, bei denen das aktive optische Sensorsystem als Laserscanner ausgestaltet ist. Wenn der Laserscanner eine sehr komplexe Szene betrachtet, werden viele Segmente und Objekte erzeugt und es kann zu einem Scan-Drop kommen. Gemäß Ausführungsformen des verbesserten Konzepts wird der empfangene Scan kontinuierlich analysiert, und wenn festgestellt wird, dass der Laserscanner eine besonders komplexe Szene über einen längeren Zeitraum betrachtet und Fristen für den Algorithmus zur Beendigung der Verarbeitung versäumt werden, kann das System von einem normalen Szenenanalyse-Algorithmus zu einer Version des Algorithmus mit einer geringeren Genauigkeit wechseln, die jedoch rechtzeitig beendet werden kann. Das System kann auch weiterhin die Szenenkomplexität und die Fähigkeit des Algorithmus mit geringerer Genauigkeit analysieren, um die Frist einzuhalten.
In einigen Ausführungsformen kann, wenn der Sensor den Algorithmus für geringe Genauigkeit ausführt und die Komplexität der Szene zunimmt oder der Algorithmus für geringe Genauigkeit für eine vordefinierte Zeitspanne nicht rechtzeitig fertig wird, ein angepasster Planungsalgorithmus den Szenenverarbeitungsalgorithmus vollständig abschalten und die Szenenkomplexität weiter überwachen, bis sie abnimmt. Während dieser Zeit kann das System einen Indikator erzeugen, zum Beispiel für ein Fahrzeugbussystem, dass der Sensor nicht verfügbar ist.
In einigen Ausführungsformen kann, wenn der Sensor den Algorithmus mit geringer Genauigkeit ausführt und die Komplexität der Szene abnimmt und der Algorithmus mit geringer Genauigkeit für eine vordefinierte Zeitspanne pünktlich beendet werden kann, der Sensor auf den normalen Genauigkeitsalgorithmus zurückschalten und optional eine entsprechende Anzeige, die beispielsweise einem ASIL-B-Level entsprechen kann, an den Bus senden.
Läuft der Sensor in einigen Ausführungsformen im normalen Genauigkeitsalgorithmus und die Komplexität der Szene nimmt wieder zu und der normale Genauigkeitsalgorithmus wird für eine vordefinierte Zeitspanne nicht rechtzeitig fertig, schaltet er beispielsweise wieder auf den Algorithmus mit niedriger Genauigkeit um und sendet eine entsprechende Anzeige, die zum Beispiel einem ASIL-QM-Level entsprechen kann, an den Bus.

Claims

Umfeldsensorsystem aufweisend eine Umfeldsensoreinheit (2), die dazu eingerichtet ist, für einen oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweite Einzelaufnahme jeweilige Sätze von Sensordaten zu erzeugen, die eine Umgebung der Umfeldsensoreinheit (2) abbilden, wobei die eine oder die mehreren ersten Einzelaufnahmen der zweiten Einzelaufnahme vorausgehen, und eine Recheneinheit (3), dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, - für jede der einen oder mehreren ersten Einzelaufnahmen einen ersten Auswertealgorithmus auf den jeweiligen Satz von Sensordaten (S1) anzuwenden und eine entsprechende erste Zwischenausgabe (S2) zu erzeugen; - für jeden der einen oder mehreren ersten Einzelaufnahmen zu überprüfen, ob ein vordefinierter maximaler Rechenaufwand für das Erzeugen der entsprechenden ersten Zwischenausgabe (S2) überschritten wurde; - einen zweiten Auswertealgorithmus auf den Satz von Sensordaten (S1) der zweiten Einzelaufnahme anzuwenden und eine entsprechende zweite Zwischenausgabe (S3) für die zweite Einzelaufnahme zu erzeugen; und - eine Endausgabe für die zweite Einzelaufnahme basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme in Abhängigkeit von einem Ergebnis der Überprüfung zu erzeugen.
Umfeldsensorsystem nach Anspruch 1, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, die Endausgabe für die zweite Einzelaufnahme basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme nur dann zu erzeugen, wenn das Ergebnis der Überprüfung anzeigt, dass der jeweilige maximale Rechenaufwand für mindestens eines der einen oder mehreren ersten Einzelaufnahmen überschritten wurde.
Umfeldsensorsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist - den ersten Auswertealgorithmus auf den Satz von Sensordaten (S1) der zweiten Einzelaufnahme anzuwenden und eine entsprechende erste Zwischenausgabe (S2) für die zweite Einzelaufnahme zu erzeugen; und - die Endausgabe abhängig von dem Ergebnis der Überprüfung basierend auf der ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme zu erzeugen.
Umfeldsensorsystem nach Anspruch 3, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, die Endausgabe für die zweite Einzelaufnahme basierend auf der ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme zu erzeugen, wenn das Ergebnis der Überprüfung anzeigt, dass der jeweilige maximale Rechenaufwand für keines des einen oder der mehreren ersten Einzelaufnahmen überschritten wurde.
Umfeldsensorsystem nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist - weiter zu überprüfen, ob der maximale Rechenaufwand für das Erzeugen der entsprechenden ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme überschritten wurde; und - die Endausgabe für die zweite Einzelaufnahme abhängig von dem Ergebnis der weiteren Überprüfung basierend auf der ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme zu erzeugen.
Umfeldsensorsystem nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, ein Informationssignal (S9) zu erzeugen, wobei das Informationssignal (S9) anzeigt, ob die Endausgabe für die zweite Einzelaufnahme basierend auf der ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme oder basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme erzeugt wird.
Umfeldsensorsystem nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass - die Recheneinheit (3) dazu eingerichtet ist, abhängig von dem Ergebnis der Überprüfung in einem normalen Betriebsmodus oder in einem eingeschränkten Betriebsmodus zu arbeiten; und - die Recheneinheit (3) dazu eingerichtet ist, die Endausgabe basierend auf der ersten Zwischenausgabe (S2) der zweiten Einzelaufnahme zu erzeugen, wenn sie in dem normalen Betriebsmodus arbeitet, und basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme, wenn sie in dem eingeschränkten Betriebsmodus arbeitet.
Umfeldsensorsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist - einen vordefinierten Komplexitätsgrad der dargestellten Umgebung für jedes der einen oder mehreren ersten Einzelaufnahmen und/oder für die zweite Einzelaufnahme zu bestimmen; und - die Endausgabe für die zweite Einzelaufnahme in Abhängigkeit von den ermittelten Komplexitätsgraden zu erzeugen.
Umfeldsensorsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - die Recheneinheit (3) ein Auswertemodul (12) beinhaltet, das dazu eingerichtet ist, die Überprüfung durchzuführen und in Abhängigkeit von dem Ergebnis der Überprüfung ein Triggersignal (S8) zu erzeugen; und - die Recheneinheit (3) ein Multiplexermodul (13) beinhaltet, das dazu eingerichtet ist, abhängig von dem Triggersignal (S8) die zweite Zwischenausgabe (S3) der zweiten Einzelaufnahme auszuwählen, um die Endausgabe der zweiten Einzelaufnahme zu erzeugen.
Umfeldsensorsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zweite Auswertealgorithmus ist dazu ausgebildet ist, weniger Rechenressourcen zu benötigen als der erste Auswertealgorithmus.
Umfeldsensorsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Recheneinheit (3) dazu eingerichtet ist, für jeden der einen oder mehreren ersten Einzelaufnahmen zu bestimmen, ob eine jeweilige vordefinierte Zeitanforderung erfüllt ist, um zu prüfen, ob der jeweilige maximale Rechenaufwand überschritten wurde.
Elektronisches Fahrzeugführungssystem aufweisend - ein Umfeldsensorsystem (1) gemäß einem der vorhergehenden Ansprüche; und - eine Steuereinheit (4), die dazu eingerichtet ist, abhängig von der Endausgabe für die zweite Einzelaufnahme wenigstens ein Steuersignal zu erzeugen, um ein Kraftfahrzeug (10) wenigstens teilweise automatisch zu führen.
Verfahren zum Betreiben eines Umfeldsensorsystems (1), wobei jeweilige Sätze von Sensordaten (S1), die eine Umgebung des Umfeldsensorsystems (1) darstellen, durch das Umfeldsensorsystem (1) für eines oder mehrere aufeinanderfolgende erste Einzelaufnahmen und für eine zweite Einzelaufnahme erzeugt werden, wobei das eine oder die mehreren ersten Einzelaufnahmen der zweiten Einzelaufnahme vorausgehen, dadurch gekennzeichnet, dass - für jedes der einen oder mehreren ersten Einzelaufnahmen, - ein erster Auswertealgorithmus auf den jeweiligen Satz von Sensordaten (S1) angewendet wird, um eine jeweilige erste Zwischenausgabe (S2) zu erzeugen; und - überprüft wird, ob ein vordefinierter maximaler Rechenaufwand für das Erzeugen der jeweiligen ersten Zwischenausgabe überschritten wurde; - ein zweiter Auswertealgorithmus auf den Satz von Sensordaten (S1) der zweiten Einzelaufnahme angewendet wird, um eine entsprechende zweite Zwischenausgabe (S3) für die zweite Einzelaufnahme zu erzeugen; und - eine Endausgabe für die zweite Einzelaufnahme abhängig von einem Ergebnis der Überprüfung basierend auf der zweiten Zwischenausgabe (S3) der zweiten Einzelaufnahme erzeugt wird.
Verfahren zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs (10), wobei - ein Umfeldsensorsystem (1) des Kraftfahrzeugs (10) gemäß Anspruch 13 betrieben wird; und - mindestens ein Steuersignal zum zumindest teilweise automatischen Führen des Kraftfahrzeugs (10) in Abhängigkeit von der Endausgabe für die zweite Einzelaufnahme erzeugt wird.
Computerprogrammprodukt mit Befehlen, die - wenn sie von einem Umfeldsensorsystem (1) nach einem der Ansprüche 1 bis 11 ausgeführt werden, das Umfeldsensorsystem (1) dazu veranlassen, ein Verfahren nach Anspruch 13 durchzuführen; und/oder - wenn sie von einem elektronischen Fahrzeugführungssystem (17) nach Anspruch 12 ausgeführt werden, das elektronische Fahrzeugführungssystem (17) dazu veranlassen, ein Verfahren nach Anspruch 14 durchzuführen.