DE102023204499A1

DE102023204499A1 - Verfahren und Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche sowie computerlesbares Speichermedium

Info

Publication number: DE102023204499A1
Application number: DE102023204499.4A
Authority: DE
Inventors: Marc Patrick Zapf; Xinrun Li; Fangyun Hu
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-05-27
Filing date: 2023-05-15
Publication date: 2023-11-30
Also published as: CN117173651A

Abstract

Die Ausführungsbeispiele der vorliegenden Offenbarung stellen ein Verfahren und eine Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche sowie ein computerlesbares Speichermedium bereit. Das Verfahren kann umfassen: Bestimmen von Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, wobei die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind; und Bestimmen von Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen.

Description

Technisches Gebiet
Die vorliegende Offenbarung bezieht sich auf das technische Gebiet des intelligenten Transportwesens und insbesondere auf ein Verfahren und eine Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche sowie ein computerlesbares Speichermedium.
Stand der Technik
In den letzten Jahren hat sich mit der schnellen Entwicklung verschiedener verwandter Techniken, wie der Kommunikationstechnik und der Computertechnik, auch die intelligente Fahrtechnik schnell entwickelt. Gegenwärtig haben immer mehr Fahrzeuge Systeme übernommen, die auf der intelligenten Fahrtechnik basieren. Zu der intelligenten Fahrtechnik gehören in der Regel intelligente assistierte Fahrtechnik, automatische Fahrtechnik und dergleichen. In der intelligenten Fahrtechnik ist die Erfassung von befahrbaren Bereichen eine der wichtigen Funktionen. Durch die Bereitstellung von Informationen über befahrbare Bereiche für ein Fahrzeug oder einen Fahrer kann das Fahrzeug bei der Fahrplanung unterstützt werden. Daher ist auch die Erfassung von befahrbaren Bereichen zu einem der Forschungsschwerpunkte geworden.
Offenbarung der Erfindung
In Anbetracht des Verbesserungsbedarfs des Standes der Technik stellen die Ausführungsbeispiele der vorliegenden Offenbarung ein Verfahren und eine Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche sowie ein computerlesbares Speichermedium bereit.
In einem Aspekt stellt ein Ausführungsbeispiel der vorliegenden Offenbarung ein Verfahren zur Bestimmung von Informationen über befahrbare Bereiche bereit, das umfasst: Bestimmen von Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, wobei die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind; und Bestimmen von Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen.
In einem weiteren Aspekt stellt ein Ausführungsbeispiel der vorliegenden Offenbarung eine Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche bereit, die umfasst: eine Einheit zur Bestimmung von Attributen, die dazu konfiguriert ist, Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, zu bestimmen, wobei die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind; und eine Einheit zur Bestimmung von Bereichen, die dazu konfiguriert ist, Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen zu bestimmen.
In einem weiteren Aspekt stellt ein Ausführungsbeispiel der vorliegenden Offenbarung eine Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche bereit, die umfasst: mindestens einen Prozessor; und einen Speicher, der mit dem mindestens einen Prozessor kommuniziert und auf dem ausführbare Codes gespeichert sind, wobei die ausführbaren Codes bei ihrem Ausführen durch den mindestens einen Prozessor diesen mindestens einen Prozessor veranlassen, das vorstehend beschriebene Verfahren durchzuführen.
In einem weiteren Aspekt stellt ein Ausführungsbeispiel der vorliegenden Offenbarung ein computerlesbares Speichermedium bereit, auf dem ausführbare Codes gespeichert sind, wobei die ausführbaren Codes bei ihrem Ausführen einen Computer veranlassen, das vorstehend beschriebene Verfahren durchzuführen.
Kurzbeschreibung der Figuren
Die vorstehend beschriebenen und weitere Aufgaben, Merkmale und Vorteile der Ausführungsbeispiele der vorliegenden Offenbarung werden durch eine detaillierte Beschreibung der Ausführungsbeispiele der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Zeichnungen deutlicher. Dabei bezeichnet in den verschiedenen Zeichnungen dasselbe Bezugszeichen in der Regel dasselbe Element.

1A und 1 B zeigen jeweils eine schematische Ansicht eines Beispiels einer Szene, in der ein Ausführungsbeispiel der vorliegenden Offenbarung anwendbar ist.
2 zeigt ein schematisches Flussdiagramm eines Verfahrens zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen.
3 zeigt eine vereinfachte schematische Ansicht eines Beispiels zur Bestimmung einer gemeinsamen Maske eines Vordergrundobjekts in mehreren Bildrahmen.
4 zeigt ein schematisches Blockdiagramm einer Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen.
5 zeigt ein schematisches Blockdiagramm einer Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen.

Ausführliche Ausführungsformen
Der hierin beschriebene Gegenstand wird nun unter Bezugnahme auf verschiedene Ausführungsbeispiele erläutert. Es versteht sich, dass die Erläuterung dieser Ausführungsbeispiele lediglich dazu dient, dem Fachmann zu ermöglichen, den hierin beschriebenen Gegenstand besser zu verstehen und zu realisieren, und den Schutzumfang, die Anwendbarkeit bzw. das Beispiel, die in den Ansprüchen dargelegt sind, nicht einschränken soll. Die Funktion und die Anordnung der besprochenen Elemente können geändert werden, ohne vom Schutzumfang der Ansprüche abzuweichen. Verschiedene Ausführungsbeispielen können je nach Bedarf verschiedene Vorgänge oder Komponenten weglassen, ersetzen oder hinzufügen.
Wie hierin verwendet, können der Begriff „umfassen“ und seine Variationen offene Begriffe darstellen, unter denen „einschließlich, aber nicht beschränkt auf“ verstanden werden soll. Der Begriff „basierend auf“ kann bedeuten „zumindest teilweise basierend auf“. Die Begriffe „ein Ausführungsbeispiel“, „einige Ausführungsbeispiele“ und dergleichen können „mindestens ein Ausführungsbeispiel“ bedeuten. Die Begriffe „erst“, „zweit“ und dergleichen können sich auf unterschiedliche oder gleiche Objekte beziehen.
Die Erfassung von befahrbaren Bereichen stellt einen wichtigen Bestandteil der intelligenten Fahrtechnik dar. In Anbetracht dessen stellen die Ausführungsbeispiele der vorliegenden Offenbarung eine technische Lösung zur Bestimmung von Informationen über befahrbare Bereiche bereit. Bei dieser technischen Lösung kann ein befahrbarer Bereich in Verbindung mit Pixelattribut-Informationen eines Bildrahmens einer Straßenszene erfasst werden, was die Genauigkeit und Zuverlässigkeit der Erfassung des befahrbaren Bereichs erheblich verbessern kann.
In einigen Implementierungen kann ein straßenseitiger Sensor (z. B. eine Kamera) Bildrahmen einer Straßenszene erfassen und Bilder an eine Recheneinrichtung übertragen. Die Recheneinrichtung kann die Informationen über befahrbare Bereiche basierend auf den Pixelattribut-Informationen des Bildrahmens bestimmen. Beispielsweise können verschiedene Arten von straßenseitigen Infrastrukturen, Überwachungs- oder Steuereinrichtungen in Bezug auf den Straßenverkehr usw. zu solchen Recheneinrichtungen gehören. Als ein weiteres Beispiel kann eine solche Recheneinrichtung ein Cloud-Server, der sich auf den Straßenverkehr bezieht, und dergleichen sein. In einigen Implementierungen kann der straßenseitige Sensor zusammen mit der Recheneinrichtung in einer einzelnen Vorrichtung, wie etwa einer straßenseitigen Infrastrukturvorrichtung, integriert sein. In einigen weiteren Implementierungen kann der straßenseitige Sensor von der Recheneinrichtung getrennt sein, kann aber mit dieser kommunizieren.
Zum leichteren Verständnis zeigen 1A und 1 B jeweils eine schematische Ansicht eines Beispiels einer Szene, in der die Ausführungsbeispiele der vorliegenden Offenbarung anwendbar sind. Es versteht sich, dass die Beispiele in 1A und 1 B den Umfang der technischen Lösung der vorliegenden Offenbarung nicht einschränken.
In dem Beispiel von 1A sind ein straßenseitiger Sensor 110A, eine Straße 120A, eine Straßenszene 121 A, die von dem straßenseitigen Sensor 110A überwacht wird, und eine Recheneinrichtung 130A dargestellt. In der Regel kann der straßenseitige Sensor 110A auf einer Seite der Straße 120A angeordnet werden, um die Straßenszene 121A innerhalb seines Sichtfelds zu überwachen. Der straßenseitige Sensor 110A kann jede geeignete Kamera sein, die Bildrahmen für die Straßenszene 121A erfassen kann.
Zudem kann der straßenseitige Sensor 110Amit der Recheneinrichtung 130A kommunizieren, z. B. für die Straßenszene 121A aufgenommene Bildrahmen an die Recheneinrichtung 130A senden. Die Recheneinrichtung 130A bestimmt Informationen über befahrbare Bereiche in der Straßenszene 121A basierend auf den Bildrahmen. Ferner kann die Recheneinrichtung 130A auch mit einem auf der Straße 120A fahrenden Fahrzeug (in 1A nicht gezeigt) kommunizieren, beispielsweise die Informationen über befahrbare Bereiche an das Fahrzeug zu senden, damit das Fahrzeug eine Fahrplanung durchführt.
Wie vorstehend beschrieben, können der straßenseitige Sensor 110Aund die Recheneinrichtung 130A in einer einzelnen Vorrichtung integriert sein oder getrennt voneinander implementiert sein. Dies wird hierin nicht beschränkt.
In dem Beispiel von 1A ist nur ein einzelner straßenseitiger Sensor gezeigt. In einigen Fällen ist es möglich, mehrere straßenseitige Sensoren für denselben Straßenbereich vorzusehen. In dem Beispiel von 1 B ist beispielsweise ein Fall, in dem mehrere straßenseitige Sensoren angeordnet sind, gezeigt.
In dem Beispiel von 1 B sind straßenseitige Sensoren 110B bis 110C, eine Straße 120B, eine Straßenszene 121 B, die von den straßenseitigen Sensoren 110B bis 110C überwacht wird, und eine Recheneinrichtung 130B dargestellt. Es versteht sich, dass, obwohl in 1B drei straßenseitige Sensoren, die dieselbe Straßenszene überwachen, dargestellt sind, in weiteren Implementierungen mehr oder weniger straßenseitige Sensoren dieselbe Straßenszene überwachen können. Dies wird hierin nicht beschränkt.
In dem Beispiel von 1B können die straßenseitigen Sensoren 110B bis 110C Bildrahmen für die Straßenszene 121 B erfassen, aber die Positionen der straßenseitigen Sensoren 110B bis 110C können unterschiedlich sein, sodass Bildrahmen für die Straßenszene 121 B mit unterschiedlichen Betrachtungswinkeln erfasst werden können.
Ferner können die straßenseitigen Sensoren 110B bis 110C jeweilige erfasste Bildrahmen an die Recheneinrichtung 130B senden. Die Recheneinrichtung 130B kann Informationen über befahrbare Bereiche in der Straßenszene 121 B basierend auf den Bildrahmen bestimmen. Ferner kann die Recheneinrichtung 130B auch mit einem Fahrzeug (in 1B nicht gezeigt) auf der Straße 120B kommunizieren, beispielsweise die Informationen über befahrbare Bereiche an das Fahrzeug zu senden, damit das Fahrzeug eine Fahrplanung durchführen kann.
Nachstehend wird in Verbindung mit spezifischen Ausführungsbeispielen beschrieben, wie die Informationen über die befahrbaren Bereiche bestimmt werden.
2 zeigt ein schematisches Flussdiagramm eines Verfahrens zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen. Das Verfahren von 2 kann durch eine Recheneinrichtung durchgeführt werden, wie zum Beispiel die Recheneinrichtung 130A von 1A oder die Recheneinrichtung 130B von 1 B.
In Schritt 202 können Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, bestimmt werden. Hierbei können die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind. Insbesondere können die Pixelattribut-Informationen hierbei durch Attribute auf Pixelebene einen aktuellen Status der Straßenszene widerspiegeln.
In Schritt 204 können die Informationen über befahrbare Bereiche in der Stra-ßenszene zumindest basierend auf den Pixelattribut-Informationen bestimmt werden.
In den Ausführungsbeispielen hierin sind die Informationen über befahrbare Bereiche in der Straßenszene abhängig von den Pixelattribut-Informationen, die die Straßenszene widerspiegeln, bestimmt, d.h., dass die befahrbaren Bereiche in Verbindung mit Informationen auf Pixelebene erfasst sind, wodurch die Erfassung der befahrbaren Bereiche effizient, genau und zuverlässig realisiert werden kann.
In einigen Ausführungsbeispielen kann der aktuelle Bildrahmen durch einen straßenseitigen Sensor erfasst werden. Beispielsweise kann für die Straßenszene 121A der aktuelle Bildrahmen durch einen straßenseitigen Sensor 110A erfasst werden. Für die Straßenszene 121 B kann der aktuelle Bildrahmen durch einen der straßenseitigen Sensoren 110B bis 110D erfasst werden.
In einigen Ausführungsbeispielen kann der aktuelle Bildrahmen nach einem Korrigieren (z. B. Jitter-Beseitigung) eines aktuellen ursprünglichen Bildrahmens gewonnen werden, der durch einen straßenseitigen Sensor erfasst ist.
Wenn der straßenseitige Sensor Bilder aufnimmt, können normalerweise einige Faktoren, wie z. B. vorbeifahrende Fahrzeuge auf der Straße, Wetterfaktoren wie Wind, Baustellen in der Nähe usw., Jitter verursachen. Dies kann dazu führen, dass die Pixel des aktuellen ursprünglichen Bildrahmens, der durch den straßenseitigen Sensor erfasst ist, nicht korrekt positioniert sind, beispielsweise falsch ausgerichtet sind. Daher kann zur Verbesserung der Genauigkeit der Bestimmung von befahrbaren Bereichen zunächst der aktuelle ursprüngliche Bildrahmen, der durch den straßenseitigen Sensor erfasst ist, eine Jitter-Beseitigung unterzogen werden. Zur Jitter-Beseitigung können verschiedene geeignete Mittel verwendet werden. Beispielsweise kann unter Verwendung des optischen Flusses und eines Referenzbilds der Straßenszene der aktuelle ursprüngliche Bildrahmen verarbeitet werden, um die Position der einzelnen Pixel zu korrigieren, wodurch der vorstehend beschriebene aktuelle Bildrahmen gewonnen wird. Auf diese Weise kann es erleichtert werden, genauere Pixelattribut-Informationen zu bestimmen. Selbstverständlich können auch andere Methoden verwendet oder kombiniert werden, um Jitter zu beseitigen. Beispielsweise können die Parameter des straßenseitigen Sensors selbst kombiniert werden, um eine Jitter-Beseitigung an dem aktuellen ursprünglichen Bildrahmen durchzuführen.
Die Pixelattribut-Informationen können verschiedene Informationen enthalten, die die Straßenszene widerspiegeln können. Beispielsweise können die Pixelattribut-Informationen mindestens eines von einem Szenenbeziehungsattribut, einem semantischen Attribut und einem Bewegungsattribut der einzelnen Pixel umfassen. Beispielsweise werden die Pixelattribut-Informationen ausgedrückt, indem einige Kanalbeschreibungen dem aktuellen Bildrahmen hinzugefügt werden. Jedes Attribut kann zu einem Kanal eines Bildrahmens korrespondieren. Selbstverständlich können die Pixelattribut-Informationen in anderen Formen ausgedrückt werden, was hierin nicht beschränkt ist.
Das Szenenbeziehungsattribut jedes Pixels kann dazu verwendet werden, anzugeben, ob ein durch das Pixel repräsentierte Objekt ein Vordergrundobjekt oder ein Hintergrundobjekt ist. Das Hintergrundobjekt kann sich auf ein Objekt beziehen, das der Straßenszene innewohnt, also ein Objekt, das ursprünglich in der Straßenszene vorhanden ist, wie etwa eine bestehende Straße, ein Isolationsgürtel und dergleichen. Dagegen kann sich das Vordergrundobjekt auf ein Objekt beziehen, das der Straßenszene nicht innewohnt, also ein Objekt, das für die Straßenszene neu ist, wie etwa Fußgänger, Fahrzeuge, Tiere usw., die die Stra-ßenszene betreten.
Beispielsweise können das Vordergrundobjekt und das Hintergrundobjekt in Bezug auf apriorische Informationen über die Straßenszene definiert sein. Zum Beispiel kann unter dem Vordergrundobjekt ein Objekt verstanden werden, das in den apriorischen Informationen nicht vorhanden ist oder mit denen nicht übereinstimmt, während unter dem Hintergrundobjekt ein Objekt verstanden werden kann, das in den apriorischen Informationen vorhanden ist oder mit denen übereinstimmt. Die apriorischen Informationen können verschiedene Formen von Informationen umfassen, wie z. B. statische Bilder, die vor dem Hintergrund von Straßenszenen aufgenommen wurden, hochpräzise Karten von Straßenszenen, SLAM (Simultaneous Localization and Mapping; also, Echtzeitpositionierung und Kartenerstellung)-Informationen über Straßenszenen usw. Dies wird hierin nicht beschränkt.
Beispielsweise können die Szenenbeziehungsattribute durch verschiedene anwendbare Vordergrund-Segmentierungsalgorithmen und/oder Hintergrund-Segmentierungsalgorithmen und dergleichen bestimmt werden. Beispielsweise kann das Szenenbeziehungsattribut der einzelnen Pixel bestimmt werden, indem ein statisches Hintergrundbild der Straßenszene mit dem aktuellen Bildrahmen verglichen wird. Als ein weiteres Beispiel kann die Straßenszene durch einen Algorithmus für maschinelles Lernen erlernt werden; und somit werden der Vordergrund und der Hintergrund segmentiert, um das Szenenbeziehungsattribut der einzelnen Pixel zu bestimmen.
Das semantische Attribut jedes Pixels kann dazu verwendet werden, eine durch das Pixel repräsentierte Objektkategorie, wie z. B. Straße, Himmel, Gebäude, Fahrzeug usw., anzugeben. Das semantische Attribut auf Pixelebene trägt dazu bei, einen befahrbaren Bereich in der Straßenszene genauer zu bestimmen. Beispielsweise kann es dazu beitragen, Straßenbereiche aus der Straßenszene genau zu identifizieren.
Das semantische Attribut kann auf verschiedene anwendbare Weisen bestimmt werden. Beispielsweise kann der aktuelle Bildrahmen semantisch segmentiert werden, wodurch das semantische Attribut der einzelnen Pixel bestimmt wird. Es versteht sich, dass die semantische Segmentierung durch verschiedene anwendbare Algorithmen implementiert werden kann, was hierin nicht beschränkt ist.
Das Bewegungsattribut jedes Pixels kann dazu verwendet werden, eine Bewegung des Pixels zu charakterisieren. Beispielsweise kann in einigen Implementierungen die Bewegung jedes Pixels durch seine Geschwindigkeit des optischen Flusses charakterisiert werden. Beispielsweise kann der aktuelle Bildrahmen anhand der Methode des optischen Flusses verarbeitet werden, um die Geschwindigkeit des optischen Flusses jedes Pixels zu bestimmen. Natürlich kann der optische Fluss durch Kombinieren mit vorherigen Bildrahmen implementiert werden, die dem aktuellen Bildrahmen vorausgehen. In den Ausführungsbeispielen hierin kann der optische Fluss durch verschiedene anwendbare Algorithmen (wie etwa neuronale Netze) implementiert werden, was hierin nicht beschränkt ist.
Nachdem die vorstehend beschriebenen Pixelattribute bestimmt wurden, können die Informationen über befahrbare Bereiche basierend auf mindestens einem der Pixelattribute bestimmt werden.
In einigen Ausführungsbeispielen können die Informationen über befahrbare Bereiche einen aktuell befahrbaren Bereich angeben. Das heißt, die Informationen über befahrbare Bereiche können dazu verwendet werden, einen in Echtzeit oder nahezu in Echtzeit befahrbaren Bereich anzugeben. In einigen Implementierungen können solche Informationen über befahrbare Bereiche Fahrzeuge (z. B. autonome Fahrzeuge) bei der Echtzeit-Fahrtplanung unterstützen.
Der aktuell befahrbare Bereich kann zumindest basierend auf den Pixelattribut-Informationen bestimmt werden. Beispielsweise kann der aktuell befahrbare Bereich mindestens folgende Beschränkungen erfüllen: Straßenbeschränkungen, Belegungsbeschränkungen und Straßen-Passierzustandsbeschränkungen. Die Straßenbeschränkungen können dazu verwendet werden, einen Bereich anzuzeigen, auf dem ein Fahrzeug eine Routenplanung durchführen kann; die Belegungsbeschränkungen können dazu verwendet werden, anzuzeigen, dass ein Bereich momentan nicht belegt ist; und die Straßen-Passierzustandsbeschränkungen können dazu verwendet werden, anzuzeigen, dass sich eine Straße in einem passierbaren Zustand befindet. Das heißt, der aktuell befahrbare Bereich soll zu Bereichen gehören, auf denen ein Fahrzeug eine Routenplanung durchführen kann, und die sich in einem unbelegten Zustand und einem passierbaren Zustand befinden. Mit anderen Worten, wenn ein bestimmter Bereich die Straßenbeschränkungen, Belegungsbeschränkungen und Straßen-Passierzustandsbeschränkungen erfüllt, kann festgelegt werden, dass dieser Bereich zu aktuell befahrbaren Bereichen gehört. Zudem versteht es sich, dass die Pixelattribut-Informationen in der Regel in einem Kamerakoordinatensystem bestimmt werden können, sodass beim Bestimmen des aktuell befahrbaren Bereichs basierend auf den Pixelattribut-Informationen normalerweise eine Transformation zwischen dem Kamerakoordinatensystem und dem globalen Koordinatensystem erforderlich sein kann. Dies kann auf verschiedene anwendbare Weisen erreicht werden, was hierin nicht beschränkt ist.
In einigen Ausführungsbeispielen kann die Erfüllung der Straßenbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut und dem semantischen Attribut der einzelnen Pixel bestimmt werden. Beispielsweise sollte der aktuell befahrbare Bereich zu den Bereichen gehören, auf denen ein Fahrzeug eine Routenplanung durchführen kann. Dies kann erfolgen, indem beurteilt wird, ob ein Pixel ein Hintergrundobjekt oder eine Straße repräsentiert. Das Beurteilen, ob ein bestimmter Bereich die Straßenbeschränkungen erfüllt, kann durch verschiedene geeignete Mittel erreicht werden. Beispielsweise können ein Algorithmus zur Erkennung von Fahrspurlinien, ein semantischer Segmentierungsalgorithmus usw. kombiniert werden, um zu beurteilen, ob ein bestimmter Bereich die Straßenbeschränkungen erfüllt. Dies wird hierin nicht beschränkt.
Bezüglich der Bestimmung der Erfüllung der Straßenbeschränkungen durch den aktuell befahrbaren Bereich können selbstverständlich zusätzlich zu diesen hier aufgelisteten Attributen weitere Informationen kombiniert werden. Beispielsweise kann die Erfüllung der Straßenbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut und dem semantischen Attribut der einzelnen Pixel sowie einer hochpräzisen Karte, die der Straßenszene entspricht, bestimmt werden. Die hochpräzise Karte kann vorgespeichert sein oder kann auf verschiedene Weise gewonnen werden. Beispielsweise kann eine hochpräzise Karte von einem Gerät gewonnen werden, auf dem die hochpräzise Karte gespeichert wird. Dies wird hierin nicht beschränkt.
Die Erfüllung der Belegungsbeschränkungen durch den aktuell befahrbaren Bereich kann zumindest basierend auf dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel bestimmt werden. Beispielsweise soll der aktuell befahrbare Bereich nicht durch andere Objekte belegt sein. Dies kann erfolgen, indem beurteilt wird, ob ein Pixel ein Hintergrundobjekt bzw. ein Vordergrundobjekt, eine Straße oder ein weiteres Nicht-Straßenobjekt repräsentiert, und ob eine Bewegung vorliegt (z. B. ob eine Geschwindigkeit des optischen Flusses über einem bestimmten Schwellenwert vorliegt) usw. Zudem sollte es sich verstehen, dass die Pixelattribut-Informationen auf dem Kamerakoordinatensystem basieren können und die Belegungsbeschränkungen auf dem globalen Koordinatensystem basieren können. Daher kann bei der Bestimmung, ob ein bestimmter Bereich die Belegungsbeschränkungen erfüllt, eine Transformation zwischen Koordinatensystemen erfolgen. Die spezifische Transformation zwischen Koordinatensystemen kann durch verschiedene vorhandene Mittel realisiert werden, was hierin nicht beschränkt ist. Darüber hinaus kann die Bestimmung, ob ein bestimmter Bereich die Belegungsbeschränkungen erfüllt, durch verschiedene anwendbare Technologien realisiert werden, wie z. B. ein tiefes neuronales Netz. Dies wird hierin nicht beschränkt.
Ferner kann die Erfüllung der Straßen-Passierzustandsbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel bestimmt werden. Beispielsweise soll sich der aktuell befahrbare Bereich in einem passierbaren Zustand befinden, d.h., dass ein Fahrzeug diesen Bereich passieren kann. Dies kann erfolgen, indem beurteilt wird, ob ein Pixel ein Hintergrundobjekt bzw. ein Vordergrundobjekt, eine Straße oder ein weiteres Nicht-Straßenobjekt repräsentiert, und ob eine Bewegung vorliegt (z. B. ob eine Geschwindigkeit des optischen Flusses über einem bestimmten Schwellenwert vorliegt) usw. In einigen Fällen können die Straßen-Passierzustandsbeschränkungen als eine weitere Ergänzung zu Belegungsbeschränkungen verstanden werden. Wenn beispielsweise ein bestimmter Bereich zu den Bereichen, auf denen ein Fahrzeug eine Routenplanung durchführen kann, gehört und nicht belegt ist, aber aufgrund von möglichen Straßenschäden, Erdrutschen, Steinschlägen usw. nicht passierbar ist, ist dieser Bereich kein befahrbarer Bereich. Daher kann in Verbindung mit den Straßen-Passierzustandsbeschränkungen der befahrbare Bereich in der Straßenszene genauer bestimmt werden.
Bezüglich der Bestimmung der Erfüllung der Straßen-Passierzustandsbeschränkungen durch den aktuell befahrbaren Bereich können selbstverständlich zusätzlich zu diesen hier aufgelisteten Attributen weitere Informationen kombiniert werden.
Beispielsweise kann zusätzlich zu dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel die Bestimmung der Erfüllung der Straßen-Passierzustandsbeschränkungen durch den aktuell befahrbaren Bereich weiterhin auf externen Informationen (z. B. von Geräten in Bezug auf Straßen, Verkehr usw.), wie etwa Fahrzeug-zu-Alles (Vehicle to Everything, V2X)-Informationen, basieren. Zum Beispiel können solche Informationen verschiedene verwandte Informationen der Straße angeben, wie etwa, ob es Baustellen gibt, ob es eine Verkehrskontrolle gibt, ob es einen Unfall oder eine Katastrophe gibt, die den Straßenverkehr beeinträchtigt, ob die Straßenoberfläche beschädigt ist, ob es sich um einen Standstreifen handelt, usw.
In einigen Ausführungsbeispielen kann die Erfüllung der Belegungsbeschränkungen durch den aktuell befahrbaren Bereich basierend auf dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel sowie Multi-View-Fusionsinformationen bestimmt werden. Die Multi-View-Fusionsinformationen können dazu verwendet werden, eine gemeinsame Maske (mask) einzelner Vordergrundobjekte, die im aktuellen Bildrahmen vorliegen, in dem aktuellen Bildrahmen und mindestens einem weiteren Bildrahmen anzugeben. Dabei können der aktuelle Bildrahmen und der mindestens eine weitere Bildrahmen gleichzeitig für die Straßenszene jeweils durch straßenseitige Sensoren mit unterschiedlichen Blickwinkeln erfasst werden.
In der Bildverarbeitungstechnik ist das Konzept „Maske“ (oder auch als Maskierung bezeichnet) dem Konzept „Maskierung“ in der Halbleiterfertigung entlehnt. Genauer gesagt, kann ein zu verarbeitendes Bild durch ausgewählte Grafiken und dergleichen teilweise oder vollständig gesperrt (oder als abgedeckt verstanden) werden, um den Bereich der Bildverarbeitung zu steuern. Die zum Abdecken bzw. Sperren verwendeten Grafiken können als Masken bezeichnet werden. Die Masken können normalerweise dazu verwendet werden, interessierende Bereiche in einem Bild zu extrahieren oder bestimmte Bereiche im Bild zu maskieren. Daher kann bei den vorstehend beschriebenen Ausführungsbeispielen die Maske des Vordergrundobjekts im Bildrahmen normalerweise einen entsprechenden Bereich des Vordergrundobjekts im Bildrahmen anzeigen.
Auf diese Weise kann basierend auf der gemeinsamen Maske des Vordergrundobjekts in den einzelnen Bildrahmen die tatsächliche Belegung durch das Vordergrundobjekt in der Straßenszene genauer bestimmt werden. Beispielsweise kann die Maske des Vordergrundobjekts im aktuellen Bildrahmen aufgrund verschiedener Faktoren wie Okklusionen und Schatten auch diese Okklusionen, Schatten und dergleichen enthalten. Daher kann die Maske des Vordergrundobjekts durch Erhalten von Multi-View-Fusionsinformationen genau bestimmt werden, wodurch die tatsächliche Belegung durch das Vordergrundobjekt in der Straßenszene weiter bestimmt wird, was einer genaueren Beurteilung des aktuell befahrbaren Bereichs förderlich ist. Beispielsweise kann gemäß der gemeinsamen Maske die tatsächliche Belegung durch Approximation, Filterung, Prädiktion usw. gewonnen werden. Dies wird hierin nicht beschränkt.
Ferner können die Multi-View-Fusionsinformationen auf verschiedene anwendbare Weisen bestimmt werden. Zum Beispiel können in einigen Ausführungsbeispielen die straßenseitigen Sensoren mit unterschiedlichen Blickwinkeln gleichzeitig Bildrahmen für die vorstehend beschriebene Straßenszene aufnehmen. Das heißt, zusätzlich zu dem oben erwähnten aktuellen Bildrahmen kann auch mindestens ein weiterer Bildrahmen, der gleichzeitig aufgenommen wird, erfasst werden. Es sollte sich verstehen, dass das hier erwähnte „gleichzeitig“ bedeuten kann, dass diese Bildrahmen bestimmte Echtzeitanforderungen erfüllen. Beispielsweise können diese Bildrahmen zum selben Zeitpunkt aufgenommen werden oder innerhalb einer Zeitdauer aufgenommen werden. In der Regel kann die Zeitdauer abhängig von tatsächlichen Geschäftsanforderungen, wie etwa Echtzeitanforderungen von autonomen Fahrdiensten, bestimmt werden. Beispielsweise kann die Zeitdauer in der Größenordnung von mehreren Millisekunden oder zehn Millisekunden liegen, solange die Aufnahmezeit dieser Bildrahmen die Anforderungen der Multi-View-Fusion-Technik erfüllen kann. Dies hängt von der konkreten technischen Implementierung ab und wird hierin nicht beschränkt.
Insbesondere kann für jedes Vordergrundobjekt im aktuellen Bildrahmen vorgesehen sein, dass eine Maske des Vordergrundobjekts im aktuellen Bildrahmen basierend auf den Pixelattribut-Informationen bestimmt wird. Ferner kann eine entsprechende Maske des Vordergrundobjekts in dem mindestens einen weiteren Bildrahmen bestimmt werden. Dann kann die Maske des Vordergrundobjekts in dem aktuellen Bildrahmen mit der Maske des Vordergrundobjekts in dem mindestens einen weiteren Bildrahmen fusioniert werden, um die gemeinsame Maske des Vordergrundobjekts in dem aktuellen Bildrahmen und dem mindestens einen weiteren Bildrahmen zu bestimmen. Die Masken des Vordergrundobjekts in diesen Bildrahmen können auf verschiedene geeignete Weisen fusioniert werden. Beispielsweise kann die Maske eines Vordergrundobjekts in dem aktuellen Bildrahmen mit der Maske des Vordergrundobjekts in dem mindestens einen weiteren Bildrahmen logisch fusioniert (z. B. mittels einer logischen UND-Verknüpfung) werden, um die gemeinsame Maske des Vordergrundobjekts in diesen Bildrahmen zu bestimmen. In einigen Implementierungen kann die Maske des Vordergrundobjekts in einem einzelnen Bildrahmen im Koordinatensystem des Bildrahmens extrahiert werden. In diesem Fall können die Maske des Vordergrundobjekts im aktuellen Bildrahmen und die Maske in dem mindestens einen weiteren Bildrahmen so transformiert werden, dass sie in demselben Koordinatensystem oder derselben Ebene liegen; anschließend werden sie fusioniert, sodass eine gemeinsame Maske gewonnen wird. Beispielsweise können die Maske des Vordergrundobjekts im aktuellen Bildrahmen und die Maske in dem mindestens einen weiteren Bildrahmen in eine Vogelperspektive transformiert werden und dann fusioniert werden, um eine gemeinsame Maske zu gewinnen. In diesem Fall kann die gemeinsame Maske eine gemeinsame Maske des Vordergrundobjekts aus der Vogelperspektive sein.
Zudem versteht es sich, dass die Maske für eine bestimmte Kategorie von Vordergrundobjekten gebildet werden kann. Natürlich kann die Maske auch für alle Vordergrundobjekte in einem Bild gebildet werden, ohne spezifische Kategorien von Vordergrundobjekten zu unterscheiden. Dies wird hierin nicht beschränkt.
Zur Erleichterung des Verständnisses wird nachstehend unter Verwendung eines einfachen Beispiels veranschaulicht, wie die tatsächliche Belegung durch ein Vordergrundobjekt in einer Straßenszene bestimmt werden kann. Es versteht sich, dass die folgenden Beispiele den Umfang der technischen Lösung der vorliegenden Offenbarung nicht einschränken.
3 zeigt eine vereinfachte schematische Ansicht eines Beispiels zur Bestimmung einer gemeinsamen Maske eines Vordergrundobjekts in mehreren Bildrahmen.
In dem Beispiel von 3 wird zur Veranschaulichung eine Maske eines bestimmten Vordergrundobjekts durch ein graues Quadrat dargestellt. Beispielsweise wird es angenommen, dass 310 für einen aktuellen Bildrahmen steht, und dass die drei grauen Quadrate in 310 für Masken des Vordergrundobjekts im aktuellen Bildrahmen stehen. Beispielsweise wird es angenommen, dass der aktuelle Bildrahmen durch den straßenseitigen Sensor 110B aus 1 B erfasst wird.
Es wird angenommen, dass 320 für einen ersten weiteren Bildrahmen steht, und dass die drei grauen Quadrate in 320 für Masken des Vordergrundobjekts im ersten weiteren Bildrahmen stehen. Beispielsweise wird es angenommen, dass der erste weitere Bildrahmen durch den straßenseitigen Sensor 110C aus 1 B erfasst wird.
Es wird angenommen, dass 330 für einen zweiten weiteren Bildrahmen steht, und dass die zwei grauen Quadrate in 330 für Masken des Vordergrundobjekts im zweiten weiteren Bildrahmen stehen. Beispielsweise wird es angenommen, dass der zweite weitere Bildrahmen durch den straßenseitigen Sensor 110D aus 1 B erfasst wird.
Außerdem wird im Beispiel von 3 angenommen, dass die durch die grauen Quadrate in 310, 320 und 330 dargestellten Masken bereits in demselben Koordinatensystem oder derselben Ebene liegen. So kann durch eine logische Fusion (z. B. eine logische UND-Verknüpfung) der grauen Quadrate in 310, 320 und 330 die gemeinsame Maske des Vordergrundobjekts in diesen Bildrahmen bestimmt werden, wie durch 340 dargestellt.
Vorstehend wird der relevante Inhalt zum Bestimmen eines aktuell befahrbaren Bereichs beschrieben. In einigen Ausführungsbeispielen können die Informationen über befahrbare Bereiche einen langzeitig befahrbaren Bereich angeben. Der langzeitig befahrbare Bereich kann sich auf einen Bereich beziehen, der zur Routenplanung innerhalb einer vorgegebenen Zeitdauer befahren werden kann. Die vorgegebene Zeitdauer kann abhängig von spezifischen Implementierungen eingestellt werden. Beispielsweise kann die vorgegebene Zeitdauer in verschiedenen Einheiten wie Minuten, Stunden, Tagen, Wochen und Monaten eingestellt werden. In einem Fall kann die vorgegebene Zeitdauer unendlich lang sein. Somit kann sich der langzeitig befahrbare Bereich auf einen immer befahrbaren Bereich beziehen.
In einigen Ausführungsbeispielen können bestehende Informationen über langzeitige Bereiche basierend auf dem vorstehend bestimmten aktuell befahrbaren Bereich aktualisiert werden, um den langzeitig befahrbaren Bereich zu bestimmen. Die bestehenden Informationen über langzeitige Bereiche können bestehende langzeitig befahrbare Bereiche angeben.
Beispielsweise können die bestehenden Informationen über langzeitige Bereiche basierend auf einer hochpräzisen Karte, die der Straßenszene entspricht, erhalten werden. Als ein weiteres Beispiel können die bestehenden Informationen über langzeitige Bereiche erhalten werden, indem die aktuell befahrbaren Bereiche, die jeweils für jeden Bildrahmen bestimmt werden, kontinuierlich akkumuliert werden.
Ähnlich wie der aktuell befahrbare Bereich kann der langzeitig befahrbare Bereich auch zumindest einige Beschränkungen erfüllen, wie z. B. Straßenbeschränkungen und Straßen-Passierzustandsbeschränkungen. Wie vorstehend beschrieben, können die Straßenbeschränkungen einen Bereich anzeigen, während die Straßen-Passierzustandsbeschränkungen anzeigen können, dass sich eine Straße in einem passierbaren Zustand befindet.
Die Informationen über langzeitig befahrbare Bereiche können auch dem Fahrzeug bereitgestellt werden, was dem Fahrzeug bei der Routenplanung usw. helfen kann.
Ferner können in einigen Ausführungsbeispielen die Informationen über langzeitig befahrbare Bereiche oder über aktuell befahrbare Bereiche mit der hochpräzisen Karte fusioniert werden, um eine Straßenzustandskarte zu erstellen. Beispielsweise kann eine Straßenzustandskarte einen befahrbaren Zustand auf Straßen- oder Spurebene beschreiben. Die Straßenzustandskarte kann dem Fahrzeug bereitgestellt werden, sodass das Fahrzeug verschiedene fahrbezogene Planungen basierend auf der Straßenzustandskarte durchführen kann.
4 zeigt ein schematisches Blockdiagramm einer Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen. Beispielsweise kann die Vorrichtung 400 der zuvor beschriebenen Recheneinrichtung entsprechen.
Wie in 4 gezeigt, kann die Vorrichtung 400 eine Einheit zur Bestimmung von Attributen 402 und eine Einheit zur Bestimmung von Bereichen 404 umfassen.
Die Einheit zur Bestimmung von Attributen 402 kann Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, bestimmen. Die Pixelattribut-Informationen können dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind.
Die Einheit zur Bestimmung von Bereichen 404 kann Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen bestimmen.
Jede Einheit der Vorrichtung 400 kann den vorstehend in Bezug auf die Ausführungsbeispiele des Verfahrens beschriebenen spezifischen Prozess ausführen. Der Kürze der Beschreibung halber werden daher die spezifischen Vorgänge und Funktionen jeder Einheit der Vorrichtung 400 hier nicht wiederholt.
5 zeigt ein schematisches Blockdiagramm einer Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche gemäß einigen Ausführungsbeispielen.
Beispielsweise kann die Vorrichtung 500 der vorstehend beschriebenen Recheneinrichtung entsprechen. Die Vorrichtung 500 kann den vorstehend in Bezug auf die Ausführungsbeispiele des Verfahrens beschriebenen spezifischen Prozess ausführen. Der Kürze der Beschreibung halber werden daher die spezifischen Vorgänge und Funktionen der Vorrichtung 500 hier nicht wiederholt.
Die Vorrichtung 500 kann einen Prozessor 502, einen Speicher 504, eine Eingabeeinheit 506 und eine Ausgabeeinheit 508 umfassen, die über einen Bus 510 miteinander gekoppelt sein können. Es versteht sich jedoch, dass 5 nur ein Beispiel zur Veranschaulichung bereitstellt und den Umfang der vorliegenden Offenbarung nicht einschränkt. Beispielsweise kann die Vorrichtung 500 in verschiedenen Anwendungsszenarien mehr oder weniger Einheiten umfassen, was hierin nicht beschränkt ist.
Der Speicher 504 kann dazu verwendet werden, verschiedene Daten in Bezug auf die Funktionen oder Vorgänge der Vorrichtung 500 (wie etwa hierin erwähnte Straßenbilder, Informationen über befahrbare Bereiche usw.), ausführbare Anweisungen oder ausführbare Codes und dergleichen zu speichern. Beispielsweise kann der Speicher 504 einen Direktzugriffsspeicher (Random Access Memory, RAM), einen Festwertspeicher (Read-Only Memory, ROM), einen Flash-Speicher, einen programmierbaren Festwertspeicher (Programmable ROM, PROM), einen löschbaren programmierbaren Festwertspeicher (Erasable PROM, EPROM), ein Register, eine Festplatte und dergleichen umfassen, er ist aber nicht darauf beschränkt.
Der Prozessor 502 kann dazu verwendet werden, verschiedene Funktionen oder Vorgänge der Vorrichtung 500, wie beispielsweise die hierin beschriebenen Vorgänge zum Bestimmen von Informationen über befahrbare Bereiche, auszuführen oder zu implementieren. Beispielsweise kann der Prozessor 502 die ausführbaren Codes oder Anweisungen ausführen, die im Speicher 504 gespeichert sind, um verschiedene Prozesse, die in Bezug auf verschiedene Ausführungsbeispiele der vorliegenden Offenbarung beschrieben wurden, zu realisieren. Der Prozessor 502 kann verschiedene anwendbare Prozessoren umfassen, zum Beispiel einen Allzweckprozessor (wie etwa eine Zentraleinheit (Central Processing Unit, CPU)), einen Spezialprozessor (wie etwa einen digitalen Signalprozessor, eine Grafikverarbeitungseinheit, eine anwendungsspezifische integrierte Schaltung usw.).
Die Eingabeeinheit 506 kann verschiedene Formen von Daten oder Informationen, wie hierin erwähnte Bildrahmen, erhalten. In einigen Implementierungen kann die Eingabeeinheit 506 verschiedene anwendbare Sensoren wie etwa eine Kamera, einen Radar und einen Lidar umfassen. Selbstverständlich können diese Sensoren von der Vorrichtung 500 getrennt sein, wobei die Eingabeeinheit 506 entsprechende Informationen von diesen Sensoren, beispielsweise einen durch eine Kamera aufgenommenen Bildrahmen von der Kamera, empfangen kann.
Die Ausgabeeinheit 508 kann verschiedene Formen von Daten oder Informationen, wie hierin erwähnte Informationen über befahrbare Bereiche, ausgeben. Beispielsweise kann die Ausgabeeinheit 508 die hierin beschriebenen Informationen über befahrbare Bereiche zur Übertragung an das Fahrzeug ausgeben. In einigen Implementierungen kann die Ausgabevorrichtung 508 basierend auf verschiedenen anwendbaren drahtgebundenen oder drahtlosen Kommunikationsstandards implementiert werden.
Ein Ausführungsbeispiel der vorliegenden Offenbarung stellt ferner ein computerlesbares Speichermedium bereit. Auf dem computerlesbaren Speichermedium können ausführbare Codes gespeichert werden, wobei die ausführbaren Codes bei ihrem Ausführen durch einen Computer diesen Computer veranlassen, den vorstehend in Bezug auf die Codiervorrichtung beschriebenen spezifischen Prozess zu implementieren.
Beispielsweise kann das computerlesbare Speichermedium einen Direktzugriffsspeicher (Random Access Memory, RAM), einen Festwertspeicher (Read-Only Memory, ROM), einen elektrisch löschbaren programmierbaren Festwertspeicher (Electrically-Erasable Programmable Read-Only Memory, EEPROM), einen statischen Direktzugriffsspeicher (Static Random Access Memory, SRAM), eine Festplatte, einen Flash-Speicher und dergleichen umfassen, es ist aber nicht darauf beschränkt.
Vorstehend sind spezifische Ausführungsbeispiele der vorliegenden Offenbarung beschrieben. Andere Ausführungsbeispiele liegen im Umfang der beigefügten Ansprüche. In einigen Fällen können die in den Ansprüchen beschriebenen Aktionen oder Schritte in einer anderen Reihenfolge als in den Ausführungsbeispielen ausgeführt werden und dennoch gewünschte Ergebnisse erzielen. Außerdem erfordern die in den Figuren dargestellten Prozesse nicht unbedingt die gezeigte spezifische Reihenfolge oder eine kontinuierliche Reihenfolge, um die gewünschten Ergebnisse zu erzielen. In einigen Ausführungsformen sind ein Multitasking und eine Parallelverarbeitung ebenfalls möglich oder ggf. vorteilhaft.
In den vorstehend beschriebenen einzelnen Abläufen bzw. Strukturansichten des Systems sind nicht alle Schritte und Einheiten notwendig, wobei einige Schritte oder Einheiten je nach Bedarf weggelassen werden können. Die in den vorstehenden einzelnen Ausführungsbeispielen beschriebenen Vorrichtungsstrukturen können physische Strukturen oder logische Strukturen sein. Das heißt, einige Einheiten können durch dieselbe physische Entität realisiert werden; alternativ können einige Einheiten jeweils durch mehrere physische Entitäten realisiert werden oder können durch einige Komponenten in mehreren unabhängigen Vorrichtungen realisiert werden.
In der gesamten Beschreibung wird unter der mit dem Begriff „beispielhaft“ umschriebenen Angabe „als Beispiel, Fallbeispiel oder Veranschaulichung dienend“ verstanden, anstelle von „bevorzugt“ oder „vorteilhaft“. Zum Zweck des Verständnisses der beschriebenen Techniken enthalten die ausführlichen Ausführungsformen spezifische Details. Diese Techniken können jedoch ohne diese spezifischen Details ausgeführt werden. Um eine Unverständlichkeit der Konzepte der beschriebenen Ausführungsbeispiele zu vermeiden, werden in einigen Fallbeispielen bekannte Strukturen und Vorrichtungen in Form von Block gezeigt.
Die vorstehende Beschreibung der vorliegenden Offenbarung wird bereitgestellt, damit irgendein Durchschnittsfachmann die vorliegende Offenbarung realisieren oder verwenden kann. Für den Durchschnittsfachmann sind verschiedene Modifikationen an der vorliegenden Offenbarung offensichtlich. Und die hierin definierten allgemeinen Prinzipien können auch auf andere Varianten angewendet werden, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Daher ist die vorliegende Offenbarung nicht auf die hierin beschriebenen Beispiele und Konstruktionen beschränkt, sondern steht im Einklang mit dem weitesten Umfang, der den hierin offenbarten Prinzipien und neuen Merkmalen entspricht.

Claims

Verfahren zur Bestimmung von Informationen über befahrbare Bereiche, umfassend: Bestimmen von Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, wobei die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind; und Bestimmen von Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen.
Verfahren nach Anspruch 1, wobei die Pixelattribut-Informationen mindestens eines von einem Szenenbeziehungsattribut, einem semantischen Attribut und einem Bewegungsattribut der einzelnen Pixel umfassen, wobei das Szenenbeziehungsattribut jedes Pixels dazu verwendet wird, anzugeben, ob ein durch das Pixel repräsentiertes Objekt ein Vordergrundobjekt oder ein Hintergrundobjekt ist, wobei das Vordergrundobjekt der Straßenszene nicht innewohnt und das Hintergrundobjekt der Straßenszene innewohnt; wobei das semantische Attribut jedes Pixels dazu verwendet wird, eine durch das Pixel repräsentierte Objektkategorie anzugeben; und wobei das Bewegungsattribut jedes Pixels dazu verwendet wird, eine Bewegung des Pixels zu charakterisieren.
Verfahren nach Anspruch 2, wobei die Informationen über befahrbare Bereiche dazu verwendet werden, einen aktuell befahrbaren Bereich anzugeben; das Bestimmen der Informationen über befahrbare Bereiche umfasst: Bestimmen des aktuell befahrbaren Bereichs zumindest basierend auf den Pixelattribut-Informationen, wobei der aktuell befahrbare Bereich mindestens Straßenbeschränkungen, Belegungsbeschränkungen und Straßen-Passierzustandsbeschränkungen erfüllt, wobei die Straßenbeschränkungen dazu verwendet werden, einen Bereich anzuzeigen, auf dem ein Fahrzeug eine Routenplanung durchführen kann, wobei die Belegungsbeschränkungen dazu verwendet werden, anzuzeigen, dass ein Bereich momentan nicht belegt ist, und wobei die Straßen-Passierzustandsbeschränkungen dazu verwendet werden, anzuzeigen, dass sich eine Straße in einem passierbaren Zustand befindet.
Verfahren nach Anspruch 3, wobei die Erfüllung der Straßenbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut und dem semantischen Attribut der einzelnen Pixel bestimmt wird; die Erfüllung der Belegungsbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel bestimmt wird; und die Erfüllung der Straßen-Passierzustandsbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel bestimmt wird.
Verfahren nach Anspruch 4, wobei die Erfüllung der Straßenbeschränkungen durch den aktuell befahrbaren Bereich zumindest basierend auf folgenden Elementen bestimmt ist: dem Szenenbeziehungsattribut und dem semantischen Attribut der einzelnen Pixel sowie eine hochpräzise Karte, die der Straßenszene entspricht.
Verfahren nach Anspruch 4, wobei die Erfüllung der Belegungsbeschränkungen durch den aktuell befahrbaren Bereich basierend auf folgenden Elementen bestimmt ist: dem Szenenbeziehungsattribut, dem semantischen Attribut und dem Bewegungsattribut der einzelnen Pixel sowie Multi-View-Fusionsinformationen; wobei die Multi-View-Fusionsinformationen dazu verwendet werden, eine gemeinsame Maske einzelner Vordergrundobjekte, die im aktuellen Bildrahmen vorliegen, in dem aktuellen Bildrahmen und mindestens einem weiteren Bildrahmen anzugeben, wobei der mindestens eine weitere Bildrahmen und der aktuelle Bildrahmen gleichzeitig für die Straßenszene jeweils durch straßenseitige Sensoren mit unterschiedlichen Blickwinkeln erfasst sind.
Verfahren nach Anspruch 6, ferner umfassend: Durchführen folgender Vorgänge für jedes Vordergrundobjekt des aktuellen Bildrahmens, um die Multi-View-Fusionsinformationen zu bestimmen: Bestimmen einer Maske des Vordergrundobjekts im aktuellen Bildrahmen basierend auf den Pixelattribut-Informationen; Bestimmen einer entsprechenden Maske des Vordergrundobjekts in dem mindestens einen weiteren Bildrahmen; und Fusionieren der Maske des Vordergrundobjekts in dem aktuellen Bildrahmen mit der entsprechenden Maske des Vordergrundobjekts in dem mindestens einen weiteren Bildrahmen, um die gemeinsame Maske des Vordergrundobjekts in dem aktuellen Bildrahmen und dem mindestens einen weiteren Bildrahmen zu bestimmen.
Verfahren nach Anspruch 3, wobei die Informationen über befahrbare Bereiche ferner dazu verwendet werden, einen langzeitig befahrbaren Bereich anzugeben, wobei der langzeitig befahrbare Bereich ein Bereich ist, der zur Routenplanung innerhalb einer vorgegebenen Zeitdauer befahren werden kann; das Bestimmen der Informationen über befahrbare Bereiche umfasst: Aktualisieren von bestehenden Informationen über langzeitige Bereiche basierend auf dem aktuell befahrbaren Bereich, um den langzeitig befahrbaren Bereich zu bestimmen, wobei die bestehenden Informationen über langzeitige Bereiche dazu verwendet werden, bestehende langzeitig befahrbare Bereiche anzugeben.
Verfahren nach einem der Ansprüche 1 bis 8, ferner umfassend: Erhalten eines aktuellen ursprünglichen Bildrahmens; und Durchführen einer Jitter-Beseitigung am aktuellen ursprünglichen Bildrahmen, um den aktuellen Bildrahmen zu gewinnen.
Verfahren nach Anspruch 9, wobei das Durchführen einer Jitter-Beseitigung am aktuellen ursprünglichen Bildrahmen umfasst: Durchführen, basierend auf einem optischen Fluss und für ein Referenzbild der Straßenszene, einer Jitter-Beseitigung am aktuellen ursprünglichen Bildrahmen.
Verfahren nach einem der Ansprüche 1 bis 8, wobei der aktuelle Bildrahmen von einem straßenseitigen Sensor erfasst wird und das Verfahren durch eine Recheneinrichtung, die mit dem straßenseitigen Sensor kommuniziert, durchgeführt wird.
Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche, umfassend: eine Einheit zur Bestimmung von Attributen, die dazu konfiguriert ist, Pixelattribut-Informationen eines aktuellen Bildrahmens, der eine Straßenszene repräsentiert, zu bestimmen, wobei die Pixelattribut-Informationen dazu verwendet werden, Attribute zu charakterisieren, bei denen der Straßenszene einzelne Pixel des aktuellen Bildrahmens zugeordnet sind; und eine Einheit zur Bestimmung von Bereichen, die dazu konfiguriert ist, Informationen über befahrbare Bereiche in der Straßenszene zumindest basierend auf den Pixelattribut-Informationen zu bestimmen.
Vorrichtung zur Bestimmung von Informationen über befahrbare Bereiche, umfassend: mindestens einen Prozessor; und einen Speicher, der mit dem mindestens einen Prozessor kommuniziert und auf dem ausführbare Codes gespeichert sind, wobei die ausführbaren Codes bei ihrem Ausführen durch den mindestens einen Prozessor diesen mindestens einen Prozessor veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
Computerlesbares Speichermedium, auf dem ausführbare Codes gespeichert sind, wobei die ausführbaren Codes bei ihrem Ausführen einen Computer veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.