DE102022134445A1

DE102022134445A1 - Sichtbarkeitsbestimmung im physischen raum anhand evidenzbasierter beleuchtungswerte

Info

Publication number: DE102022134445A1
Application number: DE102022134445.2A
Authority: DE
Inventors: Edouard Francois Marc Capellier
Original assignee: Motional AD LLC
Current assignee: Motional AD LLC
Priority date: 2022-08-05
Filing date: 2022-12-21
Publication date: 2024-02-08
Also published as: GB2621203A; US20240046605A1; KR20240020155A; GB202219392D0

Abstract

Offenbart werden Systeme und Verfahren zum Identifizieren einer Sichtbarkeit eines physischen Raums unter Verwendung von Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten. Ein Verfahren kann Aufnehmen eines Bildes eines physischen Raums, Unterteilen von Pixeln des Bildes in mutmaßlich gut beleuchtete und mutmaßlich nicht gut beleuchtete Kategorien auf Grundlage eines Intensitätsschwellenwerts, Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels und dem Intensitätsschwellenwert und Projizieren der evidenzbasierten Beleuchtungskarte auf Daten umfassen, die eine dreidimensionale Abtastung des physischen Raums darstellen. Evidenzbasierte Werte können ein autonomes Fahrzeug in die Lage versetzen, mithilfe von Kameradaten sicherer durch Räume zu navigieren, indem sie eine programmatische Bestimmung einer Unsicherheit für die Kameradaten ermöglichen.

Description

KURZBESCHREIBUNG DER FIGUREN

1 ist eine beispielhafte Umgebung, in der ein Fahrzeug, das eine oder mehrere Komponenten eines autonomen Systems beinhaltet, implementiert werden kann;
2 ist eine Darstellung eines oder mehrerer Systeme eines Fahrzeugs mit einem autonomen System;
3 ist eine Darstellung von Komponenten einer oder mehrerer Einrichtungen und/oder eines oder mehrerer Systeme aus 1 und 2;
4 ist eine Darstellung bestimmter Komponenten eines autonomen Systems;
5 ist ein Blockdiagramm, das einen beispielhaften Betrieb eines Berechnungssystems für evidenzbasierte Sichtbarkeit veranschaulicht, um ein evidenzbasiertes Sichtbarkeitsgitter für einen physischen Raum anhand von Daten, die eine dreidimensionale Abtastung des Raums darstellen, und einer evidenzbasierten Beleuchtungsbeurteilung zu erzeugen, die aus einem Kamerabild des Raums erzeugt wird;
6 zeigt Beispielbilder, die von dem Berechnungssystem für evidenzbasierte Sichtbarkeit während der beispielhaften Vorgänge in 5 erzeugt werden; und
7 ist ein Flussdiagramm, das einen beispielhaften Prozess zum Identifizieren einer Sichtbarkeit von Standorten im physischen Raum auf Grundlage einer evidenzbasierten Beleuchtungsbeurteilung darstellt.

AUSFÜHRLICHE BESCHREIBUNG
In der nachfolgenden Beschreibung werden zu Erläuterungszwecken zahlreiche konkrete Einzelheiten dargelegt, um ein umfassendes Verständnis der vorliegenden Offenbarung zu vermitteln. Es versteht sich jedoch, dass die durch die vorliegende Offenbarung beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In einigen Fällen sind wohlbekannte Strukturen und Vorrichtungen in Blockdiagrammform veranschaulicht, um zu verhindern, die Aspekte der vorliegenden Offenbarung unnötig unklar zu machen.
Spezifische Anordnungen oder Ordnungen schematischer Elemente, wie etwa jenen, die Systeme, Vorrichtungen, Module, Anweisungsblöcke, Datenelemente und/oder dergleichen repräsentieren, sind zur Vereinfachung der Beschreibung in den Zeichnungen veranschaulicht. Ein Fachmann versteht jedoch, dass die konkrete Ordnung oder Anordnung der schematischen Elemente in den Zeichnungen nicht implizieren soll, dass eine bestimmte Reihenfolge oder Abfolge der Verarbeitung oder eine Trennung von Prozessen erforderlich ist, sofern dies nicht ausdrücklich beschrieben ist. Ferner soll die Aufnahme eines schematischen Elements in eine Zeichnung nicht bedeuten, dass dieses Element in allen Ausführungsformen erforderlich ist oder dass die durch dieses Element dargestellten Merkmale in einigen Ausführungsformen nicht in andere Elemente aufgenommen oder mit anderen Elementen kombiniert werden können, sofern dies nicht ausdrücklich beschrieben ist.
Ferner soll in den Zeichnungen, in denen Verbindungselemente wie etwa durchgezogene oder gestrichelte Linien oder Pfeile verwendet werden, um eine Verbindung, Beziehung oder Zuordnung zwischen oder unter zwei oder mehr anderen schematischen Elementen zu veranschaulichen, das Nichtvorhandensein jeglicher solcher Verbindungselemente nicht andeuten, dass keine Verbindung, Beziehung oder Zuordnung bestehen kann. Mit anderen Worten werden einige Verbindungen, Zusammenhänge oder Verknüpfungen zwischen Elementen in den Zeichnungen nicht dargestellt, um die Offenbarung nicht zu verschleiern. Zusätzlich kann zur Vereinfachung der Veranschaulichung ein einzelnes Verbindungselement verwendet werden, um mehrere Verbindungen, Beziehungen oder Zuordnungen zwischen Elementen zu repräsentieren. Wenn beispielsweise ein Verbindungselement Kommunikation von Signalen, Daten oder Anweisungen (z.B. „SoftwareAnweisungen“ darstellt), sollte ein Fachmann verstehen, dass ein solches Element einen oder mehrere Signalwege (z.B. einen Bus) repräsentieren kann, je nachdem, was erforderlich ist, um die Kommunikation zu bewirken.
Auch wenn die Bezeichnungen „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen verwendet werden, um verschiedene Elemente zu beschreiben, sollten diese Elemente nicht durch diese Begriffe eingeschränkt werden. Die Bezeichnungen „erste/r/s“, „zweite/r/s“, „dritte/r/s“ und/oder dergleichen werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Beispielsweise könnte ein erster Kontakt als ein zweiter Kontakt bezeichnet werden und gleichermaßen könnte ein zweiter Kontakt als ein erster Kontakt bezeichnet werden, ohne vom Schutzumfang der beschriebenen Ausführungsformen abzuweichen. Sowohl der erste Kontakt als auch der zweite Kontakt sind Kontakte, sie sind aber nicht derselbe Kontakt.
Die in der Beschreibung der verschiedenen beschriebenen Ausführungsformen hierin verwendete Terminologie ist nur zum Zweck der Beschreibung spezieller Ausführungsformen enthalten und soll nicht beschränkend sein. Wie in der Beschreibung der verschiedenen beschriebenen Ausführungsformen und in den angehängten Ansprüchen verwendet, sollen die Singularformen „ein“, „eine“ und „der/die/das“ auch die Pluralformen einschließen und können austauschbar mit „ein/e oder mehrere“ oder „mindestens ein/e“ verwendet werden, insofern der Zusammenhang deutlich nicht etwas anderes angibt. Es versteht sich zudem, dass sich die Bezeichnung „und/oder“, wie hierin verwendet, auf jegliche und alle möglichen Kombinationen eines oder mehrerer der assoziierten aufgelisteten Punkte bezieht und einschließt. Es versteht sich ferner, dass die Bezeichnungen „beinhaltet“, „einschließlich“, „umfasst“ und/oder „umfassend“, soweit in dieser Beschreibung verwendet, das Vorhandensein genannter Merkmale, Ganzzahlen, Schritte, Operationen, Elemente und/oder Komponenten spezifiziert, aber nicht das Vorhandensein oder den Zusatz eines/einer oder mehrerer anderer Merkmale, Ganzzahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon ausschließt.
Vorliegend beziehen sich die Ausdrücke „Kommunikation“ und „kommunizieren“ auf den Empfang und/oder die Übertragung und/oder die Weitergabe und/oder die Bereitstellung und/oder dergleichen von Informationen (oder Informationen, die z.B. durch Daten, Signale, Nachrichten, Anweisungen, Befehle und/oder dergleichen dargestellt werden). Dass eine Einheit (z.B. eine Vorrichtung, ein System, eine Komponente einer Vorrichtung oder eines Systems, Kombinationen davon und/oder dergleichen) in Kommunikation mit einer anderen Einheit steht, bedeutet, dass die eine Einheit in der Lage ist, direkt oder indirekt Informationen von der anderen Einheit zu empfangen und/oder zu dieser zu senden (z.B. zu übertragen). Dies kann sich auf eine direkte oder indirekte Verbindung beziehen, die drahtgebunden und/oder drahtlos ist. Zusätzlich können zwei Einheiten in Kommunikation miteinander stehen, selbst wenn die übertragenen Informationen zwischen der ersten und zweiten Einheit modifiziert, verarbeitet, weitergeleitet und/oder geroutet werden. Beispielsweise kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, selbst wenn die erste Einheit Informationen passiv empfängt und nicht aktiv Informationen zu der zweiten Einheit überträgt. Als ein anderes Beispiel kann eine erste Einheit in Kommunikation mit einer zweiten Einheit stehen, falls mindestens eine Zwischeneinheit (z.B. eine dritte Einheit, die sich zwischen der ersten Einheit und der zweiten Einheit befindet) von der ersten Einheit empfangene Informationen verarbeitet und die verarbeiteten Informationen zu der zweiten Einheit überträgt. In einigen Ausführungsformen kann sich eine Nachricht auf ein Netzpaket (z.B. ein Datenpaket und/oder dergleichen) beziehen, das Daten enthält.
Vorliegend soll der Ausdruck „falls“ wahlweise so ausgelegt werden, dass er, in Abhängigkeit vom Zusammenhang, „wenn“ „bei“, „in Reaktion auf Bestimmen“, „in Reaktion auf Erkennen“ und/oder dergleichen bedeutet. Gleichermaßen wird der Ausdruck „falls bestimmt wird“ oder „falls [eine angegebene Bedingung oder ein angegebenes Ereignis] detektiert wird“ optional als „beim Bestimmen“, „in Reaktion auf Bestimmen“, „beim Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“, „in Reaktion auf Detektieren [der angegebenen Bedingung oder des angegebenen Ereignisses]“ und/oder dergleichen bedeutend, in Abhängigkeit vom Kontext, ausgelegt. Vorliegend sollen zudem die Bezeichnungen „hat/weist auf“, „haben/aufweisen“, „aufweisend“ oder dergleichen offene Bezeichnungen sein. Ferner soll der Ausdruck „basierend auf“ „zumindest teilweise basierend auf“ bedeuten, insofern nichts anderes ausdrücklich angegeben ist.
Nun wird ausführlicher Bezug auf Ausführungsformen genommen, von denen Beispiele in den begleitenden Zeichnungen veranschaulicht sind. In der folgenden ausführlichen Beschreibung werden zahlreiche spezifische Einzelheiten dargelegt, um ein umfassendes Verständnis der verschiedenen beschriebenen Ausführungsformen bereitzustellen. Ein Durchschnittsfachmann auf dem Gebiet wird jedoch verstehen, das die verschiedenen beschriebenen Ausführungsformen ohne diese spezifischen Einzelheiten umgesetzt werden können. In anderen Fällen sind wohlbekannte Verfahren, Prozeduren, Komponenten, Schaltungen und Netzwerke nicht ausführlich beschrieben, damit Aspekte der Ausführungsformen nicht unnötig unklar gemacht werden.
Allgemeiner Überblick
Allgemein beschrieben, betreffen Aspekte der vorliegenden Offenbarung das Identifizieren einer Sichtbarkeit eines physischen Raums auf Grundlage einer evidenzbasierten Beleuchtungsbeurteilung des physischen Raums, die aus Kamerabildern des physischen Raums erzeugt wird. Darüber hinaus betreffen Ausführungsformen der vorliegenden Offenbarung das Steuern eines Betriebs eines autonomen Fahrzeugs auf Grundlage einer identifizierten Sichtbarkeit des physischen Raums, um einen sicheren und effizienten Betrieb eines solchen Fahrzeugs zu gewährleisten. Eine vorliegend beschriebene evidenzbasierte Beleuchtungsbeurteilung kann auf Grundlage einer Verarbeitung eines Kamerabildes des physischen Raums erzeugt werden und für Regionen innerhalb des Bildes einen Grad der Unsicherheit angeben, ob die Region gut beleuchtet ist. Wie ein Fachmann versteht, kann eine genaue Beurteilung einer Sichtbarkeit eines Standorts für eine Reihe von Funktionen eines selbstfahrenden Fahrzeugs von entscheidender Bedeutung sein, insbesondere für sichere Navigation bei schlechten Sichtverhältnissen, z.B. bei Nacht und bei Nebel. Es kann daher in einer Vielzahl von Kontexten sehr wünschenswert sein, ein Sichtbarkeitsgitter bereitzustellen.
Es gibt eine Vielzahl von Möglichkeiten (z.B. die Verwendung verschiedener Sensoren und Kameras, darunter, ohne jedoch hierauf eingeschränkt zu sein, LiDAR, Radar, Kameras, Fotowiderstände, Laserentfernungsmesser und dergleichen) für in selbstfahrende Fahrzeuge eingebettete Computersysteme, um verschiedene Objekte, Hindernisse und Bereiche um das Fahrzeug herum zu erkennen. Computersysteme können diese verschiedenen Mechanismen nutzen und kombinieren, um Prozesse zu schaffen, die die Sensordaten verstehen und als Ergebnis mechanische Entscheidungen treffen. Herausforderungen ergeben sich bei schlechten Sichtverhältnissen. Während es für Menschen intuitiv einleuchtend sein mag, was mit einer Kamera gesehen werden kann und was nicht, ist dies für Computersysteme nicht intuitiv einleuchtend. So verfügen typische selbstfahrende Fahrzeuge, die mit Kameras ausgestattet sind, möglicherweise nicht über Computersysteme, die eindeutig erkennen können, ob und in welchem Maße Objekte/Hindernisse sichtbar (d.h. ausreichend beleuchtet) sind oder nicht. Beispielsweise kann es rechnerisch schwierig sein, zwischen deutlich sichtbaren dunklen Objekten (z.B. einem schwarzen Auto) und unbeleuchteten Bereichen zu unterscheiden, die Hindernisse, Sicherheitsrisiken oder dergleichen enthalten können. Dementsprechend sind typische Lösungen gegebenenfalls nicht in der Lage, den Grad der Unsicherheit von beleuchteten Objekten, Hindernissen und Bereichen zu beurteilen.
Ausführungsformen der vorliegenden Offenbarung beheben die zuvor erwähnten Unzulänglichkeiten typischer Fahrszenarien bei schlechter Sicht für selbstfahrende Fahrzeuge durch Erzeugung und Verwendung eines Sichtbarkeitsgitters, das aus einer evidenzbasierten Sichtbarkeitsbeurteilung erzeugt wird. Genauer gesagt, können vorliegend beschriebene Ausführungsformen Kamerabilder verwenden, um zu bestimmen, ob eine bestimmte Region gut beleuchtet ist, sowie eine Unsicherheit dieser Bestimmung zu ermitteln. Diese Werte können dann in einen physischen Raum projiziert werden, um einem Fahrzeug zu ermöglichen, sicher und effektiv in diesem Raum zu navigieren.
Wie bereits erwähnt, kann eine evidenzbasierte Sichtbarkeitsbeurteilung programmatisch durch Verarbeiten eines Kamerabildes eines Bereichs erzeugt werden. Ein solches Verarbeiten kann Umwandeln eines Bildes in eine Graustufendarstellung beinhalten. Beispielsweise kann ein Farbbild wie etwa ein Bild im RGB-Farbraum zunächst in ein Graustufenbild umgewandelt werden. In einer Ausführungsform wird das Graustufenbild erzeugt, indem das Bild aus einem aktuellen Farbraum in den Lab-Farbraum umgewandelt wird und die Helligkeits- (lightness, I-) Werte dieses umgewandelten Bildes als Graustufenbild verwendet werden. In einer anderen Ausführungsform wird das Graustufenbild als Transmissionskarte erstellt, wie nachstehend näher erläutert wird. Anschließend kann ein Intensitätsschwellenwert bestimmt werden, um mutmaßlich gut beleuchtete Pixel von mutmaßlich nicht gut beleuchteten Pixeln im Bild zu trennen. Beispielsweise wird das Verfahren nach Otsu auf das Graustufenbild angewandt, um einen Intensitätsschwellenwert zu erzeugen. Danach kann für jedes Pixel eine evidenzbasierte Beurteilung vorgenommen werden, indem bestimmt wird, wie nahe ein Wert des Pixels im Graustufenbild am Intensitätsschwellenwert liegt. Denjenigen Pixeln, die sehr nahe am Schwellenwert liegen, kann ein hoher oder totaler Unsicherheitswert zugewiesen werden, da eine starke Unsicherheit besteht, ob die Pixel ein sichtbares Objekt oder eher eine fehlende Sichtbarkeit an diesem Punkt darstellen. Bei vom Schwellenwert abweichenden Pixeln kann der Unsicherheitswert abnehmen. Diese Unsicherheitswerte können dann zu einer evidenzbasierten Sichtbarkeitsbeurteilung für den im Bild dargestellten Bereich kombiniert werden, die angibt, ob ein bestimmter Teil des Bildes als sichtbar bestimmt wurde und mit welcher Unsicherheit diese Bestimmung verbunden ist.
Nach Erhalten einer evidenzbasierten Sichtbarkeitsbeurteilung für den im Bild dargestellten Bereich kann ein autonomes Fahrzeug (oder eine andere Vorrichtung) die Beurteilung auf einen im Bild erfassten physischen Raum projizieren. So kann das Fahrzeug beispielsweise Daten erfassen, die eine dreidimensionale Abtastung des Bereichs darstellen, und die Sichtbarkeitswerte und entsprechende Unsicherheitswerte auf den physischen Raum projizieren. Diese Projektion kann wiederum eine sicherere und effizientere Navigation des Fahrzeugs in dem Bereich ermöglichen, da das Fahrzeug programmatisch einen Unsicherheitsgrad (und damit ein Risiko) bestimmen kann, der mit dem Vertrauen auf Bilddaten für eine bestimmte Region verbunden ist.
Die vorgenannten Aspekte und viele der dazugehörigen Vorteile dieser Offenbarung werden klarer, wenn diese unter Bezugnahme auf die folgende Beschreibung, in Verbindung mit den beigefügten Zeichnungen besser verstanden werden.
In 1 ist eine beispielhafte Umgebung 100 dargestellt, in der sowohl Fahrzeuge mit autonomen Systemen als auch Fahrzeuge ohne solche Systeme betrieben werden. Wie veranschaulicht wird, beinhaltet die Umgebung 100 Fahrzeuge 102a-102n, Objekte 104a-104n, Routen 106a-106n, einen Bereich 108, eine Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, ein Netzwerk 112, ein entfernt angeordnetes AV- (autonomes Fahrzeug) System 114, ein Fuhrparkverwaltungssystem 116 und ein V2I-System 118. Die Fahrzeuge 102a-102n, die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110, das Netzwerk 112, das AV-System 114, das Fuhrparkverwaltungssystem 116 und das V2I-System 118 sind über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen miteinander verbunden (z.B. stellen diese eine Verbindung zur Kommunikation her und/oder dergleichen). In einigen Ausführungsformen sind die Objekte 104a-104n über drahtgebundene Verbindungen, drahtlose Verbindungen oder eine Kombination von drahtgebundenen oder drahtlosen Verbindungen mit den Fahrzeugen 102a-102n und/oder der Fahrzeug-zu-Infrastruktur- (V21-) Vorrichtung 110 und/oder dem Netzwerk 112 und/oder dem AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 und/oder dem V2I-System 118 verbunden.
Die Fahrzeuge 102a-102n (einzeln als Fahrzeug 102 und kollektiv als Fahrzeuge 102 bezeichnet) beinhalten mindestens eine Vorrichtung, die zum Transportieren von Gütern und/oder Menschen ausgelegt ist. In einigen Ausführungsformen sind die Fahrzeuge 102 so ausgelegt, dass sie über das Netzwerk 112 mit der V21-Vorrichtung 110, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 kommunizieren können. In einigen Ausführungsformen umfassen die Fahrzeuge 102 Autos, Busse, Lastwagen, Züge und/oder dergleichen. In einigen Ausführungsformen sind die Fahrzeuge 102 gleich oder ähnlich wie die hier beschriebenen Fahrzeuge 200 (siehe 2). In einigen Ausführungsformen ist ein Fahrzeug 200 eines Satzes von Fahrzeugen 200 einem autonomen Fuhrparkverwalter zugeordnet. In einigen Ausführungsformen fahren die Fahrzeuge 102 entlang jeweiliger Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet), wie vorliegend beschrieben. In einigen Ausführungsformen beinhalten ein oder mehrere Fahrzeuge 102 ein autonomes System (z.B. ein autonomes System, das das gleiche oder ähnlich ist wie das autonome System 202).
Die Objekte 104a-104n (einzeln als Objekt 104 und kollektiv als Objekte 104 bezeichnet) beinhalten beispielsweise mindestens ein Fahrzeug, mindestens einen Fußgänger, mindestens einen Fahrradfahrer, mindestens eine Struktur (z.B. ein Gebäude, ein Schild, einen Hydranten usw.) und/oder dergleichen. Jedes Objekt 104 ist stationär (z.B. für eine bestimmte Zeit an einem festen Ort) oder mobil (z.B. mit einem Geschwindigkeitsvektor und mindestens einer Trajektorie). In einigen Ausführungsformen sind die Objekte 104 entsprechenden Standorten im Bereich 108 zugeordnet.
Die Routen 106a-106n (einzeln als Route 106 und gemeinsam als Routen 106 bezeichnet) sind jeweils mit einer Abfolge von Aktionen (auch als Trajektorie bezeichnet) assoziiert (z.B. geben sie diese vor), die Zustände miteinander verbinden, entlang derer ein AV navigieren kann. Jede Route 106 beginnt mit einem Anfangszustand (z.B. einem Zustand, der einem ersten raumzeitlichen Standort, einem Geschwindigkeitsvektor und/oder dergleichen entspricht) und einem Endzielzustand (z.B. einem Zustand, der einem zweiten raumzeitlichen Standort entspricht, der sich vom ersten raumzeitlichen Standort unterscheidet) oder einer Zielregion (z.B. einem Teilraum akzeptabler Zustände (z.B. Endzustände)). In einigen Ausführungsformen beinhaltet der erste Zustand einen Standort, an dem ein Individuum oder Individuen durch das AV abzuholen ist/sind, und der zweite Zustand oder das Gebiet beinhaltet einen Standort oder Standorte, an dem/denen das Individuum oder die Individuen, das/die durch das AV abgeholt wurde/n, abzusetzen ist/sind. In einigen Ausführungsformen beinhalten die Routen 106 eine Vielzahl von akzeptablen Zustandsabfolgen (z.B. eine Vielzahl von raumzeitlichen Standortabfolgen), wobei die Vielzahl von Zustandsabfolgen mit einer Vielzahl von Trajektorien assoziiert ist (z.B. diese definiert). In einem Beispiel beinhalten die Routen 106 nur übergeordnete Aktionen oder ungenaue Zustandsorte, wie z.B. eine Reihe verbundener Straßen, die Abbiegerichtungen an Straßenkreuzungen vorgeben. Zusätzlich oder alternativ können die Routen 106 präzisere Aktionen oder Zustände beinhalten, wie beispielsweise bestimmte Zielfahrspuren oder genaue Standorte innerhalb der Fahrspurbereiche und eine Zielgeschwindigkeit an diesen Positionen. In einem Beispiel beinhalten die Routen 106 eine Vielzahl präziser Zustandsabfolgen entlang der mindestens einen Abfolge übergeordneter Aktionen mit einem begrenzten Vorausschauhorizont, um Zwischenziele zu erreichen, wobei die Kombination aufeinanderfolgender Iterationen von Zustandsabfolgen mit begrenztem Horizont kumulativ einer Vielzahl von Trajektorien entspricht, die zusammen die übergeordnete Route bilden, um im endgültigen Zielzustand oder -bereich anzukommen.
Der Bereich 108 beinhaltet einen physischen Bereich (z.B. ein geografisches Gebiet), in dem die Fahrzeuge 102 navigieren können. In einem Beispiel umfasst der Bereich 108 mindestens einen Staat (z.B. ein Land, eine Provinz, einen einzelnen Staat einer Vielzahl von Staaten, die zu einem Land gehören, usw.), mindestens einen Teil eines Staates, mindestens eine Stadt, mindestens einen Teil einer Stadt usw. In einigen Ausführungsformen umfasst der Bereich 108 mindestens eine benannte Durchgangsstraße (im Folgenden als „Straße“ bezeichnet), wie z.B. eine Autobahn, eine Fernstraße, eine Parkstraße, eine Stadtstraße usw. Zusätzlich oder alternativ umfasst der Bereich 108 in einigen Beispielen mindestens einen unbenannten Verkehrsweg wie eine Einfahrt, einen Abschnitt eines Parkplatzes, einen Abschnitt eines freien und/oder unbebauten Grundstücks, einen Feldweg usw. In einigen Ausführungsformen umfasst eine Straße mindestens eine Fahrspur (z.B. einen Teil der Straße, der durch Fahrzeuge 102 befahren werden kann). In einem Beispiel beinhaltet eine Straße mindestens eine Fahrspur, die mit mindestens einer Fahrspurmarkierung assoziiert ist (z.B. auf Grundlage dieser Markierung identifiziert wird).
Die Fahrzeug-zu-Infrastruktur- (V2I-) Vorrichtung 110 (manchmal auch als Fahrzeug-zu-Infrastruktur- (V2X-) Vorrichtung bezeichnet) beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit Fahrzeugen 102 und/oder dem V2I-Infrastruktursystem 118 in Kommunikation steht. In einigen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, sich über das Netzwerk 112 in Kommunikation mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114, dem Flottenverwaltungssystem 116 und/oder dem V21-System 118 zu befinden. In einigen Ausführungsformen beinhaltet die V21-Vorrichtung 110 eine Hochfrequenzkennungs-(Radio Frequency Identification, RFID-) Vorrichtung, Verkehrsschilder, Kameras (z.B. zweidimensionale (2D-) und/oder dreidimensionale (3D-) Kameras), Fahrspurmarkierungen, Straßenlaternen, Parkuhren usw. In einigen Ausführungsformen ist die V21-Vorrichtung 110 dazu ausgelegt, direkt mit den Fahrzeugen 102 zu kommunizieren. Zusätzlich oder alternativ ist in einigen Ausführungsformen die V21-Einrichtung 110 so ausgelegt, dass sie über das V2I-System 118 mit den Fahrzeugen 102, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 kommuniziert. In einigen Ausführungsformen ist die V21-Vorrichtung 110 so ausgelegt, dass sie über das Netzwerk 112 mit dem V21-System 118 kommuniziert.
Das Netzwerk 112 beinhaltet ein oder mehrere drahtgebundene und/oder drahtlose Netzwerke. In einem Beispiel beinhaltet das Netzwerk 112 ein Mobilfunknetz (z.B. ein LTE- (Long Term Evolution) Netz, ein 3G- (dritte Generation) Netz, ein 4G-(vierte Generation) Netz, ein 5G- (fünfte Generation) Netz, ein CDMA- (code division multiple access, Codemultiplex-Vielfachzugriff-) Netz usw.), ein öffentliches Mobilfunknetz (PLMN, public land mobile network), ein lokales Netzwerk (local area network, LAN), ein Weitverkehrsnetz (wide area network, WAN), ein Stadtnetz (metropolitan area network, MAN), ein Telefonnetz (z.B. das öffentliche Telefonnetz (PSTN, public switched telephone network), ein privates Netzwerk, ein Ad-hoc-Netz, ein Intranet, das Internet, ein glasfaserbasiertes Netzwerk, ein Cloud-Computing-Netzwerk usw., eine Kombination einiger oder aller dieser Netzwerke und/oder dergleichen.
Das entfernt angeordnete AV-System 114 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Einrichtung 110, dem Netzwerk 112, dem entfernt angeordneten AV-System 114, dem Fuhrparkverwaltungssystem 116 und/oder dem V21-System 118 in Kommunikation steht. In einem Beispiel beinhaltet das entfernt angeordnete AV-System 114 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 zusammen mit dem Fuhrparkverwaltungssystem 116 angeordnet. In einigen Ausführungsformen ist das entfernt angeordnete AV-System 114 an der Installation einiger oder aller Komponenten eines Fahrzeugs beteiligt, einschließlich eines autonomen Systems, eines AV-Computers, von einem AV-Computer implementierter Software und/oder dergleichen. In einigen Ausführungsformen wartet (z.B. aktualisiert und/oder ersetzt) das entfernt angeordnete AV-System 114 solche Komponenten und/oder Software während der Lebensdauer des Fahrzeugs.
Das Fuhrparkverwaltungssystem 116 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie sich in Kommunikation mit den Fahrzeugen 102, der V2I-Vorrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem V2I-Infrastruktursystem 118 befindet. In einem Beispiel beinhaltet das Fuhrparkverwaltungssystem 116 einen Server, eine Gruppe von Servern und/oder andere derartige Vorrichtungen. In einigen Ausführungsformen ist das Fuhrparkverwaltungssystem 116 mit einem Fahrgemeinschaftsunternehmen assoziiert (z.B. einer Organisation, die den Betrieb mehrerer Fahrzeuge steuert (z.B. Fahrzeuge, die autonome Systeme beinhalten, und/oder Fahrzeuge, die keine autonomen Systeme beinhalten), und/oder dergleichen).
In einigen Ausführungsformen beinhaltet das V21-System 118 mindestens eine Vorrichtung, die so ausgelegt ist, dass sie sich über das Netzwerk 112 mit den Fahrzeugen 102, der V21-Vorrichtung 110, dem entfernt angeordneten AV-System 114 und/oder dem Fuhrparkverwaltungssystem 116 in Kommunikation befindet. In einigen Beispielen ist das V21-System 118 so ausgelegt, dass es mit der V2I-Vorrichtung 110 über eine andere Verbindung als das Netzwerk 112 in Kommunikation steht. In einigen Ausführungsformen beinhaltet das V21-System 118 einen Server, eine Gruppe von Servern und/oder andere ähnliche Vorrichtungen. In einigen Ausführungsformen ist das V21-System 118 mit einer Stadtverwaltung oder einer privaten Institution (z.B. einer privaten Institution, die die V21-Vorrichtung 110 verwaltet und/oder dergleichen) assoziiert.
Die Anzahl und die Anordnung der in 1 veranschaulichten Elemente sind als ein Beispiel bereitgestellt. Es kann zusätzliche Elemente, weniger Elemente, andere Elemente und/oder anders angeordnete Elemente als die in 1 veranschaulichten geben. Zusätzlich oder alternativ kann mindestens ein Element der Umgebung 100 eine oder mehrere Funktionen ausführen, die als von mindestens einem anderen Element in 1 ausgeführt beschrieben sind. Zusätzlich oder alternativ kann mindestens ein Satz von Elementen der Umgebung 100 eine oder mehrere Funktionen durchführen, die als durch mindestens einen anderen Satz von Elementen der Umgebung 100 durchgeführt beschrieben werden.
Gemäß 2 beinhaltet das Fahrzeug 200 ein autonomes System 202, ein Antriebsstrangsteuersystem 204, ein Lenkungssteuersystem 206 und ein Bremssystem 208. In einigen Ausführungsformen ist das Fahrzeug 200 gleich oder ähnlich wie das Fahrzeug 102 (siehe 1). In einigen Ausführungsformen hat das Fahrzeug 102 autonome Fähigkeiten (z.B. implementiert es mindestens eine Funktion, ein Merkmal, eine Vorrichtung und/oder dergleichen, die es ermöglichen, dass das Fahrzeug 200 teilweise oder vollständig ohne menschliches Eingreifen betrieben werden kann, darunter, ohne Einschränkung, vollständig autonome Fahrzeuge (z.B. Fahrzeuge, die auf menschliches Eingreifen verzichten), hochautonome Fahrzeuge (z.B. Fahrzeuge, die in bestimmten Situationen auf menschliches Eingreifen verzichten) und/oder dergleichen). Eine ausführliche Beschreibung von vollständig autonomen Fahrzeugen und hochgradig autonomen Fahrzeugen findet sich in der Norm J3016 der SAE International: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems (Taxonomie und Definitionen für Begriffe im Zusammenhang mit automatisierten Straßen-Kraftfahrzeug-Fahrsystemen), die hier in ihrer Gesamtheit durch Bezugnahme aufgenommen ist. In einigen Ausführungsformen ist das Fahrzeug 200 mit einem autonomen Fuhrparkverwalter und/oder einem Fahrgemeinschaftsunternehmen assoziiert.
Das autonome System 202 enthält eine Sensoreinheit mit einer oder mehreren Vorrichtungen wie Kameras 202a, LiDAR-Sensoren 202b, Radarsensoren 202c und Mikrofonen 202d. In einigen Ausführungsformen kann das autonome System 202 mehr oder weniger Vorrichtungen und/oder andere Vorrichtungen beinhalten (z.B. Ultraschallsensoren, Trägheitssensoren, GPS-Empfänger (siehe unten), Odometriesensoren, die Daten im Zusammenhang mit einer Anzeige einer zurückgelegten Strecke des Fahrzeugs 200 erzeugen, und/oder dergleichen). In einigen Ausführungsformen verwendet das autonome System 202 die eine oder die mehreren Vorrichtungen, die im autonomen System 202 enthalten sind, um Daten im Zusammenhang mit der Umgebung 100 wie vorliegend beschrieben zu erzeugen. Die durch die eine oder die mehreren Vorrichtungen des autonomen Systems 202 erzeugten Daten können durch ein oder mehrere vorliegend beschriebene Systeme verwendet werden, um die Umgebung (z.B. die Umgebung 100) zu beobachten, in der sich das Fahrzeug 200 befindet. In einigen Ausführungsformen beinhaltet das autonome System 202 eine Kommunikationsvorrichtung 202a, einen AV-(autonomous vehicle, autonomes Fahrzeug) Computer 202f und ein Drive-by-Wire-(DBW-) System 202h.
Die Kameras 202a beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Kameras 202a beinhalten mindestens eine Kamera (z.B. eine Digitalkamera mit einem Lichtsensor wie beispielsweise einer ladungsgekoppelten Vorrichtung (charge-coupled device, CCD), eine Wärmebildkamera, eine Infrarot- (IR-) Kamera, eine Ereigniskamera und/oder dergleichen), um Bilder mit physischen Objekten (z.B. Autos, Busse, Bordsteine, Menschen und/oder dergleichen) aufzunehmen. In einigen Ausführungsformen erzeugt die Kamera 202a Kameradaten als Ausgabe. In einigen Beispielen erzeugt die Kamera 202a Kameradaten, die mit einem Bild assoziierte Bilddaten enthalten. In diesem Beispiel können die Bilddaten mindestens einen Parameter (z.B. Bildcharakteristiken wie etwa Belichtung, Helligkeit usw., einen Bildzeitstempel und/oder dergleichen) entsprechend dem Bild spezifizieren. In einem solchen Beispiel kann das Bild in einem Format vorliegen (z.B. RAW, JPEG, PNG und/oder dergleichen). In einigen Ausführungsformen beinhaltet die Kamera 202a eine Vielzahl unabhängiger Kameras, die an einem Fahrzeug konfiguriert (z.B. positioniert) sind, um Bilder für Stereopsis (räumliches Sehen) aufzunehmen. In einigen Beispielen beinhaltet die Kamera 202a eine Vielzahl von Kameras, die Bilddaten erzeugen und die Bilddaten an den AV-Computer 202f und/oder ein Fuhrparkverwaltungssystem (z.B. ein Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnlich ist) übertragen. In einem solchen Beispiel bestimmt der AV-Computer 202f eine Tiefe eines oder mehrerer Objekte in einem Sichtfeld von mindestens zwei Kameras der Vielzahl von Kameras auf Grundlage der Bilddaten von den mindestens zwei Kameras. In einigen Ausführungsformen sind die Kameras 202a so ausgelegt, dass sie Bilder von Objekten innerhalb einer Entfernung von den Kameras 202a aufnehmen (z.B. bis zu 100 Meter, bis zu einem Kilometer und/oder dergleichen). Dementsprechend beinhalten die Kameras 202a Merkmale wie etwa Sensoren und Objektive, die zum Wahrnehmen von Objekten optimiert sind, die sich in einem oder mehreren Abständen zu den Kameras 202a befinden.
In einer Ausführungsform beinhaltet die Kamera 202a mindestens eine Kamera, die dazu ausgelegt ist, ein oder mehrere Bilder aufzunehmen, die mit einer oder mehreren Ampeln, einem oder mehreren Straßenschildern und/oder anderen physischen Objekten assoziiert sind, die visuelle Navigationsinformationen bereitstellen. In einigen Ausführungsformen erzeugt die Kamera 202a Ampeldaten im Zusammenhang mit einem oder mehreren Bildern. In einigen Beispielen erzeugt die Kamera 202a TLD-Daten im Zusammenhang mit einem oder mehreren Bildern, die ein Format (z.B. RAW, JPEG, PNG und/oder dergleichen) enthalten. In einigen Ausführungsformen unterscheidet sich die Kamera 202a, die TLD-Daten erzeugt, von anderen vorliegend beschriebenen Systemen, die Kameras enthalten, dadurch, dass die Kamera 202a eine oder mehrere Kameras mit einem weiten Sichtfeld beinhalten kann (z.B. ein Weitwinkelobjektiv, ein Fischaugenobjektiv, ein Objektiv mit einem Betrachtungswinkel von etwa 120 Grad oder mehr und/oder dergleichen), um Bilder über möglichst viele physische Objekte zu erzeugen.
Die LiDAR- (laser detection and ranging, Lichtabstandsmessung) Sensoren 202b beinhalten mindestens eine Vorrichtung , die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die LiDAR-Sensoren 202b beinhalten ein System, das so ausgelegt ist, dass es Licht von einem Lichtsender (z.B. einem Lasersender) überträgt. Das von den LiDAR-Sensoren 202b emittierte Licht umfasst Licht (z.B. Infrarotlicht und/oder dergleichen), das außerhalb des sichtbaren Spektrums liegt. In einigen Ausführungsformen trifft von den LiDAR-Sensoren 202b emittiertes Licht während des Betriebs auf ein physisches Objekt (z.B. ein Fahrzeug) und wird zu den LiDAR-Sensoren 202b zurückreflektiert. In einigen Ausführungsformen durchdringt das von den LiDAR-Sensoren 202b emittierte Licht die physischen Objekte, auf die das Licht trifft, nicht. Die LiDAR-Sensoren 202b beinhalten auch mindestens einen Lichtdetektor, der das Licht detektiert, das vom Lichtemitter emittiert wurde, nachdem das Licht auf ein physisches Objekt traf. In einigen Ausführungsformen erzeugt mindestens ein Datenverarbeitungssystem, das mit den LiDAR-Sensoren 202b assoziiert ist, ein Bild (z.B. eine Punktwolke, eine kombinierte Punktwolke und/oder dergleichen), das die in einem Sichtfeld der LiDAR-Sensoren 202b enthaltenen Objekte darstellt. In einigen Beispielen erzeugt das mindestens eine mit dem LiDAR-Sensor 202b assoziierte Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einem solchen Beispiel wird das Bild verwendet, um die Grenzen von physischen Objekten im Sichtfeld der LiDAR-Sensoren 202b zu bestimmen.
Die Radar- (radio detection and ranging, Funkabstandsmessung) Sensoren 202c beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Radar-Sensoren 202c beinhalten ein System, das dazu ausgelegt ist, Funkwellen (entweder gepulst oder kontinuierlich) zu übertragen. Die von den Radarsensoren 202c gesendeten Funkwellen beinhalten Funkwellen, die innerhalb eines vorbestimmten Spektrums liegen. In einigen Ausführungsformen treffen von den Radarsensoren 202c gesendete Funkwellen während des Betriebs auf ein physisches Objekt und werden zu den Radarsensoren 202c zurückreflektiert. In einigen Ausführungsformen werden die durch die Radarsensoren 202c gesendeten Funkwellen durch einige Objekte nicht reflektiert. In einigen Ausführungsformen erzeugt mindestens ein mit den Radarsensoren 202c assoziiertes Datenverarbeitungssystem Signale, die die in einem Sichtfeld der Radarsensoren 202c enthaltenen Objekte darstellen. Beispielsweise erzeugt das mindestens eine mit dem Radarsensor 202c assoziierte Datenverarbeitungssystem ein Bild, das die Grenzen eines physischen Objekts, die Oberflächen (z.B. die Topologie der Oberflächen) des physischen Objekts und/oder dergleichen darstellt. In einigen Beispielen wird das Bild dazu verwendet, die Grenzen der physischen Objekte im Sichtfeld der Radarsensoren 202c zu bestimmen.
Die Mikrofone 202d beinhalten mindestens eine Vorrichtung, die so ausgelegt ist, dass sie über einen Bus (z.B. einen Bus, der dem Bus 302 in 3 gleicht oder ähnelt) mit der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder der Sicherheitssteuereinheit 202g in Kommunikation steht. Die Mikrofone 202d beinhalten ein oder mehrere Mikrofone (z.B. Array-Mikrofone, externe Mikrofone und/oder dergleichen), die Audiosignale erfassen und Daten erzeugen, die mit den Audiosignalen assoziiert sind (z.B. repräsentieren). In einigen Beispielen umfassen die Mikrofone 202d Wandlervorrichtungen und/oder ähnliche Vorrichtungen. In einigen Ausführungsformen können ein oder mehrere vorliegend beschriebene Systeme die von den Mikrofonen 202d erzeugten Daten empfangen und eine Position eines Objekts relativ zum Fahrzeug 200 (z.B. eine Entfernung und/oder dergleichen) auf Grundlage der mit den Daten assoziierten Audiosignale bestimmen.
Die Kommunikationsvorrichtung 202e beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, dem AV-Computer 202f, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. Beispielsweise kann die Kommunikationsvorrichtung 202e eine Vorrichtung beinhalten, die der Kommunikationsschnittstelle 314 aus 3 gleicht oder ähnlich ist. In einigen Ausführungsformen beinhaltet die Kommunikationsvorrichtung 202e eine Fahrzeug-zu-Fahrzeug- (V2V-) Kommunikationsvorrichtung (z.B. eine Vorrichtung, die eine drahtlose Kommunikation von Daten zwischen Fahrzeugen ermöglicht).
Der AV-Computer 202f beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, der Sicherheitssteuereinheit 202g und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet der AV-Computer 202f eine Vorrichtung wie etwa eine Client-Vorrichtung, eine mobile Vorrichtung (z.B. ein Mobiltelefon, ein Tablet und/oder dergleichen), einen Server (z.B. eine Rechenvorrichtung, die eine oder mehrere Zentralverarbeitungseinheiten, Grafikverarbeitungseinheiten und/oder dergleichen beinhaltet) und/oder dergleichen. In einigen Ausführungsformen gleicht oder ähnelt der AV-Computer 202f dem vorliegend beschriebenen AV-Computer 400. Zusätzlich oder alternativ ist in einigen Ausführungsformen der AV-Computer 202f so ausgelegt, dass er mit einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 aus 1 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einer V21-Einrichtung (z.B. einer V21-Einrichtung, die der V2I-Einrichtung 110 aus 1 gleicht oder ähnelt), und/oder einem V21-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) in Kommunikation steht.
Die Sicherheitssteuereinheit 202g beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit den Kameras 202a, den LiDAR-Sensoren 202b, den Radarsensoren 202c, den Mikrofonen 202d, der Kommunikationsvorrichtung 202e, dem AV-Computer 202f und/oder dem DBW-System 202h in Kommunikation steht. In einigen Beispielen beinhaltet die Sicherheitssteuereinheit 202g eine oder mehrere Steuereinheiten (elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so ausgelegt sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. In einigen Ausführungsformen ist die Sicherheitssteuereinheit 202g dazu ausgelegt, Steuersignale zu erzeugen, die gegenüber Steuersignalen Vorrang haben (z.B. überschreiben), die durch den AV-Computer 202f erzeugt und/oder übertragen werden.
Das DBW-System 202h beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie mit der Kommunikationsvorrichtung 202e und/oder dem AV-Computer 202f in Kommunikation steht. In einigen Beispielen beinhaltet das DBW-System 202h eine oder mehrere Steuereinheiten (z.B. elektrische Steuereinheiten, elektromechanische Steuereinheiten und/oder dergleichen), die so ausgelegt sind, dass sie Steuersignale erzeugen und/oder übertragen, um eine oder mehrere Vorrichtungen des Fahrzeugs 200 (z.B. das Antriebsstrangsteuersystem 204, das Lenkungssteuersystem 206, das Bremssystem 208 und/oder dergleichen) zu betreiben. Zusätzlich oder alternativ sind die eine oder die mehreren Steuereinheiten des DBW-Systems 202h so ausgelegt, dass sie Steuersignale erzeugen und/oder übertragen, um mindestens eine andere Vorrichtung (z.B. einen Blinker, Scheinwerfer, Türschlösser, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 zu betreiben.
Das Antriebsstrangsteuersystem 204 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, sich in Kommunikation mit dem DBW-System 202h zu befinden. In einigen Beispielen beinhaltet das Antriebsstrangsteuersystem 204 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen empfängt das Antriebsstrangsteuersystem 204 Steuersignale aus dem DBW-System 202h, und das Antriebsstrangsteuersystem 204 veranlasst das Fahrzeug 200, sich vorwärts zu bewegen, die Vorwärtsbewegung zu stoppen, eine Rückwärtsbewegung zu starten, die Rückwärtsbewegung zu stoppen, in eine Richtung zu beschleunigen, in eine Richtung zu verzögern, eine Linkskurve, eine Rechtskurve und/oder dergleichen durchzuführen. In einem Beispiel bewirkt das Antriebsstrangsteuersystem 204, dass die einem Motor des Fahrzeugs bereitgestellte Energie (z.B. Kraftstoff, Elektrizität und/oder dergleichen) zunimmt, gleich bleibt oder abnimmt, wodurch bewirkt wird, dass sich mindestens ein Rad des Fahrzeugs 200 dreht oder nicht dreht.
Das Lenkungssteuersystem 206 beinhaltet mindestens eine Vorrichtung, die so ausgelegt ist, dass sie ein oder mehrere Räder des Fahrzeugs 200 dreht. In einigen Beispielen beinhaltet das Lenkungssteuersystem 206 mindestens eine Steuereinheit, einen Aktuator und/oder dergleichen. In einigen Ausführungsformen veranlasst das Lenkungssteuersystem 206 die beiden vorderen Räder und/oder die beiden hinteren Räder des Fahrzeugs 200, sich nach links oder rechts zu drehen, um das Fahrzeug 200 nach links oder rechts zu lenken.
Das Bremssystem 208 beinhaltet mindestens eine Vorrichtung, die dazu ausgelegt ist, eine oder mehrere Bremsen zu betätigen, um zu bewirken, dass das Fahrzeug 200 die Geschwindigkeit reduziert und/oder stationär bleibt. In einigen Beispielen beinhaltet das Bremssystem 208 mindestens eine Steuereinheit und/oder einen Aktuator, der so ausgelegt ist, dass er einen oder mehrere Bremssättel, die einem oder mehreren Rädern des Fahrzeugs 200 zugeordnet sind, veranlasst, sich an einem entsprechenden Rotor des Fahrzeugs 200 zu schließen. Zusätzlich oder alternativ beinhaltet das Bremssystem 208 in einigen Beispielen ein automatisches Notbrems- (automatic emergency braking, AEB-) System, ein regeneratives Bremssystem und/oder dergleichen.
In einigen Ausführungsformen beinhaltet das Fahrzeug 200 mindestens einen (nicht explizit dargestellten) Plattformsensor, der Eigenschaften eines Zustands oder einer Bedingung des Fahrzeugs 200 misst oder ableitet. In einigen Beispielen beinhaltet das Fahrzeug 200 Plattformsensoren wie einen GPS- (Global Positioning System) Empfänger, eine Trägheitsmesseinheit (inertial measurement unit, IMU), einen Raddrehzahlsensor, einen Radbremsdrucksensor, einen Raddrehmomentsensor, einen Motordrehmomentsensor, einen Lenkwinkelsensor und/oder dergleichen.
3 zeigt eine schematische Darstellung einer Vorrichtung 300. Wie dargestellt, beinhaltet die Vorrichtung 300 einen Prozessor 304, einen Speicher 306, eine Speicherkomponente 308, eine Eingabeschnittstelle 310, eine Ausgabeschnittstelle 312, eine Kommunikationsschnittstelle 314 und einen Bus 302. In einigen Ausführungsformen entspricht die Vorrichtung 300 mindestens einer Vorrichtung der Fahrzeuge 102 (z.B. mindestens einer Vorrichtung eines Systems der Fahrzeuge 102) und/oder einer oder mehreren Vorrichtungen des Netzwerks 112 (z.B. einer oder mehreren Vorrichtungen eines Systems des Netzwerks 112). In einigen Ausführungsformen beinhalten eine oder mehrere Vorrichtungen der Fahrzeuge 102 (z.B. eine oder mehrere Vorrichtungen eines Systems der Fahrzeuge 102) und/oder eine oder mehrere Vorrichtungen des Netzwerks 112 (z.B. eine oder mehrere Vorrichtungen eines Systems des Netzwerks 112) mindestens eine Vorrichtung 300 und/oder mindestens eine Komponente der Vorrichtung 300. Wie in 3 gezeigt, beinhaltet die Vorrichtung 300 den Bus 302, den Prozessor 304, den Speicher 306, die Speicherkomponente 308, die Eingabeschnittstelle 310, die Ausgabeschnittstelle 312 und die Kommunikationsschnittstelle 314.
Der Bus 302 beinhaltet eine Komponente, die eine Kommunikation zwischen den Komponenten der Vorrichtung 300 ermöglicht. In einigen Ausführungsformen ist der Prozessor 304 in Hardware, Software oder einer Kombination aus Hardware und Software implementiert. In einigen Beispielen beinhaltet der Prozessor 304 einen Prozessor (z.B. eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine beschleunigte Verarbeitungseinheit (APU) und/oder dergleichen), ein Mikrofon, einen digitalen Signalprozessor (DSP) und/oder eine beliebige Verarbeitungskomponente (z.B. ein frei programmierbares Gate-Array (FPGA), eine anwendungsspezifische integrierte Schaltung (ASIC) und/oder dergleichen), die programmiert werden kann, um mindestens eine Funktion auszuführen. Der Speicher 306 beinhaltet Direktzugriffsspeicher (RAM), Nur-Lese-Speicher (ROM) und/oder eine andere Art von dynamischer und/oder statischer Speichervorrichtung (z.B. Flash-Speicher, magnetischer Speicher, optischer Speicher und/oder dergleichen), die Daten und/oder Anweisungen zur Verwendung durch den Prozessor 304 speichert.
Die Speicherkomponente 308 speichert Daten und/oder Software im Zusammenhang mit dem Betrieb und der Verwendung der Vorrichtung 300. In einigen Beispielen beinhaltet die Speicherkomponente 308 eine Festplatte (z.B. eine Magnetplatte, eine optische Platte, eine magneto-optische Platte, eine Solid-State-Platte und/oder dergleichen), eine Compact Disc (CD), eine Digital Versatile Disc (DVD), eine Diskette, eine Kassette, ein Magnetband, eine CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM und/oder eine andere Art von computerlesbarem Medium zusammen mit einem entsprechenden Laufwerk.
Die Eingabeschnittstelle 310 beinhaltet eine Komponente, die es der Einrichtung 300 ermöglicht, Informationen zu empfangen, z.B. über Benutzereingaben (z.B. eine Touchscreen-Anzeige, eine Tastatur, ein Tastenfeld, eine Maus, eine Taste, einen Schalter, ein Mikrofon, eine Kamera und/oder dergleichen). Zusätzlich oder alternativ beinhaltet die Eingabeschnittstelle 310 in einigen Ausführungsformen einen Sensor, der Informationen erfasst (z.B. einen GPS- (Global Positioning System) Empfänger, einen Beschleunigungsmesser, ein Gyroskop, einen Aktuator und/oder dergleichen). Die Ausgabeschnittstelle 312 beinhaltet eine Komponente, die Ausgabeinformationen von der Vorrichtung 300 bereitstellt (z.B. eine Anzeige, einen Lautsprecher, eine oder mehrere Leuchtdioden (LEDs) und/oder dergleichen).
In einigen Ausführungsformen beinhaltet die Kommunikationsschnittstelle 314 eine Sendeempfänger-ähnliche Komponente (z.B. einen Sendeempfänger, einen separaten Empfänger und Sender und/oder dergleichen), die es der Vorrichtung 300 ermöglicht, mit anderen Vorrichtungen über eine drahtgebundene Verbindung, eine drahtlose Verbindung oder eine Kombination aus drahtgebundenen und drahtlosen Verbindungen zu kommunizieren. In einigen Beispielen ermöglicht die Kommunikationsschnittstelle 314 der Vorrichtung 300, Informationen von einer anderen Vorrichtung zu empfangen und/oder einer anderen Vorrichtung Informationen bereitzustellen. In einigen Beispielen beinhaltet die Kommunikationsschnittstelle 314 eine Ethernet-Schnittstelle, eine optische Schnittstelle, eine Koaxialschnittstelle, eine Infrarotschnittstelle, eine Hochfrequenz- (radio frequency, RF-) Schnittstelle, eine USB- (Universal Serial Bus) Schnittstelle, eine Wi-Fi®-Schnittstelle, eine Zellularnetzwerkschnittstelle und/oder dergleichen.
In einigen Ausführungsformen führt die Vorrichtung 300 einen oder mehrere der vorliegend beschriebenen Prozesse durch. Die Vorrichtung 300 führt diese Prozesse basierend darauf durch, dass der Prozessor 304 Softwareanweisungen ausführt, die durch ein computerlesbares Medium gespeichert werden, wie etwa den Speicher 305 und/oder die Speicherkomponente 308. Ein computerlesbares Medium (z.B. ein nichtflüchtiges computerlesbares Medium) ist vorliegend als nichtflüchtige Speichervorrichtung definiert. Ein nichtflüchtiger Speicher umfasst Speicherplatz, der sich in einer einzelnen physischen Speichervorrichtung befindet, oder Speicherplatz, der über mehrere physische Speichervorrichtungen verteilt ist.
In einigen Ausführungsformen werden Softwareanweisungen von einem anderen computerlesbaren Medium oder von einer anderen Vorrichtung über die Kommunikationsschnittstelle 314 in den Speicher 306 und/oder die Speicherkomponente 308 eingelesen. Bei ihrer Ausführung bewirken die im Speicher 306 und/oder in der Speicherkomponente 308 gespeicherten Softwareanweisungen, dass der Prozessor 304 einen oder mehrere vorliegend beschriebene Prozesse durchführt. Zusätzlich oder alternativ werden festverdrahtete Schaltungsanordnungen anstelle von oder in Kombination mit Softwareanweisungen verwendet, um einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. Somit sind vorliegend beschriebene Ausführungsformen nicht auf eine bestimmte Kombination von Hardware-Schalttechnik und Software beschränkt, sofern nicht ausdrücklich anders angegeben.
Der Speicher 306 und/oder die Speicherkomponente 308 beinhalten einen Datenspeicher oder mindestens eine Datenstruktur (z.B. eine Datenbank und/oder dergleichen). Die Einrichtung 300 ist in der Lage, Informationen aus dem Datenspeicher oder der mindestens einen Datenstruktur im Speicher 306 oder der Speicherkomponente 308 zu empfangen, darin zu speichern, Informationen an diese zu übermitteln oder in diesen gespeicherte Informationen zu suchen. In einigen Beispielen beinhalten die Informationen Netzwerkdaten, Eingabedaten, Ausgabedaten oder eine beliebige Kombination aus diesen.
In einigen Ausführungsformen ist die Vorrichtung 300 so ausgelegt, dass sie Softwareanweisungen ausführt, die entweder im Speicher 306 und/oder im Speicher einer anderen Vorrichtung (z.B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) gespeichert sind. Vorliegend bezieht sich die Bezeichnung „Modul“ auf mindestens eine im Speicher 306 und/oder im Speicher einer anderen Vorrichtung gespeicherte Anweisung, die bei Ausführung durch den Prozessor 304 und/oder durch einen Prozessor einer anderen Vorrichtung (z.B. einer anderen Vorrichtung, die der Vorrichtung 300 gleicht oder ähnelt) die Vorrichtung 300 (z.B. mindestens eine Komponente der Vorrichtung 300) veranlasst, einen oder mehrere vorliegend beschriebene Prozesse durchzuführen. In einigen Ausführungsformen wird ein Modul in Software, Firmware, Hardware und/oder dergleichen implementiert.
Die Anzahl und Anordnung der in 3 dargestellten Komponenten ist lediglich beispielhaft. In einigen Ausführungsformen kann die Vorrichtung 300 zusätzliche Komponenten, weniger Komponenten, andere Komponenten oder anders angeordnete Komponenten als in 3 dargestellt enthalten. Zusätzlich oder alternativ kann ein Satz von Komponenten (z.B. eine oder mehrere Komponenten) der Vorrichtung 300 eine oder mehrere Funktionen durchführen, die als durch eine andere Komponente oder einen anderen Satz von Komponenten der Vorrichtung 300 durchgeführt beschrieben werden.
4 veranschaulicht ein beispielhaftes Blockschaubild eines AV-Computers 400 (manchmal auch als „AV-Stapel“ (AV stack) bezeichnet). Wie veranschaulicht ist, beinhaltet der AV-Computer 400 ein Wahrnehmungssystem 402 (manchmal als Wahrnehmungsmodul bezeichnet), ein Planungssystem 404 (manchmal als Planungsmodul bezeichnet), ein Lokalisierungssystem 406 (manchmal als Lokalisierungsmodul bezeichnet), ein Steuersystem 408 (manchmal als Steuermodul bezeichnet) und eine Datenbank 410. In einigen Ausführungsformen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem autonomen Navigationssystem eines Fahrzeugs (z.B. dem AV-Computer 202f des Fahrzeugs 200) enthalten und/oder implementiert. Zusätzlich oder alternativ sind in einigen Ausführungsformen das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten (z.B. einem oder mehreren Systemen, die dem AV-Computer 400 gleichen oder ähneln, und/oder dergleichen). In einigen Beispielen sind das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406, das Steuersystem 408 und die Datenbank 410 in einem oder mehreren eigenständigen Systemen enthalten, die sich in einem Fahrzeug und/oder in mindestens einem entfernt angeordneten System wie vorliegend beschrieben befinden. In einigen Ausführungsformen werden beliebige und/oder alle der im AV-Computer 400 enthaltenen Systeme in Software (z.B. in Softwareanweisungen, die im Speicher gespeichert sind), Computerhardware (z.B. durch Mikroprozessoren, Mikrocontroller, anwendungsspezifische integrierte Schaltungen [ASICs], feldprogrammierbare Gate-Arrays (FPGAs) und/oder dergleichen) oder Kombinationen von Computersoftware und Computerhardware implementiert. Es versteht sich zudem, dass in einigen Ausführungsformen der AV-Computer 400 so ausgelegt ist, dass er mit einem entfernt angeordneten System kommuniziert (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt, einem Fuhrparkverwaltungssystem 116, das dem Fuhrparkverwaltungssystem 116 gleicht oder ähnelt, einem V21-System, das dem V2I-System 118 gleicht oder ähnelt, und/oder dergleichen).
In einigen Ausführungsformen empfängt das Wahrnehmungssystem 402 Daten im Zusammenhang mit mindestens einem physischen Objekt (z.B. Daten, die vom Wahrnehmungssystem 402 zur Erkennung des mindestens einen physischen Objekts verwendet werden) in einer Umgebung und klassifiziert das mindestens eine physische Objekt. In einigen Beispielen empfängt das Wahrnehmungssystem 402 Bilddaten, die von mindestens einer Kamera (z.B. den Kameras 202a) aufgenommen wurden, wobei das Bild mit einem oder mehreren physischen Objekten in einem Sichtfeld der mindestens einen Kamera assoziiert ist (z.B. diese darstellt). In einem solchen Beispiel klassifiziert das Wahrnehmungssystem 402 mindestens ein physisches Objekt basierend auf einer oder mehreren Gruppierungen physischer Objekte (z.B. Fahrräder, Fahrzeuge, Verkehrsschilder, Fußgänger und/oder dergleichen). In einigen Ausführungsformen überträgt das Wahrnehmungssystem 402 Daten, die mit der Klassifizierung der physischen Objekte assoziiert sind, an das Planungssystem 404 auf Grundlage des Klassifizierens der physischen Objekte durch das Wahrnehmungssystem 402.
In einigen Ausführungsformen empfängt das Planungssystem 404 Daten, die mit einem Zielort assoziiert sind, und erzeugt Daten, die mit mindestens einer Route (z.B. den Routen 106) assoziiert sind, entlang derer ein Fahrzeug (z.B. die Fahrzeuge 102) zu einem Zielort fahren kann. In einigen Ausführungsformen empfängt das Planungssystem 404 periodisch oder kontinuierlich Daten vom Wahrnehmungssystem 402 (z.B. Daten, die mit der vorstehend beschriebenen Klassifizierung physischer Objekte zusammenhängen), und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Wahrnehmungssystem 402 erzeugten Daten. In einigen Ausführungsformen empfängt das Planungssystem 404 Daten im Zusammenhang mit einer aktualisierten Position eines Fahrzeugs (z.B. der Fahrzeuge 102) vom Lokalisierungssystem 406, und das Planungssystem 404 aktualisiert die mindestens eine Trajektorie oder erzeugt mindestens eine andere Trajektorie auf Grundlage der vom Lokalisierungssystem 406 erzeugten Daten.
In einigen Ausführungsformen empfängt das Lokalisierungssystem 406 Daten, die mit einem Standort eines Fahrzeugs (z.B. der Fahrzeuge 102) in einem Bereich assoziiert sind (z.B. diesen darstellen). In einigen Beispielen empfängt das Lokalisierungssystem 406 LiDAR-Daten im Zusammenhang mit mindestens einer Punktwolke, die von mindestens einem LiDAR-Sensor (z.B. den LiDAR-Sensoren 202b) erzeugt wurden. In bestimmten Beispielen empfängt das Lokalisierungsmodul 406 Daten, die mit mindestens einer Punktwolke von mehreren LiDAR-Sensoren assoziiert sind, und das Lokalisierungsmodul 406 erzeugt eine kombinierte Punktwolke basierend auf jeder der Punktwolken. In diesen Beispielen vergleicht das Lokalisierungsmodul 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit einer in der Datenbank 410 gespeicherten zweidimensionalen (2D-) und/oder einer dreidimensionalen (3D-) Karte des Bereichs. Das Lokalisierungssystem 406 bestimmt dann die Position des Fahrzeugs in dem Bereich basierend darauf, dass das System 406 die mindestens eine Punktwolke oder die kombinierte Punktwolke mit der Karte vergleicht. In einigen Ausführungsformen beinhaltet die Karte eine kombinierte Punktwolke des Bereichs, die vor der Navigation des Fahrzeugs erzeugt wird. In einigen Ausführungsformen beinhalten Karten, ohne jedoch hierauf eingeschränkt zu sein, hochpräzise Karten der geometrischen Eigenschaften der Fahrbahn, Karten, die die Verbindungseigenschaften des Straßennetzes beschreiben, Karten, die physische Eigenschaften der Fahrbahn beschreiben (z.B. Verkehrsgeschwindigkeit, Verkehrsaufkommen, Anzahl der Fahrspuren für den Auto- und Radverkehr, Fahrspurbreite, Fahrspurrichtungen oder Fahrspurmarkierungstypen und -orte oder Kombinationen davon), sowie Karten, die die räumliche Lage von Straßenmerkmalen wie Fußgängerüberwegen, Verkehrsschildern oder anderen Verkehrssignalen verschiedener Arten beschreiben. In einigen Ausführungsformen wird die Karte in Echtzeit basierend auf den durch das Wahrnehmungssystem empfangenen Daten erstellt.
In einem anderen Beispiel empfängt das Lokalisierungssystem 406 Daten eines globalen Satellitennavigationssystems (GNSS), die durch einen Empfänger eines globalen Positionsbestimmungssystems (GPS) erzeugt werden. In einigen Beispielen empfängt das Lokalisierungssystem 406 GNSS-Daten im Zusammenhang mit dem Standort des Fahrzeugs in dem Bereich, und das Lokalisierungssystem 406 bestimmt einen Breitengrad und Längengrad des Fahrzeugs in dem Bereich. In einem solchen Beispiel bestimmt das Lokalisierungssystem 406 die Position des Fahrzeugs in dem Bereich basierend auf dem Breitengrad und dem Längengrad des Fahrzeugs. In einigen Ausführungsformen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind. In einigen Beispielen erzeugt das Lokalisierungssystem 406 Daten, die mit der Position des Fahrzeugs assoziiert sind, basierend darauf, dass das Lokalisierungssystem 406 die Position des Fahrzeugs bestimmt. In einem solchen Beispiel beinhalten die Daten, die mit der Position des Fahrzeugs assoziiert sind, Daten, die mit einer oder mehreren semantischen Eigenschaften entsprechend der Position des Fahrzeugs assoziiert sind.
In einigen Ausführungsformen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs. In einigen Beispielen empfängt das Steuersystem 408 Daten im Zusammenhang mit mindestens einer Trajektorie vom Planungssystem 404, und das Steuersystem 408 steuert den Betrieb des Fahrzeugs, indem es Steuersignale erzeugt und überträgt, um ein Antriebsstrangsteuersystem (z.B. das DBW-System 202h, das Antriebsstrangsteuersystem 204 und/oder dergleichen), ein Lenkungssteuersystem (z.B. das Lenkungssteuersystem 206) und/oder ein Bremssystem (z.B. das Bremssystem 208) in Betrieb zu setzen. In einem Beispiel, bei dem eine Trajektorie eine Linksabbiegung beinhaltet, überträgt das Steuersystem 408 ein Steuersignal, um zu bewirken, dass das Lenkungssteuersystem 206 einen Lenkwinkel des Fahrzeugs 200 anpasst, wodurch bewirkt wird, dass das Fahrzeug 200 nach links abbiegt. Zusätzlich oder alternativ erzeugt und überträgt das Steuersystem 408 Steuersignale, um zu bewirken, dass andere Vorrichtungen (z.B. Scheinwerfer, Blinker, Türverriegelungen, Scheibenwischer und/oder dergleichen) des Fahrzeugs 200 ihren Zustand ändern.
In einigen Ausführungsformen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell (z.B. mindestens ein mehrschichtiges Perzeptron (multilayer perceptron, MLP), mindestens ein neuronales Faltungsnetz (convolutional neural network, CNN), mindestens ein rekurrentes neuronales Netz (RNN), mindestens einen Autoencoder, mindestens einen Transformator und/oder dergleichen). In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell allein oder in Kombination mit einem oder mehreren der vorstehend genannten Systeme. In einigen Beispielen implementieren das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 mindestens ein maschinelles Lernmodell als Teil einer Pipeline (z.B. einer Pipeline zum Identifizieren eines oder mehrerer Objekte in einer Umgebung und/oder dergleichen).
In der Datenbank 410 werden Daten gespeichert, die an das Wahrnehmungssystem 402, das Planungssystem 404, das Lokalisierungssystem 406 und/oder das Steuersystem 408 übertragen, von diesen empfangen und/oder aktualisiert werden. In einigen Beispielen beinhaltet die Datenbank 410 eine Speicherkomponente (z.B. eine Speicherkomponente, die der Speicherkomponente 308 aus 3 gleicht oder ähnelt), die Daten und/oder Software im Zusammenhang mit dem Betrieb speichert und mindestens ein System des AV-Computers 400 verwendet. In einigen Ausführungsformen speichert die Datenbank 410 Daten, die mit 2D- und/oder 3D-Karten mindestens eines Bereichs assoziiert sind. In einigen Beispielen speichert die Datenbank 410 Daten im Zusammenhang mit 2D- und/oder 3D-Karten eines Teils einer Stadt, mehrerer Teile mehrerer Städte, mehrerer Städte, eines Bezirks, eines Bundesstaates, eines Staates (z.B. eines Landes) und/oder dergleichen. In einem solchen Beispiel kann ein Fahrzeug (z.B. ein Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt) entlang einer oder mehrerer befahrbarer Regionen (z.B. einspurige Straßen, mehrspurige Straßen, Autobahnen, Nebenstraßen, Geländepfade und/oder dergleichen) fahren und mindestens einen LiDAR-Sensor (z.B. einen LiDAR-Sensor, der den LiDAR-Sensoren 202b gleicht oder ähnelt) veranlassen, Daten im Zusammenhang mit einem Bild zu erzeugen, das die in einem Sichtfeld des mindestens einen LiDAR-Sensors enthaltenen Objekte darstellt.
In einigen Ausführungsformen kann die Datenbank 410 auf einer Vielzahl von Vorrichtungen implementiert werden. In einigen Beispielen ist die Datenbank 410 in einem Fahrzeug (z.B. einem Fahrzeug, das den Fahrzeugen 102 und/oder dem Fahrzeug 200 gleicht oder ähnelt), einem AV-System (z.B. einem AV-System, das dem entfernt angeordneten AV-System 114 gleicht oder ähnelt), einem Fuhrparkverwaltungssystem (z.B. einem Fuhrparkverwaltungssystem, das dem Fuhrparkverwaltungssystem 116 aus 1 gleicht oder ähnelt), einem V21-System (z.B. einem V21-System, das dem V21-System 118 aus 1 gleicht oder ähnelt) und/oder dergleichen enthalten.
Erzeugung des evidenzbasierten Beleuchtungsgitters
Wie bereits erwähnt, kann es für den sicheren und effektiven Betrieb von autonomen Fahrzeugen wichtig sein, dass diese Fahrzeuge ihre Umgebung programmatisch beurteilen können. Ein häufig genutzter Mechanismus zum Erfassen von Daten über eine solche Umgebung besteht im Aufnehmen von Kamerabildern. Ein Nachteil von Kamerabildern ist jedoch, dass es in der Regel schwierig ist, programmatisch zwischen den Teilen des Bildes zu unterscheiden, die ausreichend beleuchtet sind, um eine Umgebung zu erfassen, und denen, die es nicht sind. Ausführungsformen der vorliegenden Offenbarung beziehen sich daher auf die Erzeugung von evidenzbasierten Beleuchtungsbeurteilungen aus Kamerabildern, die angeben, ob Teile eines Bildes ausreichend beleuchtet sind, sowie eine mit diesen Beurteilungen assoziierte Unsicherheit. Wie vorliegend offenbart, kann eine aus einem Kamerabild erzeugte evidenzbasierte Beleuchtungsbeurteilung dann in eine physische Umgebung projiziert werden, z.B. durch Projizieren der Beleuchtungsbeurteilung auf eine 3D-Darstellung der Umgebung, die aus einer Tiefensensorabtastung (z.B. einer Lidar-Abtastung) erzeugt wurde. Das daraus resultierende evidenzbasierte Sichtbarkeitsgitter kann dann verwendet werden, um den sicheren und effektiven Betrieb eines autonomen Fahrzeugs zu erleichtern.
5 ist ein Blockdiagramm, das einen beispielhaften Betrieb eines Berechnungssystems für evidenzbasierte Sichtbarkeit veranschaulicht, um ein evidenzbasiertes Sichtbarkeitsgitter für einen physischen Raum anhand von Daten, die eine dreidimensionale Abtastung des Raums darstellen, und einer evidenzbasierten Beleuchtungsbeurteilung zu erzeugen, die aus einem Kamerabild des Raums erzeugt wird. Das evidenzbasierte Sichtbarkeitsgitter kann beispielsweise durch eine Vorrichtung 300 aus 3 implementiert werden. Die Vorrichtung 300 kann beispielsweise innerhalb eines Fahrzeugs 200 aus 2 installiert sein oder sich außerhalb eines solchen Fahrzeugs 200 befinden (z.B. in Kommunikation mit einem solchen Fahrzeug 200 über ein Netzwerk).
Wie in 5 dargestellt, erhält das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 als Eingabe ein Kamerabild 502, das eine Umgebung darstellt. Das Kamerabild 502 kann beispielsweise durch den Betrieb einer am Fahrzeug montierten Kamera aufgenommen werden. Die Kamera kann ein bekanntes Sichtfeld aufweisen (z.B. relativ zu anderen Sensoren am Fahrzeug), um eine Projektion von der Kamera aufgenommener Bilder auf Darstellungen anderer Sensoren zu erleichtern. Beispielsweise kann die Kamera ein bekanntes Sichtfeld aufweisen, das als horizontaler und vertikaler Bereich in Bezug auf ein 3D-Koordinatensystem um das Fahrzeug herum dargestellt wird.
In 5 verarbeitet das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 das Bild 502, um eine evidenzbasierte Beleuchtungsbeurteilung 504 des Bildes 502 zu erzeugen.
In einer Ausführungsform wandelt das System 500 das Bild 502 zunächst in ein Graustufenbild um, um die weitere Verarbeitung zu erleichtern. Handelt es sich bei dem Bild beispielsweise um ein Farbbild im RGB-Farbraum, kann das Bild in den Lab-Farbraum umgewandelt werden, und die Helligkeits- (I-) Werte dieses umgewandelten Bildes können als Graustufenbild verwendet werden.
In einer anderen Ausführungsform erzeugt das System 500 aus dem Bild eine Transmissionskarte, mit der versucht wird, die Lichtmenge abzuschätzen, die nicht von einem Objekt gestreut wird und das Kameraobjektiv erreicht, und verwendet die Transmissionskarte als Graustufeneingabe. Ein Mechanismus zur Erzeugung einer Transmissionskarte wird in „Nighttime low illumination image enhancement with single image using bright/dark channel prior“ (Bildverbesserung bei schlechten Lichtverhältnissen bei Nacht mit Einzelbildern unter Verwendung von A-priori-Hell/Dunkel-Kanälen) von Shi et al., EURASIP Journal on Image and Video Processing Band 2018, Artikel Nr. 13 (2018) („Shi“) beschrieben. Beispielsweise beschreibt Shi (z.B. in Abschnitt 4.3), wie sowohl Hell- als auch Dunkelkanäle eines Bildes (die die maximale bzw. minimale Intensität der Pixel in einem lokalen Flächenstück (patch) darstellen) zur Erzeugung einer Transmissionskarte verwendet werden können. Ein weiterer Mechanismus besteht darin, eine Transmissionskarte aus einem hellen Kanal eines RGB-Bildes zu erzeugen, wobei der helle Kanal wie folgt definiert ist: $I^{b r i g h t} (x) = m a x_{c \in {r, g, b}} m a x_{y \in W (x)} (I^{c} (y))$
wobei:

x ein gegebenes Pixel in dem Bild ist;
I^c ein Farbkanal von I ist;
r, g und b die jeweiligen RGB-Werte des Pixels sind und
W(x) ein um das Pixel x zentriertes Fenster mit einer einstellbaren Fenstergröße (z.B. mit Breite und Höhe 9, 11, 13 usw.) ist.

Die Transmissionskarte kann dann berechnet werden als $t^{b r i g h t} (x) = \frac{I^{b r i g h t} (x) - A^{c}}{255 - A^{c}}$
wobei A^c der Maximalwert unter Komponentenwerten für atmosphärisches Licht A im Bild ist, der beispielsweise als Mittelwert der r-, g- und b-Werte für die oberen 10 % der hellsten Pixel im Bild (z.B. gemäß den Helligkeitswerten der Pixel) berechnet werden kann.
In einigen Ausführungsformen kann die Transmissionskarte weiter angepasst werden. Um z.B. ein mögliches Vorhandensein von Lichtquellen in einem Bild zu berücksichtigen, können die Werte einer Transmissionskarte in bestimmten Bereichen interpoliert werden. Die konkrete Interpolation kann empirisch bestimmt werden; in einer Ausführungsform werden jedoch acht Bit-Werte von 32-255 in den Bereich 32-100 interpoliert, während Werte von 0-32 unverändert bleiben, um eine Transmissionskarte mit Werten im Bereich von 0-100 zu erhalten.
Es können auch zusätzliche oder alternative Mechanismen verwendet werden, um eine Transmissionskarte zu erzeugen. Zum Beispiel kann ein maschinelles Lernmodell (wie ein tiefes neuronales Netz) verwendet werden, um eine Transmissionskarte zu erzeugen. Ein maschinelles Lernmodell kann beispielsweise auf Grundlage eines Trainingsdatensatzes trainiert werden, der sowohl Eingabebilder als auch entsprechende Transmissionskarten enthält, um ein trainiertes Modell zu erstellen, das als Eingabe ein Eingabebild nimmt und als Ausgabe eine entsprechende Transmissionskarte liefert. In einer Ausführungsform ist das maschinelle Lernmodell ein Generative Adversarial Network (GAN), das zwei Teilnetze beinhaltet: einen Generator zur Erzeugung von Transmissionskarten und einen Unterscheider zur Unterscheidung zwischen ML-generierten Karten und einer tatsächlichen Transmissionskarte, die einer zur Erzeugung der ML-generierten Karten verwendeten Eingabe entspricht. Eine Beispielimplementierung für die Verwendung eines maschinellen Lernmodells zur Erstellung von Transmissionskarten ist in H. Zhang, V. Sindagi und V. M. Patel, „Joint Transmission Map Estimation and Dehazing Using Deep Networks" (Gemeinsames Schätzen von Transmissionskarten und Dehazing anhand tiefer Netze), in IEEE Transactions on Circuits and Systems for Video Technology, Bd. 30, Nr. 7, Abs. 1975-1986, Juli 2020, doi: 10.1109/TCSVT.2019.2912145.
Sobald ein Graustufenbild (z.B. entsprechend I-Werten im Lab-Farbraum, einer Transmissionskarte usw.) erhalten wurde, kann das System 500 einen Unsicherheitswert für jedes Pixel im Bild berechnen, der einer Unsicherheit entspricht, ob das Pixel gut beleuchtet ist. Um die Berechnung der Unsicherheitswerte zu erleichtern, kann das System 500 zunächst einen Intensitätsschwellenwert berechnen, der mutmaßlich gut beleuchtete Pixel von mutmaßlich nicht gut beleuchteten Pixeln unterscheidet. In einer Ausführungsform wird der Schwellenwert gemäß einem automatischen Schwellenwertalgorithmus berechnet, beispielsweise dem Verfahren nach Otsu. Danach kann das System 500 einen Unsicherheitswert für jedes Pixel berechnen, indem es einen Wert des Pixels in Graustufendarstellung mit dem Intensitätsschwellenwert vergleicht. So können beispielsweise Pixel mit Werten in der Graustufendarstellung, die nahe dem oder am Schwellenwert liegen, mit einem hohen Unsicherheitswert gekennzeichnet werden, während Pixel mit Werten, die weiter vom Schwellenwert entfernt sind, mit niedrigeren Unsicherheitswerten gekennzeichnet werden. In einer Ausführungsform werden die Werte berechnet als: $U = N^{\frac{- | I - O_{S c h w e l l e n w e r t} |}{λ * s t d_{b / f}}}$
wobei:

U der Unsicherheitswert eines Pixels ist;
N und A abstimmbare Parameter (z.B. 2 bzw. 0,5) sind;
I der Wert für das Pixel im Graustufenbild ist;
O_{Schwellenwert} der Intensitätsschwellenwert ist; und
std_b/f die Standardabweichung von Werten unterhalb bzw. oberhalb des Schwellenwerts ist (wobei z.B. std_b, die Standardabweichung von Werten unterhalb des Schwellenwerts, für Pixel unterhalb des Schwellenwerts verwendet wird, und std_f, die Standardabweichung von Werten oberhalb des Schwellenwerts, für Pixel oberhalb des Schwellenwerts verwendet wird).

Die sich daraus ergebende Matrix aus Unsicherheitswerten kann anschließend ganz oder teilweise für die evidenzbasierte Beleuchtungsbeurteilung 504 verwendet werden, wobei eine Unsicherheit bezüglich jedes Pixels im Kamerabild 502 angegeben wird.
Darüber hinaus können aus der Matrix der Unsicherheitswerte evidenzbasierte Matrizen erstellt werden, die sowohl Evidenz für eine gute Beleuchtung als auch Evidenz für eine nicht gute Beleuchtung angeben. Zum Beispiel kann die Evidenz, dass ein Pixel gut beleuchtet ist, für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf einen Wert von 1 minus U gesetzt werden. Ebenso kann die Evidenz, dass ein Pixel nicht gut beleuchtet ist, für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf einen Wert von 1 minus U gesetzt werden. Somit kann die evidenzbasierte Beleuchtungsbeurteilung 504 ferner evidenzbasierte Karten für Bestimmungen guter Beleuchtung, Bestimmungen schlechter Beleuchtung oder für beides erzeugen.
Die gemäß vorliegenden Ausführungsformen erzeugten Evidenzwerte können z.B. Überzeugungsgrade gemäß der Dempster-Shafer-Theorie, auch bekannt als Theorie der Überzeugungsfunktionen (theory of belief functions), darstellen. Dementsprechend können diese mathematischen Darstellungen der Unsicherheit gemäß Funktionen der Dempster-Shafer-Theorie manipuliert und für weitere Überlegungen herangezogen werden. In einigen Ausführungsformen können z.B. mehrere Gitter eines bestimmten Bereichs (die z.B. auf Grundlage verschiedener Bilder des Bereichs erzeugt wurden) gemäß der Kombinationsregel nach Dempster kombiniert werden.
Nachdem das System 500 eine evidenzbasierte Beleuchtungsbeurteilung 504 erzeugt hat, kann es diese Beurteilung in einen physischen Raum projizieren, so dass das System 500 die Sichtbarkeit von Punkten in diesem Raum und eine entsprechende Unsicherheit dieser Sichtbarkeit genau bestimmen kann. Um die Projektion zu erleichtern, kann das System 500 eine 3D-Umgebungsdarstellung 506 erhalten, die Daten entspricht, die eine im Kamerabild 502 dargestellte Umgebung repräsentieren. Die 3D-Umgebungsdarstellung 506 kann beispielsweise eine Punktwolke sein, die aus einer Abtastung des Bereichs mit einem Lidar-Sensor oder einem anderen Tiefensensor erzeugt wurde. Die Kamera, die zur Erstellung des Kamerabildes 502 verwendet wird, und der Sensor, der zur Erfassung von Daten verwendet wird, die der 3D-Umgebungsdarstellung entsprechen, können auf Grundlage einer vorherigen Kalibrierung dieser Sensoren eine bekannte Entsprechung aufweisen. Beispielsweise können Daten, die von dem Sensor erzeugt werden, der zur Erfassung von Daten verwendet wird, die der 3D-Umgebungsdarstellung entsprechen, als Koordinatensystem dargestellt werden, und das Sichtfeld der Kamera, die das Bild 502 erzeugt, kann einen bekannten Bereich in diesem Koordinatensystem aufweisen (z.B. als bekannter Punkt, horizontaler Winkel und vertikaler Winkel). Dementsprechend kann das System 500 eine Ausrichtung 508 implementieren, um die Pixel wie in der evidenzbasierten Beleuchtungsbeurteilung 504 dargestellt auf die 3D-Umgebungsdarstellung 506 zu projizieren. Als Ergebnis einer solchen Ausrichtung 508 liefert das System 500 ein evidenzbasiertes Sichtbarkeitsgitter 510, das evidenzbasierte Werte darüber liefert, ob Punkte innerhalb der 3D-Umgebungsdarstellung 506 gut beleuchtet sind. In einer Ausführungsform werden die Unsicherheitswerte auf die 3D-Umgebungsdarstellung 506 projiziert, um das Gitter 510 zu erzeugen. In einer anderen Ausführungsform werden eine oder mehrere der evidenzbasierten Karten für Bestimmungen, dass die Umgebung gut beleuchtet ist, oder für Bestimmungen, dass sie nicht gut beleuchtet ist, auf die 3D-Umgebungsdarstellung 506 projiziert, um das Gitter 510 zu erzeugen. In weiteren Ausführungsformen werden mehrere Gitter 510 erzeugt, von denen jedes eine Projektion entweder einer Karte mit Unsicherheitswerten, einer Karte für Bestimmungen guter Beleuchtung oder einer Karte für Bestimmungen schlechter Beleuchtung darstellt.
Zur weiteren Veranschaulichung der Vorgänge aus 5 zeigt 6 Beispielbilder, die von dem Berechnungssystem 500 für evidenzbasierte Sichtbarkeit während der beispielhaften Vorgänge in 5 erzeugt werden. Konkret handelt es sich bei dem Bild 602 um ein beispielhaftes Kamerabild 502. Wie in 6 zu sehen ist, handelt es sich bei dem Bild 602 um ein Farbbild, das eine Fahrbahn bei Nacht erfasst. Ausführungsformen der vorliegenden Offenbarung eignen sich besonders für den Betrieb bei schlechten Lichtverhältnissen, wie z.B. bei Nacht oder bei trübem Wetter, da sich das Navigieren bei diesen Bedingungen, insbesondere auf Grundlage von Kameradaten, als schwierig erweisen kann.
Wie vorstehend erwähnt, kann die Erzeugung einer evidenzbasierten Beleuchtungsbeurteilung zumindest teilweise auf einem Intensitätsschwellenwert beruhen, der aus einer Graustufendarstellung des Bildes berechnet wird. Bei der Graustufendarstellung kann es sich zum Beispiel um Helligkeitswerte aus einer Darstellung des Bildes im Lab-Farbraum handeln. Als weiteres Beispiel kann es sich bei der Graustufendarstellung um Werte einer Transmissionskarte für das Bild handeln. In 6 wird der Intensitätsschwellenwert als binarisiertes Bild 604 visualisiert, das sich aus der Anwendung eines Intensitätsschwellenwertes auf das Originalbild 602 ergibt. In 6 ergibt sich das binarisierte Bild 604 aus der Anwendung des Verfahrens nach Otsu auf das Bild 602, um einen Schwellenwert zu erhalten, wobei alle Pixel des Bildes 602, die den Schwellenwert erfüllen, als positiv und alle übrigen Pixel als negativ eingestuft werden. Wie in 6 zu sehen ist, werden hellere Teile des Bildes 602 im binarisierten Bild 604 generell auf positive Werte gesetzt, während dunklere Teile des Bildes 602 generell auf negative Werte gesetzt werden. Das binarisierte Bild 604 gibt jedoch keinen Aufschluss über die Unsicherheit einzelner Pixel, d.h. Pixel, die der Straßenlaterne entsprechen und zweifellos gut beleuchtet sind, werden im binarisierten Bild 604 mit Pixeln am Rand der Beleuchtung der Lampe gleichgesetzt, deren Beleuchtung fraglicher ist.
Um diese Ungewissheit zu quantisieren, kann ein Berechnungssystem für evidenzbasierte Sichtbarkeit 500 die vorstehend genannten Prozesse auf Grundlage des im binarisierten Bild 604 visualisierten Schwellenwerts auf das Bild 602 anwenden, um evidenzbasierte Beleuchtungsbeurteilungen 606-610 zu erstellen. Insbesondere kann das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 einen Unsicherheitswert für jedes Pixel im Bild 602 berechnen, indem es den Wert der Graustufendarstellung des Bildes 602 (z.B. eine Transmissionskarte, Helligkeitswerte usw.) mit dem Intensitätsschwellenwert vergleicht. In einer Ausführungsform berechnet das System 500 den Unsicherheitswert gemäß der vorstehenden Gleichung (3). Als Ergebnis erzeugt das System 500 ein Bild 606, das Unsicherheitswerte für das Bild 602 zeigt, die eine Unsicherheit wiedergeben, ob einzelne Pixel gut beleuchtet sind oder nicht. Wie in 6 zu sehen ist, sind die Pixel, die die Straßenlaterne direkt darstellen, im Bild 606 dunkel, was auf eine geringe Unsicherheit (hohe Sicherheit) hinweist, dass die Pixel gut beleuchtet sind. Ebenso sind die Pixel, die den dunklen Himmel darstellen, im Bild 606 dunkel, was auf eine geringe Unsicherheit (hohe Sicherheit) hinweist, dass die Pixel nicht gut beleuchtet sind. Pixel zwischen diesen beiden Punkten - z.B. am Rande der Straßenlaterne - werden jedoch im Bild 606 als Licht dargestellt. Dies deutet darauf hin, dass eine erhebliche Unsicherheit darüber besteht, ob diese Pixel gut beleuchtet sind.
Zusätzlich zu einer Unsicherheitsmatrix wie dem Bild 606 kann das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 Unsicherheitswerte für Pixel des Bildes verwenden, um evidenzbasierte Matrizen sowohl für gute Beleuchtung als auch für schlechte Beleuchtung zu generieren, die in 6 als Bilder 608 und 610 dargestellt sind. Konkret zeigt Bild 608 ein Bild, in dem Pixelwerte für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf einen Wert von 1 minus U gesetzt sind. Das Bild 608 visualisiert somit eine Gewichtung einer Evidenz, dass ein einzelnes Pixel in dem Bild 602 gut beleuchtet ist. Umgekehrt zeigt Bild 610 ein Bild, in dem Pixelwerte für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf einen Wert von 1 minus U gesetzt sind. Das Bild 610 visualisiert somit eine Gewichtung einer Evidenz, dass ein einzelnes Pixel in dem Bild 602 nicht gut beleuchtet ist. Matrizen, die den Bildern 606-610 entsprechen, die einzeln oder gemeinsam als evidenzbasierte Beleuchtungsbeurteilungen betrachtet werden können, können dann verwendet werden, um ein evidenzbasiertes Beleuchtungsgitter für einen physischen Bereich zu erzeugen, wie vorstehend beschrieben.
Unter Bezugnahme auf 7 wird eine beispielhafte Routine 700 zum Identifizieren einer Sichtbarkeit von Standorten im physischen Raum auf Grundlage einer evidenzbasierten Beleuchtungsbeurteilung beschrieben. Die Routine 700 kann beispielsweise durch das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 aus 5 implementiert werden.
Die Routine 700 beginnt in Block 702, wo das Berechnungssystem für evidenzbasierte Sicherheit 500 ein Eingabebild erhält. Das Eingabebild entspricht beispielsweise Daten, die von einer Kamera erzeugt werden, die Informationen über einen physischen Raum erfasst, wie beispielsweise einen physischen Raum, der ein autonomes Fahrzeug umgibt. Der physische Raum kann eine ungleichmäßige Beleuchtung beinhalten, z.B. weil es sich um einen Raum im Freien bei Nacht handelt, der Trübungen, Nebel oder dergleichen enthält. Dementsprechend kann es schwierig sein, programmatisch zwischen gut beleuchteten und nicht gut beleuchteten Bereichen im Bild zu unterscheiden. So kann es beispielsweise schwierig sein, programmatisch zwischen einem gut beleuchteten schwarzen Straßenpflaster und einem nicht gut beleuchteten schwarzen Straßenpflaster zu unterscheiden, da sich beide in einem Bild im Wesentlichen ähneln können. Dementsprechend kann die Routine 700 verwendet werden, um evidenzbasierte Werte für das Bild zu erzeugen, die eine Unsicherheit angeben, ob jeder Teil des Bildes gut beleuchtet ist. Darüber hinaus können diese Werte in eine Darstellung des physischen Raums projiziert werden, z. B. in eine Darstellung, die auf Grundlage einer dreidimensionalen Abtastung des physischen Raums erstellt wurde, um sichere Navigation in dem Raum zu erleichtern.
Dementsprechend berechnet das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 in Block 704 einen Intensitätsschwellenwert für das Bild, der mutmaßlich gut beleuchtete Bereiche im Bild von mutmaßlich nicht gut beleuchteten Bereichen unterscheidet. Um die Berechnung des Intensitätsschwellenwerts zu erleichtern, kann das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 das Bild in Graustufen umwandeln. In einer Ausführungsform beinhaltet die Umwandlung in Graustufen ein Umwandeln des Bildes von einem aktuellen Farbraum (z.B. dem RGB-Farbraum) in den Lab-Farbraum (auch als CIELAB-Farbraum oder L*a*b-Farbraum bezeichnet) und Verwenden der I-Werte des Farbraums (die eine wahrgenommene Helligkeit darstellen) als Graustufenbild. In einer anderen Ausführungsform beinhaltet die Umwandlung in Graustufen die Erzeugung einer Transmissionskarte für das Bild. Wie vorstehend erwähnt, kann eine Transmissionskarte auf verschiedene Weise erzeugt werden. Zum Beispiel kann eine Transmissionskarte mithilfe der vorstehenden Gleichung 2 unter Verwendung eines für ein Bild berechneten hellen Kanals erzeugt werden. Als weiteres Beispiel kann eine Transmissionskarte auf Grundlage eines dunklen Kanals eines Bildes, unabhängig oder in Kombination mit einem hellen Kanal, erzeugt werden. Als weiteres Beispiel kann eine Transmissionskarte über ein maschinelles Lernmodell, beispielsweise über ein tiefes neuronales Netz, erzeugt werden.
Danach kann der Intensitätsschwellenwert für das (z.B. in Graustufen umgewandelte) Bild auf Grundlage eines automatischen Schwellenwertalgorithmus berechnet werden. Ein Beispiel für einen solchen Algorithmus ist das Verfahren nach Otsu; es können jedoch auch andere automatische Schwellenwertalgorithmen verwendet werden.
Wie vorstehend beschrieben, unterteilt der Intensitätsschwellenwert ein Bild beispielsweise in mutmaßlich gut beleuchtete und mutmaßlich nicht gut beleuchtete Bereiche, so dass Pixel mit relevanten Werten, die den Schwellenwert erfüllen, mutmaßlich gut beleuchtet sind, und Pixel mit Werten, die den Schwellenwert nicht erfüllen, mutmaßlich nicht gut beleuchtet sind. Diese binäre Bestimmung bietet jedoch keine mathematische Darstellung der Sicherheit dieser Bestimmung. Um eine solche Darstellung bereitzustellen, erzeugt das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 in Block 706 eine evidenzbasierte Sichtbarkeitsbeurteilung für das Bild. Allgemein beschrieben, kann die Beurteilung einzelnen Teilen (z.B. Pixeln) des Bildes Unsicherheitswerte zuweisen, die eine Gesamtunsicherheit für eine Klassifizierung des Teils als gut beleuchtet oder nicht gut beleuchtet, eine Sicherheit für eine Klassifizierung des Teils als gut beleuchtet oder eine Sicherheit für eine Klassifizierung des Teils als nicht gut beleuchtet darstellen. Beispielhafte Visualisierungen dieser Werte sind in 6 als Bilder 606, 608 bzw. 610 zu sehen. In einigen Fällen kann das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 mehrere Unsicherheitswerte für jedes Pixel erzeugen (z.B. die Werte des Pixels in jedem der Bilder 606, 608 und 610). In einer Ausführungsform wird die Gesamtunsicherheit für ein Pixel auf Grundlage einer Differenz zwischen dem Wert des Pixels und dem Intensitätsschwellenwert berechnet. Darüber hinaus kann der Gesamtunsicherheitswert für ein Pixel auf einer Standardabweichung von Pixelwerten innerhalb des Bildes beruhen, beispielsweise einer Standardabweichung von Werten, die mutmaßlich gut beleuchtet sind, einer Standardabweichung von Werten, die mutmaßlich nicht gut beleuchtet sind, oder einer Standardabweichung aller Pixelwerte. Beispielsweise wird der Gesamtunsicherheitswert gemäß der vorstehenden Gleichung 3 berechnet. Danach können aus den Gesamtunsicherheitswerten Werte für die Sicherheit zur Klassifizierung des Teils als gut beleuchtet und für die Sicherheit zur Klassifizierung des Teils als nicht gut beleuchtet berechnet werden. Zum Beispiel können die Sicherheitswerte, dass ein Pixel gut beleuchtet ist, für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf einen Wert von 1 minus U gesetzt werden. Ebenso können die Sicherheitswerte, dass ein Pixel nicht gut beleuchtet ist, für jedes Pixel, das den Intensitätsschwellenwert erfüllt, auf 0 und für jedes Pixel, das den Intensitätsschwellenwert nicht erfüllt, auf einen Wert von 1 minus U gesetzt werden. Die Bezeichnung „Unsicherheitswert“ wird vorliegend im weiteren Sinne verwendet und umfasst auch Sicherheitswerte, da es sich bei diesen Werten um mathematische Komplemente handelt. Dementsprechend sollte die Berechnung von Sicherheitswerten als eine Berechnung der Unsicherheit verstanden werden. Jeder Satz von Unsicherheitswerten kann vorliegend zusammenfassend als evidenzbasierte Sichtbarkeitsbeurteilung bezeichnet werden, die eine Unsicherheit angibt, ob einzelne Teile des Bildes gut beleuchtet sind (oder nicht).
In Block 708 erhält das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 dreidimensionale Daten über einen im Eingabebild gezeigten physischen Raum. Die dreidimensionalen Daten sind beispielsweise repräsentativ für Daten, die während einer Tiefenerkennungsabtastung, z.B. durch eine Lidar-Abtastung des Bereichs, erfasst wurden. Die dreidimensionalen Daten können beispielsweise durch den Betrieb eines Lidar-Sensors an einem autonomen Fahrzeug erfasst werden, das zudem über eine Kamera verfügt, die das Eingabebild aufgenommen hat. In 7 weisen das Eingabebild und die 3D-Daten eine bekannte Entsprechung auf, die beispielsweise während einer vorherigen Kalibrierung der Sensoren, die die jeweiligen Daten erfassen, erzeugt worden sein kann. Beispielsweise kann die Kamera, die das Eingabebild aufnimmt, ein bekanntes Sichtfeld aufweisen, das als horizontaler Bereich und vertikaler Bereich in Bezug auf ein 3D-Koordinatensystem um das Fahrzeug herum dargestellt wird, und die 3D-Daten können in Bezug auf dieses Koordinatensystem erfasst werden.
Dementsprechend projiziert das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 in Block 710 die Unsicherheitswerte in der evidenzbasierten Sichtbarkeitsbeurteilung auf den physischen Raum, wie er in den 3D-Umgebungsdaten dargestellt ist. Die 3D-Umgebungsdaten können beispielsweise eine erkannte Fläche (z.B. eine Fahrbahn) anzeigen, und die Projektion kann Projizieren von Unsicherheitswerten aus der evidenzbasierten Sichtbarkeitsbeurteilung auf die erkannte Fläche beinhalten. In einer Ausführungsform unterteilt das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 die Fläche in ein Gitter (z.B. ein zweidimensionales Gitter aus X- und Y-Werten, wobei jede Position zudem einen Höhenwert enthält, der die im physischen Raum erkannte Fläche angibt) und assoziiert einzelne Teile des Gitters mit Werten aus der evidenzbasierten Sichtbarkeitsbeurteilung. Bei den Werten kann es sich beispielsweise um Gesamtunsicherheitswerte, um Werte, die anzeigen, dass der Teil gut beleuchtet ist, um Werte, die anzeigen, dass der Teil nicht gut beleuchtet ist, oder um eine Kombination davon handeln.
Danach kann in Block 712 das Berechnungssystem 500 für evidenzbasierte Sichtbarkeit die Sichtbarkeit im physischen Raum anhand der projizierten Werte identifizieren. Wenn das Berechnungssystem für evidenzbasierte Sichtbarkeit 500 beispielsweise in einem autonomen Fahrzeug enthalten ist, kann das Fahrzeug Entscheidungen bezüglich der Navigation im physischen Raum auf Grundlage der projizierten Sicherheitswerte treffen. Beispielsweise kann sich das Fahrzeug entscheiden, in Räume mit hohen Unsicherheitswerten langsamer einzufahren (da der Raum möglicherweise unbeleuchtete Hindernisse enthält) als in Räume mit niedrigeren Unsicherheitswerten. Als weiteres Beispiel kann sich, wenn ein Fahrzeug Beleuchtungsvorrichtungen beinhaltet, das Fahrzeug entscheiden, diese Vorrichtungen auf Räume mit höheren Unsicherheitswerten zu richten. So kann das Fahrzeug beispielsweise seine Scheinwerfer oder andere Beleuchtungsvorrichtungen bewegen, um Räume mit hohen Unsicherheitswerten zu beleuchten. Das Fahrzeug kann dann ein zweites Bild des Bereichs aufnehmen und neue Unsicherheitswerte für den Bereich erzeugen, z.B. durch eine weitere Implementierung der Routine 700. In einigen Ausführungsformen können die projizierten Unsicherheitswerte an verschiedene Komponenten eines autonomen Fahrzeugs weitergegeben werden, damit sie in mit diesen Komponenten assoziierten Funktionen verwendet werden können. Beispielsweise können die projizierten Unsicherheitswerte an ein Planungssystem, wie das Planungssystem 404 aus 4, zur Verwendung bei der Planung des Betriebs eines autonomen Fahrzeugs weitergeleitet werden. In einigen Ausführungsformen können die projizierten Unsicherheitswerte kombiniert oder verwendet werden, um andere Datenelemente mit Kommentierungen zu versehen. Zum Beispiel können die projizierten Unsicherheitswerte zur Kommentierung von Belegungs- oder Okklusionskarten verwendet oder mit diesen verschmolzen werden, so dass das Planungssystem 404 die Beleuchtungsunsicherheits- oder die Evidenzwerte bei der Verwendung solcher Karten berücksichtigen kann. Eine solche Verschmelzung oder Kommentierung kann besonders geeignet sein, wenn Belegungs- oder Okklusionskarten von bildbasierten Sensoren wie z.B. Kameras erzeugt werden. Wenn beispielsweise eine von einer Kamera erstellte Belegungskarte anzeigt, dass ein bestimmter Bereich nicht belegt ist, projizierte Unsicherheitswerte aber darauf hindeuten, dass sich der Standort in einem unsicheren oder nicht gut beleuchteten Zustand befindet, kann ein Planungssystem die Werte der Belegungskarte für diesen Bereich unberücksichtigt lassen. In einigen Fällen können projizierte Unsicherheitswerte und andere Werte innerhalb einer Karte nach mathematischen evidenzbasierten Kombinationsregeln kombiniert werden, beispielsweise gemäß der Kombinationsregel nach Dempster oder Jaeger. Wenngleich vorliegend Beispiele mit Bezug auf Belegungs- oder Okklusionskarten gegeben werden, können die projizierten Unsicherheitswerte auf jede beliebige Art von Karten angewendet werden. So kann zum Beispiel eine Straßengitterkarte, auf der die Standorte von Straßen verzeichnet sind, mit projizierten Unsicherheitswerten ergänzt werden, so dass ein autonomes Fahrzeug die Unsicherheitsgrade für den Zustand bestimmter Straßen bestimmen kann (z.B. eine Sicherheit, ob eine bestimmte Straße frei von Hindernissen ist, wenn keine erkannt werden und die Straße als gut beleuchtet erachtet wird).
Darüber hinaus können in einigen Fällen Unsicherheitswerte verwendet werden, um eine Kombination von Daten von mehreren Sensoren zu steuern. So kann beispielsweise ein bestimmter Datensatz (z.B. eine Belegungskarte, Standortdaten usw.) aus einer Kombination von Daten mehrerer Sensoren erzeugt werden. Wenn zumindest einige dieser Sensoren bildbasiert und beleuchtungsabhängig sind, können Unsicherheitswerte verwendet werden, um zu steuern, wie diese Sensordaten mit anderen Sensordaten kombiniert werden. Beim Kombinieren von Kameradaten und Lidar-Daten können beispielsweise Kameradaten unberücksichtigt bleiben, wenn die Unsicherheit der Daten hoch ist oder wenn starke Evidenz vorliegt, dass die Daten einen nicht gut beleuchteten Bereich abbilden. In einigen Ausführungsformen können Kameradaten und andere Daten gemäß Unsicherheitswerten für die Kameradaten verschmolzen werden. Beispielsweise kann die Gewichtung von Kameradaten bei der Verschmelzung gemäß einem Unsicherheitswert angepasst werden (z.B. ergibt eine Unsicherheit von Null eine volle Gewichtung und eine hundertprozentige Unsicherheit eine Nullgewichtung). Dementsprechend können die Unsicherheitswerte eine genauere Kombination von Informationen mehrerer Sensoren gewährleisten.
Dementsprechend kann die Implementierung der Routine 700 einen sichereren und effektiveren Betrieb von autonomen Fahrzeugen erleichtern, indem sie einen programmatischen Umgang mit Unsicherheiten in Bezug auf Bilder eines physischen Raums ermöglicht.
In der vorstehenden Beschreibung wurden Aspekte und Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf zahlreiche konkrete Einzelheiten beschrieben, die von Implementierung zu Implementierung variieren können. Dementsprechend sind die Beschreibung und die Zeichnungen als veranschaulichend anstatt beschränkend aufzufassen. Der alleinige und exklusive Indikator des Schutzumfangs der Erfindung, und was durch die Anmelder als der Schutzumfang der Erfindung beabsichtigt wird, ist der wörtliche und äquivalente Schutzumfang des Satzes von Ansprüchen, der sich aus dieser Anmeldung ergibt, in der spezifischen Form, in der solche Ansprüche sich ergeben, einschließlich jeglicher anschließender Korrektur. Alle vorliegend ausdrücklich festgelegten Definitionen von Bezeichnungen, die in solchen Ansprüchen enthalten sind, gelten für die Bedeutung der in den Ansprüchen verwendeten Bezeichnungen. Wenn in der vorstehenden Beschreibung oder in den nachstehenden Ansprüchen der Ausdruck „ferner umfassend“ verwendet wird, kann das, was auf diesen Satz folgt, ein zusätzlicher Schritt oder eine zusätzliche Entität oder ein Unterschritt/eine Unterentität eines zuvor erwähnten Schritts oder einer zuvor erwähnten Entität sein.
Verschiedene beispielhafte Ausführungsformen der Offenbarung können durch die folgenden Klauseln beschrieben werden:

Clause 1. Computerimplementiertes Verfahren, implementiert durch einen oder mehrere Prozessoren, umfassend:
- durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen;
- durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet;
- durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen;
- durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen;
- durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und
- durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Clause 2. Computerimplementiertes Verfahren nach Klausel 1, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Clause 3. Computerimplementiertes Verfahren nach Klausel 2, wobei es sich bei den mit den Sichtbarkeitswerten assoziierten Unsicherheitsangaben um Angaben einer Evidenz einer guten Beleuchtung und/oder um Angaben einer Evidenz einer schlechten Beleuchtung und/oder um Unsicherheitsangaben im Zusammenhang mit einer Bestimmung einer guten Beleuchtung oder einer schlechten Beleuchtung handelt.
Clause 4. Computerimplementiertes Verfahren nach einer der Klauseln 1 bis 3, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Clause 5. Computerimplementiertes Verfahren nach Klausel 4, wobei es sich bei dem automatischen Schwellenwertalgorithmus um das Verfahren nach Otsu handelt.
Clause 6. Computerimplementiertes Verfahren nach einer der Klauseln 1 bis 5, wobei das Erzeugen der evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf einer Standardabweichung von Werten für zumindest einen Teilsatz von Pixeln innerhalb der ersten Daten basiert.
Clause 7. Computerimplementiertes Verfahren nach einer der Klauseln 1 bis 6, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten Umwandeln der ersten Daten in Graustufen umfasst.
Clause 8. Computerimplementiertes Verfahren nach Klausel 7, wobei das Umwandeln der ersten Daten in Graustufen Umwandeln der ersten Daten in Werte innerhalb des Lab-Farbraums und Erzeugen eines Graustufenbildes auf Grundlage von I-Werten innerhalb des Lab-Farbraums umfasst.
Clause 9. Computerimplementiertes Verfahren nach Klausel 7, wobei das Umwandeln der ersten Daten in Graustufen Erzeugen einer Transmissionskarte für die ersten Daten umfasst.
Clause 10. Computerimplementiertes Verfahren nach Klausel 9, wobei das Erzeugen einer Transmissionskarte für die ersten Daten Erzeugen der Transmissionskarte aus einem hellen Kanal für die ersten Daten und/oder einem dunklen Kanal für die ersten Daten umfasst.
Clause 11. Computerimplementiertes Verfahren nach Klausel 9, wobei das Erzeugen einer Transmissionskarte für die ersten Daten Erzeugen der Transmissionskarte auf Grundlage eines Leitens der ersten Daten durch ein maschinelles Lernmodell eines neuronalen Netzes umfasst.
Clause 12. Computerimplementiertes Verfahren nach einer der Klauseln 1 bis 11, wobei die zweiten Daten auf Grundlage einer Lidar-Abtastung des physischen Raums erzeugt werden.
Clause 13. Rechenvorrichtung, umfassend:
- einen Datenspeicher, der computerausführbare Anweisungen speichert; und
- einen oder mehrere Prozessoren, die dazu ausgelegt sind, die computerausführbaren Anweisungen auszuführen, wobei eine Ausführung der computerausführbaren Anweisungen die Rechenvorrichtung zu Folgendem veranlasst:
  - durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen;
  - durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet;
  - durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen;
  - durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen;
  - durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und
  - durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Clause 14. Rechenvorrichtung nach Klausel 13, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Clause 15. Rechenvorrichtung nach einer der Klauseln 13 und 14, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Clause 16. Rechenvorrichtung nach Klausel 15, wobei das Umwandeln der ersten Daten in Graustufen Erzeugen einer Transmissionskarte für die ersten Daten umfasst.
Clause 17. Ein oder mehrere nichtflüchtige computerlesbare Medien, die computerausführbare Anweisungen speichern, die bei Ausführung durch ein Rechensystem, das einen oder mehrere Prozessoren umfasst, das Rechensystem zu Folgendem veranlassen:
- durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet;
- durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen;
- durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen;
- durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und
- durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Clause 18. Ein oder mehrere nichtflüchtige computerlesbare Medien nach Klausel 17, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Clause 19. Ein oder mehrere nichtflüchtige computerlesbare Medien nach einer der Klauseln 17 und 18, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Clause 20. Ein oder mehrere nichtflüchtige computerlesbare Medien nach einer der Klauseln 17 bis 19, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten Umwandeln der ersten Daten in Graustufen umfasst.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

V. M. Patel, „Joint Transmission Map Estimation and Dehazing Using Deep Networks“ (Gemeinsames Schätzen von Transmissionskarten und Dehazing anhand tiefer Netze), in IEEE Transactions on Circuits and Systems for Video Technology, Bd. 30, Nr. 7, Abs. 1975-1986 [0068]

Claims

Computerimplementiertes Verfahren, implementiert durch einen oder mehrere Prozessoren, umfassend: durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet; durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen; durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Computerimplementiertes Verfahren nach Anspruch 1, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Computerimplementiertes Verfahren nach Anspruch 2, wobei es sich bei den mit den Sichtbarkeitswerten assoziierten Unsicherheitsangaben um Angaben einer Evidenz einer guten Beleuchtung und/oder um Angaben einer Evidenz einer schlechten Beleuchtung und/oder um Unsicherheitsangaben im Zusammenhang mit einer Bestimmung einer guten Beleuchtung oder einer schlechten Beleuchtung handelt.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 3, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Computerimplementiertes Verfahren nach Anspruch 4, wobei es sich bei dem automatischen Schwellenwertalgorithmus um das Verfahren nach Otsu handelt.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, wobei das Erzeugen der evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf einer Standardabweichung von Werten für zumindest einen Teilsatz von Pixeln innerhalb der ersten Daten basiert.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 6, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten Umwandeln der ersten Daten in Graustufen umfasst.
Computerimplementiertes Verfahren nach Anspruch 7, wobei das Umwandeln der ersten Daten in Graustufen Umwandeln der ersten Daten in Werte innerhalb des Lab-Farbraums und Erzeugen eines Graustufenbildes auf Grundlage von I-Werten innerhalb des Lab-Farbraums umfasst.
Computerimplementiertes Verfahren nach Anspruch 7, wobei das Umwandeln der ersten Daten in Graustufen Erzeugen einer Transmissionskarte für die ersten Daten umfasst.
Computerimplementiertes Verfahren nach Anspruch 9, wobei das Erzeugen einer Transmissionskarte für die ersten Daten Erzeugen der Transmissionskarte aus einem hellen Kanal für die ersten Daten und/oder einem dunklen Kanal für die ersten Daten umfasst.
Computerimplementiertes Verfahren nach Anspruch 9, wobei das Erzeugen einer Transmissionskarte für die ersten Daten Erzeugen der Transmissionskarte auf Grundlage eines Leitens der ersten Daten durch ein maschinelles Lernmodell eines neuronalen Netzes umfasst.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 11, wobei die zweiten Daten auf Grundlage einer Lidar-Abtastung des physischen Raums erzeugt werden.
Rechenvorrichtung, umfassend: einen Datenspeicher, der computerausführbare Anweisungen speichert; und einen oder mehrere Prozessoren, die dazu ausgelegt sind, die computerausführbaren Anweisungen auszuführen, wobei eine Ausführung der computerausführbaren Anweisungen die Rechenvorrichtung zu Folgendem veranlasst: durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet; durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen; durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Rechenvorrichtung nach Anspruch 13, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Rechenvorrichtung nach einem der Ansprüche 13 und 14, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Rechenvorrichtung nach Anspruch 15, wobei das Umwandeln der ersten Daten in Graustufen Erzeugen einer Transmissionskarte für die ersten Daten umfasst.
Ein oder mehrere nichtflüchtige computerlesbare Medien, die computerausführbare Anweisungen speichern, die bei Ausführung durch ein Rechensystem, das einen oder mehrere Prozessoren umfasst, das Rechensystem zu Folgendem veranlassen: durch den einen oder die mehreren Prozessoren erfolgendes Empfangen erster Daten, die einem von einer Kamera aufgenommenen Bild eines physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren erfolgendes Berechnen eines Intensitätsschwellenwerts für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet; durch den einen oder die mehreren Prozessoren erfolgendes Erzeugen einer evidenzbasierten Beleuchtungskarte für das Bild zumindest teilweise auf Grundlage eines Vergleichs zwischen einem Wert jedes Pixels in den ersten Daten mit einem Intensitätsschwellenwert, wobei die evidenzbasierte Beleuchtungskarte eine Unsicherheit anzeigt, dass ein oder mehrere Pixel des Bildes einen gut beleuchteten Bereich darstellen; durch den einen oder die mehreren Prozessoren erfolgendes Erhalten zweiter Daten, die einer dreidimensionalen Darstellung des physischen Raums entsprechen; durch den einen oder die mehreren Prozessoren unter Verwendung der zweiten Daten erfolgendes Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum; und durch den einen oder die mehreren Prozessoren erfolgendes Identifizieren einer Sichtbarkeit einer oder mehrerer Positionen im physischen Raum auf Grundlage der Projektion der evidenzbasierten Beleuchtungskarte auf den physischen Raum.
Ein oder mehrere nichtflüchtige computerlesbare Medien nach Anspruch 17, wobei das Projizieren der evidenzbasierten Beleuchtungskarte auf den physischen Raum ein Gitter erzeugt, das Positionen innerhalb eines Koordinatensystems mit Sichtbarkeitswerten und Angaben zur Unsicherheit in Verbindung mit den Sichtbarkeitswerten assoziiert.
Ein oder mehrere nichtflüchtige computerlesbare Medien nach einem der Ansprüche 17 und 18, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten, der gut beleuchtete Pixel innerhalb der ersten Daten von nicht gut beleuchteten Pixeln innerhalb der ersten Daten unterscheidet, Anwenden eines automatischen Schwellenwertalgorithmus auf die ersten Daten umfasst.
Ein oder mehrere nichtflüchtige computerlesbare Medien nach einem der Ansprüche 17 bis 19, wobei das Berechnen des Intensitätsschwellenwertes für die ersten Daten Umwandeln der ersten Daten in Graustufen umfasst.