DE102022128884A1

DE102022128884A1 - Sensoroptimierung

Info

Publication number: DE102022128884A1
Application number: DE102022128884.6A
Authority: DE
Inventors: Helen E. Kourous-Harrigan; William Thomas Buller; Jeremy Graham; Susan Janiszewski; Colin Brooks
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2021-11-04
Filing date: 2022-11-01
Publication date: 2023-05-04
Also published as: CN116070341A; US20230138084A1

Abstract

Ein dreidimensionales Gittermodell einer Verkehrsszene kann auf Grundlage von Gitterelementen bestimmt werden. Es können Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells bestimmt werden, die Prioritätsregionen und verdeckten Gitterelementen entsprechen. Eine Gitterabdeckung für jeweilige stationäre Sensoren kann auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels bestimmt werden. Eine Matrix kann auf Grundlage der Gitterabdeckung der Vielzahl von stationären Sensoren bestimmt werden. Ein optimaler Teilsatz von stationären Sensoren kann auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Kosten, die der Vielzahl von stationären Sensoren entsprechen, bestimmt werden, um das Verhältnis der Gitterabdeckung zu den Kosten auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren.

Description

TECHNISCHES GEBIET
Die Offenbarung betrifft ein Sensorsystem in Fahrzeugen.
ALLGEMEINER STAND DER TECHNIK
Daten können durch Sensoren erlangt und unter Verwendung eines Computers verarbeitet werden, um Daten bezüglich Objekten in einer Umgebung zu bestimmen. Der Betrieb eines Erfassungssystems kann Erlangen genauer und aktueller Daten bezüglich Objekten in der Umgebung des Systems beinhalten. Ein Computer kann Daten, d. h. Bilder, Lidar-Punktwolken oder Radar-Bereichsdaten, von einem oder mehreren Sensoren erlangen, die verarbeitet werden können, um Standorte von Objekten zu bestimmen. Objektstandortdaten, die aus Sensordaten extrahiert werden, können von einem Computer verwendet werden, um Systeme zu betreiben, was Fahrzeuge, Roboter, Sicherheit und Objektnachverfolgungssysteme beinhaltet.
KURZDARSTELLUNG
Gemäß der vorliegenden Erfindung ist ein Computer bereitgestellt, der Folgendes aufweist: einen Prozessor; und einen Speicher, wobei der Speicher Anweisungen beinhaltet, die durch den Prozessor zu Folgendem ausführbar sind: Bestimmen eines dreidimensionalen Gittermodells einer Verkehrsszene auf Grundlage von Gitterelementen; Bestimmen von Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells, die Prioritätsregionen und verdeckten Gitterelementen entsprechen; Bestimmen einer Gitterabdeckung für jeweilige einer Vielzahl von stationären Sensoren auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels; Bestimmen einer Matrix auf Grundlage der Gitterabdeckung der Vielzahl von stationären Sensoren; und Bestimmen eines optimalen Teilsatzes von stationären Sensoren auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Vielzahl von stationären Sensoren, um ein Verhältnis der Gitterabdeckung zu einer Anzahl stationärer Sensoren auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen des dreidimensionalen Gittermodells durch Unterteilen einer Karte, welche die Verkehrsszene beinhaltet, in ein rechteckiges Array aus zusammenhängenden Gitterelementen und Bestimmen einer Höhe für jeweilige der Gitterelemente.
Gemäß einer Ausführungsform werden die Höhen auf Grundlage von einem oder mehreren von Satellitenlidardaten oder luftgestützten Lidardaten bestimmt.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen der verdeckten Gitterelemente durch Simulieren von Sichtfeldern auf Grundlage von simulierten Sensoren, die in einem simulierten Fahrzeug beinhaltet sind, während sich das simulierte Fahrzeug durch eine simulierte Verkehrsszene bewegt, die simulierten Verkehr beinhaltet.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen der verdeckten Gitterelemente auf Grundlage des simulierten Verkehrs, der typischem Verkehr entspricht, der zu einer oder mehreren unterschiedlichen Tageszeiten beobachtet wird.
Gemäß einer Ausführungsform beinhalten die Prioritätsregionen eines oder mehrere von einem Fußgängerweg, einer Ladezone und einer Bushaltestelle.
Gemäß einer Ausführungsform ist die Vielzahl von stationären Sensoren entsprechend an einem oder mehreren von einem Mast, einem Gebäude oder einer Struktur montiert, sodass Sichtfelder der Vielzahl von stationären Sensoren Abschnitte der Verkehrsszene beinhalten.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen der Gitterabdeckung für jeweilige der Vielzahl von stationären Sensoren auf Grundlage einer Sichtbarkeitsanalyse von den jeweiligen stationären Sensoren zu den Gitterelementen des dreidimensionalen Gittermodells.
Gemäß einer Ausführungsform beinhaltet die Matrix eine K-x-N-Inzidenzmatrix, die K Reihen, die K Konfigurationen stationärer Sensoren entsprechen, und N Spalten beinhaltet, die den Gitterelementen entsprechen, die in der Gitterabdeckung der jeweiligen K Konfigurationen stationärer Sensoren beinhaltet sind.
Gemäß einer Ausführungsform maximiert die Greedy-Suche eine Zielfunktion $max_{k} (\sum_{n}^{N} M_{k n})$
über die K Konfigurationen stationärer Sensoren, um den optimalen Teilsatz von stationären Sensoren zu bestimmen.
Gemäß einer Ausführungsform ist die Zielfunktion M_kn = B_kn⊙(C_k ⊗ W_n), wobei B_kn die Inzidenzmatrix ist, C_k eine K-x-1-Kostenmatrix ist, W_n die Gewichtungen sind, die auf die jeweiligen Gitterelemente angewendet werden, ⊙ ein Hadamard-Produkt ist und ⊗ ein äußeres Produkt ist.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Herunterladen von Daten zu stationären Sensoren von dem optimalen Teilsatz von stationären Sensoren auf einen zweiten Computer, der in einem Fahrzeug beinhaltet ist.
Gemäß einer Ausführungsform beinhalten die Daten zu stationären Sensoren Metadaten, wie etwa Begrenzungsrahmen auf Grundlage von Objekten, die in den Daten zu stationären Sensoren beinhaltet sind.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Bestimmen eines Fahrzeugpfades auf Grundlage der Sensordaten.
Gemäß einer Ausführungsform beinhalten die Anweisungen ferner Anweisungen zum Betreiben des Fahrzeugs auf dem Fahrzeugpfad durch Steuern eines Fahrzeugantriebsstrang, einer Fahrzeuglenkung und von Fahrzeugbremsen.
Gemäß der vorliegenden Erfindung beinhaltet ein Verfahren Folgendes: Bestimmen eines dreidimensionalen Gittermodells einer Verkehrsszene auf Grundlage von Gitterelementen; Bestimmen von Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells, die Prioritätsregionen und verdeckten Gitterelementen entsprechen; Bestimmen einer Gitterabdeckung für jeweilige einer Vielzahl von stationären Sensoren auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels; Bestimmen einer Matrix auf Grundlage der Gitterabdeckung der Vielzahl von stationären Sensoren; und Bestimmen eines optimalen Teilsatzes von stationären Sensoren auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Vielzahl von stationären Sensoren, um ein Verhältnis der Gitterabdeckung zu einer Anzahl stationärer Sensoren auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen des dreidimensionalen Gittermodells durch Unterteilen einer Karte, welche die Verkehrsszene beinhaltet, in ein rechteckiges Array aus zusammenhängenden Gitterelementen und Bestimmen einer Höhe für jeweilige der Gitterelemente.
In einem Aspekt der Erfindung werden die Höhen auf Grundlage von einem oder mehreren von Satellitenlidardaten oder luftgestützten Lidardaten bestimmt.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der verdeckten Gitterelemente durch Simulieren von Sichtfeldern auf Grundlage von simulierten Sensoren, die in einem simulierten Fahrzeug beinhaltet sind, während sich das simulierte Fahrzeug durch eine simulierte Verkehrsszene bewegt, die simulierten Verkehr beinhaltet.
In einem Aspekt der Erfindung beinhaltet das Verfahren Bestimmen der verdeckten Gitterelemente auf Grundlage des simulierten Verkehrs, der typischem Verkehr entspricht, der zu einer oder mehreren unterschiedlichen Tageszeiten beobachtet wird.
Figurenliste

1 ist ein Blockdiagramm eines beispielhaften Verkehrsinfrastruktursystems.
2 ist ein Diagramm eines beispielhaften Bilds einer Verkehrsszene.
3 ist ein Diagramm einer beispielhaften Verkehrsszene, die Sichtfelder beinhaltet.
4 ist ein Diagramm einer beispielhaften Verkehrsszene, die kombinierte Sichtfelder beinhaltet.
5 ist ein Diagramm einer beispielhaften Verkehrsszene, die Gitterelemente beinhaltet.
6 ist ein Diagramm einer beispielhaften Seitenansicht eines Gittermodells.
7 ist ein Diagramm eines beispielhaften Gittermodells, das Prioritätsbereiche beinhaltet.
8 ist ein Diagramm eines beispielhaften Gittermodells, das verdeckte Bereiche beinhaltet.
9 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Bestimmen eines optimalen Teilsatzes von stationären Sensoren.
10 ist ein Ablaufdiagramm eines beispielhaften Prozesses zum Betreiben eines Fahrzeugs unter Verwendung eines optimalen Teilsatzes von stationären Sensoren.

DETAILLIERTE BESCHREIBUNG
Ein Erfassungssystem kann Daten, zum Beispiel Bilddaten, bezüglich einer Umgebung um das System erlangen und die Daten verarbeiten, um Identitäten und/oder Standorte von Objekten zu bestimmen. Zum Beispiel kann ein tiefes neuronales Netz (deep neural network - DNN) trainiert und dann verwendet werden, um Objekte in Bilddaten, die durch Sensoren erlangt werden, in Systemen zu bestimmen, was Fahrzeugführung, Roboterbetrieb, Sicherheit, Fertigung und Produktverfolgung beinhaltet. Die Fahrzeugführung kann einen Betrieb von Fahrzeugen in autonomen oder teilautonomen Modi in Umgebungen mit einer Vielzahl von Objekten beinhalten. Die Roboterführung kann Führen eines Roboterendeffektors, zum Beispiel eines Greifers, beinhalten, um ein Teil aufzunehmen und das Teil zur Montage in einer Umgebung aufzurichten, die eine Vielzahl von Teilen beinhaltet. Sicherheitssysteme beinhalten Merkmale, bei denen ein Computer Videodaten von einer Kamera erlangt, die einen sicheren Bereich beobachtet, um autorisierten Benutzern Zugriff zu gewähren und nicht autorisierten Zugang in einer Umgebung, die eine Vielzahl von Benutzern beinhaltet, zu detektieren. In einem Herstellungssystem kann ein DNN den Standort und die Ausrichtung eines oder mehrerer Teile in einer Umgebung bestimmen, die eine Vielzahl von Teilen beinhaltet. In einem Produktnachverfolgungssystem kann ein tiefes neuronales Netz einen Standort und eine Ausrichtung eines oder mehrerer Pakete in einer Umgebung bestimmen, die eine Vielzahl von Paketen beinhaltet.
Die Fahrzeugführung wird in dieser Schrift als nicht einschränkendes Beispiel für die Verwendung eines Computers zum Detektieren von Objekten, zum Beispiel Fahrzeugen und Fußgängern, in einer Verkehrsszene und zum Bestimmen eines Fahrzeugpfades zum Betreiben eines Fahrzeugs auf Grundlage der detektierten Objekte beschrieben. Eine Verkehrsszene ist eine Umgebung um ein Verkehrsinfrastruktursystem oder ein Fahrzeug, die einen Abschnitt einer Fahrbahn und Objekte beinhalten kann, was Fahrzeuge und Fußgänger usw. beinhaltet. Zum Beispiel kann eine Rechenvorrichtung in einem Verkehrsinfrastruktursystem dazu programmiert sein, ein oder mehrere Bilder von einem oder mehreren Sensoren zu erlangen, die in dem Verkehrsinfrastruktursystem beinhaltet sind, Objekte in den Bildern zu detektieren und Markierungen zu kommunizierten, die Objekte zusammen mit Standorten der Objekte identifizieren. Die Sensoren können Video- oder Standbildkameras beinhalten, die Bilder erlangen, die sichtbaren oder Infrarotwellenlängen von Licht entsprechen. Die Sensoren können stationär sein und können an Masten, Gebäuden oder anderen Strukturen montiert sein, um den Sensoren eine Sicht auf die Verkehrsszene zu geben, die Objekte in der Verkehrsszene beinhaltet. Sensoren können außerdem Lidarsensoren, die typischerweise Infrarotwellenlängen emittieren, Radarsensoren, die Funkwellen emittieren, und Ultraschallsensoren beinhalten, die Schallwellen emittieren. Lidar-, Radar- und Ultraschallsensoren messen alle Entfernungen zu Punkten in der Umgebung.
In einigen Beispielen können stationäre Sensoren, die in einem Verkehrsinfrastruktursystem beinhaltet sind, ein oder mehrere Bilder einer Verkehrsszene erlangen und die Bilddaten zusammen mit Daten, die einen Standort und eine Ausrichtung des stationären Sensors beschreiben, an ein in der Verkehrsszene beinhaltetes Fahrzeug kommunizieren. Eine in dem Fahrzeug beinhaltete Rechenvorrichtung kann reale Koordinaten von Objekten bestimmen, die in den Bilddaten beinhaltet sind, und einen Fahrzeugpfad auf Grundlage der detektierten Objekte bestimmen. Objekte, die in Bilddaten bestimmt werden, die von einem Verkehrsinfrastruktursystem heruntergeladen werden, können zusätzlich zu Objekten bestimmt werden, die auf Grundlage von in einem Fahrzeug beinhalteten Sensoren bestimmt werden. Stationäre Sensoren, die in einem Verkehrsinfrastruktursystem beinhaltet sind, können Bilddaten erlangen, die Abschnitte der Verkehrsszene beinhalten, die aktuell nicht im Blickfeld von Sensoren sind, die in einem Fahrzeug beinhaltet sind. Zum Beispiel können Abschnitte der Verkehrsszene durch andere Fahrzeuge, d. h. Verkehr, verdeckt sein, durch Gebäude oder Pflanzen, d. h. um Ecken oder Gelände herum, wie etwa Hügel oder Täler, verdeckt sein oder weit genug entfernt sein, um außerhalb der Reichweite von Sensoren zu liegen, die in dem Fahrzeug beinhaltet sind. Stationäre Sensoren, die in einem Verkehrsinfrastruktursystem beinhaltet sind, können an Masten, Gebäuden oder anderen Strukturen montiert sein, um einen Überblick über eine Verkehrsszene bereitzustellen und Fahrzeugen Bilddaten bereitzustellen, die Abschnitte der Verkehrsszene beinhalten, die sich aktuell nicht in dem Sichtfeld von Sensoren befinden, die in dem Fahrzeug beinhaltet sind.
Die Fähigkeit, Fahrzeugen Daten zu stationären Sensoren von einem Verkehrsinfrastruktursystem bereitzustellen, kann verbessert werden, indem eine optimale Anordnung stationärer Sensoren durch Maximieren der Abdeckung einer Vielzahl von stationären Sensoren bestimmt wird, wobei die Abdeckung der Prozentsatz des Fahrbahnbereichs einer Verkehrsszene ist, der in Sichtfelder des stationären Sensors beinhaltet ist, während die Kosten für stationäre Sensoren minimiert werden, d. h., die Anzahl stationärer Sensoren minimiert wird, die erforderlich ist, um die maximale Abdeckung bereitzustellen. Die optimale Anordnung stationärer Sensoren basiert auf den kombinierten Sichtfeldern der stationären Sensoren. Ein Sichtfeld eines stationären Sensors wird durch den Standort und die Ausrichtung des stationären Sensors bestimmt. Der Standort eines stationären Sensors beinhaltet eine Höhe und wird in Bezug auf die orthogonale x-, y- und z-Achse gemessen. Die Ausrichtung des stationären Sensors wird hinsichtlich einer Roll-, Nick- und Gierdrehung jeweils um die orthogonale x-, y- und z-Standortachse beschrieben.
Die Berechnung einer optimalen Anordnung stationärer Sensoren kann verbessert werden, indem die optimale Anordnung unter Verwendung eines Greedy-Suchalgorithmus bestimmt wird, wobei vorteilhafterweise umfassende und rechenintensive Suchtechniken vermieden werden, die erforderlich machen, dass die Abdeckung für jede mögliche Permutation des stationären Sensors bestimmt und verglichen wird, um die Lösung zu bestimmen, welche die größte Abdeckung unter Verwendung der wenigsten stationären Sensoren ergibt. Die Berechnung einer optimalen Anordnung stationärer Sensoren kann optional Kosten für stationäre Sensoren beinhalten, was Kosten beinhaltet, die einem Montieren der stationären Sensoren entsprechen. Das Einbeziehen der Kosten für stationäre Sensoren kann Kompromissstudien ermöglichen, welche die Abdeckung durch stationäre Sensoren mit den Gesamtsystemkosten in Einklang bringen. Ein Greedy-Suchalgorithmus kann Lösungen für Teilsätze von Konfigurationen stationärer Sensoren finden und diese können dann kombiniert werden, um eine optimale Lösung zu bestimmen. Die optimale Lösung stellt eine Abdeckung für Bereiche der Fahrbahn bereit, für die angegeben wurde, dass sie eine Abdeckung erforderlich machen, indem die den Bereichen zugewiesenen Gewichtungen erhöht werden, während die Anzahl stationärer Sensoren minimiert wird, die erforderlich ist, um die gewichteten Bereiche abzudecken. Während die optimale Lösung, die durch die in dieser Schrift erörterten Techniken bestimmt wird, möglicherweise nicht genau gleich einer optimalen Lösung ist, die durch umfassende Suche bestimmt wird, kann bewiesen werden, dass die optimale Lösung beliebig nahe an einer optimalen Lösung liegt, während sie in viel kürzerer Zeit unter Verwendung von weitaus weniger Computerressourcen erreicht wird.
Die Verkehrsszene kann als ein Gittermodell beschrieben werden, bei dem es sich um eine Karte handelt, die in zusammenhängende Gitterelemente unterteilt ist, die jeweiligen kleinen (< 1 Meter im Quadrat) Abschnitten der Verkehrsszene entsprechen. Die Gitterelemente können gewichtet werden, um einer Wahrscheinlichkeit zu entsprechen, dass das Gitterelement durch Verkehr, Gebäude oder Pflanzen, Gelände oder Entfernung gegenüber der Sicht von Fahrzeugsensoren verdeckt wäre. Die Gitterelemente können auch so gewichtet werden, dass sie einer Wahrscheinlichkeit entsprechen, dass sie durch interessierende Objekte, wie etwa Fußgänger oder Fahrzeuge, besetzt wären. In dieser Schrift erörterte Techniken können eine optimale Anordnung stationärer Sensoren auf Grundlage eines gewichteten Gittermodells einer Verkehrsszene bestimmen, indem ein Verhältnis von Abdeckung zu Kosten maximiert wird, das der Anzahl stationärer Sensoren entspricht, die erforderlich ist, um die Abdeckung zu erreichen. Indem die Abdeckung auf einem gewichteten Gittermodell basiert, erreicht das Greedy-Suchmodell eine optimale Lösung, die einer optimalen Lösung in weitaus weniger Zeit unter Verwendung von weitaus weniger Computerressourcen willkürlich nahe kommt als eine optimale Lösung, die sich auf umfassende Suchtechniken stützt.
In dieser Schrift ist ein Verfahren offenbart, das Folgendes beinhaltet: Bestimmen eines dreidimensionalen Gittermodells einer Verkehrsszene auf Grundlage von Gitterelementen, Bestimmen von Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells, die Prioritätsregionen und verdeckten Gitterelementen entsprechen, und Bestimmen einer Gitterabdeckung für jeweilige einer Vielzahl von stationären Sensoren auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels. Eine Matrix kann auf Grundlage der Gitterabdeckung der Vielzahl von stationären Sensoren bestimmt werden und ein optimaler Teilsatz von stationären Sensoren kann auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Vielzahl von stationären Sensoren bestimmt werden, um ein Verhältnis der Gitterabdeckung zu einer Anzahl stationärer Sensoren auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren. Das dreidimensionale Gittermodell kann durch Unterteilen einer Karte, welche die Verkehrsszene beinhaltet, in ein rechteckiges Array aus zusammenhängenden Gitterelementen und Bestimmen einer Höhe für jeweilige der Gitterelemente bestimmt werden. Die Höhen können auf Grundlage von einem oder mehreren von Satellitenlidardaten oder luftgestützten Lidardaten bestimmt werden. Die verdeckten Gitterelemente können durch Simulieren von Sichtfeldern auf Grundlage von simulierten Sensoren, die in einem simulierten Fahrzeug beinhaltet sind, während sich das simulierte Fahrzeug durch eine simulierte Verkehrsszene bewegt, die simulierten Verkehr beinhaltet, bestimmt werden. Die verdeckten Gitterelemente können auf Grundlage des simulierten Verkehrs, der typischem Verkehr entspricht, der zu einer oder mehreren unterschiedlichen Tageszeiten beobachtet wird, bestimmt werden. Die Prioritätsregionen können eines oder mehrere von einem Fußgängerweg, einer Ladezone und einer Bushaltestelle beinhalten.
Die Vielzahl von stationären Sensoren kann entsprechend an einem oder mehreren von einem Mast, einem Gebäude oder einer Struktur montiert sein, sodass Sichtfelder der Vielzahl von stationären Sensoren Abschnitte der Verkehrsszene beinhalten. Die Gitterabdeckung für jeweilige der Vielzahl von stationären Sensoren kann auf einer Sichtbarkeitsanalyse von den jeweiligen stationären Sensoren zu den Gitterelementen des dreidimensionalen Gittermodells basieren. Die Matrix kann eine K-x-N-Inzidenzmatrix beinhalten, die K Reihen, die K Konfigurationen stationärer Sensoren entsprechen, und N Spalten beinhaltet, die den Gitterelementen entsprechen, die in der Gitterabdeckung der jeweiligen K Konfigurationen stationärer Sensoren beinhaltet sind. Die Greedy-Suche kann eine Zielfunktion $max_{k} (\sum_{n}^{N} M_{k n})$
über die K Konfigurationen stationärer Sensoren maximieren, um den optimalen Teilsatz von stationären Sensoren zu bestimmen. Die Zielfunktion ist M_kn = B_kn⊙(C_k ⊗ W_n), wobei B_kn die Inzidenzmatrix sein kann, C_k eine K-x-1-Kostenmatrix sein kann, W_n die Gewichtungen sein kann, die auf die jeweiligen Gitterelemente angewendet werden, ⊙ ein Hadamard-Produkt sein kann und ⊗ ein äußeres Produkt sein kann. Daten zu stationären Sensoren von dem optimalen Teilsatz von stationären Sensoren können auf einen zweiten Computer heruntergeladen werden, der in einem Fahrzeug beinhaltet ist. Die Daten zu stationären Sensoren können Metadaten beinhalten, wie etwa Begrenzungsrahmen auf Grundlage von Objekten, die in den Daten zu stationären Sensoren beinhaltet sind. Ein Fahrzeugpfad kann auf Grundlage der Sensordaten bestimmt werden.
Ferner ist ein computerlesbares Medium offenbart, auf dem Programmanweisungen zum Ausführen einiger oder sämtlicher der vorstehenden Verfahrensschritte gespeichert sind. Ferner ist ein Computer offenbart, der zum Ausführen einiger oder aller der vorstehenden Verfahrensschritte programmiert ist und eine Computereinrichtung beinhaltet, die zu Folgendem programmiert ist: Bestimmen eines dreidimensionalen Gittermodells einer Verkehrsszene auf Grundlage von Gitterelementen, Bestimmen von Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells, die Prioritätsregionen und verdeckten Gitterelementen entsprechen, und Bestimmen einer Gitterabdeckung für jeweilige einer Vielzahl von stationären Sensoren auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels. Eine Matrix kann auf Grundlage der Gitterabdeckung der Vielzahl stationärer Sensoren bestimmt werden und eine optimale Teilmenge von stationären Sensoren kann auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Vielzahl von stationären Sensoren bestimmt werden, um ein Verhältnis der Gitterabdeckung zu einer Anzahl stationärer Sensoren auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren. Das dreidimensionale Gittermodell kann durch Unterteilen einer Karte, welche die Verkehrsszene beinhaltet, in ein rechteckiges Array aus zusammenhängenden Gitterelementen und Bestimmen einer Höhe für jeweilige der Gitterelemente bestimmt werden. Die Höhen können auf Grundlage von einem oder mehreren von Satellitenlidardaten oder luftgestützten Lidardaten bestimmt werden. Die verdeckten Gitterelemente können durch Simulieren von Sichtfeldern auf Grundlage von simulierten Sensoren, die in einem simulierten Fahrzeug beinhaltet sind, während sich das simulierte Fahrzeug durch eine simulierte Verkehrsszene bewegt, die simulierten Verkehr beinhaltet, bestimmt werden. Die verdeckten Gitterelemente können auf Grundlage des simulierten Verkehrs, der typischem Verkehr entspricht, der zu einer oder mehreren unterschiedlichen Tageszeiten beobachtet wird, bestimmt werden. Die Prioritätsregionen können eines oder mehrere von einem Fußgängerweg, einer Ladezone und einer Bushaltestelle beinhalten.
Die Anweisungen können ferner Anweisungen zum Montieren der Vielzahl von stationären Sensoren entsprechend an einem oder mehreren von einem Mast, einem Gebäude oder einer Struktur beinhalten, sodass Sichtfelder der Vielzahl von stationären Sensoren Abschnitte der Verkehrsszene beinhalten. Die Gitterabdeckung für jeweilige der Vielzahl von stationären Sensoren kann auf einer Sichtbarkeitsanalyse von den jeweiligen stationären Sensoren zu den Gitterelementen des dreidimensionalen Gittermodells basieren. Die Matrix kann eine K-x-N-Inzidenzmatrix beinhalten, die K Reihen, die K Konfigurationen stationärer Sensoren entsprechen, und N Spalten beinhaltet, die den Gitterelementen entsprechen, die in der Gitterabdeckung der jeweiligen K Konfigurationen stationärer Sensoren beinhaltet sind. Die Greedy-Suche kann eine Zielfunktion $max_{k} (\sum_{n}^{N} M_{k n})$
über die K Konfigurationen stationärer Sensoren maximieren, um den optimalen Teilsatz von stationären Sensoren zu bestimmen. Die Zielfunktion ist M_kn = B_kn⊙(C_k ⊗ W_n), wobei B_kn die Inzidenzmatrix sein kann, C_k eine K-x-1-Kostenmatrix sein kann, W_n die Gewichtungen sein kann, die auf die jeweiligen Gitterelemente angewendet werden, ⊙ ein Hadamard-Produkt sein kann und ⊗ ein äußeres Produkt sein kann. Daten zu stationären Sensoren von dem optimalen Teilsatz von stationären Sensoren können auf einen zweiten Computer heruntergeladen werden, der in einem Fahrzeug beinhaltet ist. Die Daten zu stationären Sensoren können Metadaten beinhalten, wie etwa Begrenzungsrahmen auf Grundlage von Objekten, die in den Daten zu stationären Sensoren beinhaltet sind. Ein Fahrzeugpfad kann auf Grundlage der Sensordaten bestimmt werden.
1 ist ein Diagramm eines Erfassungssystems 100, das ein Verkehrsinfrastruktursystem 105 beinhalten kann, das einen Servercomputer 120 und stationäre Sensoren 122 beinhaltet. Das Erfassungssystem 100 beinhaltet ein Fahrzeug 110. Eine oder mehrere Rechenvorrichtungen 115 des Fahrzeugs 110 können Daten bezüglich des Betriebs des Fahrzeugs 110 von Sensoren 116 empfangen. Die Rechenvorrichtung 115 kann das Fahrzeug 110 in einem autonomen Modus, einem teilautonomen Modus oder einem nicht autonomen Modus betreiben.
Die Rechenvorrichtung 115 beinhaltet einen Prozessor und einen Speicher, wie sie bekannt sind. Ferner beinhaltet der Speicher eine oder mehrere Formen computerlesbarer Medien und speichert Anweisungen, die durch den Prozessor zum Durchführen verschiedener Vorgänge, was die in dieser Schrift offenbarten beinhaltet, ausführbar sind. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung beinhalten, um eines oder mehrere von Bremsen, Antrieb (z. B. Beschleunigungssteuerung in dem Fahrzeug 110 durch Steuern von einem oder mehreren von einer Brennkraftmaschine, einem Elektromotor, einem Hybridmotor usw.), Lenkung, Klimaregelung, Innen- und/oder Außenleuchten usw. des Fahrzeugs zu betreiben sowie um zu bestimmen, ob und wann die Rechenvorrichtung 115 im Gegensatz zu einem menschlichen Fahrzeugführer derartige Vorgänge steuern soll.
Die Rechenvorrichtung 115 kann mehr als eine Rechenvorrichtung, z. B. Steuerungen oder dergleichen, die in dem Fahrzeug 110 zum Überwachen und/oder Steuern verschiedener Fahrzeugkomponenten beinhaltet sind, z. B. eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113, eine Lenksteuerung 114 usw., beinhalten oder z. B. über einen Fahrzeugkommunikationsbus, wie nachstehend ausführlicher beschrieben, kommunikativ mit dieser (diesen) gekoppelt sein. Die Rechenvorrichtung 115 ist im Allgemeinen zur Kommunikation über ein Fahrzeugkommunikationsnetzwerk angeordnet, das z. B. einen Bus in dem Fahrzeug 110 beinhaltet, wie etwa ein Controller Area Network (CAN) oder dergleichen; das Netzwerk des Fahrzeugs 110 kann zusätzlich oder alternativ drahtgebundene oder drahtlose Kommunikationsmechanismen, wie sie bekannt sind, beinhalten, z. B. Ethernet oder andere Kommunikationsprotokolle.
Über das Fahrzeugnetzwerk kann die Rechenvorrichtung 115 Nachrichten an verschiedene Vorrichtungen in dem Fahrzeug übertragen und/oder Nachrichten von den verschiedenen Vorrichtungen empfangen, z. B. Steuerungen, Aktoren, Sensoren usw., was die Sensoren 116 beinhaltet. Alternativ oder zusätzlich kann in Fällen, bei denen die Rechenvorrichtung 115 tatsächlich mehrere Vorrichtungen umfasst, das Fahrzeugkommunikationsnetzwerk zur Kommunikation zwischen Vorrichtungen verwendet werden, die in dieser Offenbarung als die Rechenvorrichtung 115 dargestellt sind. Ferner können, wie nachfolgend erwähnt, verschiedene Steuerungen oder Erfassungselemente, wie etwa die Sensoren 116, Daten über das Fahrzeugkommunikationsnetzwerk an der Rechenvorrichtung 115 bereitstellen.
Zusätzlich kann die Rechenvorrichtung 115 dazu konfiguriert sein, über ein Netzwerk 130, das, wie nachstehend beschrieben, Hardware, Firmware und Software beinhaltet, die es der Rechenvorrichtung 115 ermöglichen, über ein Netzwerk 130, wie etwa drahtloses Internet (WI-FI®) oder Mobilfunknetzwerke, mit einem entfernten Servercomputer 120 zu kommunizieren, durch eine Fahrzeug-Infrastruktur-Schnittstelle (vehicle-to-infrastructure interface - V-I-Schnittstelle) 111 mit einem entfernten Servercomputer 120 zu kommunizieren. Die V-I-Schnittstelle 111 kann dementsprechend Prozessoren, einen Speicher, Sendeempfänger usw. beinhalten, die dazu konfiguriert sind, verschiedene drahtgebundene und/oder drahtlose Netzwerktechnologien zu nutzen, z. B. Mobilfunk, BLUETOOTH® und drahtgebundene und/oder drahtlose Paketnetzwerke. Die Rechenvorrichtung 115 kann zum Kommunizieren mit anderen Fahrzeugen 110 über die V-I-Schnittstelle 111 unter Verwendung von Fahrzeug-Fahrzeug-(vehicle-to-vehicle - V-V-)Netzwerken z. B. gemäß dedizierter Nahbereichsübertragung (dedicated short range communications - DSRC) und/oder dergleichen, konfiguriert sein, die z. B. ad hoc zwischen Fahrzeugen 110 in der Nähe gebildet werden oder über infrastrukturbasierte Netzwerke gebildet werden. Die Rechenvorrichtung 115 beinhaltet außerdem einen nicht flüchtigen Speicher, wie er bekannt ist. Die Rechenvorrichtung 115 kann Daten aufzeichnen, indem sie die Daten zum späteren Abrufen und Übertragen über das Fahrzeugkommunikationsnetzwerk und eine Fahrzeug-Infrastruktur-(vehicle to infrastructure -V-I-)Schnittstelle 111 an einen Servercomputer 120 oder eine mobile Benutzervorrichtung 160 auf dem nicht flüchtigem Speicher speichert.
Wie bereits erwähnt, ist in Anweisungen, die auf dem Speicher gespeichert und durch den Prozessor der Rechenvorrichtung 115 ausführbar sind, im Allgemeinen eine Programmierung zum Betreiben einer oder mehrerer Komponenten des Fahrzeugs 110, z. B. Bremsung, Lenkung, Antrieb usw., ohne Eingreifen eines menschlichen Bedieners beinhaltet. Unter Verwendung von in der Rechenvorrichtung 115 empfangenen Daten, z. B. der Sensordaten von den Sensoren 116, dem Servercomputer 120 usw., kann die Rechenvorrichtung 115 ohne einen Fahrer zum Betreiben des Fahrzeugs 110 verschiedene Bestimmungen vornehmen und/oder verschiedene Komponenten und/oder Vorgänge des Fahrzeugs 110 steuern. Zum Beispiel kann die Rechenvorrichtung 115 eine Programmierung zum Regulieren des Betriebsverhaltens des Fahrzeugs 110 (d. h. physischer Manifestationen des Betriebs des Fahrzeugs 110), wie etwa einer Geschwindigkeit, Beschleunigung, Abbremsung, Lenkung usw., sowie des taktischen Verhaltens (d. h. Steuerung des Betriebsverhaltens auf eine Weise, die typischerweise ein effizientes Abfahren einer Route erreichen soll) beinhalten, wie etwa einer Entfernung zwischen Fahrzeugen und/oder eines Zeitraums zwischen Fahrzeugen, Spurwechseln, eines Mindestabstands zwischen Fahrzeugen, einer Mindestzeit zur Überquerung des Pfades bei Linksabbiegung, einer Zeit bis zur Ankunft an einem konkreten Standort und einer Mindestzeit bis zum Überqueren der Kreuzung an einer Kreuzung (ohne Ampel).
Steuerungen beinhalten im in dieser Schrift verwendeten Sinne Rechenvorrichtungen, die typischerweise dazu programmiert sind, ein spezifisches Fahrzeugteilsystem zu überwachen und/oder zu steuern. Zu Beispielen zählen eine Antriebsstrangsteuerung 112, eine Bremssteuerung 113 und eine Lenksteuerung 114. Eine Steuerung kann eine elektronische Steuereinheit (electronic control unit - ECU) sein, wie sie bekannt ist, die möglicherweise zusätzliche Programmierung, wie in dieser Schrift beschrieben, beinhaltet. Die Steuerungen können kommunikativ mit der Rechenvorrichtung 115 verbunden sein und Anweisungen von dieser empfangen, um das Teilsystem gemäß den Anweisungen zu betätigen. Zum Beispiel kann die Bremssteuerung 113 Anweisungen zum Betreiben der Bremsen des Fahrzeugs 110 von der Rechenvorrichtung 115 empfangen.
Die eine oder mehreren Steuerungen 112, 113, 114 für das Fahrzeug 110 können bekannte elektronische Steuereinheiten (ECUs) oder dergleichen beinhalten, die als nicht einschränkende Beispiele eine oder mehrere Antriebsstrangsteuerungen 112, eine oder mehrere Bremssteuerungen 113 und eine oder mehrere Lenksteuerungen 114 beinhalten. Jede der Steuerungen 112, 113, 114 kann jeweilige Prozessoren und Speicher und einen oder mehrere Aktoren beinhalten. Die Steuerungen 112, 113, 114 können mit einem Kommunikationsbus des Fahrzeugs 110 programmiert und verbunden sein, wie etwa einem Controller-Area-Network-(CAN)-Bus oder einem Local-Interconnect-Network-(LIN)-Bus, um Anweisungen von der Rechenvorrichtung 115 zu empfangen und Aktoren auf Grundlage der Anweisungen zu steuern.
Die Sensoren 116 können eine Vielfalt von Vorrichtungen beinhalten, die für die Bereitstellung von Daten über den Fahrzeugkommunikationsbus bekannt ist. Zum Beispiel kann ein Radar, das an einem vorderen Stoßfänger (nicht gezeigt) des Fahrzeugs 110 befestigt ist, eine Entfernung von dem Fahrzeug 110 zu einem nächsten Fahrzeug vor dem Fahrzeug 110 bereitstellen oder kann ein Sensor für ein globales Positionsbestimmungssystem (GPS), der in dem Fahrzeug 110 angeordnet ist, geografische Koordinaten des Fahrzeugs 110 bereitstellen. Die durch das Radar und/oder die anderen Sensoren 116 bereitgestellte/n Entfernung(en) und/oder die durch den GPS-Sensor bereitgestellten geografischen Koordinaten können durch die Rechenvorrichtung 115 verwendet werden, um zum Beispiel das Fahrzeug 110 autonom oder teilautonom zu betreiben.
Das Fahrzeug 110 ist im Allgemeinen ein Landfahrzeug 110, das autonom und/oder teilautonom betrieben werden kann und drei oder mehr Räder aufweist, z. B. ein PKW, ein Kleinlaster usw. Das Fahrzeug 110 beinhaltet einen oder mehrere Sensoren 116, die V-I-Schnittstelle 111, die Rechenvorrichtung 115 und eine oder mehrere Steuerungen 112, 113, 114. Die Sensoren 116 können Daten bezüglich des Fahrzeugs 110 und der Umgebung, in der das Fahrzeug 110 betrieben wird, sammeln. Beispielhaft und nicht einschränkend können die Sensoren 116 z. B. Höhenmesser, Kameras, LIDAR, Radar, Ultraschallsensoren, Infrarotsensoren, Drucksensoren, Beschleunigungsmesser, Gyroskope, Temperatursensoren, Drucksensoren, Hallsensoren, optische Sensoren, Spannungssensoren, Stromsensoren, mechanische Sensoren, wie etwa Schalter usw., beinhalten. Die Sensoren 116 können verwendet werden, um die Umgebung zu erfassen, in der das Fahrzeug 110 betrieben wird, z. B. können die Sensoren 116 Phänomene, wie etwa Wetterbedingungen (Niederschlag, äußere Umgebungstemperatur usw.), die Neigung einer Straße, den Standort einer Straße (z. B. unter Verwendung von Straßenrändern, Spurmarkierungen usw.) oder Standorte von Zielobjekten, wie etwa benachbarten Fahrzeugen 110, detektieren. Die Sensoren 116 können ferner verwendet werden, um Daten zu sammeln, die dynamische Daten zu dem Fahrzeug 110 beinhalten, die sich auf den Betrieb des Fahrzeugs 110 beziehen, wie etwa eine Geschwindigkeit, eine Gierrate, einen Lenkwinkel, eine Motordrehzahl, einen Bremsdruck, einen Öldruck, den auf die Steuerungen 112, 113, 114 in dem Fahrzeug 110 angewendeten Leistungspegel, eine Konnektivität zwischen Komponenten und eine genaue und aktuelle Leistungsfähigkeit von Komponenten des Fahrzeugs 110.
Fahrzeuge 110 können dazu ausgestattet sein, sowohl in einem autonomen als auch in einem insassengesteuerten Modus betrieben zu werden. Unter einem teil- oder vollautonomen Modus wird ein Betriebsmodus verstanden, in dem ein Fahrzeug teilweise oder vollständig durch eine Rechenvorrichtung als Teil eines Systems gesteuert werden kann, das Sensoren und Steuerungen aufweist. Das Fahrzeug kann besetzt oder unbesetzt sein, wobei das Fahrzeug in beiden Fällen teilweise oder vollständig ohne Unterstützung eines Insassen gesteuert werden kann. Für die Zwecke dieser Offenbarung ist ein autonomer Modus als ein Modus definiert, in dem jedes von Antrieb (z. B. über einen Antriebsstrang, der eine Brennkraftmaschine und/oder einen Elektromotor beinhaltet), Bremsung und Lenkung des Fahrzeugs durch einen oder mehrere Fahrzeugcomputer gesteuert wird; in einem teilautonomen Modus steuert/steuern der/die Fahrzeugcomputer eines oder mehrere von Antrieb, Bremsung und Lenkung des Fahrzeugs. In einem nicht autonomen Modus wird keines von diesen durch einen Computer gesteuert.
2 ist ein Diagramm einer Verkehrsszene 200. Die Verkehrsszene 200 beinhaltet Fahrbahnen 202, 204, die sich an einer Kreuzung 206 treffen. Fahrzeuge 110, die in einem autonomen oder teilautonomen Modus betrieben werden, wie vorstehend in Bezug auf 1 erörtert, können beim Betreiben auf Fahrbahnen 202, 204 durch stationäre Sensoren 122 unterstützt werden, die in einem Verkehrsinfrastruktursystem 105 beinhaltet sind. Der stationäre Sensor 122 kann Kameras 208, 212, 216 beinhalten. Andere Arten von stationären Sensoren 122 können zum Beispiel Lidar, Radar oder Ultraschall beinhalten. Die Kameras 208, 212, 216 können an Kamerahalterungen 210, 214, 218 montiert sein. Die Kamerahalterungen 210, 214, 218 können Verkehrssignalmasten, Lichtmasten, speziell angefertigte Masten oder Halterungen, Gebäude oder bestehende Strukturen, wie etwa Brücken, Überführungen oder Schildermasten, beinhalten.
3 ist eine Draufsicht auf eine Verkehrsszene 300, die Fahrbahnen 302, 304 und eine Kreuzung 306 beinhaltet. Die Verkehrsszene 300 beinhaltet drei Kameras 308, 312, 316, die jeweilige Sichtfelder (durch die gepunkteten Linien gezeigt) 310, 314, 318 aufweisen, die Abschnitte der Fahrbahnen 302, 304 und der Kreuzung 306 beinhalten. Die Sichtfelder 310, 314, 318 der jeweiligen Kameras 308, 312, 316 sind von dem Standort und der Ausrichtung der Kameras 308, 312, 316 abhängig. Der Standort kann zum Beispiel in einem x-, y- und z-Koordinatensystem auf Grundlage von Breitengrad, Längengrad und Höhenlage ausgedrückt werden. Die Ausrichtung kann als Roll-, Nick- und Gierdrehungen jeweils um die x-, y- und z -Koordinatenachsen ausgedrückt werden. Das Kombinieren von Standort und Ausrichtung gibt die Pose mit sechs Freiheitsgraden (degree of freedom - DoF) eines stationären Sensors vor. Die Sichtfelder 310, 314, 318 der Kameras 308, 312, 316 sind ebenfalls von intrinsischen Parametern der Kameras 308, 312, 316 abhängig. Intrinsische Parameter einer Kamera 308, 312, 316 sind Werte, die eine Konfiguration oder Konfigurationen der Kamera 308, 312, 316 beschreiben und die dadurch die Abbildung von realen Standorten auf Pixelkoordinaten in Bildern regeln, die von den Kameras 308, 312, 316 erlangt wurden. Intrinsische Parameter können zum Beispiel Brennweite, Entfernung von einer optischen Mitte der Kameralinse zu einer Sensorebene, den Maßstab oder die Größe von Bildpixeln und/oder Linsenverzerrung beinhalten. Durch Kombinieren des Standortes und der Ausrichtung einer Kamera 308, 312, 316 in Bezug auf eine Verkehrsszene 300 und der jeweiligen intrinsischen Parameter der Kameras 308, 312, 316 können jeweils die Abschnitte der Fahrbahnen 302, 304 und einer Kreuzung 306 bestimmt werden, die in den Sichtfeldern 310, 314, 318 der Kameras 308, 312, 316 beinhaltet sind.
4 ist ein Diagramm einer Verkehrsszene 300, die Fahrbahnen 302, 304 und eine Kreuzung 306 beinhaltet. Die Verkehrsszene 300 beinhaltet ein kombiniertes Sichtfeld (gepunktete Linien) 402, das den Sichtfeldern 310, 314, 318 der Kameras 308, 312, 316 entspricht. Das kombinierte Sichtfeld 402 entspricht der Abdeckung der Fahrbahnen 302, 304 und der Kreuzung 306, welche die Kameras 308, 312, 316 in der Verkehrsszene 300 bereitstellen. Die Abdeckung kann durch Messen des Prozentsatzes des Oberflächenbereichs der Fahrbahn 302, 304 und der Kreuzung 306 bestimmt werden, der in dem kombinierten Sichtfeld 402 beinhaltet ist. Zum Beispiel entspricht das kombinierte Sichtfeld 402 in der Verkehrsszene 300 einer Abdeckung von etwa 50 %, d. h., der Bereich des kombinierten Sichtfeldes 402 beträgt ungefähr 50 % des kombinierten Bereichs der Fahrbahnen 302, 304 und der Kreuzung 306.
5 ist ein Diagramm eines dreidimensionalen (3D-)Gittermodells 502 einer Verkehrsszene 500. Ein 3D-Gittermodell 502 ist ein Satz von Kartendaten, wobei die Kartendaten, die einer Verkehrsszene 500 entsprechen, mit einem rechteckigen Array aus zusammenhängenden Gitterelementen 504 überlagert sind. Die jeweiligen Gitterelemente 504 stellen jeweilige Abschnitte oder Unterbereiche des Gittermodells 502 der Verkehrsszene 500 dar und können typischerweise weniger als 1 Quadratmeter groß sein und die Verkehrsszene 500 mit Standorten adressierbarer Gitterelemente 504 abdecken (z. B. könnten x-, y-Koordinaten auf Grundlage eines Gitterursprungs in einer unteren linken Ecke des Gittermodells 502 vorgegeben sein). Alle Berechnungen an dem 3D-Gittermodell 502 werden bis zum nächsten Gitterelement 504 durchgeführt. Die Gitterabdeckung ist die Anzahl der Gitterzellen in den Sichtfeldern eines oder mehrerer stationärer Sensoren 122. Zum Beispiel kann die Gitterabdeckung eines kombinierten Sichtfeldes (gepunktete Linien) 506 durch Addieren der Anzahl der vollständigen und partiellen Gitterelemente 504 bestimmt werden, die in dem kombinierten Sichtfeld 506 der drei Kameras 308, 312, 316 beinhaltet ist.
Digitale Höhendaten können mit einem Gittermodell 502 kombiniert werden, um ein 3D-Gittermodell 600 zu bilden (6). Die digitalen Höhendaten können aus Satellitenlidardaten oder luftgestützten Lidardaten gewonnen und mit Kartendaten kombiniert werden, um ein 3D-Gittermodell einer Verkehrsszene zu generieren. Die Lidar- und Kartendaten können auf Grundlage von Sensordaten eingestellt werden, die in der realen Welt erlangt wurden, die dem 3D-Gittermodell entsprechen. Auf diese Weise kann die Auflösung des 3D-Gittermodells in allen drei Dimensionen verbessert werden.
In dieser Schrift erörterte Techniken bestimmen typischerweise die Gitterabdeckung auf Grundlage von Computersimulationen von Gittermodellen 502, die Simulationen von Kameras beinhalten, die simulierte Sichtfelder aufweisen. Dies ermöglicht, dass eine Vielzahl von unterschiedlichen Konfigurationen von Kameras an einer Vielzahl von Standorten und Ausrichtungen getestet und verglichen wird, um optimale Konfigurationen zu bestimmen, bevor Kameras in einer Verkehrsszene installiert werden. In Beispielen, in denen eine oder mehrere Kameras bereits installiert sind, können die vorhandenen Kameras in die simulierten Daten einbezogen werden, um die bestehende Installation mit möglichen neuen Konfigurationen zu vergleichen. In dieser Schrift erörterte Techniken können die Installation stationärer Kameras in einem Verkehrsinfrastruktursystem verbessern, indem die Abdeckung für eine Vielzahl von möglichen Installationen simuliert wird und ein Teilsatz von möglichen Kamerastandorten und -ausrichtungen bestimmt wird, der die maximale Abdeckung bei minimalen Kosten bereitstellt.
6 ist ein Diagramm einer Querschnittsansicht eines 3D-Gittermodells 600. 6 veranschaulicht, wie ein 3D-Gittermodell verwendet werden kann, um die Bestimmung der Gitterabdeckung zu verbessern, die einem stationären Sensor 122 entspricht, in diesem Beispiel einer Kamera 602, der an einem Masten 604 montiert ist, der ein Sichtfeld (gepunktete Linien) 606 auf Grundlage von Höhendaten aufweist. Die Gitterabdeckung ist der Satz von Gitterelementen, der von einem oder mehreren stationären Sensoren 122 sichtbar ist, die in einem Verkehrsinfrastruktursystem 105 beinhaltet sind. Die Gitterabdeckung kann auf Grundlage von Bestimmen einer „Sichtbarkeit“ durch einen stationären Sensor 122 bestimmt werden. Bei einer Sichtbarkeit durch einen Sensor 122 handelt es sich um die Abschnittsgitterelemente eines 3D-Gittermodells, die von einem stationären Sensor 122 aus sichtbar sind, der sich an einem Punkt im Raum befindet.
Die für einen stationären Sensor 122 sichtbaren Gitterelemente sind von Betrachtungsparametern abhängig, die Folgendes beinhalten: x-, y- und z-Koordinaten des 3D-Standortes des stationären Sensors 122, das horizontale (x-Achsen-)Sichtfeld, das vertikale (y-Achsen-)Sichtfeld, die minimale für den stationären Sensor 122 sichtbaren Entfernung, die maximale für den stationären Sensor 122 sichtbare Entfernung und die Ausrichtung des stationären Sensors 122 bei einer Roll-, Nick- und Gierdrehung. Die Gitterabdeckung kann durch Eingeben einer Rasterversion des digitalen Höhenmodells und geodätischer Koordinaten, d. h. Landvermessungskoordinaten, in ein Sichtbarkeitsanalysewerkzeug, das derzeit unter Verwendung des Sichtbarkeitsalgorithmus der Bibliothek zur Abstraktion von Geodaten (Geospatial Data Abstraction Library - GDAL) umgesetzt ist, berechnet werden. Der GDAL ist in Wang, J., Rotkehl, G. J., & White, K., „Generating viewsheds without using sightlines“, Photogrammetric engineering and remote sensing, 66(1), 2000, S. 87-90, beschrieben. Die Sichtbarkeitsanalyse gibt eine Matrix aus, welche die Sichtbarkeit von Gitterelementen von dem Standort des stationären Sensors 122 darstellt. Die Ausgabe der Sichtbarkeitsanalyse kann auf das Sichtfeld für einen beliebigen vorgegebenen Sensor beschränkt sein. Die Sichtbarkeitsanalysematrix kann verwendet werden, um eine Bibliothek möglicher Konfigurationen für die stationären Sensoren 122 zu generieren, was die Pose beinhaltet. Die Bibliothek möglicher Konfigurationen für die stationären Sensoren 122, was die Pose beinhaltet, wird zu Zeilen der Matrix M, die nachstehend in Bezug auf 8 beschrieben ist.
7 ist ein Diagramm eines Gittermodells 700 einer Verkehrsszene, die Fahrbahnen 702, 704 beinhaltet, die eine Kreuzung 706 bilden. Das Gittermodell 700 beinhaltet Fußgängerwege 708, 710, 712, 714. Beim Bestimmen der Gitterabdeckung für ein Gittermodell 700 haben nicht alle Gitterelemente die gleiche Bedeutung. Eine Gewichtung kann auf Gitterelemente in einem Gittermodell 700 angewendet werden, um die Priorität der Gitterelemente zu erhöhen. Daten bezüglich Unfällen oder Beinaheunfällen können verwendet werden, um die Gewichtung von Gitterelementen zu erhöhen. Andere Daten, die verwendet werden können, um die Gewichtung von Gitterelementen zu erhöhen, beinhalten Standorte von Fußgängerwegen 708, 710, 712, 714, Ladezonen oder Bushaltestellen usw. Eine Gewichtung von Gitterelementen auf Grundlage einer erhöhten Priorität kann verwendet werden, um eine Überlappung zwischen dem stationären Sensor 122 zu fördern. Zum Beispiel kann das Erhöhen der Gewichtung von Gitterelementen, die Fußgängerwege beinhalten, Lösungen fördern, die dazu führen, dass ein Lidarsensor so positioniert ist, dass er eine Abdeckung aller vier Fußgängerwege 708, 710, 712, 714 und eine Kameraabdeckung bereitstellt, die das Lidar überlappt.
8 ist ein Diagramm eines Gittermodells 800 einer simulierten Verkehrsszene, die Fahrbahnen 802, 804 und eine Kreuzung 806 beinhaltet. Das Gittermodell 800 veranschaulicht ein Ergebnis einer dynamischen Simulation (d. h. Simulieren der Bewegung von (einem) Fahrzeug(en) 110 und anderen Objekten in dem Gittermodell 800 im Zeitverlauf), die ein simuliertes Fahrzeug beinhaltet, das in dem Gittermodell 800 betrieben wird, während simulierter Verkehr, was einen simulierten Truck 810 beinhaltet, ebenfalls in dem Gittermodell 800 betrieben wird. Eine dynamische Simulation beinhaltet eine simulierte Bewegung der simulierten Fahrzeuge, die in der Simulation beinhaltet sind, wobei die Gitterelemente, die durch die simulierten Fahrzeuge besetzt sind, in einer Vielzahl von Zeitschritten bestimmt werden, während sich das simulierte Fahrzeug durch die simulierte Verkehrsszene bewegt. Das simulierte Fahrzeug beinhaltet einen simulierten Sensor, der ein simuliertes Sichtfeld (gepunktete Linien) 812 aufweist. Das simulierte Sichtfeld 812 beinhaltet einen Abschnitt, der verdeckt 814 ist (diagonale Füllung). Ein verdeckter 814 Abschnitt des simulierten Sichtfeldes 812 ist ein Abschnitt, der für das simulierte Fahrzeug aufgrund eines dazwischenliegenden Objekts, wie etwa eines simulierten Trucks 810, nicht sichtbar ist. Gitterelemente, die verdeckt 814 sind, können gewichtet werden, um die Wahrscheinlichkeit zu erhöhen, dass ein simulierter stationärer Sensor, der eine Abdeckung der verdeckten 814 Gitterelemente beinhaltet, in dem optimalen Satz von stationären Sensoren 122 beinhaltet ist, der durch in dieser Schrift erörterte Techniken ausgewählt ist.
Eine Vielzahl von dynamischen Simulationen, die Fahrzeuge 110 beinhaltet, die auf jeweiligen Fahrzeugpfaden auf verschiedenen Fahrbahnen 802, 804 eines Gittermodells 800 betrieben werden, kann ausgeführt werden. Eine Vielzahl von Verkehrsmodellen kann eine Vielzahl von simulierten Fahrzeugen und simulierten Fußgängern beinhalten, die typischen Verkehrsmustern entsprechen, die zu einer Vielzahl von Tageszeiten beobachtet werden können. Die Vielzahl von Verkehrsmodellen kann in einer Vielzahl von dynamischen Simulationen beinhaltet sein. Zum Beispiel ist der Verkehr, was die Anzahl der Fahrzeuge beinhaltet, zu einigen Tageszeiten, z. B. zu Stoßzeiten, größer als zu anderen. Durch das Ausführen einer Vielzahl von dynamischen Simulationen und das Summieren der resultierenden verdeckten 814 Gitterelemente können Gewichtungen bestimmt werden, die auf die Gitterelemente eines Gittermodells 800 angewendet werden sollen. Das Summieren der verdeckten Gitterelemente über eine Vielzahl von Simulationen erhöht die Wahrscheinlichkeit, dass stationäre Sensoren 122 ausgewählt werden, die eine Gitterabdeckung von verdeckten 814 Gitterelementen beinhalten.
Eine optimale Anordnung des stationären Sensors 122, der in einem Verkehrsinfrastruktursystem 105 beinhaltet ist, kann für eine Verkehrsszene 500 bestimmt werden. Es kann ein 3D-Gittermodell 500 für eine Verkehrsszene 500 bestimmt werden, das eine Vielzahl von Konfigurationen stationärer Sensoren 122 beinhaltet. Die Konfigurationen stationärer Sensoren 122 können zum Beispiel in einer Computersimulation eines 3D-Gittermodells 500 simuliert werden. Die Konfigurationen simulierter stationärer Sensoren 122 können von dem Benutzer ausgewählt werden und eine Vielzahl von stationären Sensoren 122 in einer Vielzahl von Posen in Bezug auf das 3D-Gittermodell 500 beinhalten. Ein stationärer Sensor 122 beinhaltet eine Sensorart, die zum Beispiel Kamera, Lidar, Radar oder Ultraschall sein kann. Die jeweiligen stationären Sensoren 122 beinhalten intrinsische Sensorparameter, wie vorstehend in Bezug auf 3 erörtert. Die Konfigurationen des stationären Sensors 122 können mit dem 3D-Gittermodell kombiniert werden, wie in 3-6 beschrieben, um Gitterabdeckungen für jeweilige stationäre Sensoren 122 in der Vielzahl von Konfigurationen des stationären Sensors 122 zu bestimmen, was die Pose des stationären Sensors beinhaltet.
Die Pose eines stationären Sensors ist durch praktische Überlegungen begrenzt. Zum Beispiel ist die Höhe eines stationären Sensors durch die Kosten begrenzt; d. h., die Montagemasten werden mit zunehmender Höhe und Auflösung der stationären Sensoren teurer. Ein stationärer Sensor weist eine intrinsische Auflösung auf, die durch die intrinsischen Parameter des Sensors bestimmt ist. Um für Verkehrsinfrastrukturaufgaben, wie in dieser Schrift erörtert, nützlich zu sein, sollte eine ausreichende Anzahl an Datenpunkten, wie etwa Pixeln pro Flächeneinheit, auf einer Fahrbahnebene verfügbar sein. Zum Beispiel kann eine einzige Kamera, die hoch an einem Gebäude montiert ist, ein Sichtfeld aufweisen, das einen großen Abschnitt einer Verkehrsszene abdeckt, kann die Auflösung der Kamera jedoch derart sein, dass einzelne Fahrzeuge nicht in den Bilddaten aufgelöst werden können, die durch das Kamera erlangt wurden, wodurch die Sensordaten für Verkehrsinfrastrukturzwecke unbrauchbar werden. Das Auswählen der Vielzahl von stationären Sensoren, was zu optimierende Posen beinhaltet, beinhaltet Einschränkungen für die Pose stationärer Sensoren auf Grundlage von Kosten und Sensorauflösung. Angesichts einer Auswahl stationärer Sensoren, was eine Pose und Gewichtungen zu hervorstechenden Regionen der Straßenoberfläche oder angrenzenden Regionen beinhaltet, um die Bedeutung auf Grundlage von A-priori-Informationen bezüglich Abschnitten mit hohem Risiko, wie etwa blinden Ecken, Fußgängerüberwegen oder Ladezonen, widerzuspiegeln, können ein oder mehrere optimale Teilsätze von Posen stationärer Sensoren bestimmt werden, welche die Sensorabdeckung maximieren, während die Gesamtsystemkosten minimiert werden.
Gewichtungen für Prioritätsgitterelemente für das 3D-Gittermodell können von dem Benutzer auf Grundlage bestehender Daten bezüglich Unfällen und Beinaheunfällen und einer Prüfung des 3D-Gittermodells ausgewählt werden, um Gitterelemente zu bestimmen, die Fußgängerwegen, Schulbushaltestellen und anderen Bereichen, die wahrscheinlich durch Fußgänger besetzt sind, entsprechen, wie in Bezug auf 7 erörtert. Gewichtungen für verdeckte 814 Gitterelemente können für eine Vielzahl von Verkehrsmustern bestimmt werden, indem eine Vielzahl von dynamischen Simulationen unter Verwendung von simulierten Fahrzeugen durchgeführt wird, die zu einer Vielzahl von Tageszeiten modelliert sind.
Eine Matrix M kann bestimmt werden, die eine Zeile für jeweilige der K Konfigurationen stationärer Sensoren 122 und eine Spalte für jeweilige der N Gitterelemente des 3D-Gittermodells beinhaltet, wobei die Matrix M_kn durch die folgende Gleichung bestimmt wird: $M_{k n} = B_{k n} ⊙ (C_{k} \otimes W_{n})$
Wobei k die nummerierte Konfiguration stationärer Sensoren 122 ist, n die nummerierten Gitterelemente in der Verkehrsszene 500 ist, B_kn eine K-x-N-Inzidenzmatrix ist, die Gitterabdeckungsdaten beinhaltet, welche die Gitterelemente, die auf n indiziert sind, mit dem Satz von K Konfigurationen stationärer Sensoren 122 verbinden, der auf k indexiert ist. C_k ist eine K-x-1-Matrix, welche die Kosten beinhaltet, die einem k-ten stationären Sensor 122 entsprechen, wie konfiguriert, und W_n ist die Gewichtung, die den n Gitterelementen entspricht. ⊙ bezeichnet das Hadamard-Produkt und ⊗ bezeichnet das äußere Produkt.
Ein Greedy-Suchalgorithmus wird durchgeführt, um ein maximales Verhältnis von Gitterabdeckung zu Kosten zu bestimmen, das einer Konfiguration von Sensoren 112 entspricht, indem die Zielfunktion $\sum_{n}^{N} M_{k n}$
wird: $max_{k} (\sum_{n}^{N} M_{k n})$
Ein Greedy-Suchalgorithmus wird verwendet, um die Zielfunktion $\sum_{n}^{N} M_{k n}$
über K, den Satz von Konfigurationen stationärer Sensoren 122, zu maximieren. Das Maximieren der Zielfunktion $\sum_{n}^{N} M_{k n}$
ist ein nicht-polynomiales schweres (NP-schweres) Problem, was bedeutet, dass das Bestimmen des Maximalwertes erforderlich macht, dass alle möglichen Konfigurationen stationärer Sensoren 122, die alle möglichen Kombinationen von Positionen und Ausrichtungen der stationären Sensoren 122 abdecken, bewertet werden. Ein Greedy-Suchalgorithmus bestimmt lokale Maximalwerte für Teilsätze des Satzes aller Konfigurationen der stationären Sensoren 122 und behält die bestimmten lokalen Maximalwerte als Teil der Endlösung bei. Greedy-Suchalgorithmen finden nicht notwendigerweise die Lösung des wahren Maximalwertes, sondern finden typischerweise eine Lösung, die sich der Lösung des wahren Maximalwertes in weitaus weniger Schritten annähert, als erforderlich wäre, um die Lösung des wahren Maximalwertes zu finden. Zum Beispiel ergibt ein Greedy-Suchalgorithmus, der an einer Zielfunktion mit K = 1000 und M = 10.000 durchgeführt wird, das gleiche maximale Verhältnis von Gitterabdeckung zu Kosten wie eine umfassende Suche, die alle möglichen Lösungen berechnet, während nur 16 % der Rechenressourcen, d. h. der Rechenzeit, der umfassenden Suche erforderlich sind.
9 ist ein Diagramm eines Ablaufplans, der in Bezug auf 1-8 beschrieben ist, von einem Prozess zum Bestimmen einer optimalen Konfiguration stationärer Sensoren 122 in einem Verkehrsinfrastruktursystem 105. Der Prozess 900 kann durch einen Prozessor eines Servercomputers 120 umgesetzt werden, der als Eingabe Daten bezüglich der stationären Sensoren 122 heranzieht und Befehle ausführt und eine optimale Konfiguration stationärer Sensoren 122 ausgibt. Der Prozess 900 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 900 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder kann beinhalten, dass die Blöcke in anderen Reihenfolgen ausgeführt werden.
Der Prozess 900 beginnt bei Block 902, bei dem ein Servercomputer 120 ein 3D-Gittermodell 500 einer Verkehrsszene 500 bestimmt, wie vorstehend in Bezug auf 2-5 erörtert. In dem 3D-Gittermodell 500 ist eine Vielzahl von Konfigurationen stationärer Sensoren 122 für den stationären Sensor 122 beinhaltet, der in einem Verkehrsinfrastruktursystem 105 beinhaltet ist. Die Konfigurationen stationärer Sensoren 122 können in einer Computersimulation eines 3D-Gittermodells 500 simuliert sein. Die Konfigurationen simulierter stationärer Sensoren 122 können eine Vielzahl von stationären Sensoren 122 in einer Vielzahl von Standorten und Ausrichtungen in Bezug auf das 3D-Gittermodell 500 beinhalten. Stationäre Sensoren 122 beinhalten jeweilige Sensorarten; eine Sensorart gibt ein Erfassungsmedium vor und kann zum Beispiel Kamera, Lidar, Radar oder Ultraschall sein. Ein stationärer Sensor 122 beinhaltet intrinsische Sensorparameter, wie vorstehend in Bezug auf 3 erörtert, und Sensorkosten für die Sensorart, einen Sensorstandort und eine Sensorausrichtung, die in der Sensorkonfiguration beinhaltet sind.
Bei Block 904 bestimmt der Servercomputer 120 Gewichtungen für Gitterelemente 504 des Gittermodells 500. Die Gewichtungen werden für die Gitterelemente 504 auf Grundlage von Prioritätsbereichen, wie vorstehend in Bezug auf 7 erörtert, und verdeckten 814 Bereichen, wie vorstehend in Bezug auf 8 erörtert, bestimmt.
Bei Block 906 bestimmt der Servercomputer 120 eine Gitterabdeckung für jeweilige Sensorkonfigurationen auf Grundlage eines 3D-Gittermodells 500, wie vorstehend in Bezug auf 6 erörtert.
Bei Block 908 bestimmt der Servercomputer 120 eine Zielfunktionsmatrix M_kn auf Grundlage von Gitterabdeckungsdaten auf Grundlage des Satzes von Konfigurationen stationärer Sensoren 122, wobei die Kosten den jeweiligen stationären Sensoren 122 entsprechen, wie konfiguriert, und die Gewichtungen den jeweiligen der Gitterelemente entsprechen, wie vorstehend in Bezug auf 8 erörtert.
Bei Block 910 bestimmt der Servercomputer 120 einen optimalen Teilsatz von Konfigurationen stationärer Sensoren 122, indem er das maximale Verhältnis der Gitterabdeckung stationärer Sensor 122 zu den Kosten annähert, indem er einen Greedy-Suchalgorithmus an der Zielfunktionsmatrix durchführt, der über die Konfigurationen stationärer Sensoren 122 und die Gitterelemente summiert wird, wie vorstehend in Bezug auf 8 erörtert. Nach Block 910 endet der Prozess 900.
10 ist ein Diagramm eines Ablaufplans, der in Bezug auf 1-9 beschrieben ist, von einem Prozess zum Betreiben eines Fahrzeugs 110 auf Grundlage von Daten zu stationären Sensoren 122, die von einem Verkehrsinfrastruktursystem 105 heruntergeladen wurden. Der Prozess 1000 kann durch einen Prozessor einer Rechenvorrichtung 115 umgesetzt sein, der Daten von einem Servercomputer 120 als Eingabe heranzieht und Befehle ausführt und das Fahrzeug 110 betreibt. Der Prozess 1000 beinhaltet mehrere Blöcke, die in der veranschaulichten Reihenfolge ausgeführt werden können. Der Prozess 1000 könnte alternativ oder zusätzlich weniger Blöcke beinhalten oder beinhalten, dass die Blöcke in anderen Reihenfolgen ausgeführt werden.
Der Prozess 1000 beginnt bei Block 1002, bei dem eine Rechenvorrichtung 115 in einem Fahrzeug 110 Daten zu stationären Sensoren 122 von einem Servercomputer 120 herunterlädt, der in einem Verkehrsinfrastruktursystem 105 beinhaltet ist. Die Daten zu stationären Sensoren 122 können Metadaten beinhalten, die auf Grundlage der Daten zu stationären Sensoren 122 bestimmt werden, wie etwa Begrenzungsrahmen auf Grundlage von Objekten, die sich in den Daten zu stationären Sensoren 122 befinden. Metadaten, wie etwa Begrenzungsrahmen, können durch einen Servercomputer 120 bestimmt werden, der die Daten zu stationären Sensoren 122 unter Verwendung von Bildverarbeitungssoftware, zum Beispiel tiefen neuronalen Netzen, verarbeitet. Heruntergeladene Daten zu stationären Sensoren 122 können zusätzlich zu den Daten zu Sensoren 116 verwendet werden, die von Sensoren 116 erlangt werden, die in einem Fahrzeug 110 beinhaltet sind. Daten zu stationären Sensoren 122 werden unter Verwendung stationärer Sensoren 122 erlangt, die optimiert wurden, um das Verhältnis der Gitterabdeckung stationärer Sensoren 122 zu den Kosten zu maximieren, wie vorstehend in Bezug auf 8 und 9 erörtert, was die Gewichtung des 3D-Gittermodells beinhaltet, um die Gewichtungen für Prioritätsbereiche und verdeckte Regionen auf Grundlage von simuliertem Verkehr zu erhöhen.
Bei Block 1004 bestimmt die Rechenvorrichtung 115 einen Fahrzeugpfad auf Grundlage der Daten zu stationären Sensoren 122 und der Daten zu Sensoren 116. Ein Fahrzeugpfad ist eine Polynomfunktion, die eine maximale und minimale Quer- und Längsbeschleunigung beinhaltet, die auf eine Bewegung des Fahrzeugs angewendet werden sollen, während sich dieses entlang des Fahrzeugpfades bewegt. In dieser Schrift beschriebene Techniken verbessern die Bestimmung des Fahrzeugpfades durch Bereitstellen von Daten bezüglich Prioritätsbereichen und möglicherweise verdeckten Bereichen einer Verkehrsszene zusätzlich zu den durch die Fahrzeugsensoren 116 bereitgestellten Daten.
Bei Block 1006 gibt die Rechenvorrichtung 115 Befehle an die Steuerungen 112, 113, 114 aus, um einen Fahrzeugantriebsstrang, eine Fahrzeuglenkung und Fahrzeugbremsen zu steuern, um eine Fahrzeugbewegung zu steuern, um das Fahrzeug 110 entlang des Fahrzeugpfades zu betreiben, der bei Block 1004 bestimmt wurde. Nach Block 1006 endet der Prozess 1000.
Rechenvorrichtungen, wie etwa die in dieser Schrift erörterten, beinhalten im Allgemeinen jeweils Befehle, die durch eine oder mehrere Rechenvorrichtungen, wie etwa die vorstehend genannten, und zum Ausführen von Blöcken oder Schritten von vorstehend beschriebenen Prozessen ausführbar sind. Zum Beispiel können die vorstehend erörterten Prozessblöcke als computerausführbare Befehle umgesetzt sein.
Computerausführbare Befehle können von Computerprogrammen zusammengestellt und ausgelegt werden, die unter Verwendung einer Vielfalt von Programmiersprachen und/oder - technologien erstellt wurden, was unter anderem, entweder allein oder in Kombination Java™, C, C++, Python, Julia, SCALA, Visual Basic, Java Script, Perl, HTML usw. beinhaltet. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Befehle, z. B. von einem Speicher, einem computerlesbaren Medium usw., und führt diese Befehle aus, wodurch ein oder mehrere Prozesse durchgeführt werden, was einen oder mehrere der in dieser Schrift beschriebenen Prozesse beinhaltet. Derartige Befehle und andere Daten können in Dateien gespeichert und unter Verwendung einer Vielfalt von computerlesbaren Medien übertragen werden. Eine Datei in einer Rechenvorrichtung ist im Allgemeinen eine Sammlung von Daten, die auf einem computerlesbaren Medium, wie etwa einem Datenspeichermedium, einem Direktzugriffsspeicher usw., gespeichert ist.
Ein computerlesbares Medium (auch als prozessorlesbares Medium bezeichnet) beinhaltet ein beliebiges nicht flüchtiges (z. B. physisches) Medium, das am Bereitstellen von Daten (z. B. Anweisungen) beteiligt ist, die durch einen Computer (z. B. durch einen Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele Formen annehmen, zu denen unter anderem nicht flüchtige Medien und flüchtige Medien gehören. Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, die Glasfasern, Drähte, drahtlose Kommunikation beinhalten, welche die Innenaufbauelemente beinhalten, die einen an einen Prozessor eines Computers gekoppelten Systembus ausmachen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel RAM, einen PROM, einen EPROM, einen FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das ein Computer auslesen kann.
Allen in den Patentansprüchen verwendeten Ausdrücken soll deren allgemeine und gewöhnliche Bedeutung zukommen, wie sie vom Fachmann verstanden wird, sofern in dieser Schrift nicht ausdrücklich etwas anderes angegeben ist. Insbesondere ist die Verwendung der Singularartikel, wie etwa „ein“, „eine“, „der“, „die“, „das“ usw., dahingehend auszulegen, dass ein oder mehrere der angegebenen Elemente genannt werden, sofern ein Patentanspruch nicht eine ausdrückliche gegenteilige Einschränkung nennt.
Der Ausdruck „beispielhaft“ wird in dieser Schrift in dem Sinne verwendet, dass er ein Beispiel bedeutet; z. B. sollte eine Bezugnahme auf ein „beispielhaftes Gerät“ einfach als Bezugnahme auf ein Beispiel für ein Gerät gelesen werden.
Das einen Wert oder ein Ergebnis modifizierende Adverb „ungefähr“ bedeutet, dass eine Form, eine Struktur, eine Messung, ein Wert, eine Bestimmung, eine Berechnung usw. von einer/einem genau beschriebenen Geometrie, Entfernung, Messung, Wert, Bestimmung, Berechnung usw. aufgrund von Mängeln hinsichtlich Materialien, Bearbeitung, Fertigung, Sensormessungen, Berechnungen, Verarbeitungszeit, Kommunikationszeit usw. abweichen kann.
In den Zeichnungen geben die gleichen Bezugszeichen die gleichen Elemente an. Ferner könnten einige oder alle dieser Elemente geändert werden. Hinsichtlich der in dieser Schrift beschriebenen Medien, Prozesse, Systeme, Verfahren usw. versteht es sich, dass, obwohl die Schritte oder Blöcke derartiger Prozesse usw. als gemäß einer gewissen Abfolge erfolgend beschrieben worden sind, derartige Prozesse so umgesetzt werden könnten, dass die beschriebenen Schritte in einer anderen Reihenfolge als der in dieser Schrift beschriebenen Reihenfolge durchgeführt werden. Ferner versteht es sich, dass gewisse Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder gewisse in dieser Schrift beschriebene Schritte weggelassen werden könnten. Anders ausgedrückt, sind die Beschreibungen von Prozessen in dieser Schrift zur Veranschaulichung gewisser Ausführungsformen bereitgestellt und sollten keinesfalls dahingehend ausgelegt werden, dass sie die beanspruchte Erfindung einschränken.

Claims

Verfahren, umfassend: Bestimmen eines dreidimensionalen Gittermodells einer Verkehrsszene auf Grundlage von Gitterelementen; Bestimmen von Gewichtungen für die Gitterelemente des dreidimensionalen Gittermodells, die Prioritätsregionen und verdeckten Gitterelementen entsprechen; Bestimmen einer Gitterabdeckung für jeweilige einer Vielzahl von stationären Sensoren auf Grundlage der Gitterelemente des dreidimensionalen Gittermodels; Bestimmen einer Matrix auf Grundlage der Gitterabdeckung der Vielzahl von stationären Sensoren; und Bestimmen eines optimalen Teilsatzes von stationären Sensoren auf Grundlage von Anwenden eines Greedy-Suchalgorithmus auf die Matrix, die Gewichtungen und die Vielzahl von stationären Sensoren, um ein Verhältnis der Gitterabdeckung zu einer Anzahl stationärer Sensoren auf Grundlage von Posen der Vielzahl von stationären Sensoren zu maximieren.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen des dreidimensionalen Gittermodells durch Unterteilen einer Karte, welche die Verkehrsszene beinhaltet, in ein rechteckiges Array aus zusammenhängenden Gitterelementen und Bestimmen einer Höhe für jeweilige der Gitterelemente.
Verfahren nach Anspruch 2, wobei die Höhen auf Grundlage von einem oder mehreren von Satellitenlidardaten oder luftgestützten Lidardaten bestimmt werden.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen der verdeckten Gitterelemente durch Simulieren von Sichtfeldern auf Grundlage von simulierten Sensoren, die in einem simulierten Fahrzeug beinhaltet sind, während sich das simulierte Fahrzeug durch eine simulierte Verkehrsszene bewegt, die simulierten Verkehr beinhaltet.
Verfahren nach Anspruch 4, ferner umfassend Bestimmen der verdeckten Gitterelemente auf Grundlage des simulierten Verkehrs, der typischem Verkehr entspricht, der zu einer oder mehreren unterschiedlichen Tageszeiten beobachtet wird.
Verfahren nach Anspruch 1, wobei die Prioritätsregionen eines oder mehrere von einem Fußgängerweg, einer Ladezone und einer Bushaltestelle beinhalten.
Verfahren nach Anspruch 1, wobei die Vielzahl von stationären Sensoren entsprechend an einem oder mehreren von einem Mast, einem Gebäude oder einer Struktur montiert ist, sodass Sichtfelder der Vielzahl von stationären Sensoren Abschnitte der Verkehrsszene beinhalten.
Verfahren nach Anspruch 1, ferner umfassend Bestimmen der Gitterabdeckung für jeweilige der Vielzahl von stationären Sensoren auf Grundlage einer Sichtbarkeitsanalyse von den jeweiligen stationären Sensoren zu den Gitterelementen des dreidimensionalen Gittermodells.
Verfahren nach Anspruch 1, wobei die Matrix eine K-x-N-Inzidenzmatrix beinhaltet, die K Reihen, die K Konfigurationen stationärer Sensoren entsprechen, und N Spalten beinhaltet, die den Gitterelementen entsprechen, die in der Gitterabdeckung der jeweiligen K Konfigurationen stationärer Sensoren beinhaltet sind.
Verfahren nach Anspruch 9, wobei die Greedy-Suche eine Zielfunktion $max_{k} (\sum_{n}^{N} M_{k n})$
über die K Konfigurationen stationärer Sensoren maximiert, um den optimalen Teilsatz von stationären Sensoren zu bestimmen.
Verfahren nach Anspruch 10, wobei die Zielfunktion M_kn = B_kn⊙(C_k ⊗ W_n) ist, wobei B_kn die Inzidenzmatrix ist, C_k eine K-x-1-Kostenmatrix ist, W_n die Gewichtungen sind, die auf die jeweiligen Gitterelemente angewendet werden, ⊙ ein Hadamard-Produkt ist und ⊗ ein äußeres Produkt ist.
Verfahren nach Anspruch 1, ferner umfassend Herunterladen von Daten zu stationären Sensoren von dem optimalen Teilsatz von stationären Sensoren auf einen zweiten Computer, der in einem Fahrzeug beinhaltet ist.
Verfahren nach Anspruch 12, wobei die Daten zu stationären Sensoren Metadaten beinhalten, wie etwa Begrenzungsrahmen auf Grundlage von Objekten, die in den Daten zu stationären Sensoren beinhaltet sind.
Verfahren nach Anspruch 12, ferner umfassend Bestimmen eines Fahrzeugpfades auf Grundlage der Sensordaten.
System, umfassend einen Computer, der dazu programmiert ist, die Verfahren nach einem der Ansprüche 1-14 durchzuführen.