DE102022106248A1 - System zum Steuern einer Kamera zur Unterstützung der menschlichen Überprüfung von Sensorinformationen - Google Patents

System zum Steuern einer Kamera zur Unterstützung der menschlichen Überprüfung von Sensorinformationen Download PDF

Info

Publication number
DE102022106248A1
DE102022106248A1 DE102022106248.1A DE102022106248A DE102022106248A1 DE 102022106248 A1 DE102022106248 A1 DE 102022106248A1 DE 102022106248 A DE102022106248 A DE 102022106248A DE 102022106248 A1 DE102022106248 A1 DE 102022106248A1
Authority
DE
Germany
Prior art keywords
feature
camera
vehicle
processor
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022106248.1A
Other languages
English (en)
Inventor
Shawn Hunt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of DE102022106248A1 publication Critical patent/DE102022106248A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Atmospheric Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

Ein Kamerasteuersystem wird zum Steuern des Betriebs einer Kamera (126, 148) bereitgestellt, die an einem Fahrzeug (100) montiert ist. Das System umfasst einen Prozessor (110) und einen Speicher (115), der kommunizierbar mit dem Prozessor verbunden ist. Der Speicher speichert ein Kamerasteuermodul (141), das konfiguriert ist, einen Erkennungskonfidenzgrad, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert zu vergleichen und als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert liegt, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, den Betrieb der Kamera (126, 148) steuert, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs (100) aufzunehmen.

Description

  • Die vorliegende Offenbarung betrifft die Interpretation von Fahrzeugsensordaten, um ein erfasstes Objekt zu erkennen, und insbesondere die menschliche Überprüfung von Sensordaten, um die Daten mit einem erkannten Objekt zum Zweck der Aktualisierung von Objekterkennungsfähigkeiten von Fahrzeugsensorsystemen zu korrelieren.
  • Fahrzeuge enthalten üblicherweise Lidar- und Radarsensoren, um Merkmale in einer Umgebung eines Fahrzeugs zu erfassen. Das Fahrzeug kann auch Sensordatenverarbeitungsroutinen und Hardware enthalten, die konfiguriert sind, um die Sensordaten zu interpretieren, um zu versuchen, erfasste Merkmale zu erkennen und/oder zu kategorisieren, zum Beispiel durch Vergleichen mit gespeicherten Informationen, die bekannte und zuvor angetroffene Merkmale beschreiben. Einige erfasste Merkmale können jedoch von den Sensordatenverarbeitungsroutinen nicht erkennbar sein, zum Beispiel, weil das Merkmal noch nie zuvor angetroffen wurde, wegen des Zustands des erfassten Merkmals oder weil ein Winkel, in dem das Merkmal von dem Sensor „betrachtet“ wird, es schwierig macht, die verarbeiteten Daten akkurat mit bekannten Merkmalen zu vergleichen. Es existiert auch Software zum Erzeugen von zweidimensionalen und dreidimensionalen Darstellungen von Sensordaten (z.B. Punktwolken) zur Überprüfung durch den Menschen. Aufgrund von Einschränkungen einer solchen Software kann die genaue Identität eines erfassten Objekts jedoch selbst für einen menschlichen Prüfer, der die erzeugte Darstellung des Merkmals überprüft, unklar sein.
  • In einem Aspekt der hierin beschriebenen Ausführungsbeispiele wird ein Kamerasteuersystem zum Steuern des Betriebs einer Kamera bereitgestellt, die an einem Fahrzeug montiert ist. Das System enthält einen Prozessor und einen Speicher, der kommunizierbar mit dem Prozessor verbunden ist. Der Speicher speichert ein Kamerasteuermodul, das computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor bewirken, dass der Prozessor einen Erkennungskonfidenzgrad, der einem Merkmal in einer Umgebung des Fahrzeugs zugeordnet ist, mit einem vorgegebenen Schwellenwert vergleicht und, als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, den Betrieb der Kamera steuert, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs aufzunehmen.
  • In einem weiteren Aspekt der hierin beschriebenen Ausführungsbeispiele wird ein Verfahren zum Steuern des Betriebs einer Kamera bereitgestellt, die an einem Fahrzeug montiert ist. Das Verfahren beinhaltet folgende Schritte: Vergleichen eines Erkennungskonfidenzgrades, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert und, als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, Steuern des Betriebs der Kamera, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs aufzunehmen.
  • In einem weiteren Aspekt der hierin beschriebenen Ausführungsbeispiele wird ein nichtflüchtiges computerlesbares Medium zum Steuern des Betriebs einer Kamera bereitgestellt, die an einem Fahrzeug montiert ist. Das Medium hat darin gespeicherte Anweisungen, die, wenn diese von einem Computersystem ausgeführt werden, bewirken, dass das Computersystem Funktionen durchführt, die enthalten: Vergleichen eines Erkennungskonfidenzgrades, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert und, als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, Steuern des Betriebs der Kamera, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs aufzunehmen.
  • Die zugehörigen Zeichnungen, die in die Beschreibung aufgenommen sind und einen Teil davon bilden, stellen verschiedene Systeme, Verfahren und andere Ausführungsbeispiele der Offenbarung dar. Es versteht sich, dass die dargestellten Elementgrenzen (z.B. Kästen, Gruppen von Kästen oder andere Formen) in den Figuren ein Ausführungsbeispiel der Grenzen darstellen. In einigen Ausführungsbeispielen kann ein Element als mehrere Elemente konzipiert sein oder mehrere Elemente können als ein Element konzipiert sein. In einigen Ausführungsbeispielen kann ein Element, das als eine interne Komponente eines anderen Elements gezeigt ist, als eine externe Komponente implementiert sein und umgekehrt. Außerdem können gegebenenfalls Elemente nicht maßstabsgetreu gezeichnet sein.
    • 1 ist ein schematisches Blockdiagramm eines Fahrzeugs, das ein Kamerasteuersystem gemäß hierin beschriebenen Ausführungsbeispielen enthält.
    • 2 ist ein Ablaufdiagramm, das den Betrieb eines Kamerasteuersystems gemäß einem hierin beschriebenen Ausführungsbeispiel darstellt.
    • 3 ist eine schematische Draufsicht eines Fahrzeugs, das sich während des Betriebs des Kamerasteuersystems gemäß einem hierin beschriebenen Ausführungsbeispiel entlang einer Straße bewegt.
  • Hierin beschriebene Ausführungsbeispiele betreffen ein Kamerasteuersystem zum Steuern des Betriebs einer Kamera, die an einem Fahrzeug montiert ist. Das System enthält einen Prozessor und einen Speicher, der kommunizierbar mit dem Prozessor verbunden ist. Der Speicher speichert ein Kamerasteuermodul, das konfiguriert ist, einen Erkennungskonfidenzgrad, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert zu vergleichen. Als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, wird der Betrieb der Kamera gesteuert, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs aufzunehmen. Das aufgenommene Bild kann zeitlich mit Lidar- und/oder Radardaten bezüglich des erfassten Merkmals korreliert und gleichzeitig mit dem Kamerabild bezogen werden. Wenn der Konfidenzgrad unter dem vorgegebenen Schwellenwert liegt, können die zeitkorrelierten Kamerabilder und verarbeiteten Lidar-/Radarinformationen an einen menschlichen Prüfer weitergeleitet werden. Der menschliche Prüfer kann die Lidar-/Radarinformationen vergleichen und mit Kamerabildern des tatsächlichen Merkmals in Beziehung setzen, das in den Lidar-/Radarinformationen dargestellt ist. Wenn die Lidar-/Radarinformationen kategorisiert oder einem tatsächlich bekannten Merkmal zugeordnet werden, können die neu bezogenen Lidar-/Radarinformationen in Bezug auf das Merkmal zu einem Katalog bekannter Lidar-/Radarinformationen hinzugefügt werden, die dem Merkmal zugeordnet sind, wodurch die Ressourcendatenbank erweitert wird, die für den Vergleich mit neu bezogenen Lidar-/Radarinformationen verwendet wird. Dies kann die zukünftige Erkennung dieses Merkmals oder eines ähnlichen Merkmals in anderen Fahrzeugen erleichtern, die dieselbe Datenbank als eine Quelle bekannter Lidar-/Radarinformationen zum Vergleich verwenden.
  • 1 zeigt ein schematisches Blockdiagramm eines Fahrzeugs 100, das ein Kamerasteuersystem enthält, gemäß hierin beschriebener Ausführungsbeispiele. Das Kamerasteuersystem kann konfiguriert sein, den Betrieb einer Überprüfungsunterstützungskamera 148 zu steuern, die an dem Fahrzeug 100 montiert ist. Wie hierin verwendet, ist ein „Fahrzeug“ jede Form von motorisiertem Transportmittel. In einer oder mehreren Implementierungen ist das Fahrzeug 100 ein herkömmlicher Personenkraftwagen, wie beispielsweise eine Limousine, ein Pickup-Truck oder ein SUV, obwohl das Fahrzeug 100 jede Form eines motorisierten Transportmittels sein kann, das einen Lidarsensor und/oder einen Radarsensor als Teil der Fahrzeugsensoren enthält.
  • Das Fahrzeug 100 enthält auch verschiedene Elemente. Es versteht sich, dass es in verschiedenen Ausführungsbeispielen möglicherweise nicht erforderlich ist, dass das Fahrzeug 100 alle in 1 gezeigten Elemente aufweist. Das Fahrzeug 100 kann eine beliebige Kombination der verschiedenen in 1 gezeigten Elemente aufweisen. Des Weiteren kann das Fahrzeug 100 zusätzliche Elemente zu den in 1 gezeigten aufweisen. In einigen Anordnungen kann das Fahrzeug 100 ohne eines oder mehreren der in 1 gezeigten Elemente implementiert sein. Während die verschiedenen Elemente in 1 als innerhalb des Fahrzeugs 100 angeordnet gezeigt sind, versteht es sich, dass eines oder mehrere dieser Elemente außerhalb des Fahrzeugs 100 angeordnet sein können.
  • Einige der möglichen Elemente des Fahrzeugs 100 sind in 1 gezeigt und werden in Bezug darauf beschrieben. Außerdem versteht es sich, dass zur Vereinfachung und Klarheit der Darstellung gegebenenfalls Bezugszeichen zwischen den verschiedenen Figuren wiederholt worden sein können, um entsprechende oder analoge Elemente anzugeben. Zusätzlich skizziert die Diskussion zahlreiche spezifische Details, um ein gründliches Verständnis der hierin beschriebenen Ausführungsbeispiele bereitzustellen. Der Fachmann wird jedoch verstehen, dass die hierin beschriebenen Ausführungsbeispiele durch Verwendung verschiedener Kombinationen dieser Elemente praktiziert werden können.
  • In einigen Fällen kann das Fahrzeug 100 konfiguriert sein, selektiv zwischen einem autonomen Modus, einem oder mehreren halbautonomen Betriebsmodi und/oder einem manuellen Modus umzuschalten. Ein solches Umschalten kann in geeigneter Weise implementiert werden, die jetzt bekannt ist oder später entwickelt wird. „Manueller Modus“ bedeutet, dass die gesamte oder ein Großteil der Navigation und/oder des Manövrierens des Fahrzeugs gemäß Eingaben durchgeführt wird, die von einem Benutzer (z.B. einem menschlichen Fahrer) empfangen werden. Bei einer oder mehreren Anordnungen kann das Fahrzeug 100 ein herkömmliches Fahrzeug sein, das konfiguriert ist, nur in einem manuellen Modus betrieben zu werden.
  • In einem oder mehreren Ausführungsbeispielen ist das Fahrzeug 100 ein autonomes Fahrzeug. Wie hierin verwendet, betrifft „autonomes Fahrzeug“ ein Fahrzeug, das in einem autonomen Modus betrieben werden kann. „Autonomer Modus“ bezieht sich auf das Navigieren und/oder Manövrieren des Fahrzeugs 100 entlang einer Fahrtroute durch Verwendung eines oder mehrerer Computersysteme, um das Fahrzeug 100 mit minimaler oder keiner Eingabe von einem menschlichen Fahrer zu steuern. In einem oder mehreren Ausführungsbeispielen ist das Fahrzeug 100 hochautomatisiert oder vollständig automatisiert. In einer oder mehreren Anordnungen ist das Fahrzeug 100 mit einem oder mehreren halbautonomen Betriebsmodi konfiguriert, in denen ein oder mehrere Computersysteme einen Abschnitt der Navigation und/oder des Manövrierens des Fahrzeugs entlang einer Fahrtroute durchführen, und ein Fahrzeugführer (d.h. Fahrer) stellt dem Fahrzeug Eingaben bereit, um einen Abschnitt der Navigation und/oder des Manövrierens des Fahrzeugs 100 entlang der Fahrtroute durchzuführen.
  • Ausführungsbeispiele des hierin beschriebenen Kamerasteuermoduls 141 können den Betrieb der Überprüfungsunterstützungskamera 148 für die hierin beschriebenen Zwecke autonom steuern, sowohl wenn das Fahrzeug in einem manuellen Modus als auch in einem autonomen Modus betrieben wird. Das Kamerasteuermodul 141 kann nach Bedarf mit dem Autonomes-Fahren-Modul 160 eine Schnittstelle bilden, um die autonome Steuerung der Kamera 148 zu erleichtern.
  • Das Fahrzeug 100 kann einen oder mehrere Prozessoren 110 enthalten. In einer oder mehreren Anordnungen kann/können der/die Prozessor(en) 110 ein Hauptprozessor/Hauptprozessor(en) des Fahrzeugs 100 sein. Zum Beispiel kann/können der/die Prozessor(en) 110 eine elektronische Steuereinheit sein (ECU). Das Fahrzeug 100 kann einen oder mehrere Datenspeicher 115 zum Speichern von einem oder mehreren Datentypen enthalten. Der/Die Datenspeicher 115 kann/können flüchtige und/oder nicht flüchtige Speicher enthalten. Beispiele geeigneter Datenspeicher 115 enthalten RAM (Random Access Memory), Flash-Speicher, ROM (Read Only Memory), PROM (Programmable Read Only Memory), EPROM (Erasable Programmable Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), Register, Magnetplatten, optische Platten, Festplatten oder jedes andere geeignete Speichermedium oder jede Kombination davon. Der/Die Datenspeicher 115 kann/können eine Komponente des/der Prozessor(en) 110 sein, oder der/die Datenspeicher 115 kann/können mit dem/den Prozessor(en) 110 zur Verwendung durch diesen operativ verbunden sein. Der Begriff „operativ verbunden“, wie er in dieser Beschreibung verwendet wird, kann direkte oder indirekte Verbindungen enthalten, einschließlich Verbindungen ohne direkten physischen Kontakt.
  • Der eine oder die mehreren Datenspeicher 115 können Sensordaten 119 enthalten. In diesem Zusammenhang bedeutet „Sensordaten“ beliebige Informationen über die Sensoren, mit denen das Fahrzeug 100 ausgestattet ist, einschließlich der Fähigkeiten und anderer Informationen über solche Sensoren. Wie nachfolgend erläutert wird, kann das Fahrzeug 100 das Sensorsystem 120 enthalten. Die Sensordaten 119 können sich auf einen oder mehrere Sensoren des Sensorsystems 120 beziehen. Als ein Beispiel können die Sensordaten 119 in einer oder mehreren Anordnungen Betriebsinformationen und Spezifikationen zu Radarsensor(en) 109, Lidarsensor(en) 125 und Kamera(s) 126 des Sensorsystems 120 enthalten. Der/Die Datenspeicher 115 kann/können operativ mit der drahtlosen Fahrzeugkommunikationsschnittstelle 169 verbunden sein, um Informationen an eine Cloud oder eine andere Entität außerhalb des Fahrzeugs zu übertragen.
  • In einem oder mehreren Anordnungen können der eine oder die mehreren Datenspeicher 115 Kartendaten 189 enthalten. Die Kartendaten 189 können Karten von einem oder mehreren geografischen Gebieten enthalten. In einigen Fällen können die Kartendaten 189 Informationen oder Daten zu Straßen, Verkehrsregelungsvorrichtungen, Straßenmarkierungen, Strukturen, interessanten Merkmalen und/oder Orientierungspunkten in dem einen oder den mehreren geografischen Gebieten enthalten. Die Kartendaten 189 können in jeder geeigneten Form vorliegen. In einigen Fällen können die Kartendaten 189 Luftaufnahmen eines Gebiets enthalten. In einigen Fällen können die Kartendaten 189 Bodenansichten eines Gebiets enthalten, einschließlich 360-Grad-Bodenansichten. Die Kartendaten 189 können Messungen, Abmessungen, Entfernungen und/oder Informationen für ein oder mehrere in den Kartendaten 189 enthaltene Elemente und/oder in Bezug auf andere in den Kartendaten 189 enthaltene Elemente beinhalten. Die Kartendaten 189 können eine digitale Karte mit Informationen über Stra-ßengeometrie, Straßengefälle und Steigungen und andere Straßeninformationen enthalten, einschließlich Informationen über die Straße, auf der das Fahrzeug 100 gerade fährt. Die Kartendaten 189 können von hoher Qualität und/oder sehr detailliert sein. In einer oder mehreren Anordnungen können die Kartendaten 189 kontinuierlich (d.h. sobald Informationen bezüglich Revisionen verfügbar werden) oder regelmäßig von einer Cloud-Quelle oder einer anderen Quelle außerhalb des Fahrzeugs aktualisiert werden. Informationen aus den Kartendaten 189 können verwendet werden, um Standortinformationen in Bezug auf Merkmale der Umgebung zu bestimmen, die durch Lidar- und Radar-Scans erfasst werden.
  • Die Kamerabildinformationen 165 können Bilder (wie beispielsweise digitale Bilder) von Merkmalen der Umgebung enthalten, die von einer Kamera (wie beispielsweise der Überprüfungsunterstützungskamera 148) aufgenommen und/oder aus Daten erzeugt werden, die von der Kamera bezogen werden. Die Kamerabildinformationen 165 können Kamerabilddaten enthalten, aus denen Kamerabilder erzeugt werden können, die von einem menschlichen Prüfer betrachtet werden können. Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die beim Ausführen durch den Prozessor bewirken, dass der Prozessor Kamerabildinformationen 165 mit gleichzeitig bezogenen Lidar-Scan-Informationen und/oder Radar-Scan-Informationen zeitlich korreliert (z.B. können Kamerabilddaten zeitlich mit Lidardaten und/oder Radardaten verknüpft werden, die gleichzeitig mit den Lidar- und/oder Radardaten bezogen werden). Somit kann zum Beispiel ein Kamerabild, das von der Überprüfungsunterstützungskamera 148 um 14:05 Uhr während einer Tagesfahrt mit dem Fahrzeug aufgenommen wurde, mit einem Lidar-Scan zeitlich korreliert werden, der von einem Lidarsensor 125 um 14:05 Uhr während der Tagesfahrt durchgeführt wird.
  • Die Lidar-Scan-Informationen 118 können Scandaten enthalten, die von einem Lidarsensor 125 während eines Lidar-Scans erfasst werden, Standortinformationen, die Standorte von Merkmalen beschreiben, die durch Lidar-Scans erkannt werden, computergenerierte Identifikationen und/oder Klassifikationen der Merkmale, Konfidenzgrade in Bezug auf die Merkmalsidentifikationen, Informationen, die Punktwolken beschreiben, die aus zugehörigen Lidar-Scans erzeugt werden, Daten und Tageszeiten, zu denen die zugehörigen Lidar-Scans durchgeführt werden, Informationen, die bekannte oder identifizierte Punktwolkenkonfigurationen zum Zweck des Vergleichens mit neu bezogenen Scandaten und zugehörigen Punktwolken beschreiben, und andere Informationen in Bezug auf Lidar-Scans, die von einem Lidarsensor 125 durchgeführt werden. Wie zuvor angegeben, können die Lidar-Scan-Informationen mit gleichzeitig bezogenen Kamerabildinformationen und/oder Radar-Scan-Informationen zeitlich korreliert werden (d.h. Lidardaten können mit Kamerabildern und/oder Radardaten zeitlich verknüpft werden, die gleichzeitig mit Kamerabildern und/oder Radardaten bezogen werden). Durch Verwendung der aus Lidar- und/oder Radar-Scans erfassten Daten können der/die Prozessor(en) 110 Punktwolken erzeugen, die für in der Fahrzeugumgebung erfasste Merkmale repräsentativ sind.
  • Die Radar-Scan-Informationen 123 können Scandaten enthalten, die von einem Radarsensor 109 während eines Radar-Scans erfasst werden, Standortinformationen, die Standorte von Merkmalen beschreiben, die durch Radar-Scans erfasst werden, computergenerierte Identifikationen und/oder Klassifikationen der Merkmale, Konfidenzgrade in Bezug auf die Merkmalsidentifikationen, Informationen, die Punktwolken beschreiben, die aus zugehörigen Radar-Scans erzeugt werden, Daten und Tageszeiten, zu denen zugehörige Radar-Scans durchgeführt werden, Informationen, die bekannte oder identifizierte Punktwolkenkonfigurationen zum Zweck des Vergleichens mit neu bezogenen Scandaten und zugehörigen Punktwolken beschreiben, und andere Informationen in Bezug auf Radar-Scans, die von einem Radarsensor 109 durchgeführt werden. Wie zuvor angegeben, können die Radar-Scan-Informationen mit gleichzeitig bezogenen Kamerabildinformationen und/oder Radar-Scan-Informationen zeitlich korreliert werden (d.h. Lidardaten können mit Kamerabildern und/oder Radardaten zeitlich verknüpft werden, die gleichzeitig mit Kamerabildern und/oder Radardaten bezogen werden.
  • Durch Verwendung der Daten, die aus Lidar- und/oder Radar-Scans bezogen werden, können der/die Prozessor(en) 110 auf bekannte Weise Punktwolken erzeugen, die für in der Fahrzeugumgebung erfasste Merkmale repräsentativ sind.
  • Wie zuvor angemerkt, kann das Fahrzeug 100 das Sensorsystem 120 enthalten. Das Sensorsystem 120 kann einen oder mehrere Sensoren enthalten. „Sensor“ bezeichnet jede Vorrichtung, jede Komponente und/oder jedes System, das etwas erfassen und/oder messen kann. Der eine oder die mehreren Sensoren können konfiguriert sein, um in Echtzeit zu erfassen und/oder zu messen. Wie hierin verwendet, bedeutet der Begriff „Echtzeit“ ein Grad bzw. Maß an Verarbeitungsreaktionsfähigkeit, den ein Benutzer oder System als ausreichend unmittelbar wahrnimmt, damit ein bestimmter Prozess oder eine Bestimmung durchgeführt werden kann, oder das es dem Prozessor ermöglicht, mit einem externen Prozess Schritt zu halten. Bei Anordnungen, bei denen das Sensorsystem 120 eine Mehrzahl von Sensoren enthält, können die Sensoren unabhängig voneinander arbeiten. Alternativ können zwei oder mehr der Sensoren in Kombination miteinander arbeiten. Dabei können die zwei oder mehr Sensoren ein Sensornetzwerk ausbilden. Das Sensorsystem 120 und/oder der eine oder die mehreren Sensoren können mit dem/den Prozessor(en) 110, dem/den Datenspeicher(n) 115 und/oder anderen Element(en) des Fahrzeugs 100 operativ verbunden sein (einschließlich eines beliebigen der Elemente, die in 1 gezeigt sind).
  • Das Sensorsystem 120 kann jeden geeigneten Sensortyp enthalten. Hierin werden verschiedene Beispiele unterschiedlicher Arten von Sensoren beschrieben. Es versteht sich jedoch, dass die Ausführungsbeispiele nicht auf die beschriebenen speziellen Sensoren beschränkt sind. Hierin werden verschiedene Beispiele von Sensoren des Sensorsystems 120 beschrieben. Die beispielhaften Sensoren können Teil des einen oder der mehreren Umgebungssensoren 122 und/oder des einen oder der mehreren Fahrzeugsensoren 121 sein. Es versteht sich jedoch, dass die Ausführungsbeispiele nicht auf die beschriebenen speziellen Sensoren beschränkt sind. Das Sensorsystem 120 kann beliebige Sensoren enthalten, die geeignet und/oder erforderlich sind, um beliebige der hier in Betracht gezogenen Datenbezugs- und/oder Fahrzeugsteuerungsvorgänge durchzuführen.
  • Sensoren des Sensorsystems 120 können kommunizierbar mit den verschiedenen Systemen und Komponenten des Fahrzeugs 100 verbunden bzw. gekoppelt sein. Die Sensoren können operativ mit der drahtlosen Fahrzeugkommunikationsschnittstelle 169 verbunden sein, um Informationen an eine Cloud oder eine andere Speichereinrichtung oder für Fahrzeug-zu-Fahrzeug-(V2V)- oder Fahrzeug-zu-Alles-(V2X)-Kommunikationen zu übertragen. Die Sensoren können auch operativ mit anderen Fahrzeugsystemen und -komponenten verbunden sein, wie beispielweise Datenspeichern 115 und Prozessor(en) 110, um die Speicherung und Verarbeitung von Fahrzeug- und Umgebungssensordaten zu erleichtern. Das Vorhandensein der verschiedenen hierin beschriebenen Bedingungen können durch Verwendung von Sensordaten berechnet oder anderweitig bestimmt werden.
  • Sensoren des Sensorsystems 120 können einen oder mehrere Zeitgeber oder Uhren (nicht gezeigt) enthalten (oder operativ damit verbunden sein), die konfiguriert sind, um Bezug, Verfolgung, Speicherung, Erzeugung und/oder Verarbeitung von zeitkorrelierten Sensordaten und anderen Informationen wie hierin beschrieben zu ermöglichen. Diese zeitkorrelierten Informationen können einem menschlichen Prüfer bereitgestellt werden, um den Prüfer beim Zuordnen von Merkmalen, die durch Lidar- und Radar-Scans erfasst werden, mit physikalischen Merkmalen zu unterstützen, die in zugeordneten Kamerabildern gezeigt sind.
  • Das Sensorsystem 120 kann einen oder mehrere Fahrzeugsensoren 121 enthalten. Der/die Fahrzeugsensor(en) 121 kann/können Informationen über das Fahrzeug 100 selbst und/oder Insassen innerhalb des Fahrzeugs erfassen, bestimmen und/oder messen. Der/die Fahrzeugsensor(en) 121 kann/können Sensoren enthalten, die konfiguriert sind, um Bedingungen und/oder Ereignisse innerhalb des Fahrzeuginnenraums oder der Fahrgastzelle zu erfassen. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 konfiguriert sein, um Positions- und Orientierungsänderungen des Fahrzeugs 100 zu erfassen und/oder zu messen, wie beispielsweise zum Beispiel basierend auf einer Trägheitsbeschleunigung. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 einen oder mehrere Beschleunigungsmesser, ein oder mehrere Gyroskope, eine Trägheitsmesseinheit (IMU), ein Koppelnavigationssystem, ein globales Satellitennavigationssystem (GNSS), ein globales Positionierungssystem (GPS), ein Navigationssystem 147 und/oder andere geeignete Sensoren enthalten. Der/die Fahrzeugsensor(en) 121 kann/können konfiguriert sein, um eine oder mehrere Eigenschaften des Fahrzeugs 100 zu erfassen und/oder zu messen, wie beispielsweise den aktuellen geografischen Standort des Fahrzeugs. In einer oder mehreren Anordnungen kann/können der/die Fahrzeugsensor(en) 121 einen Tachometer enthalten, um eine aktuelle Geschwindigkeit und Beschleunigung/Verlangsamung des Fahrzeugs 100 zu bestimmen. Der/die Fahrzeugsensor(en) 121 kann/können (nicht gezeigte) Fahrzeugrichtungssensoren enthalten, die konfiguriert sind, um eine aktuelle Fahrtrichtung des Fahrzeugs oder eine Richtung, in die das Fahrzeug weist, zu bestimmen. Der/die Fahrzeugsensor(en) 121 kann/können Sensoren enthalten, die konfiguriert sind, um Aspekte der mechanischen und elektrischen Komponenten und/oder Systeme des Fahrzeugs zu erfassen, um bei der Bestimmung eines mechanischen Zustands des Fahrzeugs und bestehender und/oder potenzieller Probleme mit dem Fahrzeug zu helfen.
  • Das Sensorsystem 120 kann einen oder mehrere Umgebungssensoren 122 enthalten, die konfiguriert sind, um Daten von zumindest einem Abschnitt der äußeren Umgebung des Fahrzeugs 100 (z.B. Objekte in der Nähe) zu beziehen. Die Umgebungssensoren 122 können Daten oder Informationen über die äußere Umgebung, in der sich das Fahrzeug befindet, oder einen oder mehrere Abschnitte davon erfassen. Zum Beispiel können die Umgebungssensoren 122 konfiguriert sein, um Hindernisse in zumindest einem Abschnitt der äußeren Umgebung des Fahrzeugs 100 und/oder Informationen/Daten über solche Hindernisse zu erfassen, zu quantifizieren und/oder zu messen. Solche Hindernisse können stationäre Objekte und/oder dynamische Objekte sein. Der eine oder die mehreren Umgebungssensoren 122 können konfiguriert sein, um andere Dinge in der äußeren Umgebung des Fahrzeugs 100 zu erfassen, zu ermitteln, zu quantifizieren und/oder zu messen, wie beispielsweise Fahrspurmarkierungen, Schilder, Ampeln, Verkehrszeichen, Fahrspurlinien, Zebrastreifen, Bordsteine in der Nähe des Fahrzeugs 100, Objekte im Gelände, Wetterbedingungen, andere Fahrzeuge usw. Als ein Beispiel können die Umgebungssensoren 122 in einer oder mehreren Anordnungen einen oder mehrere Radarsensoren 109, einen oder mehrere Lidarsensoren 125, eine oder mehrere Kameras 126 (einschließlich Überprüfungsunterstützungskamera 148) und/oder andere Arten von Sensoren 127 enthalten.
  • Umgebungssensoren wie Lidarsensor(en) 125 und Radarsensor(en) 109 können betreibbar sein, um zu versuchen, Merkmale in der Fahrzeugumgebung zu erfassen und zu erkennen. Radar 109, Lidar 125, Kamera(s) 126 und/oder andere Sensoren können auch verwendbar sein, um die Geschwindigkeit, Beschleunigung, Position und andere Eigenschaften von Merkmalen in der Umgebung des Fahrzeugs 100 zu überwachen, wie beispielsweise Beschilderung, Blattwerk bzw. Laub, andere Fahrzeuge, Fußgänger usw. Die Umgebungssensoren 122 können konfiguriert sein, um Aspekte der Straßengeometrie, der Straßenqualität/-steigung, der Verkehrsbedingungen, der Bewegungen und Eigenschaften anderer Fahrzeuge, und andere externe Ereignisse und Bedingungen zu erfassen.
  • In einer oder mehreren Anordnungen können die Umgebungssensoren 122 konfiguriert sein, um (entweder alleine oder in Zusammenarbeit mit dem Navigationssystem 147 und dem Sensorsteuermodul 142) Standortinformationen in Bezug auf Merkmale der Fahrzeugumgebung, die von den Sensoren erfasst werden, zu bestimmen oder zu beziehen. Diese Standortinformationen können Sensordaten zugeordnet werden, um eine Bestimmung der Standorte von gescannten Merkmale in Bezug auf den Standort des Fahrzeugs 100 zu ermöglichen, wenn die Sensordaten bezogen werden.
  • „Standortinformationen“ können Informationen sein, die den Standort eines Merkmals, einer Punktwolke oder eines aus Lidardaten erzeugter Lidar-/Radardatenpunkts beschreiben, die ausreichend sind, um es dem Kamerasteuermodul 141 (nachfolgend beschrieben) zu ermöglichen, die Überprüfungsunterstützungskamera 148 auf den Standort oder das Merkmal zu richten und zu fokussieren. Die Standortinformationen können in Form von räumlichen Koordinaten oder in irgendeiner anderen Form vorliegen, die für die hierin beschriebenen Zwecke geeignet ist. „Räumliche Koordinaten“ beziehen sich auf eine numerische oder andere Bezeichnung, die einen Standort eines beliebigen Merkmals der Fahrzeugumgebung darstellt (einschließlich eines Merkmals der Fahrzeugumgebung mit niedrigem Erkennungskonfidenzgrad, wie hierin beschrieben). Es kann ein System räumlicher Koordinaten verwendet werden, das einen Standort mit einem Merkmal mit niedrigem Erkennungskonfidenzgrad bereitstellt, auf das die Überprüfungsunterstützungskamera versuchen kann, die Kamera zum Zweck der Bildaufnahme zu fokussieren.
  • In dem Fall eines Merkmals mit niedrigem Erkennungskonfidenzgrad, das in Bezug auf die Erdoberfläche statisch ist, können die räumlichen Koordinaten einen Standort in Bezug auf einen Bezugsrahmen (z.B. auf der Erdoberfläche) darstellen, der in Bezug auf das sich bewegende Fahrzeug als fest betrachtet werden kann. In dem Fall eines Merkmals mit niedrigem Erkennungskonfidenzgrad, das sich relativ zu der Erdoberfläche bewegt, können die räumlichen Koordinaten einen aktuellen Standort des sich bewegenden Objekts relativ zu dem Fahrzeug selbst darstellen. Die räumlichen Koordinaten können kartesische, polare, geografische und/oder jede andere Art oder Arten von Koordinaten sein, die geeignet sind, einen Standort des Merkmals der Fahrzeugumgebung zu spezifizieren. Die räumlichen Koordinaten können einem erfassten Merkmal durch den/die Prozessor(en) 110 zugeordnet werden, die in Verbindung mit dem Fahrzeugnavigationssystem 147 betrieben werden und/oder Kartendaten 189 verwenden, nachdem ein Standort des Merkmals in Bezug auf das relevante Koordinatensystem bestimmt wurde.
  • Eine Überprüfungsunterstützungskamera 148 kann eine Kamera sein, die konfiguriert ist, Bilder von Merkmalen der Umgebung aufzunehmen oder Merkmale der Umgebung zu fotografieren. „Aufnehmen eines Bildes“ eines Merkmals kann das Beziehen von Daten enthalten, aus denen ein digitales Bild konstruiert werden kann. „Fotografieren“ durch die Überprüfungsunterstützungskamera kann das Aufnehmen eines Fotos durch Verwenden einer Kamera (z.B. eine Digitalkamera) oder das Beziehen von Daten enthalten, aus denen ein Foto (wie beispielsweise ein digitales Foto) erstellt werden kann.
  • In einer oder mehreren Anordnungen kann die Überprüfungsunterstützungskamera 148 eine spezialisierte Kamera sein, die ausschließlich zum Fotografieren oder Aufnehmen von Bildern von Merkmalen mit niedrigem Erkennungskonfidenzgrad, wie hier beschrieben, bestimmt ist, zu Zwecken der Unterstützung der menschlichen Überprüfung von Informationen in Bezug auf die Merkmale mit niedrigem Erkennungskonfidenzgrad. Alternativ kann eine andere Kamera der Umgebungssensoren neu beauftragt werden, Überprüfungsunterstützungsfunktionen nach Bedarf und wie hierin beschrieben durchzuführen. In diesem Fall kann die bestimmte Überprüfungsunterstützungskamera weggelassen werden und die Steuerung der anderen Kamera kann von dem Sensorsteuermodul 142 auf das Kamerasteuermodul 141 übertragen werden, um Bilder aufzunehmen, die zur Unterstützung der menschlichen Überprüfung der Lidar-/Radar-Scaninformationen verwendbar sind.
  • Die Überprüfungsunterstützungskamera 148 kann verschiedene Elemente enthalten, die konfiguriert sind, um durch das Kamerasteuermodul 141 steuerbar zu sein (nachfolgend ausführlicher beschrieben). Die Überprüfungsunterstützungskamera 148 kann eine Kamera, beliebige Kamerabefestigungen, Motor(en), Zahnräder, Mechanismen und/oder andere Elemente (nicht separat gezeigt) enthalten, die benötigt werden, um die Ausrichtung, das Sichtfeld und/oder den Fokus der Kamera 148 zu ermöglichen, um für die hierin beschriebenen Zwecke eingestellt zu werden. Die Kamera 148 kann nach Bedarf auch andere Elemente enthalten (nicht gezeigt).
  • Das Sichtfeld der Kamera 148 kann ein Raumvolumen (in Bezug auf eine aktuelle Position der Kamera) sein, auf das die Kameralinse gerichtet und fokussiert werden kann, um die Aufnahme eines Bildes eines Merkmals zu ermöglichen, das sich innerhalb des Raumvolumens befindet. Wenn dann die Kamera 148 so gesteuert wird, um ein Merkmal in dem Sichtfeld der Kamera zu enthalten, wird ein von der Kamera aufgenommenes Bild ein Bild des Merkmals enthalten. Die Kamera 148 kann auch so ausgerichtet und fokussiert werden, dass ihr Sichtfeld einen Satz räumlicher Koordinaten enthält, die ein Merkmal enthalten, sodass ein aufgenommenes Bild der Koordinaten auch das Merkmal zeigt.
  • Unter erneutem Bezug auf 1 kann ein Sensorfusionsalgorithmus 167 ein Algorithmus (oder eine Computervorrichtung, die einen Algorithmus speichert) sein, der konfiguriert ist, um Daten von dem Sensorsystem 120 als eine Eingabe zu akzeptieren. Die Daten können zum Beispiel Daten enthalten, die Informationen darstellen, die an den Sensoren des Sensorsystems 120 gemessen werden. Der Sensorfusionsalgorithmus 167 kann zum Beispiel einen Kalman-Filter, ein Bayes'sches Netzwerk oder einen anderen Algorithmus enthalten oder dafür konfiguriert sein, durch Verwendung dieser ausgeführt zu werden. Der Sensorfusionsalgorithmus 167 kann verschiedene Bewertungen basierend auf den Daten von dem Sensorsystem 120 bereitstellen. Abhängig von dem Ausführungsbeispiel können die Bewertungen Auswertungen einzelner Objekte und/oder Merkmale in der Umgebung des Fahrzeugs 100, Auswertungen bestimmter Situationen und/oder Auswertungen möglicher Auswirkungen basierend auf den bestimmten Situationen enthalten. Andere Bewertungen sind möglich. Somit kann zum Beispiel in einer oder mehreren Anordnungen die Sensorfusion verwendet werden, um zu versuchen, ein Merkmal aus einer kürzlich gescannten bzw. abgetasteten Punktwolke zu identifizieren.
  • Die drahtlose Fahrzeugkommunikationsschnittstelle 169 kann konfiguriert sein, eine Kommunikation zwischen den Komponenten und Systemen des Fahrzeugs und Einheiten (wie beispielsweise Cloud-Einrichtungen, Mobilfunk- und andere mobile Kommunikationsvorrichtungen, andere Fahrzeuge, entfernte Server, Fußgänger usw.) außerhalb des Fahrzeugs zu ermöglichen und/oder zu erleichtern. Die drahtlose Kommunikationsschnittstelle 169 kann konfiguriert sein, um drahtlose V2V- und V2X-Kommunikationen mit jeder Entität außerhalb des Fahrzeugs zu erleichtern, einzurichten, aufrechtzuerhalten und zu beenden, zum Beispiel mit anderen verbindbar konfigurierten Fahrzeugen und verbundenen Fahrzeugen, Fußgängern, Servern und Entitäten, die sich in der Cloud befinden, Edge-Server und andere Informationsquellen und Entitäten. Informationen wie beispielsweise Sensordaten, Kamerabildinformationen, Lidar- und Radar-Scaninformationen und andere Arten von Informationen können über die Kommunikationsschnittstelle 169 übertragen und empfangen werden. Die drahtlose Kommunikationsschnittstelle 169 kann beliebige Netzwerkschnittstellen enthalten oder mit diesen kommunizieren, die zum Kommunizieren mit beliebigen Entitäten und/oder Netzwerken außerhalb des Fahrzeugs benötigt werden.
  • Das Fahrzeug 100 kann ein Eingabesystem 130 enthalten. Ein „Eingabesystem“ enthält eine beliebige Vorrichtung, Komponente, System, Element oder Anordnung oder Gruppen davon, die ermöglichen, dass Informationen/Daten in eine Maschine eingegeben werden. Zum Beispiel kann das Eingabesystem 130 ein Tastenfeld, einen Berührungsbildschirm oder eine andere interaktive Anzeige, ein Spracherkennungssystem und/oder eine beliebige andere Vorrichtung oder ein beliebiges anderes System enthalten, das die Kommunikation zwischen einem Benutzer und dem Fahrzeug erleichtert. Das Eingabesystem 130 kann eine Eingabe von einem Fahrzeuginsassen (z.B. einem Fahrer oder Beifahrer) oder einem von dem Fahrzeug 100 entfernt befindlichen Benutzer empfangen. Das Fahrzeug 100 kann auch ein Ausgabesystem 135 enthalten. Ein „Ausgabesystem“ enthält eine beliebige Vorrichtung, Komponente oder Anordnung oder Gruppen davon, die ermöglichen, dass Informationen/Daten einem Fahrzeuginsassen (z.B. einem Fahrer, einem Fahrzeuginsassen usw.) oder einem entfernten Benutzer präsentiert werden.
  • Das Fahrzeug 100 kann ein oder mehrere Fahrzeugsysteme enthalten, die zusammen als 140 bezeichnet sind. Die Fahrzeugsysteme 140 können ein Navigationssystem 147 enthalten. Das Navigationssystem 147 kann eine oder mehrere Vorrichtungen, Anwendungen und/oder Kombinationen davon enthalten, die jetzt bekannt sind oder später entwickelt werden, die konfiguriert sind, um den geografischen Standort des Fahrzeugs 100 zu bestimmen und/oder eine Fahrtroute für das Fahrzeug 100 zu bestimmen. Das Navigationssystem 147 kann eine oder mehrere Kartenanwendungen enthalten, um eine Fahrtroute für das Fahrzeug 100 zu bestimmen. Das Navigationssystem 147 kann ein globales Positionierungssystem, ein lokales Positionierungssystem oder ein Geolokalisierungssystem enthalten. Das Navigationssystem 147 kann konfiguriert sein, um den Weg eines Fahrzeugs entlang einer Fahrtroute zu verfolgen. Das Navigationssystem 147 kann konfiguriert sein, um in Verbindung mit dem Autonomes-Fahren-Modul 160 zu arbeiten, um das Fahrzeug entlang einer von einem Benutzer ausgewählten Fahrtroute zu führen. Das Navigationssystem 147 kann konfiguriert sein, um in Verbindung mit dem Kamerasteuermodul 141 zu arbeiten, um Standortinformationen bezüglich eines Merkmals mit niedrigem Erkennungskonfidenzgrad zu bestimmen und zu aktualisieren, und beim Führen und Aufrechterhalten der Richtung und des Fokus der Kamera 148 in Richtung zu einem Merkmal mit niedrigem Erkennungskonfidenzgrad während der Bewegung des Fahrzeugs 100 helfen.
  • Die Fahrzeugsysteme 140 können auch andere Systeme enthalten (gemeinsam mit 145 bezeichnet). Zum Beispiel können die Fahrzeugsysteme 140 ein Antriebssystem, ein Bremssystem, ein Lenksystem, ein Drosselsystem, ein Aufhängungssystem, ein Übertragungssystem enthalten (von denen keines explizit in 1 gezeigt ist). Jedes dieser Fahrzeugsysteme kann eine oder mehrere Vorrichtungen, Komponenten und/oder eine Kombination davon enthalten, die jetzt bekannt sind oder später entwickelt werden.
  • Das Fahrzeug 100 kann einen oder mehrere Aktoren 150 enthalten. Die Aktoren 150 können ein beliebiges Element oder eine Kombination von Elementen sein, die betreibbar sind, um eines oder mehrere der Fahrzeugsysteme 140 oder Komponenten davon zu abzuwandeln, einzustellen und/oder zu ändern, um auf den Empfang von Signalen oder anderen Eingaben von dem/den Prozessor(en) 110 zu reagieren, beliebige in dem Speicher 112 gespeicherte Module und/oder beliebige andere Fahrzeugkomponenten oder -systeme. Jeder geeignete Aktuator kann verwendet werden. Zum Beispiel können der eine oder die mehreren Aktoren 150 Motoren, pneumatische Aktoren, Hydraulikkolben, Relais, Elektromagnete und/oder piezoelektrische Aktoren enthalten, um nur einige Möglichkeiten zu nennen.
  • In hierin beschriebenen Ausführungsbeispielen kann ein Speicher 112 ein Autonomes-Fahren-Modul 160, ein Sensorsteuermodul 142, ein Merkmalserkennungsmodul 143 und ein Kamerasteuermodul 141 speichern. Der Speicher 112 kann ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein Festplattenlaufwerk, ein Flash-Speicher oder ein anderer geeigneter Speicher zum Speichern der Module 160, 141, 142 und 143 sein. Die Module 160, 141, 142 und 143 sind zum Beispiel computerlesbare Anweisungen, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) 110 die verschiedenen hierin offenbarten Funktionen ausführen. Zusätzliche Module (nicht gezeigt) können auch in dem Speicher 112 gespeichert sein.
  • Das Fahrzeug 100 kann ein oder mehrere Module enthalten, von denen zumindest einige hierin beschrieben sind. Die Module können als computerlesbarer Programmcode implementiert sein, der, wenn er von dem/den Prozessor(en) 110 ausgeführt wird, einen oder mehrere der verschiedenen hierin beschriebenen Prozesse implementiert. Ein oder mehrere der Module können eine Komponente des/der Prozessor(en) 110 sein, oder ein oder mehrere der Module können auf anderen Verarbeitungssystemen ausgeführt und/oder verteilt werden, mit denen der/die Prozessor(en) 110 operativ verbunden ist/sind. Die Module können Anweisungen (z.B. Programmlogik) enthalten, die von einem oder mehreren Prozessor(en) 110 ausführbar sind. Alternativ oder zusätzlich können ein oder mehrere Datenspeicher 115 oder ein anderer Abschnitt des Fahrzeugs 100 solche Anweisungen enthalten.
  • Im Allgemeinen enthält ein Modul, wie es hier verwendet wird, Routinen, Programme, Objekte, Komponenten, Datenstrukturen und so weiter, die bestimmte Aufgaben ausführen oder bestimmte Datentypen implementieren. In weiteren Aspekten speichert ein Speicher im Allgemeinen die erwähnten Module. Der einem Modul zugeordnete Speicher kann ein in einen Prozessor eingebetteter Puffer oder Cache, ein RAM, ein ROM, ein Flash-Speicher oder ein anderes geeignetes elektronisches Speichermedium sein. In weiteren Aspekten wird ein Modul, wie es von der vorliegenden Offenbarung ins Auge gefasst wird, als eine anwendungsspezifische integrierte Schaltung (ASIC), eine Hardwarekomponente eines Systems auf einem Chip (SoC), als ein programmierbares Logikarray (PLA) oder als eine andere geeignete Hardwarekomponente implementiert, die mit einem definierten Konfigurationssatz (z.B. Anweisungen) zum Durchführen der offenbarten Funktionen eingebettet ist.
  • In einer oder mehreren Anordnungen können ein oder mehrere der hierin beschriebenen Module Elemente künstlicher oder computergestützter Intelligenz enthalten, z.B. neuronale Netze, Fuzzy-Logik oder andere maschinelle Lernalgorithmen. Des Weiteren können in einer oder mehreren Anordnungen ein oder mehrere der Module auf eine Mehrzahl der hierin beschriebenen Module verteilt sein. In einer oder mehreren Anordnungen können zwei oder mehr der hierin beschriebenen Module zu einem einzigen Modul kombiniert werden.
  • Das Fahrzeug 100 kann ein oder mehrere Autonomes-Fahren-Module 160 enthalten. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, um Daten von dem Sensorsystem 120 und/oder jeder anderen Art von System zu empfangen, das in der Lage ist, Informationen bezüglich des Fahrzeugs 100 und/oder der äu-ßeren Umgebung des Fahrzeugs 100 aufzunehmen. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können Position und Geschwindigkeit des Fahrzeugs 100 bestimmen. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können den Standort bzw. Position von Hindernissen, Hindernissen oder anderen Umgebungsmerkmalen, einschließlich Verkehrsschildern, Bäumen, Sträuchern, benachbarten Fahrzeugen, Fußgängern usw., bestimmen. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, um Standortinformationen für Hindernisse innerhalb der äußeren Umgebung des Fahrzeugs 100 zur Verwendung durch den/die Prozessor(en) 110, und/oder ein oder mehrere der hierin beschriebenen Module zum Schätzen der Position und Ausrichtung des Fahrzeugs 100, die Fahrzeugposition in globalen Koordinaten basierend auf Signalen von einer Mehrzahl von Satelliten, oder beliebigen anderen Daten und/oder Signalen, die verwendet werden könnten, um den aktuellen Zustand des Fahrzeugs 100 zu bestimmen oder die Position des Fahrzeugs 100 in Bezug auf seine Umgebung zur Verwendung entweder beim Erstellen einer Karte oder beim Bestimmen der Position des Fahrzeugs 100 in Bezug auf Kartendaten zu bestimmen, zu empfangen und/oder zu bestimmen.
  • Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, Fahrweg(e), aktuelle autonome Fahrmanöver für das Fahrzeug 100, zukünftige autonome Fahrmanöver und/oder Abwandlungen an aktuellen autonomen Fahrmanövern basierend auf Daten zu bestimmen, die von dem Sensorsystem 120 bezogen werden und/oder Informationen, die von einem Navigationssystem, wie beispielsweise dem Navigationssystem 147, empfangen werden. „Fahrmanöver“ bezeichnet eine oder mehrere Handlungen, welche die Bewegung eines Fahrzeugs beeinflussen. Beispiele für Fahrmanöver enthalten: Beschleunigen, Verlangsamen, Bremsen, Abbiegen, Bewegen in eine seitliche Richtung des Fahrzeugs 100, Wechseln der Fahrspur, Einfädeln in eine Fahrspur und/oder Rückwärtsfahren, um nur einige Möglichkeiten zu nennen. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, um bestimmte Fahrmanöver zu implementieren. Das/Die Autonomes-Fahren-Modul(e) kann/können direkt oder indirekt bewirken, dass solche autonomen Fahrmanöver implementiert werden. Wie hierin verwendet, bedeutet „bewirken“, dass ein Ereignis oder eine Handlung herbeigeführt, erzwungen, veranlasst, gelenkt, befohlen, angewiesen und/oder ermöglicht wird oder zumindest in einem Zustand ist, in dem ein solches Ereignis oder eine solche Handlung auftreten bzw. eintreten kann, entweder direkt oder indirekt.
  • Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, um verschiedene Fahrzeugfunktionen auszuführen und/oder Daten an das bzw. von dem Fahrzeug 100 oder ein oder mehrere Systeme davon (z.B. ein oder mehrere Fahrzeugsysteme 140) zu übertragen, zu empfangen, zu interagieren und/oder zu steuern. Das/Die Autonomes-Fahren-Modul(e) 160 kann/können konfiguriert sein, um das Benutzerfahrzeug autonom zu steuern, um das Fahrzeug entlang einer Fahrtroute von einem Anfangs- oder Startort zu einem Ziel zu fahren.
  • Der/Die Prozessor(en) 110, das Autonomes-Fahren-Modul 160, das Kamerasteuermodul 141 und/oder andere hierin beschriebene Module können operativ verbunden sein, um miteinander und mit den anderen Elementen des Fahrzeugs zu kommunizieren, einschließlich verschiedener Fahrzeugsysteme 140 und /oder einzelne Komponenten davon. Zum Beispiel können in Bezug auf 1 der/die Prozessor(en) 110 und das/die Autonomes-Fahren-Modul(e) 160 in Kommunikation stehen, um Informationen von den verschiedenen Fahrzeugsystemen 140 zu senden und/oder zu empfangen, um die Bewegung, die Geschwindigkeit, das Manövrieren, den Kurs, die Richtung usw. des Fahrzeugs 100 zu steuern. Der/die Prozessor(en) 110, das/die Autonomes-Fahren-Modul(e) 160, und/oder andere Elemente des Fahrzeugs können einige oder alle der Fahrzeugsysteme 140 steuern und können somit teilweise oder vollständig autonom sein.
  • Der/die Prozessor(en) 110, das/die Autonomes-Fahren-Modul(e) 160, und das Navigationssystem 147 können operativ bzw. betreibbar sein, um die Navigation und/oder das Manövrieren des Fahrzeugs 100 durch Steuern eines oder mehrerer der Fahrzeugsysteme 140 und/oder dessen Komponenten zu steuern. Wenn zum Beispiel in einem autonomen Modus gearbeitet wird, können der/die Prozessor(en) 110 und/oder das/die Autonomes-Fahren-Modul(e) 160 die Richtung und/oder Geschwindigkeit des Fahrzeugs 100 steuern. Der/die Prozessor(en) und/oder das/die Autonomes-Fahren-Modul(e) 160 können bewirken, dass das Fahrzeug 100 beschleunigt (z.B. durch Erhöhen der Kraftstoffzufuhr, die dem Motor bereitgestellt wird), verlangsamt (z.B. durch Verringern der Kraftstoffzufuhr, die dem Motor bereitgestellt wird, und/oder durch Betätigen der Bremsen) und/oder die Richtung wechselt (z.B. durch Drehen bzw. Lenken der beiden Vorderräder).
  • Das Fahrzeug 100 kann ein Sensorsteuermodul 142 enthalten. Das Sensorsteuermodul 142 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) den Betrieb der Fahrzeugsensoren 121 und/oder der Umgebungssensoren 122 steuern. Zum Beispiel kann das Sensorsteuermodul 142 konfiguriert sein, um Vorgänge bzw. Operationen eines oder mehrerer Sensoren zu steuern, um Sensor-Scanraten zu variieren, Scan- oder Betrachtungswinkel zu variieren und andere Sensorbetriebsparameter gemäß bestehenden Bedingungen und Erfassungsanforderungen zu steuern. Alternativ können einer oder mehrere der Fahrzeugsensoren 121 und/oder der Umgebungssensoren 122 für eine automatische oder interne Steuerung konfiguriert sein, indem darin unabhängige Prozessoren und/oder Speicher eingebaut werden, wodurch die Notwendigkeit einer separaten Steuerung für den/die relevanten Sensor(en) vermieden wird.
  • In einer oder mehreren bestimmten Anordnungen kann das Sensorsteuermodul 142 konfiguriert sein, um Vorgänge bzw. Operationen von einem oder mehreren der Umgebungssensoren 122 mit Ausnahme der Überprüfungsunterstützungskamera 148 zu steuern, deren Vorgänge bzw. Operationen durch das Kamerasteuermodul 141 gesteuert werden können. In anderen besonderen Anordnungen können die Steuerfunktionen des Kamerasteuermoduls 141, wie hierin beschrieben, in das Sensorsteuermodul 142 eingebaut (und von diesem durchgeführt) sein.
  • Das Fahrzeug 100 kann ein Merkmalserkennungsmodul 143 enthalten. Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Lidar- und Radar-Scandaten und/oder andere Informationen, die von dem Lidar bezogen und/oder erzeugt werden, und/oder Radar-Scans der Umgebung verarbeiten, um zu versuchen, Merkmale der Fahrzeugumgebung zu erkennen oder zu identifizieren, die durch die Daten und/oder andere Informationen dargestellt werden.
  • Die resultierenden Merkmalsidentifikationen können anschließend einem menschlichen Fahrer mitgeteilt werden, um die Entscheidungsfindung des Fahrers zu unterstützen. Die resultierenden Merkmalsidentifikationen können auch von anderen Modulen und/oder anderen Fahrzeugsystemen zur autonomen Entscheidungsfindung verwendet oder weiterverarbeitet werden.
  • Die Fahrzeugumgebung kann alles außerhalb der Fahrzeuginnenräume enthalten und von dem Fahrzeug 100 getrennt sein. Ein Merkmal der Fahrzeugumgebung kann ein diskretes Objekt oder ein Abschnitt eines diskreten Objekts sein, das sich in der Fahrzeugumgebung befindet. Das Merkmal kann durch Verarbeitung von Lidar- und/oder Radar-Scandaten durch das Merkmalserkennungsmodul 143 identifiziert oder erkannt werden oder nicht. Beim Empfangen von Daten aus dem Lidar-Scan kann das Merkmalserkennungsmodul 143 (oder ein anderes Modul) in Zusammenarbeit mit dem/den Prozessor(en) 110 die Lidar- und/oder Radardaten verarbeiten, um eine oder mehrere Punktwolken zu erzeugen, die Darstellungen von gescannten Merkmalen enthalten. Das Merkmalserkennungsmodul 143 kann dann in Zusammenarbeit mit dem/den Prozessor(en) 110 Merkmalserkennungsroutinen ausführen, die darauf gerichtet sind, das durch die Punktwolken dargestellte Merkmal zu identifizieren oder zu erkennen. Die resultierenden Merkmalsidentifikationen können anschließend einem menschlichen Fahrer mitgeteilt werden, um die Entscheidungsfindung des Fahrers zu unterstützen. Die resultierenden Merkmalsidentifikationen können auch von anderen Modulen und/oder anderen Fahrzeugsystemen zur autonomen Entscheidungsfindung verwendet oder weiterverarbeitet werden. Zum Beispiel kann das Merkmalserkennungsmodul 143 konfiguriert sein, um aus Lidar- und/oder Radar-Scandaten erzeugte Punktwolken mit Punktwolken und/oder anderen Informationen zu vergleichen, die bekannte Merkmale darstellen, die in einer Fahrzeugumgebung vorhanden sein können. Informationen bezüglich der bekannten Merkmale können in einem Speicher (wie beispielsweise Lidar-Scan-Informationen 118, Radar-Scan-Informationen 123 und/oder einem anderen Speicher, der konfiguriert ist, um für das Merkmalserkennungsmodul 143 zugänglich zu sein) gespeichert werden.
  • Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en), der/die Prozessor(en) mit den Umgebungssensoren 122 und dem Navigationssystem 147 zusammenarbeiten bzw. kooperieren, um Standortinformationen bezüglich der Merkmale der identifizierten Umgebung durch das Merkmalserkennungsmodul zu bestimmen. Die Merkmalsstandorte können durch Verwendung von Standortsinformationen bestimmt werden, die in Lidar-Scan-Informationen 118 und/oder Radar-Scan-Informationen 123 gespeichert sind und während Lidar- und/oder Radar-Scans bezogen werden. Sensor-Scanraten können ausreichend hoch sein, so dass ein bestimmtes Merkmal, sobald es identifiziert ist, zuverlässig verfolgt und auf Änderungen seines Standorts, seines Erkennungskonfidenzgrads und anderer zugeordnete Eigenschaften überwacht werden kann, und so dass in dem Speicher gespeicherte Merkmalsinformationen aktualisiert werden können.
  • Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Erkennungskonfidenzgrade für Merkmalsidentifikationen berechnen, die von dem Merkmalserkennungsmodul 143 erzeugt werden. Die Erkennungskonfidenzgrade können in Verbindung mit der Merkmalsidentifikation in dem Speicher gespeichert werden.
  • Einige der durch die Lidar-Scans erfassten Merkmale sind möglicherweise nicht leicht durch das Merkmalserkennungsmodul 143 identifizierbar, aufgrund des Winkels in Bezug auf das Fahrzeug 100, in dem das Merkmal gescannt wurde, aufgrund der das Merkmal darstellende Punktwolke, die nicht ausreichend ähnlich genug zu der in dem Speicher gespeicherten Punktwolken für den Vergleich ist, aufgrund des Scans, der teilweise behindert bzw. versperrt ist, und/oder aufgrund anderer Gründe. Somit können die von dem Merkmalserkennungsmodul 143 erzeugten Merkmalsidentifikationen unterschiedliche bzw. variierende Gewissheitsgrade haben, die ihnen zugeordnet sind. Folglich kann das Merkmalserkennungsmodul 143 konfiguriert sein, um einen Konfidenzgrad (CL) zu berechnen, welcher der Identifizierung jedes Merkmals zuzuordnen ist. Der Konfidenzgrad kann ein Konfidenz- oder Gewissheitsmaß dafür sein, dass die Identifizierung des Merkmals durch das Merkmalserkennungsmodul 143 korrekt ist. Zum Beispiel kann eine Überprüfung einer Punktwolke, die aus bezogenen Daten erzeugt wird, wenn sich ein Merkmal in einem ungewöhnlichen Betrachtungswinkel befindet (aufgrund starker Winde oder Schäden an dem gescannten Merkmal), zu einem relativ niedrigeren berechneten Konfidenzgrad basierend auf einer computergenerierten Erkennung des Merkmals führen als die Überprüfung desselben Merkmals unter idealen Sensor-Scanbedingungen.
  • Ein „Erkennungskonfidenzgrad“ oder „Konfidenzgrad“ ist ein numerischer Wert oder ein anderer Indikator eines Grades von Konfidenz in einer computergenerierten Erkennung eines Merkmals der Fahrzeugumgebung. Ein Indikator des Erkennungskonfidenzgrads kann ein numerischer Indikator sein, der von einem Prozessor bestimmt wird und für den Vergleich mit einem numerischen vorgegebenen Merkmalserkennungskonfidenzgrad-Schwellenwert ausgelegt ist. Das Merkmalserkennungsmodul kann konfiguriert sein, um einer computergenerierten Identifizierung eines Merkmals, das durch einen Lidar- oder Radar-Scan erfasst wird, einen Erkennungskonfidenzgrad (CL) zuzuweisen. Ein „niedriger Erkennungskonfidenzgrad“ betrifft einen Erkennungskonfidenzgrad, der unter dem vorgegebenen Schwellenwert liegt. Ein „Merkmal eines niedrigen Erkennungskonfidenzgrades“ ist ein Merkmal der Umgebung, das einen Erkennungskonfidenzgrad hat, der unter dem vorgegebenen Schwellenwert liegt.
  • Für die hierin beschriebenen Zwecke können die Erkennungskonfidenzgrade auf einer beliebigen Reihe von Kriterien basieren. Zum Beispiel können in einer oder mehreren Anordnungen die Konfidenzgrade zumindest teilweise basierend auf einem Vergleich zwischen Informationen, die aus einer Reihe aufeinanderfolgender Lidar-/Radar-Scans stammen, die während der Fahrzeugbewegung aufgenommen wurden, und einer oder mehreren Referenzpunktwolken berechnet werden, wenn ein Abstand von dem Fahrzeug zu dem gescannten bzw. abgetasteten Merkmal abnimmt und/oder wenn sich ein Winkel, in dem ein Abschnitt der Sensor-Scanwelle das Merkmal berührt, während der Fahrzeugbewegung ändert. Dieser „Scanwinkel“ kann damit verknüpft sein, wie das Merkmal visuell erscheint, wenn es aus der Perspektive des sich bewegenden Fahrzeugs betrachtet wird. Wenn der Vergleich zeigt, dass das gescannte Merkmal dem durch die Referenzpunktwolke dargestellten Merkmal immer ähnlicher erscheint, während sich das Fahrzeug bewegt, kann ein relativ höherer Konfidenzgrad berechnet und der Merkmalsidentifikation zugeordnet werden. Jedes einer Mehrzahl von zusätzlichen oder alternativen Kriterien kann in einem Algorithmus verwendet werden, der konfiguriert ist, um einen Konfidenzgrad zu berechnen, der einer Merkmalsidentifikation zuzuordnen ist.
  • Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) einen Konfidenzgrad der Merkmalsidentifikation mit einem vorgegebenen Schwellenwert vergleichen. Wenn der Konfidenzgrad in einer gegebenen Merkmalsidentifikation über dem Schwellenwert liegt, kann die durch das Merkmalserkennungsmodul bestimmte Merkmalsidentifikation von den Fahrzeugsystemen beim Durchführen weiterer Berechnungen und Funktionen verwendet werden. Wenn jedoch der Konfidenzgrad in einer gegebenen Merkmalsidentifikation bei oder unter dem Schwellenwert liegt, können Bilder des Merkmals mit niedrigem Konfidenzgrad wie hierin beschrieben aufgenommen werden, um von einem menschlichen Prüfer überprüft zu werden.
  • Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Standortinformationen in Bezug auf identifizierte Merkmale, zugeordnete Konfidenzgrade, Informationen bezüglich der Merkmalsklassifikationen (z.B. „Blattwerk bzw. Laub“) und andere Informationen in Bezug auf die Scans von erfassten Umgebungsmerkmalen speichern. Zum Beispiel können solche Informationen in einem Speicher gespeichert werden, wie beispielsweise Lidar-Scan-Informationen 118 (für Informationen bezüglich Lidar-Scans).
  • Das Merkmalserkennungsmodul 143 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Merkmalsinformationen basierend auf den letzten Lidar-/Radar-Scans (im Speicher) aktualisieren. Solche aktualisierten Merkmalsinformationen können überarbeitete Erkennungskonfidenzgrade, aktualisierte Merkmalsstandortinformationen, aktualisierte Punktwolkeninformationen, die das Merkmal darstellen, und beliebige andere Informationen in Bezug auf das Merkmal enthalten. In einer oder mehreren Anordnungen können solche Informationen in einem Speicher (zum Beispiel in Lidar-Scan-Informationen 118) aktualisiert werden, wo die Informationen gespeichert werden.
  • Das Fahrzeug 100 kann ein Kamerasteuermodul 141 enthalten. Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) einen Erkennungskonfidenzgrad, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert vergleichen, und als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert liegt und Standortinformationen verwendet werden, die dem Merkmal zugeordnet sind, den Betrieb der Kamera steuern, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs aufzunehmen.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) den Betrieb der Überprüfungsunterstützungskamera 148 steuern, um Bilder von Merkmalen der Fahrzeugumgebung gleichzeitig mit dem Betrieb des Lidarsensors 125 aufzunehmen. Das Kamerasteuermodul kann auch computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den Prozessor, der Prozessor den Betrieb der Fahrzeugkamera steuert, um Bilder des Merkmals gleichzeitig mit dem Betrieb eines Radarsensors 109 aufzunehmen. Diese gleichzeitigen Vorgänge bzw. Operationen der Überprüfungsunterstützungskamera 148 und der Radar- und Lidarsensoren ermöglichen, dass die von diesen Sensoren bezogenen Informationen zeitlich korreliert und zugeordnet werden.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) alle Überprüfungsunterstützungskameravorgänge steuern, einschließlich Bewegung, Zeigen, Fokussieren und Bildaufnahme als Reaktion auf die Fahrzeugbewegungsrichtung und Geschwindigkeit, Standortinformationen, die sich auf Merkmale mit niedrigem Erkennungskonfidenzgrad der abzubildenden Umgebung beziehen, und andere relevante Informationen.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Lidardaten und/oder Radardaten (d.h. Daten, die während der Scans von den Lidar- und Radarsensoren bezogen werden) mit zumindest einem gleichzeitigen Bild des von der Kamera 148 erfassten Merkmals zeitlich korrelieren (d.h. ein Bild, das zur selben bzw. gleichen Zeit erfasst wurde, zu der die Lidar-/Radar-Scandaten durch den Lidar-Scan und/oder Radar-Scan bezogen wurden), und umgekehrt. Diese zeitliche Korrelation kann verwendet werden, um Lidar- und Radar-Scans mit gleichzeitig aufgenommene Bildern für die menschliche Überprüfung zuzuordnen. So kann zum Beispiel ein Kamerabild, das von der Überprüfungsunterstützungskamera 148 um 14:05 Uhr während einer Fahrzeugfahrt aufgenommen wurde, mit einem Lidar-Scan verknüpft werden, der von einem Lidarsensor 125 um 14:05 Uhr während der Fahrt durchgeführt wird, um die menschliche Überprüfung der Lidardaten und der zugeordneten Kamerabilder zu erleichtern.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Lidardaten mit zumindest einem gleichzeitigen Bild des von der Fahrzeugkamera aufgenommenen Merkmals zeitlich korrelieren.
  • Das Kamerasteuermodul kann auch computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) Radardaten mit zumindest einem gleichzeitigen Bild des von der Kamera aufgenommenen Merkmals zeitlich korrelieren.
  • Die Kamerabilder können mit gleichzeitig erfassten Lidar-Scandaten und/oder Radar-Scandaten zeitlich korreliert werden (z.B. können Kamerabilder mit Lidar- und/oder Radardaten zeitlich verknüpft werden, die zur gleichen Zeit wie die Lidar und/oder Radardaten bezogen werden).
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) mit dem Navigationssystem 147 zusammenarbeiten, um ein Merkmal oder einen geografischen oder räumlichen Standort während der Bewegung des Fahrzeugs 100 zu „verfolgen“ oder darauf fokussiert zu bleiben. Die Fähigkeit, die Kamera 148 zu betreiben, um den Fokus auf ein Merkmal oder einen Bereich aufrechtzuerhalten, kann von dem Grad abhängen, zu dem die Kamera 148 geschwenkt, verschoben, angehoben und niedergedrückt werden kann, und/oder dem Grad, in dem die Linse gerichtet sein kann und dem Grad, zu dem diese refokussiert werden kann usw. Es ist wünschenswert, das Merkmal der Fahrzeugumgebung in dem aktuellen Blickfeld der Kamera 148 aufrechtzuerhalten, während sich das Fahrzeug 100 bewegt, um eine Hochfrequenzerfassung von Bildern von Merkmalen zu ermöglichen, während sich das Fahrzeug bewegt.
  • In einer oder mehreren Anordnungen kann das Kamerasteuermodul 141 zum Zwecke des Zugreifens auf Merkmalsinformationen, die zum Steuern des Betriebs der Überprüfungsunterstützungskamera 148 benötigt werden, computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) auf einen Speicher (zum Beispiel Lidar-Scan-Informationen 118 oder Radar-Scan-Informationen 123) zugreifen, in dem Merkmalsinformationen für die Merkmalsstandortinformationen, Konfidenzgrade und andere Informationen gespeichert sind. Der Zugriff auf Standortinformationen in Bezug auf ein Merkmal mit niedrigem Konfidenzgrad kann es dem Kamerasteuermodul 141 ermöglichen, die Kamera 148 zu steuern, um Bilder des Merkmals aufzunehmen, indem die Kamera auf das Merkmal oder auf einen Standort fokussiert wird, an dem sich das Merkmal befindet.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) entweder periodisch oder als Reaktion auf Aktualisierungen in Lidar-/Radar-Scaninformationen auf aktualisierte Merkmalsinformationen in Bezug auf ein Merkmal zugreifen, das zuvor als Merkmal mit niedrigem Konfidenzgrad bestimmt wurde, und das aktuell für die Bildaufnahme durch die Kamera 148 ausgewählt ist. Dies kann durchgeführt werden, um zu bestimmen, ob sich der Konfidenzgrad in Bezug auf das Merkmal zwischen Sensor-Scans geändert hat.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) den aktuellen Erkennungskonfidenzgrad (d.h. den Konfidenzgrad, der durch Verwendung von Daten aus dem letzten Sensor-Scan bestimmt wird) mit einem Merkmal auf einen vorgegebenen Schwellenwert vergleichen. Dieser Vergleich kann es dem Kamerasteuermodul 141 ermöglichen, zu bestimmen, ob der Konfidenzgrad über den vorgegebenen Schwellenwert gestiegen ist, basierend auf einer Interpretation der letzten Radar-/Lidar-Scandaten (zum Beispiel aufgrund einer Änderung des Scanwinkels eines Sensors, die durch eine Bewegung des Fahrzeugs verursacht wird) durch Vergleichen des aktuellen Erkennungskonfidenzgrades mit dem vorgegebenen Schwellenwert. Basierend auf diesem Vergleich kann das Kamerasteuermodul 141 die Kamera 148 so steuern, um entweder zu versuchen aufzuhören, Bilder des Merkmals aufzunehmen (wenn der Erkennungskonfidenzgrad bei oder über dem Schwellenwert liegt), oder weiterhin zu versuchen, Bilder des Merkmals aufzunehmen (wenn die Kamera aktuell versucht, Bilder des Merkmals aufzunehmen, ist der aktuelle Erkennungskonfidenzgrad, der dem Merkmal zugeordnet ist, niedrig, und der zuletzt bestimmte Erkennungskonfidenzgrad war ebenfalls niedrig).
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en), als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert liegt, und durch Verwendung der Standortinformationen, die dem Merkmal zugeordnet sind, den Betrieb der Kamera 148 steuern, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs 100 aufzunehmen. Somit kann das Kamerasteuermodul 141, wenn der Konfidenzgrad, der einem Merkmal zugeordnet ist, zuerst als unter dem Schwellenwert liegend bestimmt wird, die Überprüfungsunterstützungskamera 148 steuern, um mit dem Aufnehmen von Bildern des Merkmals zu beginnen. Zusätzlich kann, solange der dem Merkmal zugeordnete Konfidenzgrad weiterhin unter dem Schwellenwert liegt, das Kamerasteuermodul 141 die Überprüfungsunterstützungskamera 148 steuern, um weiterhin zu versuchen, Bilder des Merkmals aufzunehmen.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessoren), als Reaktion darauf, dass der Erkennungskonfidenzgrad bei oder über dem vorgegebenen Schwellenwert liegt, den Betrieb der Kamera 148 steuern, um den Versuch zu unterbrechen, Bilder des Merkmals aufzunehmen. Wenn somit das Merkmalserkennungsmodul 143 ein Merkmal mit einem ausreichenden Konfidenzgrad erkannt hat, besteht möglicherweise keine Notwendigkeit mehr für eine menschliche Überprüfung des Merkmals, und die Überprüfungsunterstützungskamera 148 kann gesteuert werden, um das Aufnehmen von Bildern des Merkmals zu stoppen.
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en) bestimmen, ob sich ein Merkmal aktuell an einem Kameraausschlussort befindet, nachdem die Kamera 148 zumindest ein Bild des Merkmals aufgenommen hat, und als Reaktion darauf, dass sich das Merkmal an einem Kameraausschlussort befindet, den Betrieb der Kamera 148 steuern, um den Versuch zu unterbrechen, Bilder des Merkmals aufzunehmen.
  • Es kann bestimmt werden, dass sich ein Merkmal mit niedrigem Erkennungskonfidenzgrad an einem „Kameraausschlussort“ befindet, wenn sich das Merkmal mit niedrigem Erkennungskonfidenzgrad nicht mehr in einer Position in Bezug auf das Fahrzeug 100 befindet, so dass die Kamera 148 so gesteuert werden kann, um das Merkmal in einem Sichtfeld der Kamera zu enthalten (d.h. die Kamera 148 kann nicht länger geschwenkt, angehoben, abgesenkt, verschoben oder anderweitig gesteuert werden, um das Merkmal in deren Sichtfeld zu bringen).
  • Das Kamerasteuermodul 141 kann computerlesbare Anweisungen enthalten, die bewirken, dass beim Ausführen durch den/die Prozessor(en) 110, der/die Prozessor(en), als Reaktion darauf, dass sich ein Merkmal in einer Kameraausschlusszone befindet, nachdem die Fahrzeugkamera 148 zumindest ein Foto des Merkmals aufgenommen hat, den Betrieb des Fahrzeugs 100 steuern, um Merkmalsinformationen an eine Entität außerhalb des Fahrzeugs zur menschlichen Überprüfung zu übertragen. In einer oder mehreren Anordnungen kann die fahrzeugexterne Einheit eine Menschliche-Überprüfung-Einrichtung 196 (1) sein. Die Menschliche-Überprüfung-Einrichtung 196 kann eine Menschliche-Überprüfung-Verwaltungseinrichtung 195 enthalten, die zum Zuweisen oder Zuordnen von Merkmalsinformationen, die von verschiedenen Fahrzeugen empfangen werden, für die menschlichen Überprüfung durch menschliche Prüfer HR1, HR2, HR3 usw. konfiguriert ist. Bei bestimmten Anordnungen können die Merkmalsinformationen in Echtzeit an die Menschliche-Überprüfung-Einrichtung 196 weitergeleitet werden, sobald die versuchte Bildaufnahme durch die Kamera 148 unterbrochen wird. Dies ermöglicht eine schnelle Überprüfung der Merkmalsinformationen und eine Klassifizierung des Merkmals mit niedrigem Erkennungskonfidenzgrad.
  • In bestimmten Anordnungen können die Merkmalsinformationen Punktwolkendaten, die das Merkmal mit niedrigem Konfidenzgrad darstellen, und ein oder mehrere zeitkorrelierte Bilder des Merkmals enthalten, die von der Kamera 148 aufgenommen werden. Die Menschliche-Überprüfung-Einrichtung 196 kann Hardware und Software aufweisen, die zum Verarbeiten von Punktwolkendaten benötigt werden, um zweidimensionale oder dreidimensionale grafische Darstellungen des durch die Punktwolke dargestellten Merkmals zum Vergleichen mit einem oder mehreren zugeordneten Kamerabildern durch einen menschlichen Prüfer zu erzeugen.
  • In einer oder mehreren Anordnungen können, nachdem das Merkmal mit niedrigem Erkennungskonfidenzgrad von einem menschlichen Prüfer klassifiziert wurde, die Identifikation, die dem Merkmal zugeordnete(n) Punktwolke(n) und andere relevante Informationen an eine Servereinrichtung oder eine andere Entität 197 weitergeleitet werden, wo die neuen Merkmalsinformationen in ein Merkmalsidentifikationssystem (nicht gezeigt) aufgenommen werden können, das konfiguriert ist, um die Analyse und Identifikation von Punktwolkeninformationen zu erleichtern. Das Merkmalsidentifikationssystem kann bekannte Referenzpunktwolken zum Vergleichen mit Lidar- und Radar-Scandaten enthalten, die von anderen Fahrzeugen 198, 199 bezogen werden, die das Merkmalsidentifikationssystem als eine Quelle bekannter Referenzpunktwolken verwenden. Die anderen Fahrzeuge 198, 199 können dann Zugriff auf die neuen Merkmalsinformationen zum Vergleichen mit Punktwolken haben, die aus Lidar- und Radar-Scans erzeugt werden, die von diesen Fahrzeugen durchgeführt werden. Die neuen Merkmalsinformationen können in der Servereinrichtung 197 für den Fernzugriff durch die anderen Fahrzeuge 198, 199 nach Bedarf gespeichert werden, oder die neuen Merkmalsinformationen können an die Fahrzeuge 198, 199 zur lokalen Verwendung nach Bedarf verbreitet werden.
  • 2 ist ein Ablaufdiagramm, das den Betrieb eines Kamerasteuersystems in Übereinstimmung mit einem hierin beschriebenen Ausführungsbeispiel darstellt. 3 ist eine schematische Draufsicht auf ein Fahrzeug 100, das sich während des Betriebs des Kamerasteuersystems entlang einer Straße 153 in Richtung S1 bewegt. 3 zeigt die Fortbewegung des Fahrzeugs 100, während es sich entlang der Straße 153 (3) von Position „A“ zu Position „D“ bewegt. Obwohl der Betrieb des Überprüfungsunterstützungskamerasteuerungssystems in Bezug auf das Erweitern von Daten beschrieben wird, die von einem Lidarsensor 125 bezogen werden, versteht es sich, dass die folgende Beschreibung auch für die Verwendung mit Daten gelten kann, die von einem Radarsensor oder einem beliebigen anderen Sensor bezogen werden, der Punktwolkendaten oder andere Daten bezieht, die verarbeitet werden können, um Merkmale in der Fahrzeugumgebung zu identifizieren oder zu erkennen.
  • Während der Bewegung entlang der Straße 153 (3) kann das Sensorsteuermodul 142 den Betrieb der Umgebungssensoren 122 steuern, um die Fahrzeugumgebung zum Zwecke einer möglichen Bedrohungserkennung zu begutachten und eine Position des Fahrzeugs relativ zu Merkmalen in der Umgebung und für andere Zwecke zu bestimmen. Die Fahrzeugumgebung kann verschiedene Merkmale enthalten, die durch einen Lidar-Scan erfassbar sind, zum Beispiel Verkehrszeichen oder Ampeln, Blattwerk bzw. Laub, Fußgänger, andere Fahrzeuge usw. Entlang des Weges des Fahrzeugs 100 kann sich ein nicht erkanntes Merkmal 99 oder ein Merkmal mit niedrigem Erkennungskonfidenzgrad befinden, das von einer Kante 153a der Straße 153 zurückgesetzt ist. Das Merkmal kann durch einen Abschnitt 125a des Lidar-Scans erfasst werden, wenn sich das Fahrzeug 100 in Position „A“ befindet.
  • In Bezug auf 2 und 3 kann das Sensorsteuermodul 142 in Position „A“ (in Block 302, 2) den Betrieb eines Lidarsensors 125 steuern, um die Fahrzeugumgebung zu scannen. Das Merkmal 99 kann durch einen Abschnitt 125a des Lidar-Scans erfasst werden. Lidar-Scans der Fahrzeugumgebung können mit einer vorgegebenen Scanrate andauern.
  • Beim Empfangen von Daten aus dem Lidar-Scan kann das Merkmalserkennungsmodul 143 (oder ein anderes Modul) in Zusammenarbeit mit dem/den Prozessor(en) 110 die Lidardaten verarbeiten, um eine oder mehrere Punktwolken zu erzeugen, die Darstellungen von gescannten Merkmalen enthalten. Das Merkmalserkennungsmodul 143 kann dann (in Block 304) Routinen ausführen, die darauf gerichtet sind, erfasste Merkmale zu identifizieren, einschließlich Merkmal 99. Das Merkmalserkennungsmodul 143 kann dann Erkennungskonfidenzgrade für die Merkmalsidentifikationen berechnen, einschließlich eines Konfidenzgrades für die Identifizierung des Merkmals 99. Das Merkmalserkennungsmodul 143 kann dann (in Block 306) Merkmalsinformationen bezüglich alle erfassten Merkmale (einschließlich Merkmal 99) in dem Speicher speichern (wie beispielsweise Lidar-Scan-Informationen 118).
  • Während sich das Fahrzeug 100 noch in Position „A“ (oder in einer Position der Zwischenposition „A“ des sich bewegenden Fahrzeugs und Position „B“) befindet, kann das Kamerasteuermodul 141 (in Block 307) auf die gespeicherten Merkmalsinformationen in dem Speicher zugreifen um zu bestimmen, ob ein Erkennungskonfidenzgrad irgendeines erfassten Merkmals unter dem vorgegebenen Schwellenwert liegt. In dem in 2 gezeigten Beispiel kann das Merkmal 99 ein Konfidenzgrad unterhalb des Schwellenwerts haben. Wenn keines der gespeicherten Konfidenzgrade unter dem vorgegebenen Schwellenwert liegt, kann die Steuerung zu Block 302 zurückkehren, wo der Lidarsensor 125 fortfahren kann, die Fahrzeugumgebung zu scannen bzw. abzutasten. Wenn jedoch einer der gespeicherten Konfidenzgrade unter dem vorgegebenen Schwellenwert liegt, kann das Kamerasteuermodul 141 (in Block 308) aus dem Speicher auf Standortinformationen zugreifen, die den Standort des Merkmals mit niedrigem Konfidenzgrad beschreiben. Somit kann das Kamerasteuermodul 141 in dem Beispiel auf Standortinformationen zugreifen, die den Standort des Merkmals 99 beschreiben. Das Kamerasteuermodul 141 kann dann (in Block 310) bestimmen, ob sich das Merkmal 99 mit niedrigem Konfidenzgrad an einem Kameraausschlussort befindet.
  • Zu diesem Zeitpunkt hat sich das Fahrzeug 100 zu der Position „B“ ( 3) bewegt. Wenn sich das Merkmal 99 mit niedrigem Konfidenzgrad an einem Kameraausschlussort befindet, ist die Kamera 148 nicht in der Lage, Bilder des Merkmals aufzunehmen. In diesem Fall kann das Kamerasteuermodul 141 (in Block 312) die Kamera 148 nicht steuern, um zu versuchen, Bilder des Merkmals 99 aufzunehmen. Wenn sich das Merkmal 99 mit niedrigem Konfidenzgrad jedoch nicht an einem Kameraausschlussort befindet, kann das Kamerasteuermodul 141 (in Block 314) Vorgänge bzw. Operationen der Überprüfungsunterstützungskamera 148 steuern, um mit dem Aufnehmen von Bildern des Merkmals 99 zu beginnen. Eine Sichtlinie von der Kamera 148 zu dem Merkmal 99 ist in 3 als 148a gezeigt. Nachdem die Kamera 148 auf das Merkmal 99 fokussiert wird, kann das Kamerasteuermodul 141 auch (in Block 314) jedes aufgenommene Bild des Merkmals 99 mit einem gleichzeitigen Lidar-Scan zeitlich korrelieren, der auftritt, nachdem die Kamera 148 mit dem Aufnehmen von Bildern beginnt. Zur gleichen Zeit werden die Prozesse des Lidar-Scannens (Block 316) und der Merkmalsidentifikation/Konfidenzgradbestimmung (Block 318) fortgesetzt, während Bilder des Merkmals 99 aufgenommen werden. Merkmalsinformationen bezüglich des Merkmals 99 werden auch in den Lidar-Scan-Informationen 118 aktualisiert (Block 320), sobald ein neuer Scan durchgeführt und neue Scan-Daten verarbeitet werden.
  • Als Reaktion auf jede Merkmalsinformationsaktualisierung kann das Kamerasteuermodul 141 (in Block 322) auf den Konfidenzgrad zugreifen, der dem Merkmal 99 zugeordnet ist. Das Kamerasteuermodul kann dann (in Block 324) bestimmen, ob sich das Merkmal 99 mit niedrigem Konfidenzgrad aktuell an einem Kameraausschlussort in Bezug auf das Fahrzeug 100 befindet. Wenn sich das Merkmal 99 mit niedrigem Konfidenzgrad nicht an einem Kameraausschlussort befindet, kann das Kamerasteuermodul 141 (in Block 326) den aktualisierten Konfidenzgrad mit dem vorgegebenen Schwellenwert vergleichen, um zu bestimmen, ob der aktualisierte Konfidenzgrad immer noch unter dem Schwellenwert liegt. Das Fahrzeug kann nun in Position „C“ in 2 sein. Wenn der aktualisierte Konfidenzgrad immer noch unter dem Schwellenwert liegt, kann die Steuerung zu Block 314 zurückkehren, wo das Kamerasteuermodul das Steuern der Kamera 148 fortsetzt, um Bilder des Merkmals 99 aufzunehmen.
  • Das Kamerasteuermodul 141 kann wie gerade beschrieben das Steuern der Kamera 148 fortsetzen, um Bilder des Merkmals 99 aufzunehmen, solange der dem Merkmal 99 zugeordnete Konfidenzgrad unter dem Schwellenwert bleibt und solange sich das Merkmal 99 innerhalb eines Sichtfelds der Kamera 148 befindet (d.h. solange sich das Merkmal nicht an einem Kameraausschlussort befindet).
  • Zurückkehrend zu Block 326 (2), wenn der aktualisierte Konfidenzgrad immer noch nicht unter dem Schwellenwert liegt, ist der Konfidenzgrad auf einen Grad gestiegen, bei dem das Merkmal 99 als „erkannt“ oder „identifiziert“ betrachtet werden kann. Die Steuerung kann dann zu Block 328 voranschreiten, wo das Kamerasteuermodul 141 die Kamera 148 steuern kann, um den Versuch, Bilder des Merkmals 99 aufzunehmen, zu unterbrechen.
  • Zurückkehrend zu Block 324 ist die Kamera 148 nicht länger in der Lage, Bilder des Merkmals aufzunehmen, wenn sich das Merkmal 99 mit niedrigem Konfidenzgrad an einem Kameraausschlussort befindet. In diesem Fall kann das Kamerasteuermodul 141 (in Block 330) die Kamera 148 steuern, um den Versuch, Bilder des Merkmals 99 aufzunehmen, zu unterbrechen. 2 zeigt das Fahrzeug 100 in einer Position „D“, in der sich das Merkmal 99 an einem Ausschlussort befindet, von dem aus die Kamera 148 nicht länger auf das Merkmal 99 fokussiert werden kann. Der Lidarsensor 125 kann jedoch immer noch das Merkmal 99 (sowie andere Fahrzeugumgebungsmerkmale) von Position „D“ erfassen.
  • Da zusätzlich bei Block 330 der dem Merkmal 99 zugeordnete Konfidenzgrad während der Bildaufnahme und Aktualisierung der Merkmalsinformationen niemals einen Grad bei oder über dem Schwellenwert erreicht hat, bleibt das Merkmal 99 als „nicht identifiziert“ klassifiziert. Somit kann das Kamerasteuermodul 141 nach Block 330 eine abschließende Überprüfung durchführen (in Block 332), um zu bestimmen, ob bis zu diesem Zeitpunkt irgendwelche Bilder des Merkmals 99 aufgenommen wurden. Wenn keine Bilder aufgenommen wurden, gibt es keine Kamerabilder, die an einen menschlichen Prüfer weitergeleitet werden können, und die Bilderfassungsroutine kann bei Block 334 enden. Wenn jedoch Bilder des Merkmals 99 mit niedrigem Konfidenzgrad aufgenommen wurden, kann das Kamerasteuermodul 141 (in Block 336) den Betrieb des Fahrzeugs 100 steuern, um Merkmalsinformationen bezüglich des Merkmals 99 für die menschliche Überprüfung zu übertragen.
  • In den hierin beschriebenen Ausführungsbeispielen kann der menschliche Prüfer die Lidar-/Radarinformationen mit zugeordneten Kamerabildern des tatsächlichen Merkmals, das in den Lidar-/Radarinformationen dargestellt ist, vergleichen und in Beziehung setzen (in Echtzeit). Die Bereitstellung von Kamerabildern eines Merkmals, dessen Identifizierung von einem Menschen überprüft wird, kann eine schnellere und genauere Identifizierung des Merkmals und folglich genauere Korrelationen zwischen Punktwolken und den physischen Objekten, die sie darstellen, ermöglichen. Zusätzlich können, wenn die Lidar-/Radarinformationen kategorisiert oder einem tatsächlich bekannten Merkmal zugeordnet werden, die neu bezogenen Lidar-/Radarinformationen in Bezug auf das Merkmal zu einem Katalog bekannter Lidar-/Radarinformationen hinzugefügt werden, die dem Merkmal zugeordnet sind, wodurch die Ressourcendatenbank erweitert wird, die von einem Computersystem zum Vergleichen mit neu erfassten Lidar-/Radarinformationen verwendet wird. Dies kann die zukünftige Erkennung dieses Merkmals oder eines ähnlichen Merkmals in anderen Fahrzeugen erleichtern, die dieselbe Datenbank als eine Quelle bekannter Lidar-/Radarinformationen zum Vergleichen verwenden.
  • Detaillierte Ausführungsbeispiele werden hierin offenbart. Es versteht sich jedoch, dass die offenbarten Ausführungsbeispiele nur als Beispiele gedacht sind. Daher sind hierin offenbarte spezifische strukturelle und funktionelle Details nicht als einschränkend zu interpretieren, sondern lediglich als eine Basis für die Ansprüche und als eine repräsentative Basis, um einem Fachmann zu lehren, die Aspekte hierin in praktisch jeder angemessen detaillierten Struktur vielfältig einzusetzen. Des Weiteren sollen die hierin verwendeten Begriffe und Ausdrücke nicht einschränkend sein, sondern eher eine verständliche Beschreibung möglicher Implementierungen bereitstellen. In den 1-4B sind verschiedene Ausführungsbeispiele gezeigt, aber die Ausführungsbeispiele sind nicht auf die dargestellte Struktur oder Anwendung beschränkt.
  • Die Ablaufdiagramme und Blockdiagramme in den Figuren stellen die Architektur, Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsbeispielen dar. In dieser Hinsicht kann jeder Block in den Ablaufdiagrammen oder Blockdiagrammen ein Modul, ein Segment oder einen Codeabschnitt darstellen, der eine oder mehrere ausführbare Anweisungen zum Implementieren der angegebenen logischen Funktion(en) umfasst. Es sei ebenfalls angemerkt, dass in einigen alternativen Implementierungen die in dem Block angegebenen Funktionen außerhalb der in den Figuren angegebenen Reihenfolge auftreten können. Zum Beispiel können zwei nacheinander gezeigte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden, abhängig von der beteiligten Funktionalität.
  • Die zuvor beschriebenen Systeme, Komponenten und/oder Prozesse können in Hardware oder einer Kombination aus Hardware und Software realisiert werden und können in einer zentralisierten Weise in einem Verarbeitungssystem oder in einer verteilten Weise realisiert werden, in der verschiedene Elemente über mehrere miteinander verbundene Verarbeitungssysteme verteilt sind. Jede Art von Verarbeitungssystem oder eine andere Vorrichtung, die zum Ausführen der hierin beschriebenen Verfahren geeignet ist, ist geeignet. Eine typische Kombination aus Hardware und Software kann ein Verarbeitungssystem mit computernutzbarem Programmcode sein, der, wenn er geladen und ausgeführt wird, das Verarbeitungssystem so steuert, dass es die hierin beschriebenen Verfahren ausführt. Die Systeme, Komponenten und/oder Prozesse können auch in einen computerlesbaren Speicher eingebettet sein, wie beispielsweise einem Computerprogrammprodukt oder eine andere Datenprogrammspeichervorrichtung, die von einer Maschine lesbar ist und konkret ein Programm von Anweisungen verkörpert, die von der Maschine ausführbar sind, um Verfahren und hier beschriebenen Prozesse auszuführen. Diese Elemente können auch in ein Anwendungsprodukt eingebettet werden, das alle Merkmale umfasst, welche die Implementierung der hierin beschriebenen Verfahren ermöglichen, und das, wenn es in ein Verarbeitungssystem geladen wird, in der Lage ist, diese Verfahren auszuführen.
  • Darüber hinaus können hierin beschriebene Anordnungen die Form eines Computerprogrammprodukts annehmen, das in einem oder mehreren computerlesbaren Medien verkörpert ist, auf denen computerlesbarer Programmcode verkörpert ist., z.B. darauf gespeichert. Jede Kombination aus einem oder mehreren computerlesbaren Medien kann verwendet werden. Das computerlesbare Medium kann ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium sein. Der Ausdruck „computerlesbares Speichermedium“ bedeutet ein nichtflüchtiges Speichermedium. Ein computerlesbares Speichermedium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, Vorrichtung oder ein Gerät oder eine beliebige geeignete Kombination der Vorstehenden sein, ist aber nicht darauf beschränkt. Spezifischere Beispiele (eine nicht erschöpfende Liste) des computerlesbaren Speichermediums wären die folgenden: eine tragbare Computerdiskette, ein Festplattenlaufwerk (HDD), ein Solid-State-Laufwerk (SSD), ein Nur-Lese-Speicher (ROM), einen löschbaren programmierbaren Nur-Lese-Speicher (EPROM oder Flash-Speicher), einen tragbaren Compact-Disc-Nur-Lese-Speicher (CD-ROM), eine Digital-Versatile-Disc (DVD), eine optische Speichervorrichtung, eine magnetische Speichervorrichtung oder jede geeignete Kombination der zuvor Beschriebenen. Im Kontext dieses Dokuments kann ein computerlesbares Speichermedium ein beliebiges materielles Medium sein, das ein Programm zur Verwendung durch oder in Verbindung mit einem System zur Befehlsausführung, Vorrichtung oder Gerät enthalten oder speichern kann.
  • Programmcode, der auf einem computerlesbaren Medium verkörpert ist, kann durch Verwendung jedes geeigneten Mediums übertragen werden, einschließlich, aber nicht beschränkt auf, drahtlos, drahtgebunden, Lichtwellenleiter, Kabel, HF usw. oder jede geeignete Kombination der zuvor Beschriebenen. Computerprogrammcode zum Ausführen von Operationen für Aspekte der vorliegenden Anordnungen kann in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache wie beispielsweise Java™, Smalltalk, C++ oder dergleichen und einer herkömmlichen prozeduralen Programmiersprache wie beispielsweise die „C“ Programmiersprache oder ähnliche Programmiersprachen. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als ein eigenständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer bzw. Remotecomputer oder vollständig auf dem entfernten Computer bzw. Remotecomputer oder Server ausgeführt werden. In dem letzteren Szenario kann der entfernte Computer bzw. Remotecomputer über jede Art von Netzwerk mit dem Computer des Benutzers verbunden sein, einschließlich eines lokalen Netzwerks (LAN) oder eines Weitverkehrsnetzwerks (WAN), oder die Verbindung kann mit einem externen Computer (zum Beispiel über das Internet über einen Internetdienstanbieter) hergestellt werden.
  • Die Begriffe „ein“ und „eine“, wie hierin verwendet, sind als eins oder mehr als eins definiert. Der Begriff „Mehrzahl“, wie hierin verwendet, ist als zwei oder mehr als zwei definiert. Der Begriff „andere“, wie hierin verwendet, ist als zumindest eine Sekunde oder mehr definiert. Die Begriffe „enthalten/einschließlich“ und/oder „haben/aufweisen“, wie hierin verwendet, sind als umfassen/enthalten (d.h. offene Sprachbedeutung) definiert. Der Ausdruck „zumindest einer von ... und ....“, wie hierin verwendet, bezieht sich auf alle möglichen Kombinationen von einem oder mehreren der zugordneten aufgelisteten Elemente und umfasst diese. Als ein Beispiel enthält der Ausdruck „zumindest einer von A, B und C“ nur A, nur B, nur C oder eine beliebige Kombination davon (z.B. AB, AC, BC oder ABC).
  • Aspekte hierin können in anderen Formen verkörpert werden, ohne von der Idee oder wesentlichen Attributen davon abzuweichen. Dementsprechend sollte auf die folgenden Ansprüche und weniger die vorstehende Beschreibung Bezug genommen werden, um deren Anwendungsbereich anzugeben.

Claims (20)

  1. Kamerasteuersystem zum Steuern des Betriebs einer Kamera (126, 148), die an einem Fahrzeug (100) montiert ist, mit: einem Prozessor (110); und einem Speicher (115), der kommunizierbar mit dem Prozessor (110) verbunden ist und ein Kamerasteuermodul (141) speichert, das computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110): einen Erkennungskonfidenzgrad, der einem Merkmal in einer Umgebung des Fahrzeugs (100) zugeordnet ist, mit einem vorgegebenen Schwellenwert vergleicht; und als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, den Betrieb der Kamera (126, 148) steuert, um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs (100) aufzunehmen.
  2. Kamerasteuersystem nach Anspruch 1, wobei das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110), als Reaktion darauf, dass der Erkennungskonfidenzgrad bei oder über dem vorgegebenen Schwellenwert liegt, den Betrieb der Kamera (126, 148) steuert, um den Versuch, Bilder des Merkmals aufzunehmen, zu unterbrechen.
  3. Kamerasteuersystem nach Anspruch 1 oder 2, wobei das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110): bestimmt, ob das Merkmal aktuell an einem Kameraausschlussort ist, nachdem die Kamera (126, 148) zumindest ein Bild des Merkmals aufgenommen hat; und als Reaktion darauf, dass das Merkmal an einem Kameraausschlussort ist, den Betrieb der Kamera (126, 148) steuert, um den Versuch, Bilder des Merkmals aufzunehmen, zu unterbrechen.
  4. Kamerasteuersystem nach Anspruch 3, wobei das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110), als Reaktion darauf, dass das Merkmal an einem Kameraausschlussort ist, nachdem die Kamera (126, 148) zumindest ein Bild des Merkmals aufgenommen hat, den Betrieb des Fahrzeugs (100) steuert, um Merkmalsinformationen bezüglich des Merkmals an eine Entität außerhalb des Fahrzeugs zur menschlichen Überprüfung zu übertragen.
  5. Kamerasteuersystem nach Anspruch 4, wobei die Merkmalsinformationen Punktwolkendaten, die das Merkmal darstellen, und ein oder mehrere Bilder des Merkmals enthalten, die von der Kamera (126, 148) aufgenommen werden und mit den Punktwolkendaten zeitlich korreliert werden.
  6. Kamerasteuersystem nach einem der Ansprüche 1 bis 5, wobei das Fahrzeug (100) einen Lidar-Sensor (125) enthält, der betreibbar ist, um zu versuchen, das Merkmal in der Fahrzeugumgebung zu erfassen, und das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110) den Betrieb der Kamera (126, 148) steuert, um ein oder mehrere Bilder des Merkmals gleichzeitig mit dem Betrieb des Lidarsensors (125) aufzunehmen.
  7. Kamerasteuersystem nach Anspruch 6, wobei das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110) Lidardaten mit zumindest einem gleichzeitigen Bild des Merkmals zeitlich korreliert, das von der Kamera (126, 148) aufgenommen wird.
  8. Kamerasteuersystem nach einem der Ansprüche 1 bis 7, wobei das Fahrzeug (100) einen Radarsensor (109) enthält, der betreibbar ist, um zu versuchen, das Merkmal in der Fahrzeugumgebung zu erfassen, und das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110) den Betrieb der Kamera (126, 148) steuert, um Bilder des Merkmals gleichzeitig mit dem Betrieb des Radarsensors (109) aufzunehmen.
  9. Kamerasteuersystem nach Anspruch 8, wobei das Kamerasteuermodul (141) computerlesbare Anweisungen enthält, die beim Ausführen durch den Prozessor (110) bewirken, dass der Prozessor (110) Radardaten mit zumindest einem gleichzeitigen Bild des Merkmals zeitlich korreliert, das von der Kamera (126, 148) aufgenommen wird.
  10. Computerimplementiertes Verfahren zum Steuern des Betriebs einer Kamera (126, 148), die an einem Fahrzeug (100) montiert ist, wobei das Verfahren folgende Schritte enthält: Vergleichen eines Erkennungskonfidenzgrades, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert; und als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, Steuern des Betriebs der Kamera (126, 148), um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs (100) aufzunehmen.
  11. Verfahren nach Anspruch 10, des Weiteren mit dem Schritt, als Reaktion darauf, dass der Erkennungskonfidenzgrad bei oder über dem vorgegebenen Schwellenwert liegt, Steuern des Betriebs der Kamera (126, 148), um den Versuch, Bilder des Merkmals aufzunehmen, zu unterbrechen.
  12. Verfahren nach Anspruch 10 oder 11, des Weiteren mit den Schritten: Bestimmen, ob das Merkmal aktuell an einem Kameraausschlussort ist, nachdem die Kamera (126, 148) zumindest ein Bild des Merkmals aufgenommen hat; und als Reaktion darauf, dass das Merkmal an einem Kameraausschlussort ist, Steuern des Betriebs der Kamera (126, 148), um den Versuch, Bilder des Merkmals aufzunehmen, zu unterbrechen.
  13. Verfahren nach Anspruch 12, des Weiteren mit dem Schritt, als Reaktion darauf, dass das Merkmal an einem Kameraausschlussort ist, nachdem die Kamera (126, 148) zumindest ein Bild des Merkmals aufgenommen hat, Steuern des Betriebs des Fahrzeugs (100), um Merkmalsinformationen bezüglich des Merkmals an eine Entität außerhalb des Fahrzeugs zur menschlichen Überprüfung zu übertragen.
  14. Verfahren nach Anspruch 13, wobei die Merkmalsinformationen Punktwolkendaten, die das Merkmal darstellen, und ein oder mehrere Bilder des Merkmals enthalten, die von der Kamera (126, 148) aufgenommen werden und mit den Punktwolkendaten zeitlich korreliert sind.
  15. Verfahren nach einem der Ansprüche 10 bis 14, wobei das Fahrzeug (100) einen Lidarsensor (125) enthält, der betreibbar ist, um zu versuchen, das Merkmal in der Fahrzeugumgebung zu erfassen, und das Verfahren des Weiteren den Schritt des Steuerns des Betriebs der Kamera (126, 148) enthält, um ein oder mehrere Bilder des Merkmals gleichzeitig mit dem Betrieb des Lidarsensors (125) aufzunehmen.
  16. Verfahren nach Anspruch 15, des Weiteren mit dem Schritt Zeitkorrelieren von Lidardaten mit zumindest einem gleichzeitigen Bild des Merkmals, das von der Kamera (126, 148) aufgenommen wird.
  17. Verfahren nach einem der Ansprüche 10 bis 16, wobei das Fahrzeug (100) einen Radarsensor (109) enthält, der betreibbar ist, um zu versuchen, das Merkmal in der Fahrzeugumgebung zu erfassen, und das Verfahren des Weiteren den Schritt des Aufnehmens von Bildern des Merkmals gleichzeitig mit dem Betrieb des Radarsensors (109) enthält.
  18. Verfahren nach Anspruch 17, des Weiteren mit dem Schritt Zeitkorrelieren von Radardaten mit zumindest einem gleichzeitigen Bild des Merkmals, das von der Kamera (126, 148) aufgenommen wird.
  19. Nichtflüchtiges computerlesbares Medium zum Steuern des Betriebs einer Kamera (126, 148), die an einem Fahrzeug (100) montiert ist, wobei das Medium darin gespeicherte Anweisungen aufweist, die, wenn diese von einem Computersystem ausgeführt werden, bewirken, dass das Computersystem Funktionen ausführt, die enthalten: Vergleichen eines Erkennungskonfidenzgrades, der einem Merkmal zugeordnet ist, mit einem vorgegebenen Schwellenwert; und als Reaktion darauf, dass der Erkennungskonfidenzgrad unter dem vorgegebenen Schwellenwert ist, und durch Verwendung von Standortinformationen, die dem Merkmal zugeordnet sind, Steuern des Betriebs der Kamera (126, 148), um zumindest ein Bild des Merkmals während der Bewegung des Fahrzeugs (100) aufzunehmen.
  20. Nichtflüchtiges computerlesbares Medium nach Anspruch 19, des Weiteren mit den Schritten: Bestimmen, ob das Merkmal aktuell an einem Kameraausschlussort ist, nachdem die Kamera (126, 148) zumindest ein Bild des Merkmals aufgenommen hat; und als Reaktion darauf, dass das Merkmal an einem Kameraausschlussort ist, Steuern des Betriebs der Kamera (126, 148), um den Versuch, Bilder des Merkmals aufzunehmen, zu unterbrechen.
DE102022106248.1A 2021-03-24 2022-03-17 System zum Steuern einer Kamera zur Unterstützung der menschlichen Überprüfung von Sensorinformationen Pending DE102022106248A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163165240P 2021-03-24 2021-03-24
USUS63/165240 2021-03-24
US17/500,059 US11763569B2 (en) 2021-03-24 2021-10-13 System for controlling a camera supporting human review of sensor information
USUS17/500059 2021-10-13

Publications (1)

Publication Number Publication Date
DE102022106248A1 true DE102022106248A1 (de) 2022-09-29

Family

ID=83192917

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022106248.1A Pending DE102022106248A1 (de) 2021-03-24 2022-03-17 System zum Steuern einer Kamera zur Unterstützung der menschlichen Überprüfung von Sensorinformationen

Country Status (4)

Country Link
US (1) US11763569B2 (de)
JP (1) JP7294476B2 (de)
CN (1) CN115209041A (de)
DE (1) DE102022106248A1 (de)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
JP2012511697A (ja) * 2008-12-09 2012-05-24 トムトム ノース アメリカ インコーポレイテッド 測地参照データベースを生成する方法
US9165468B2 (en) * 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
US9711182B2 (en) 2011-06-07 2017-07-18 In Situ Media Corporation System and method for identifying and altering images in a digital video
US20140263143A1 (en) 2013-03-15 2014-09-18 The Carpenter Group Articulated Arm Lifting System
US9665595B2 (en) 2013-05-01 2017-05-30 Cloudsight, Inc. Image processing client
US10789840B2 (en) * 2016-05-09 2020-09-29 Coban Technologies, Inc. Systems, apparatuses and methods for detecting driving behavior and triggering actions based on detected driving behavior
WO2017212639A1 (ja) * 2016-06-10 2017-12-14 パイオニア株式会社 情報処理装置、計測装置及び制御方法
CN108225348B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 地图创建以及运动实体定位的方法和装置
WO2019188391A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 制御装置、制御方法、並びにプログラム
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
US10816979B2 (en) * 2018-08-24 2020-10-27 Baidu Usa Llc Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras
CN109800805A (zh) 2019-01-14 2019-05-24 上海联影智能医疗科技有限公司 基于人工智能的图像处理系统以及计算机设备
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
CN110789533B (zh) * 2019-09-25 2021-08-13 华为技术有限公司 一种数据呈现的方法及终端设备

Also Published As

Publication number Publication date
US20220311932A1 (en) 2022-09-29
US11763569B2 (en) 2023-09-19
JP7294476B2 (ja) 2023-06-20
JP2022151680A (ja) 2022-10-07
CN115209041A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
DE102016114535B4 (de) Wegbestimmung für automatisierte Fahrzeuge
DE102014223363B4 (de) Verfahren und Vorrichtung zur Lokalisation eines Kraftfahrzeugs in einer ortsfesten Referenzkarte
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102016112913A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Fahrzeug-Ich-Position
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102017126925A1 (de) Automatisierte Co-Pilotsteuerung für autonome Fahrzeuge
DE102019133536A1 (de) Verfahren und Vorrichtung zum Ermöglichen der sequentiellen Bodenansichts-Bildprojektionssynthese und der komplizierten Szenenrekonstruktion an Kartenanomalie-Hotspots
EP3824247A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102016112492A9 (de) Minimierung inkorrekter Sensordatenassoziationen für autonome Fahrzeuge
DE102015110812A1 (de) Kraftfahrzeugdrohneneinsatzsystem
DE102013208521A1 (de) Kollektives Erlernen eines hochgenauen Straßenmodells
EP2769373A1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE102016214027A1 (de) Verfahren und System zum Erfassen von Landmarken in einem Verkehrsumfeld einer mobilen Einheit
DE102018005869A1 (de) System zur Erstellung eines Umgebungsmodells eines Fahrzeugs
DE112018005907T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und beweglicher körper
DE102018118142A1 (de) Vorrichtung zum erhöhen des sichtfeldes für lidar-detektoren und -beleuchter
DE102019112649A1 (de) Vorrichtung und verfahren zur verbesserten radarstrahlformung
DE112020000590T5 (de) Karte und verfahren zum erstellen einer karte
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
DE102020102725A1 (de) Verfahren und vorrichtung für eine kontextabhängige, aus der crowd-source stammende, spärliche, hochauflösende karte
DE102016224212A1 (de) Automatisierte Freiraumerkennung mittels Differenzanalyse für Fahrzeuge
DE102020126973A1 (de) Verfahren und system zur lokalisierten fahrspurwahrnehmung
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102020100022A1 (de) Positionsbestimmungstechnik
DE112021006099T5 (de) Bordrückkopplungssystem für autonome Fahrzeuge

Legal Events

Date Code Title Description
R012 Request for examination validly filed