DE112016005866T5

DE112016005866T5 - Dynamischer Sensorbereich in fortgeschrittenen Fahrerassistenzsystemen

Info

Publication number: DE112016005866T5
Application number: DE112016005866.7T
Authority: DE
Inventors: Igor Tatourian; Rita H. Wouhaybi; Peter C. Brink
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2015-12-21
Filing date: 2016-11-21
Publication date: 2018-09-13
Also published as: US20170174227A1; CN109476309A; CN109476309B; WO2017112205A1; US9889859B2

Abstract

Hierin werden verschiedene Systeme und Verfahren zur Implementierung eines dynamischen Sensorbereichs in fortgeschrittenen Fahrerassistenzsystemen beschrieben. Ein System zur Verwaltung eines autonomen Fahrzeugs umfasst ein Fahrzeugsteuerungssystem in einem Fahrzeug zum Erfassen einer Geschwindigkeit des Fahrzeugs und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs.

Description

PRIORITÄTSANSPRUCH
Diese Anmeldung ist eine Fortführung der am 21. Dezember 2015 eingereichten US-Patentanmeldung Nr. 14/976.665 , deren Inhalt durch Verweis vollumfänglich hierin einbezogen ist.
TECHNISCHES GEBIET
Hierin beschriebene Ausführungsformen beziehen sich allgemein auf Fahrzeugsteuerungen und speziell auf die Verwendung eines dynamischen Sensorbereichs in fortgeschrittenen Fahrerassistenzsystemen.
HINTERGRUND
Fortgeschrittene Fahrerassistenzsysteme (Advanced Driver Assistance Systems, ADAS) im Kraftfahrzeugbereich sind Systeme, die zur Automatisierung, Anpassung oder Verbesserung von Fahrzeugsystemen entwickelt werden, um die Sicherheit zu erhöhen und ein besseres Fahren zu gewährleisten. In diesen Systemen sind Sicherheitsmerkmale ausgelegt zur Vermeidung von Kollisionen und Unfälle durch das Anbieten von Technologien, die den Fahrer bei potenziellen Problemen warnen, oder zur Vermeidung von Kollisionen durch die Implementierung von Sicherheitseinrichtungen und die Übernahme der Steuerung des Fahrzeugs.
Figurenliste
In den Zeichnungen, die nicht notwendigerweise maßstabsgetreu gezeichnet sind, können gleiche Bezugszeichen ähnliche Komponenten in unterschiedlichen Ansichten bezeichnen. Gleiche Bezugszeichen mit unterschiedlichen Buchstabensuffixen können unterschiedliche Instanzen ähnlicher Komponenten darstellen. Einige Ausführungsformen werden in den Figuren der beigefügten Zeichnungen in Form von Beispielen und nicht als Einschränkung dargestellt, wobei:

1 eine schematische Zeichnung ist, die ein System zum Steuern eines Fahrzeugs gemäß einer Ausführungsform darstellt;
2 ein schematisches Diagramm einer Bildverarbeitungskonfiguration gemäß einer Ausführungsform ist;
3 ein Daten- und Steuerflussdiagramm ist, das ein Verfahren zur Verwaltung einer Kameraanordnung anhand einer Fahrzeuggeschwindigkeit gemäß einer Ausführungsform darstellt;
4 ein Fließschema ist, das ein Verfahren zum Erweitern von Fahrzeugsensoren gemäß einer Ausführungsform darstellt; und
5 ein Blockschaltbild ist, das eine Beispielmaschine darstellt, an der eine oder mehrere der hierin erörterten Techniken (z. B. Methodiken) ausgeführt werden können, gemäß einer beispielhaften Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
In der folgenden Beschreibung werden zum Zwecke der Erläuterung zahlreiche besondere Details dargelegt, um ein umfassendes Verständnis einiger beispielhaften Ausführungsformen zu erzielen. Für den Fachmann wird jedoch ersichtlich sein, dass die vorliegende Offenbarung ohne diese besonderen Details umgesetzt werden kann.
Hierin beschriebene Systeme und Verfahren implementieren dynamische Sensorbereiche in fortgeschrittenen Fahrerassistenzsystemen (ADAS). Das ADAS beinhaltet verschiedene vorwärts, seitwärts und rückwärts gerichtete Sensoren in einem Fahrzeug. Die Sensoren beinhalten Radar, LIDAR, Kameras, Ultraschall-, Infrarot- und andere Sensorsysteme. Nach vorn gerichtete Sensoren können für die adaptive Geschwindigkeitsregelung, die Einparkhilfe, das Spurhalten, die Kollisionsvermeidung, die Fußgängererkennung und dergleichen verwendet werden. Viele dieser Arten von Systemen implementieren eine schwierige Bildanalyse oder andere Arten von Analyse, die eine intensive Rechenleistung erfordern. Herkömmliche Systeme können Daten aus einer Entfernung von etwa 200 Metern vor dem Fahrzeug verarbeiten. Mit zunehmender Vorwärtsgeschwindigkeit des Fahrzeugs sinkt die Zeitdauer zur Verarbeitung dieser Daten, bis die Systeme an einem gewissen Punkt die Daten nicht mehr verarbeiten können, bevor das Fahrzeug auf diese reagieren muss. Das Fahrzeug verlässt de facto den Verarbeitungsbereich der Sensorsysteme. Benötigt wird ein Mechanismus zur Steigerung der Verarbeitungseffizienz von ADAS und verwandten Systemen, um eine ausreichende Reaktionszeit für den Fahrer und das Fahrzeug bereitzustellen.
1 ist eine schematische Zeichnung, die ein System 100 zum Steuern eines Fahrzeugs gemäß einer Ausführungsform zeigt. 1 beinhaltet ein Fahrzeugsteuerungssystem 102, ein Fahrzeug 104 und einen Cloud-Dienst 106, die über ein Netzwerk 108 kommunikationstechnisch gekoppelt sind.
Das Fahrzeug 104 kann eine beliebige Art von Fahrzeug sein, beispielsweise ein Nutzfahrzeug, ein Individualfahrzeug, ein Wohnmobil, ein Personenwagen, ein Lastwagen, ein Motorrad oder ein Boot, das in der Lage ist, mindestens teilweise in einer autonomen Betriebsart zu fahren. Das Fahrzeug 104 kann zu bestimmten Zeiten in einer manuellen Betriebsart betrieben werden, in welcher der Fahrer das Fahrzeug 104 herkömmlich mit Hilfe von Pedalen, Lenkrad und anderen Bedienelementen führt. Zu anderen Zeiten kann das Fahrzeug 104 in einer vollautonomen Betriebsart geführt werden, in der das Fahrzeug 104 ohne Benutzereingriff fährt. Darüber hinaus kann das Fahrzeug 104 in einer halbautomatischen Betriebsart betrieben werden, in der das Fahrzeug 104 viele Aspekte des Fahrens steuert bzw. regelt, aber der Fahrer eingreifen oder mit herkömmlichen (z. B. Lenkrad) und nicht herkömmlichen Eingaben (z. B. Sprachsteuerung) auf den Betrieb einwirken kann.
Das Fahrzeug 104 beinhaltet eine Sensoranordnung, die verschiedene vorwärts, seitwärts und rückwärts gerichtete Kameras, Radar-, LIDAR-, Ultraschall- oder ähnliche Sensoren umfasst. Vorwärts gerichtet verweist nach dem sprachlichen Gebrauch im vorliegenden Dokument auf die primäre Fahrtrichtung, die Richtung, in die die Sitze weisen, die Fahrtrichtung beim Schalten des Getriebes auf Drive oder dergleichen. Rückwärts gerichtet oder nach hinten gerichtet wird dann nach herkömmlichem Gebrauch verwendet, um Sensoren zu beschreiben, die in eine Richtung weisen, die etwa entgegengesetzt zu der Richtung der vorwärts / nach vorn gerichteten ist. Es versteht sich, dass eine nach vorn gerichtete Kamera ein relativ breites Bildfeld, sogar bis zu 180 Grad, aufweisen kann. Entsprechend kann auch eine nach hinten gerichtete Kamera, die mit einem Richtungswinkel (vielleicht 60 Grad Mittenversatz) verwendet wird, um Verkehr in benachbarten Fahrspuren zu erkennen, ein relativ breites Bildfeld aufweisen, das mit dem Bildfeld der nach vorn gerichteten Kamera überlappen kann. Seitwärts gerichtete Sensoren sind solche, die von den Seiten des Fahrzeugs aus nach außen gerichtet sind. Kameras in der Sensoranordnung können Infrarotkameras oder Kameras für sichtbares Licht beinhalten, die zur Fern- oder Nahfokussierung mit kleinem oder großem Bildfeld in der Lage sind.
Das Fahrzeug 104 beinhaltet ein On-Board-Diagnosesystem zum Aufzeichnen des Fahrzeugbetriebs und anderer Aspekte von Leistung, Wartung oder Status des Fahrzeugs. Das Fahrzeug 104 kann auch verschiedene andere Sensoren beinhalten, beispielsweise Fahreridentifizierungssensoren (z. B. Sitzsensor, Blickerfassungs- und Identifizierungssensor, Fingerabdruckscanner, Stimmerkennungsmodul oder dergleichen), Insassensensoren oder verschiedene Umweltsensoren zur Erfassung von Windgeschwindigkeit, Außentemperatur, Luftdruck, Regen/Feuchte oder dergleichen.
Der Cloud-Dienst 106 kann als Software als ein Dienst, eine zentrale Rechenplattform, eine virtualisierte Rechenplattform oder dergleichen bereitgestellt werden. Der Cloud-Dienst 106 kann Daten von dem Fahrzeug 104, von dem Fahrzeugsteuerungssystem 102 oder von Insassen des Fahrzeugs 104 sammeln, um Dienste für das Fahrzeug 104, die Insassen des Fahrzeugs 104 oder andere Personen oder Fahrzeuge bereitzustellen. In einem Aspekt sammelt der Cloud-Dienst 106 Daten von einem Fahrzeug oder mehreren Fahrzeugen oder von Insassen eines Fahrzeugs oder mehrerer Fahrzeuge und erstellt ein Modell eines Geländes, einer Straße, einer Brücke oder eines sonstigen Verkehrsbauwerks. Das Modell kann dann von anderen Fahrzeugen oder Fahrzeuginsassen genutzt werden, um Sensoranordnungen an den Fahrzeugen einzustellen. Der Cloud-Dienst 106 kann beispielsweise Daten über einen bestimmten Spurwechsel auf einer Straße empfangen, wo die Fahrbahn sich verengt und der Spurwechsel bei Vorhandensein von Verkehr schwierig zu navigieren ist. Das Modell kann von Fahrzeugen, die die Straße befahren, verwendet werden, um das Ansprechverhalten, die Auflösung, die Verarbeitungsleistung oder einen anderen Aspekt der Sensoranordnung zu steigern, um die Straße besser zu analysieren und den Spurwechsel erfolgreich zu navigieren. Die Fahrzeuge, die später auf der Straße fahren, können ebenfalls Daten in Bezug auf ihr Befahren der Straße hochladen, die verwendet werden können, um das Modell zu verfeinern.
Darüber hinaus kann der Cloud-Dienst 106 von einem Fahrer des Fahrzeugs 104 als Aufbewahrungsort für Fotos oder Videos genutzt werden. In einigen Beispielen kann die Kameraanordnung im Fahrzeug 104 für die Aufnahme von Bildern oder Videos verwendet werden, und diese Bilder/Videos können an einem Ort im Cloud-Dienst 106 für den späteren Abruf abgelegt werden. Beispielsweise kann der Fahrer beim Fahren eine reizvolle Teichlandschaft erblicken. Mit Hilfe einer Geste, eines Sprachbefehls, einer Blickerkennung oder einer anderen Eingabe kann die Kameraanordnung so angesteuert werden, dass sie ein Bild oder ein Video des Anblicks aufnimmt und dieses in den Cloud-Dienst 106 hochlädt. Auf diese Weise kann der Fahrer Bilder/Videos der Umgebung mit weniger Ablenkung als bei Nutzung einer herkömmlichen Handkamera aufnehmen.
Das Netzwerk 108 kann lokale Netze (LAN), Fernnetze (WAN), Drahtlosnetze (z. B. 802.11 oder Mobilfunknetz), das öffentliche Fernsprechnetz (PSTN), Ad-hoc-Netze, persönliche Netze (Personal Area Networks, z. B. Bluetooth), fahrzeugbasierte Netze (z. B. CAN-(Controller Area Network)Bus) oder andere Kombinationen oder Umordnungen von Netzprotokollen und Netzarten umfassen. Das Netzwerk 108 kann ein einzelnes lokales Netz (LAN) oder Fernnetz (WAN) oder Kombinationen von LAN bzw. WAN wie das Internet umfassen. Die verschiedenen mit dem Netzwerk 108 gekoppelten Vorrichtungen (z. B. Mobilgerät 106 oder Fahrzeug 104) können über eine oder mehrere drahtgebundene oder drahtlose Verbindungen gekoppelt sein.
Im Betrieb implementiert das Fahrzeug 104 in Reaktion auf den Zustand oder Standort des Fahrzeugs 104 adaptiv einen oder mehrere Sensoren oder verändert den Betrieb eines oder mehrerer Sensoren. In einem Beispiel ist das Fahrzeugsteuerungssystem 102 zum Erfassen der Geschwindigkeit des Fahrzeugs 104 ausgelegt, und wenn die Geschwindigkeit höher ist als eine Schwellwertgeschwindigkeit, verändert das Fahrzeugsteuerungssystem 102 eine oder mehrere Kameras in einer Kameraanordnung am Fahrzeug 104. Die Veränderung kann darin bestehen, zusätzliche Kameras in der Kameraanordnung zu implementieren, die Bildverarbeitung von Bildaufnahmen einer oder mehrerer Kameras der Kameraanordnung zu verändern, die Brennweite, den Zoom oder andere Aspekte einer oder mehrerer Kameras der Kameraanordnung zu modifizieren oder andere entsprechende Anpassungen vorzunehmen, um Sensorverarbeitungszeit bereitzustellen.
In einem anderen Beispiel ist das Fahrzeugsteuerungssystem 102 ausgelegt, um die Auflösung, die Brennweite oder den Zoom einer oder mehrerer Kameras in der Kameraanordnung des Fahrzeugs 104 auf Grundlage der Geschwindigkeit zu ändern. Ähnlich wie bei der Arbeitsweise von Fernlichtscheinwerfern kann mit Kameraeinstellungen gearbeitet werden, um weiter in die Ferne zu schauen, das Bildfeld mit Fokus auf ferne Objekte zu verengen oder zur Erkennung eines weiter entfernten Objekts die Auflösung des Bildes zu verändern. In einem Aspekt steuert das Fahrzeugsteuerungssystem 102 eine oder mehrere Kameras so an, dass sie vom Fahrzeug 104 weiter herauszoomen, wenn sich die Fahrzeuggeschwindigkeit erhöht. In einem anderen Aspekt kann das Fahrzeugsteuerungssystem 102 eine oder mehrere Kameras ansteuern, um die Bildauflösung zu erhöhen, so dass Objekte in größerer Entfernung eine ausreichend hohe Pixeldichte (zum Beispiel Punkte pro Zoll (DPI)) aufweisen, um Objekte spezifisch zu klassifizieren und zu erkennen. Gering aufgelöste Bilder (z. B. Bilder mit niedrigem DPI-Wert) können große blockförmige Pixel aufweisen, die keine ausreichend deutlichen Formen bieten, um beispielsweise Buchstaben, Schilderformen oder Piktogramme zu erkennen. Die Erhöhung der Bildauflösung hat jedoch ihren Preis - eine höhere Verarbeitungszeit für die Bildanalyse. Durch die Reduzierung der zu verarbeitenden Bildgröße, beispielsweise durch künstliche Implementierung eines begrenzten Bildfeldes, kann das Fahrzeugsteuerungssystem 102 Bilder von weiter entfernten Objekten verarbeiten und näher gelegene Objekte ignorieren oder ausfiltern.
In einem anderen Beispiel implementiert das Fahrzeugsteuerungssystem 102 mehrere Kameras für unterschiedliche Zwecke. Eine nach vorn gerichtete Kamera (oder mehrere Kameras) wird verwendet, um ein gering aufgelöstes Bild aufzunehmen. Zur Identifizierung potenzieller Zielobjekte kann auf dem gering aufgelösten Bild ein einfacher Klassifikator verwendet werden. Die Positionen dieser potenziellen Zielobjekte werden dann an einen Bildprozessor weitergeleitet. Der Bildprozessor kann von einer anderen vorwärts gerichteten Kamera oder mehreren anderen vorwärts gerichteten Kameras ein Bild mit hoher Auflösung erhalten. Das Bild mit hoher Auflösung kann das Zielobjekt betreffen (zum Beispiel Fokussierung und Zoom auf ein durch den einfachen Klassifikator identifiziertes besonderes Objekt) oder kann im Wesentlichen die gleiche Szene (z. B. ein ähnliches Bildfeld) des Bildes mit hoher Auflösung betreffen und zur Isolierung des Zielobjekts entsprechend beschnitten sein. Der Bildprozessor kann ein Bild mit hoher Auflösung des potenziellen Zielobjekts/der potenziellen Zielobjekte erhalten und das Bild mit hoher Auflösung in einem komplexen Klassifikator verwenden, um zusätzliche Information über das Objekt zu bestimmen. Der zweistufige Verfahrensansatz verbessert die Sensoreffizienz zur Berücksichtigung schneller fahrender Fahrzeuge.
In einer Ausführungsform beinhaltet das Fahrzeugsteuerungssystem 102 eine Kameraanordnungsschnittstelle 110, einen Bildprozessor 112, ein Sensorfusionsmodul 114 und ein Kommunikationsmodul 118. Das Fahrzeugsteuerungssystem 102 betreibt ein System zur Verwaltung von Sensoren im und rund um das Fahrzeug 104. Die Kameraanordnungsschnittstelle 100 ist so betreibbar, dass sie eine oder mehrere Kameras direkt oder indirekt ansteuert. Die Kamera(s) kann/können aktiviert oder deaktiviert werden; mit Fokus auf ein Objekt oder einen Bereich ausgerichtet werden; zum Hineinzoomen in eine oder Hinauszoomen aus einer Bildansicht angesteuert werden; zum Aufnehmen von Bildern oder Videos für eine spätere Bezugnahme durch den Nutzer angesteuert werden; oder dergleichen.
Der Bildprozessor 112 ist so betreibbar, dass er einen oder mehrere Objekterkennungsalgorithmen oder Klassifikatoren implementiert. Verschiedene Verfahren können eingesetzt werden, einschließlich, aber nicht beschränkt auf, insbesondere Kantenabgleich, Teile-und-herrsche-Suche, Grauwertabgleich, Gradientenabgleich, Histogramm-Analyse und Maschinenlernen (z. B. genetische Algorithmen). Der Bildprozessor 112 kann zur Identifizierung potenzieller Zielobjekte in einem niedrig aufgelösten Bild relativ einfache Klassifikatoren verwenden. Der Bildprozessor 112 kann zur spezifischeren Identifizierung eines potenziellen Zielobjekts in einem hoch aufgelösten Bild auch relativ komplexe Klassifikatoren verwenden. Die einfachen und komplexen Klassifikatoren bieten im Zusammenspiel einen Kaskadenablauf, der die Verarbeitungsfähigkeiten des Bildprozessors 112 verbessert. Die vom Bildprozessor 112 durchgeführte Verarbeitung kann ganz oder teilweise in ein Remote-System (z. B. in den Cloud-Dienst) ausgelagert werden. Das Auslagern der Bildverarbeitung in einen großen Cloud-Dienst kann zwar den zeitlichen Verarbeitungsaufwand senken, aber der Verwaltungsdatenverkehr der Kommunikation kann den Gesamtprozess verlängern. Abhängig von den Kommunikationsfähigkeiten des Fahrzeugs 104 kann es sein, dass eine Auslagerung als solche nicht genutzt wird. Falls das Fahrzeug 104 beispielsweise in Bergregionen unterwegs ist, wo das Funksignal schwach ist, kann die Bildverarbeitung im Fahrzeug 104 erfolgen, da der Overhead der Kommunikation zu stark ist.
Das Sensorfusionsmodul 114 kann verwendet werden, um mehrere Eingaben zu fusionieren und mehrere Sensoren zu verwalten. Die Eingaben können von den Sensoren im Fahrzeug 104 oder von externen Quellen wie dem Cloud-Dienst 106 stammen. In einem Beispiel erhält das Sensorfusionsmodul 114 ein Modell einer Teilstrecke einer Straße und verwendet das Modell zur Veränderung von Betriebseigenschaften eines oder mehrerer Sensoren am Fahrzeug 104, um eine höhere Betriebssicherheit zu gewährleisten.
Das Kommunikationsmodul 116 ist für die Kommunikation mit mindestens dem Cloud-Dienst 106 betreibbar. Das Kommunikationsmodul 116 kann die Kommunikation für andere Komponenten des Fahrzeugsteuerungssystems 102, beispielsweise für den Bildprozessor 112 oder das Sensorfusionsmodul 114, bereitstellen. Das Kommunikationsmodul 116 kann eine oder mehrere Kommunikationsmodalitäten, einschließlich, aber nicht beschränkt auf, Drahtlosnetze (z. B. 802.11 oder Mobilfunknetz), Ad-hoc-Netze, persönliche Netze (Personal Area Networks, z. B. Bluetooth), fahrzeugbasierte Netze (z. B. CAN-Bus) oder andere Kombinationen oder Umordnungen von Netzwerkprotokollen und Netzarten verwenden.
Das Fahrzeugsteuerungssystem 102 kann im Fahrzeug 104 oder in einem Netzserver (z. B. Cloud-Dienst 106) angeordnet sein. Das Fahrzeugsteuerungssystem 102 kann als Nachrüstkomponente des Fahrzeugs eingebaut werden oder als Herstelleroption bereitgestellt werden. Teile des Fahrzeugsteuerungssystems 102 können an mehreren Orten implementiert sein, beispielsweise in einem verteilten Rechenmodell. Beispielsweise kann die Bildverarbeitung für die Objekterkennung durch den Cloud-Dienst 106 oder eine andere Rechenplattform bereitgestellt werden. In einem anderen Beispiel kann das Kommunikationsmodul 116 zumindest teilweise in einem Benutzergerät, beispielsweise einem Smartphone, bereitgestellt werden. In einem solchen Beispiel kann das Fahrzeug 104 mit dem Benutzergerät per Nah-Telemetrie (z. B. Bluetooth) kommunizieren und das Smartphone kann dann mit dem Cloud-Dienst 106 per Fern-Telemetrie (z. B. Mobilfunk) kommunizieren.
In verschiedenen Ausführungsformen ist somit in 1 ein System zur Verwaltung eines Fahrzeugs dargestellt, wobei das System ein Fahrzeugsteuerungssystem 102 in einem Fahrzeug 104 umfasst, um eine Geschwindigkeit des Fahrzeugs 104 zu erfassen und eine vorwärts gerichtete Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs 104 einzustellen.
In einer Ausführungsform soll das Fahrzeugsteuerungssystem 102 zur Einstellung der Kameraanordnung bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt, eine niedrig auflösende Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes ansteuern und eine hoch auflösende Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts ansteuern. Die Schwellwertgeschwindigkeit kann durch den Fahrer oder Eigentümer des Fahrzeugs 104 konfigurierbar sein. Alternativ kann die Schwellwertgeschwindigkeit vom Hersteller oder Lieferanten der Kameraanordnung des Fahrzeugs 104 konfiguriert werden. In einer Ausführungsform ist die Schwellwertgeschwindigkeit ein Kontaktwert, beispielsweise 60 Meilen pro Stunde, und basiert darauf, wieviel Zeit für die Bildverarbeitung und Objekterkennung notwendig ist. In einer anderen Ausführungsform ist die Schwellwertgeschwindigkeit ein variabler Wert und kann auf der Ist-Leistung (z. B. einem 10-Minuten-Fenster) der Bildverarbeitung beruhen. Der Vorteil der variablen Schwellwertgeschwindigkeit liegt in der Anpassung an sich ändernde Bedingungen außerhalb des Fahrzeugs 104, beispielsweise bei Schnee, Regen, Nebel oder anderen Umgebungsverhältnissen, die die für die Objektklassifikation benötigte Verarbeitungszeit erhöhen können.
In einer Ausführungsform soll das Fahrzeugsteuerungssystem 102 zum Ansteuern der hoch auflösenden Kamera mit Hilfe eines einfachen Objektklassifikators im niedrig aufgelösten Bild ein Zielobjekt bestimmen, eine Position des Zielobjekts im niedrig aufgelösten Bild bestimmen, einen Teilabschnitt eines von der hoch auflösenden Kamera aufgenommenen hoch aufgelösten Bildes bestimmen, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht, und den Teilabschnitt des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators verarbeiten. Diese Bildverarbeitung kann von einem Subsystem des Fahrzeugsteuerungssystems 102, beispielsweise vom Bildprozessor 112, ausgeführt werden.
In einer anderen Ausführungsform soll das Fahrzeugsteuerungssystem 102 zum Ansteuern der hoch auflösenden Kamera mit Hilfe eines einfachen Objektklassifikators im niedrig aufgelösten Bild ein Zielobjekt, eine Position des Zielobjekts im niedrig aufgelösten Bild bestimmen, die hoch auflösende Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes ansteuern und das hoch aufgelöste Bild mit Hilfe eines komplexen Objektklassifikators verarbeiten. In einer solchen Ausführungsform kann die Ansteuerung von Zielrichtung, Fokus und Zoom der hoch auflösenden Kamera, zusätzlich zur relativen Position des Zielobjekts im Bildfeld der niedrig auflösenden Kamera, anhand einer Trajektorie erfolgen, die mit Hilfe eines Winkelversatzes der hoch auflösenden Kamera relativ zur niedrig auflösenden Kamera berechnet wird, In einer weiteren Ausführungsform soll das Fahrzeugsteuerungssystem 102 somit zum Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts einen Zoom und/oder einen Fokus ansteuern, um das Zielobjekt einzurahmen.
In einer Ausführungsform umfasst soll das Fahrzeugsteuerungssystem 102 zum Einstellen der Kameraanordnung entweder eine Brennweite oder eine Auflösung einstellen, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht. Mit Hilfe eines hoch aufgelösten Bildes beispielsweise lassen sich gegebenenfalls Details von weiter entfernten Objekten erkennen.
In einer Ausführungsform soll das Fahrzeugsteuerungssystem 102 zum Einstellen der Kameraanordnung eine Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug fokussieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht. Die Kamera in der Kameraanordnung kann infolgedessen auch ein kleines Bildfeld aufweisen. In diesem Fall kann die Kamera höher aufgelöste Bilder in einem kleineren Rahmen erhalten, damit die insgesamt notwendige Bildverarbeitungszeit zur Erkennung von Zielobjekten im Rahmen nicht beeinflusst wird.
In einer Ausführungsform beinhaltet das System von 1 ein Sensorfusionsmodul 114 zum Zugreifen auf ein Modell einer Straße auf eine vom Fahrzeug befahrene Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt, Verwenden der Kameraanordnung zum Erkennen des Merkmals und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird. Gefährliche Teilabschnitte der Straße können Fahrbahneinengungen, gefährliche Objekte in Straßennähe, unübersichtliche Kreuzungen oder dergleichen sein. Wenn ein gefährlicher Streckenabschnitt vorausliegt, können die Sensoren empfindlicher konfiguriert werden, um zusätzliche Sicherheit für die Insassen des Fahrzeugs 104 zu gewährleisten. In einer Ausführungsform soll das Sensorfusionsmodul 114 zum Einstellen des Sensors eine Auflösung einer Kamera in der Kameraanordnung erhöhen. In einer anderen Ausführungsform soll das Sensorfusionsmodul 114 zum Einstellen des Sensors die Abtastrate des Sensors erhöhen. In einer weiteren Ausführungsform kann der Sensor eine Kamera, ein Radarsensor, ein LIDAR-Sensor, ein Ultraschallsensor oder ein Infrarotsensor sein.
In einer Ausführungsform soll das Sensorfusionsmodul 114 zum Zugreifen auf das Modell auf der Wegstrecke einen Standort oder eine Wegstrecke des Fahrzeugs bestimmen, den Standort oder die Wegstrecke des Fahrzeugs an einen Cloud-Dienst (z. B. Cloud-Dienst 106) senden und das Modell der Straße auf der Wegstrecke von dem Cloud-Dienst empfangen. Der Standort oder die Wegstrecke des Fahrzeugs 104 kann von einer On-Bord-Navigationseinheit im Fahrzeug 104 erhalten werden, die eine vorgeplante Wegstrecke, einen aktuellen Standort, einen Zielort oder andere Informationen über Standort und Umgebung des Fahrzeugs aufweisen kann. Der Standort kann über ein geografisches Ortungssystem beispielsweise ein globales Positionsbestimmungssystem (GPS) oder globales Navigationssatellitensystem (GLONASS) erhalten werden.
In einer Ausführungsform basiert das Modell auf einer Mehrzahl von Befahrungen der Straße durch vorherige Fahrzeuge. Andere Fahrzeuge mit ähnlichen Fahrzeugsteuerungssystemen können beispielsweise Merkmale, Objekte oder andere Informationen aus mit jeweils eigenen On-Bord-Kameraanordnungen aufgenommenen Bildern hochladen. Mit Hilfe der kollektiven Daten kann der Cloud-Dienst 106 ein Modell für eine Straße oder einen Straßenabschnitt generieren. In einer Ausführungsform wird das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet. Ausgehend von Benutzerfeedback kann als maschinelles Lernverfahren beispielsweise eine Backpropagation zur Verfeinerung der Bildklassifikatoren eingesetzt werden.
In einer Ausführungsform beinhaltet das System von 1 ein Bildaufnahmemodul zum Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung. In einer weiteren Ausführungsform soll das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung das Bild aufnehmen und das Bild an einen Cloud-Dienst senden. Das Bildaufnahmemodul kann zum Senden des Bildes eine Schnittstelle zum Kommunikationsmodul 116 aufweisen.
In einer Ausführungsform soll das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung die Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild einstellen und den Fahrer entsprechend der Identifizierung des Zielobjekts benachrichtigen. Blickt der Fahrer auf ein Objekt, das ein Fußgänger sein kann, dann kann das Bildaufnahmemodul die Kameraanordnung so einstellen, dass verschiedene Darstellungen des Objekts (z. B. ein Infrarotbild und Bild im sichtbaren Licht) aufgenommen werden, um eine wahrscheinliche Klassifikation des Objekts zu treffen. Falls mit ausreichendem Vertrauen klassifiziert, kann das Bildaufnahmemodul den Fahrer benachrichtigen, dass es sich wahrscheinlich um eine Person handelt. Die Benachrichtigung kann mit Hilfe verschiedener Verfahren erfolgen, beispielsweise über eine Überkopfanzeige (Head-Up Display) auf der Windschutzscheibe des Fahrzeugs 104, eine akustische Mitteilung, eine piktografische Darstellung auf dem Armaturenbrett usw.
2 ist ein schematisches Diagramm einer Bildverarbeitungskonfiguration gemäß einer Ausführungsform. 2 beinhaltet eine Nahbereichskamera 200, eine Fernbereichskamera 202, ein Fahrzeugsteuergerät 204 und einen Bildprozessor 206. Anhand der vom Fahrzeugsteuergerät 204 erfassten Fahrzeuggeschwindigkeit sowie der Blickrichtung und -fokussierung des Fahrers kann die Nahbereichskamera 200 in die Richtung des Vorgangs visieren und ein hoch aufgelöstes Foto aufnehmen. Das Foto kann dann in die Cloud hochgeladen werden, damit der Benutzer später darauf zugreifen kann, beispielsweise um es in persönliche Ordner zu kopieren oder zu löschen. Die in 2 dargestellte Anordnung der Kameras 200, 202 und des Fahrzeugsteuergeräts 204 kann auch für die oben erörterte gestufte Bildverarbeitung genutzt werden.
3 ist ein Daten- und Steuerflussdiagramm zur Darstellung eines Verfahrens zur Verwaltung einer Kameraanordnung anhand einer Fahrzeuggeschwindigkeit gemäß einer Ausführungsform. In 300 wird eine Fahrzeugeingabe (z. B. Fahrzeuggeschwindigkeit) empfangen. Die Fahrzeugeingabe kann von einem mit dem CAN-Bus verbundenen tachometrischen Sensor empfangen werden. In einem anderen Beispiel kann die empfangene Fahrzeugeingabe von einem Standortbestimmungssystem, beispielsweise einem GPS-Empfänger, empfangen werden. Liegt die Fahrzeuggeschwindigkeit unter einem Schwellwert (z. B. 65 Meilen pro Stunde), dann werden nahe gelegene potenzielle Objekte erkannt (Vorgang 302) und Objekte aus den erkannten potenziellen Objekten aufgelöst (Vorgang 304). Überschreitet die Fahrzeuggeschwindigkeit den Schwellwert, dann werden ferne potenzielle Objekte erkannt (Vorgang 306), die dann in Vorgang 304 aufgelöst werden.
4 ist ein Fließschema zur Darstellung eines Verfahrens 400 zur Erweiterung von Fahrzeugsensoren gemäß einer Ausführungsform. In Block 402 wird in einem Fahrzeugsteuerungssystem in einem Fahrzeug eine Geschwindigkeit des Fahrzeugs erfasst.
In Block 404 wird eine nach vorn gerichtete Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs vom Fahrzeugsteuerungssystem eingestellt.
In einer Ausführungsform umfasst das Einstellen der Kameraanordnung: Ermitteln, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt, Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts. In einer weiteren Ausführungsform umfasst das Ansteuern der hoch auflösenden Kamera: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators, Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild, Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenes hoch aufgelöstes Bildes, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht, und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators. In einer anderen Ausführungsform umfasst das Ansteuern der hoch auflösenden Kamera: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators, Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild, Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes, und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators. In einer weiteren Ausführungsform umfasst das Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
In einer Ausführungsform umfasst das Einstellen der Kameraanordnung: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In einer Ausführungsform umfasst das Einstellen der Kameraanordnung: Fokussieren einer Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In einer Ausführungsform beinhaltet das Verfahren 400: Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt, Verwenden der Kameraanordnung zum Erkennen des Merkmals und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird. In einer weiteren Ausführungsform umfasst das Einstellen des Sensors das Erhöhen der Auflösung einer Kamera in der Kameraanordnung. In einer anderen Ausführungsform umfasst das Einstellen des Sensors das Erhöhen der Abtastrate des Sensors. In Ausführungsformen kann der Sensor eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor umfassen.
In einer Ausführungsform umfasst das Zugreifen auf das Modell für die Wegstrecke: Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs, Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst und Empfangen des Modells der Straße auf der Wegstrecke aus dem Cloud-Dienst.
In einer Ausführungsform basiert das Modell auf einer Mehrzahl von Befahrungen der Straße durch vorherige Fahrzeuge.
In einer Ausführungsform wird das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet.
In einer Ausführungsform beinhaltet das Verfahren 400: Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung. Das Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung umfasst in einer weiteren Ausführungsform: Aufnehmen des Bildes und Senden des Bildes an einen Cloud-Dienst.
In einer anderen Ausführungsform umfasst das Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung: Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild und Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Ausführungsformen können als Hardware, als Firmware oder als Software oder in deren Kombination implementiert werden. Ausführungsformen können auch als Anweisungen auf einer maschinenlesbaren Speichervorrichtung gespeichert werden, die von mindestens einem Prozessor gelesen und ausgeführt werden, um die hier beschriebenen Vorgänge durchzuführen. Eine maschinenlesbare Speichervorrichtung kann einen beliebigen nichtflüchtigen Mechanismus zum Speichern von Informationen in einer von einer Maschine (z. B. einem Computer) lesbaren Form umfassen. Eine maschinenlesbare Speichervorrichtung kann beispielsweise einen Festwertspeicher (ROM), einen Arbeitsspeicher (RAM), Magnetplattenspeichermedien, optische Speichermedien, Flash-Speichervorrichtungen und andere Speichervorrichtungen und -medien umfassen.
Für die Ausführung der Anweisung auf dem maschinenlesbaren Medium kann ein Prozessor-Subsystem verwendet werden. Das Prozessor-Subsystem kann einen oder mehrere Prozessoren mit jeweils einem oder mehreren Kernen beinhalten. Außerdem kann das Prozessor-Subsystem auf einer oder mehreren physischen Vorrichtungen angeordnet sein. Das Prozessor-Subsystem kann einen oder mehrere spezialisierte Prozessoren, beispielsweise einen Grafikprozessor (GPU), einen digitalen Signalprozessor (DSP), ein feldprogrammierbares Gate-Array (FPGA) oder einen fest verdrahteten Prozessor, beinhalten.
Hier beschriebene Beispiele können Logik oder eine Anzahl von Bauteilen, Modulen oder Mechanismen beinhalten bzw. nutzen. Module können Hardware, Software oder Firmware sein, die mit einem oder mehreren Prozessoren kommunikationstechnisch gekoppelt sind, um die hier beschriebenen Vorgänge auszuführen. Module können Hardware-Module sein und Module als solche können als fassbare Einheiten betrachtet werden, die in der Lage sind, vorgegebene Operationen auszuführen, und können in einer bestimmten Weise konfiguriert oder angeordnet sein. In einem Beispiel können Schaltungen auf eine spezielle Weise (z. B. intern oder in Bezug zu externen Einheiten, beispielsweise anderen Schaltungen) als Modul angeordnet sein. In einem Beispiel können ein ComputerSystem oder mehrere Computer-Systeme (z. B. Einzel-, Client- oder Server-Computersystem) oder ein oder mehrere Hardware-Prozessoren durch Firmware oder Software (z. B. durch Anweisungen, einen Anwendungsteil oder eine Anwendung) ganz oder teilweise als ein Modul konfiguriert werden, das im Betrieb die vorgegebenen Operationen ausführt. In einem Beispiel kann die Software auf einem maschinenlesbaren Medium vorliegen. In einem Beispiel veranlasst die Software, wenn von der zugrunde liegenden Hardware des Moduls ausgeführt, die Hardware zur Ausführung der vorgegebenen Operationen. Der Begriff Hardware umfasst nach diesem Verständnis dementsprechend eine materielle Einheit, sei es eine Einheit, die physisch aufgebaut, speziell konfiguriert (z. B. verbindungsprogrammiert) oder temporär (z. B. vorübergehend) konfiguriert (z. B. programmiert) ist, um auf eine besondere Weise zu arbeiten oder einen hier beschriebenen Vorgang teilweise oder vollständig auszuführen. In Anbetracht von Beispielen, in denen Module temporär konfiguriert sind, müssen die Module nicht zu einem bestimmten Zeitpunkt jeweils ausgeprägt werden. Wenn die Module beispielsweise einen universellen Hardware-Prozessor umfassen, der Software verwendet, kann der universelle Hardware-Prozessor zu unterschiedlichen Zeiten als jeweils unterschiedliche Module konfiguriert werden. Dementsprechend kann beispielsweise Software einen Hardware-Prozessor so konfigurieren, dass er zu einem Zeitpunkt ein bestimmtes Modul darstellt und zu einem anderen Zeitpunkt ein anderes Modul darstellt. Module können auch Software- oder Firmware-Module sein, die im Betrieb die hier beschriebenen Methodiken ausführen.
5 ist ein Blockschaltbild zur Darstellung einer Maschine in der beispielhaften Form eines Computersystems 500 gemäß einer beispielhaften Ausführungsform, in dem ein Satz oder eine Sequenz von Anweisungen ausgeführt werden kann, um die Maschine zu veranlassen, eine der hier erörterten Methodiken auszuführen. In alternativen Ausführungsformen arbeitet die Maschine als alleinstehende Vorrichtung oder kann mit anderen Maschinen verbunden (z. B. vernetzt) sein. Bei einer Vernetzung kann die Maschine entweder als Server- oder als Client-Maschine in Server-Client-Netzumgebungen arbeiten oder kann als Peer-Maschine in Peer-to-Peer-Netzumgebungen (bzw. verteilten Netzumgebungen) arbeiten. Die Maschine kann ein On-Bord-Fahrzeugsystem, ein Wearable-Gerät, ein Personalcomputer (PC), ein Tablet-PC, ein Hybrid-Tablet, ein persönlicher digitaler Assistent (PDA), ein Mobiltelefon oder jede Maschine mit Fähigkeit zum (sequentiellen oder nichtsequentiellen) Ausführen von Anweisungen, die von dieser Maschine zu ergreifende Maßnahmen vorgeben, sein. Zudem ist zwar nur eine einzelne Maschine dargestellt, aber der Begriff „Maschine“ ist auch so zu verstehen, dass er eine Sammlung von Maschinen umfasst, die einzeln oder gemeinsam einen Satz (oder mehrere Sätze) von Anweisungen ausführen, um eine oder mehrere der hierin erörterten Methodiken durchzuführen. Ebenso ist der Begriff „prozessorbasiertes System“ so zu verstehen, dass er eine Gruppe von einer oder mehreren Maschinen umfasst, die von einem Prozessor (z. B. einem Computer) so angesteuert werden, dass sie einzeln oder gemeinsam Anweisungen ausführen, um eine oder mehrere der hier erörterten Methodiken durchführen.
Ein beispielhaftes Computersystem 500 beinhaltet mindestens einen Prozessor 502 (z. B. eine zentrale Verarbeitungseinheit (CPU), einen Grafikprozessor (GPU) oder beides, Prozessorkerne, Computerknoten usw.), einen Hauptspeicher 504 und einen statischen Speicher 506, die über eine Verbindung 508 (z. B. Bus) miteinander kommunizieren. Das Computersystem 500 kann ferner eine Videoanzeigeeinheit 510, eine alphanumerische Eingabevorrichtung 512 (z. B. eine Tastatur) und eine Nutzerschnittstellen(UI)-Navigiervorrichtung 514 (z. B. eine Maus) beinhalten. In einer Ausführungsform sind die Videoanzeigeeinheit 510, die Eingabevorrichtung 512 und die UI-Navigiervorrichtung 514 in ein Touchscreen-Display eingebaut. Das Computersystem 500 kann darüber hinaus eine Speichervorrichtung 516 (z. B. eine Laufwerkseinheit), eine Signalerzeugungsvorrichtung 518 (z. B. einen Lautsprecher), eine Netzschnittstellenvorrichtung 520 und einen oder mehrere Sensoren (nicht dargestellt), beispielsweise einen globalen Positionsbestimmungssensor (GPS-Sensor), einen Kompass, einen Beschleunigungsmesser oder anderen Sensor, beinhalten.
Die Speichervorrichtung 516 beinhaltet ein maschinenlesbares Medium 522, auf dem ein oder mehrere Sätze von Datenstrukturen und Anweisungen 524 (z. B. Software) gespeichert sind, die eine oder mehrere der hier beschriebenen Methodiken oder Funktionen verwirklichen oder von diesen genutzt werden. Die Anweisungen 524 können während ihrer Ausführung durch das Computersystem 500 auch vollständig oder zumindest teilweise im Hauptspeicher 504, im statischen Speicher 506 und/oder im Prozessor 502 vorliegen, wobei der Hauptspeicher 504, der statische Speicher 506 und der Prozessor 502 auch maschinenlesbare Medien darstellen.
Während das maschinenlesbare Medium 522 in einer beispielhaften Ausführungsform als ein Einzelmedium dargestellt ist, kann der Begriff „maschinenlesbares Medium“ ein einzelnes Medium oder mehrere Medien (zum Beispiel eine zentralisierte oder verteilte Datenbank und/oder assoziierte Cache-Speicher und Server) umfassen, die die eine oder die mehreren Anweisungen 524 speichern. Der Begriff „maschinenlesbares Medium“ ist auch so zu verstehen, dass er ein fassbares Medium umfasst, das in der Lage ist, von durch die Maschine auszuführenden Anweisungen, die die Maschine veranlassen, eine oder mehrere Methodiken der vorliegenden Offenbarung auszuführen, zu speichern, zu kodieren oder zu führen, oder das in der Lage ist, Datenstrukturen, die von diesen Anweisungen genutzt werden oder mit diesen assoziiert sind, zu speichern, zu kodieren oder zu führen. Dementsprechend ist der Begriff „maschinenlesbares Medium“ so zu verstehen, dass er Festkörperspeicher sowie optische und magnetische Medien einschließt, aber nicht darauf beschränkt ist. Spezielle Beispiele maschinenlesbarer Medien umfassen nichtflüchtigen Speicher, einschließlich, aber nicht beschränkt auf, beispielsweise Halbleiterspeichervorrichtungen (z. B. elektrisch programmierbaren Festwertspeicher (EPROM), elektrisch löschbaren programmierbaren Festwertspeicher (EEPROM)) und Flash-Speichervorrichtungen; Magnetplatten, beispielsweise interne Festplatten und Wechselfestplatten; magnetooptische Platten; und CD-ROM- und DVD-ROM-Platten.
Die Anweisungen 524 können zudem über ein Kommunikationsnetz 526 mit Hilfe eines Übertragungsmediums durch die Netzschnittstellenvorrichtung 520 unter Nutzung eines von einer Anzahl bekannter Übertragungsprotokolle (z. B. HTTP) gesendet und empfangen werden. Beispiele von Kommunikationsnetzen umfassen ein lokales Netz (LAN), ein Fernnetz (WAN), das Internet, Mobilfunknetze, analoge Telefondienstnetze (POTS) und drahtlose Datennetze (z. B. Wi-Fi-, 3G- und 4G LTE/LTE-A- oder WiMAX-Netze). Der Begriff „Übertragungsmedium“ ist so zu verstehen, dass er ein nicht fassbares Medium beinhaltet, das in der Lage ist, Anweisungen zur Ausführung durch die Maschine zu speichern, zu kodieren oder zu führen, und beinhaltet digitale oder analoge Kommunikationssignale oder ein anderes nicht fassbares Medium zur Ermöglichung der Kommunikation einer solchen Software.
Zusätzliche Anmerkungen und Beispiele:
Beispiel 1 ist ein System zur Verwaltung eines autonomen Fahrzeugs, wobei das System aufweist: ein Fahrzeugsteuerungssystem in einem Fahrzeug zum: Erfassen einer Geschwindigkeit des Fahrzeugs; und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs.
In Beispiel 2 beinhaltet der Gegenstand von Beispiel 1 optional, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
In Beispiel 3 beinhaltet der Gegenstand von Beispiel 2 optional, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera ausgelegt ist zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenen hoch aufgelösten Bildes, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht, und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 4 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 2 bis 3 optional, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera ausgelegt ist zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 5 beinhaltet der Gegenstand von Beispiel 4 optional, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera zwecks Einrahmen des Zielobjekts ausgelegt ist zum: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
In Beispiel 6 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 5 optional, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 7 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 6 optional, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Fokussieren einer Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 8 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 7 optional, ferner umfassend ein Sensorfusionsmodul 114 zum: Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt; Verwenden der Kameraanordnung zum Erkennen des Merkmals; und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird.
In Beispiel 9 beinhaltet der Gegenstand von Beispiel 8 optional, wobei das Sensorfusionsmodul zum Einstellen des Sensors ausgelegt ist zum: Erhöhen einer Auflösung einer Kamera in der Kameraanordnung.
In Beispiel 10 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 8 bis 9 optional, wobei das Sensorfusionsmodul zum Einstellen des Sensors ausgelegt ist zum: Erhöhen einer Abtastrate des Sensors.
In Beispiel 11 beinhaltet der Gegenstand von Beispiel 10 optional, wobei der Sensor umfasst: eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor.
In Beispiel 12 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 8 bis 11 optional, wobei das Sensorfusionsmodul für den Zugriff auf das Modell für die Wegstrecke ausgelegt ist zum: Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs; Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst; und Empfangen des Modells der Straße auf der Wegstrecke von dem Cloud- Dienst.
In Beispiel 13 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 8 bis 12 optional, wobei das Modell auf einer Mehrzahl von Befahrungen der Straße durch frühere Fahrzeuge basiert.
In Beispiel 14 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 8 bis 13 optional, wobei das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet wird.
In Beispiel 15 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 1 bis 14 optional, ferner umfassend ein Bildaufnahmemodul zum: Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs; und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung.
In Beispiel 16 beinhaltet der Gegenstand von Beispiel 15 optional, wobei das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung ausgelegt ist zum: Aufnehmen des Bildes; und Senden des Bildes an einen Cloud-Dienst.
In Beispiel 17 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 15 bis 16 optional, wobei das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung ausgelegt ist zum: Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild; und Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Beispiel 18 ist ein Verfahren zur Erweiterung von Fahrzeugsensoren, wobei das Verfahren umfasst: in einem Fahrzeugsteuerungssystem in einem Fahrzeug Erfassen einer Geschwindigkeit des Fahrzeugs; und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs durch das Fahrzeugsteuerungssystem.
In Beispiel 19 beinhaltet der Gegenstand von Beispiel 18 optional, wobei das Einstellen der Kameraanordnung umfasst: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
In Beispiel 20 beinhaltet der Gegenstand von Beispiel 19 optional, wobei das Ansteuern der hoch auflösenden Kamera umfasst: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenes hoch aufgelöstes Bild, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht; und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 21 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 19 bis 20 optional, wobei das Ansteuern der hoch auflösenden Kamera umfasst: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 22 beinhaltet der Gegenstand von Beispiel 21 optional, wobei das Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts umfasst: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
In Beispiel 23 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 18 bis 22 optional, wobei das Einstellen der Kameraanordnung umfasst: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 24 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 18 bis 23 optional, wobei das Einstellen der Kameraanordnung umfasst: Fokussieren einer Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 25 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 18 bis 24 optional, ferner umfassend: Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt; Verwenden der Kameraanordnung zum Erkennen des Merkmals; und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird.
In Beispiel 26 beinhaltet der Gegenstand von Beispiel 25 optional, wobei das Einstellen des Sensors umfasst: Erhöhen einer Auflösung einer Kamera in der Kameraanordnung.
In Beispiel 27 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 25 bis 26 optional, wobei das Einstellen des Sensors umfasst: Erhöhen einer Abtastrate des Sensors.
In Beispiel 28 beinhaltet der Gegenstand von Beispiel 27 optional, wobei der Sensor umfasst: eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor.
In Beispiel 29 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 25 bis 28 optional, wobei das Zugreifen auf das Modell für die Wegstrecke umfasst:

Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs; Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst; und
Empfangen des Modells der Straße auf der Wegstrecke von dem Cloud-Dienst.

In Beispiel 30 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 25 bis 29 optional, wobei das Modell auf einer Mehrzahl von Befahrungen der Straße durch frühere Fahrzeuge basiert.
In Beispiel 31 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 25 bis 30 optional, wobei das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet wird.
In Beispiel 32 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 18 bis 31 optional, ferner umfassend: Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs; und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung.
In Beispiel 33 beinhaltet der Gegenstand von Beispiel 32 optional, wobei das Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung umfasst: Aufnehmen des Bildes; und Senden des Bildes an einen Cloud- Dienst.
In Beispiel 34 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 32 bis 33 optional, wobei das Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung umfasst: Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild; und Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Beispiel 35 ist mindestens ein maschinenlesbares Medium, das Anweisungen umfasst, die bei Ausführung durch eine Maschine die Maschine veranlassen, Vorgänge eines der Verfahren der Beispiele 18 bis 34 auszuführen.
Beispiel 36 ist eine Einrichtung, die Mittel zur Ausführung eines der Verfahren der Beispiele 18 bis 34 umfasst.
Beispiel 37 ist ein Apparat zur Erweiterung von Fahrzeugsensoren, wobei der Apparat umfasst: Mittel zum Erfassen, in einem Fahrzeugsteuerungssystem in einem Fahrzeug, einer Geschwindigkeit des Fahrzeugs; und Mittel zum Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs durch das Fahrzeugsteuerungssystem.
In Beispiel 38 beinhaltet der Gegenstand von Beispiel 37 optional, wobei das Einstellen der Kameraanordnung umfasst: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
In Beispiel 39 beinhaltet der Gegenstand von Beispiel 38 optional, wobei die Mittel zum Ansteuern der hoch auflösenden Kamera umfassen: Mittel zum Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Mittel zum Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Mittel zum Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenes hoch aufgelöstes Bild, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht; und Mittel zum Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 40 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 38 bis 39 optional, wobei die Mittel zum Ansteuern der hoch auflösenden Kamera umfassen: Mittel zum Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Mittel zum Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Mittel zum Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Mittel zum Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 41 beinhaltet der Gegenstand von Beispiel 40 optional, wobei die Mittel zum Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts umfassen: Mittel zum Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
In Beispiel 42 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 37 bis 41 optional, wobei die Mittel zum Einstellen der Kameraanordnung umfassen: Mittel zum Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 43 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 37 bis 42 optional, wobei die Mittel zum Einstellen der Kameraanordnung umfassen: Mittel zum Fokussieren einer Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 44 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 37 bis 43 optional, ferner umfassend: Mittel zum Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt; Mittel zum Verwenden der Kameraanordnung zum Erkennen des Merkmals; und Mittel zum Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird.
In Beispiel 45 beinhaltet der Gegenstand von Beispiel 44 optional, wobei die Mittel zum Einstellen des Sensors umfassen: Mittel zum Erhöhen einer Auflösung einer Kamera in der Kameraanordnung.
In Beispiel 46 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 44 bis 45 optional, wobei die Mittel zum Einstellen des Sensors umfassen: Mittel zum Erhöhen einer Abtastrate des Sensors.
In Beispiel 47 beinhaltet der Gegenstand von Beispiel 46 optional, wobei der Sensor umfasst: eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor.
In Beispiel 48 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 44 bis 47 optional, wobei die Mittel zum Zugreifen auf das Modell für die Wegstrecke umfassen: Mittel zum Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs; Mittel zum Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst; und Mittel zum Empfangen des Modells der Straße auf der Wegstrecke von dem Cloud-Dienst.
In Beispiel 49 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 44 bis 48 optional, wobei das Modell auf einer Mehrzahl von Befahrungen der Straße durch frühere Fahrzeuge basiert.
In Beispiel 50 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 44 bis 49 optional, wobei das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet wird.
In Beispiel 51 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 37 bis 50 optional, ferner umfassend: Mittel zum Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs; und Mittel zum Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung.
In Beispiel 52 beinhaltet der Gegenstand von Beispiel 51 optional, wobei die Mittel zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung umfassen: Mittel zum Aufnehmen des Bildes; und Mittel zum Senden des Bildes an einen Cloud-Dienst.
In Beispiel 53 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 51 bis 52 optional, wobei die Mittel zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung umfassen: Mittel zum Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild; und Mittel zum Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Beispiel 54 ist ein System für erweiterte Fahrzeugsensoren, wobei das System umfasst: ein Prozessor-Subsystem; und einen Speicher, der Anweisungen enthält, die, bei Ausführung durch das Prozessor-Subsystem, das Prozessor-Subsystem veranlassen zum: Erfassen einer Geschwindigkeit des Fahrzeugs; und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs.
In Beispiel 55 beinhaltet der Gegenstand von Beispiel 54 optional, wobei die Anweisungen zum Einstellen der Kameraanordnung Anweisungen umfassen zum: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
In Beispiel 56 beinhaltet der Gegenstand von Beispiel 55 optional, wobei die Anweisungen zum Ansteuern der hoch auflösenden Kamera Anweisungen umfassen zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenen hoch aufgelösten Bildes, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht; und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 57 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 55 bis 56 optional, wobei die Anweisungen zum Ansteuern der hoch auflösenden Kamera Anweisungen umfassen zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
In Beispiel 58 beinhaltet der Gegenstand von Beispiel 57 optional, wobei die Anweisungen zum Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts Anweisungen umfassen zum: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
In Beispiel 59 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 54 bis 58 optional, wobei die Anweisungen zum Einstellen der Kameraanordnung Anweisungen umfassen zum: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 60 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 54 bis 59 optional, wobei die Anweisungen zum Einstellen der Kameraanordnung Anweisungen umfassen zum: Fokussieren einer Kamera in der Kameraanordnung auf fernere Objekte vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
In Beispiel 61 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 54 bis 60 optional, ferner umfassend Anweisungen zum: Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt; Verwenden der Kameraanordnung zum Erkennen des Merkmals; und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird.
In Beispiel 62 beinhaltet der Gegenstand von Beispiel 61 optional, wobei das Einstellen des Sensors Anweisungen umfasst zum: Erhöhen einer Auflösung einer Kamera in der Kameraanordnung.
In Beispiel 63 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 61 bis 62 optional, wobei die Anweisungen zum Einstellen des Sensors Anweisungen umfassen zum: Erhöhen einer Abtastrate des Sensors.
In Beispiel 64 beinhaltet der Gegenstand von Beispiel 63 optional, wobei der Sensor umfasst: eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor.
In Beispiel 65 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 61 bis 64 optional, wobei die Anweisungen zum Zugreifen auf das Modell für die Wegstrecke Anweisungen umfassen zum: Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs; Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst; und Empfangen des Modells der Straße auf der Wegstrecke von dem Cloud-Dienst.
In Beispiel 66 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 61 bis 65 optional, wobei das Modell auf einer Mehrzahl von Befahrungen der Straße durch frühere Fahrzeuge basiert.
In Beispiel 67 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 61 bis 66 optional, wobei das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet wird.
In Beispiel 68 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 54 bis 67 optional, ferner umfassend Anweisungen zum: Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs; und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung.
In Beispiel 69 beinhaltet der Gegenstand von Beispiel 68 optional, wobei die Anweisungen zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung Anweisungen umfassen zum: Aufnehmen des Bildes; und Senden des Bildes an einen Cloud-Dienst.
In Beispiel 70 beinhaltet der Gegenstand eines oder mehrerer der Beispiele 68 bis 69 optional, wobei die Anweisungen zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung Anweisungen umfassen zum: Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild; und Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Die obige ausführliche Beschreibung enthält Verweise auf die beigefügten Zeichnungen, die einen Teil der ausführlichen Beschreibung bilden. Die Figuren zeigen veranschaulichend spezifische Ausführungsformen, die ausgeführt werden können. Diese Ausführungsformen sind vorliegend auch als „Beispiele“ bezeichnet. Solche Beispiele können Elemente einschließlich, die zusätzlich zu den gezeigten oder beschriebenen vorhanden sind. Es sind jedoch auch Beispiele mit erfasst, die die dargestellten bzw. beschriebenen Elemente umfassen. Darüber hinaus sind auch Beispiel mit erfasst, die eine Kombination oder Umordnung dieser dargestellten bzw. beschriebenen (oder eines oder mehrerer Aspekte dieser) Elemente verwenden, entweder in Bezug auf ein hier dargestelltes bzw. beschriebenes besonderes Beispiel (oder auf einen oder mehrere Aspekte derselben) oder in Bezug auf andere hier dargestellte bzw. beschriebene Beispiele (oder auf einen oder mehrere Aspekte derselben).
Veröffentlichungen, Patente und Patentdokumente, auf die in diesem Dokument Bezug genommen wird, sind hierin in ihrer Gänze verweishalber aufgenommen, als wenn sie einzeln verweishalber aufgenommen wären. Im Falle eines zwischen diesem Dokument und den derart verweishalber aufgenommenen Dokumenten nicht übereinstimmenden Sprachgebrauchs ist der Sprachgebrauch in dem bzw. in den aufgenommenen Verweis(en) als den Sprachgebrauch dieses Dokuments ergänzend anzusehen; bei Unvereinbarkeiten gibt der Sprachgebrauch in diesem Dokument den Ausschlag.
In diesem Dokument wird, wie in Patentdokumenten allgemein üblich, der Begriff „ein“ verwendet, um ein oder mehr als ein, unabhängig von irgendwelchen anderen Fallbeispielen oder Ausdrucksweisen wie „wenigstens ein“ oder „ein oder mehr“, einzuschließen. In diesem Dokument wird der Begriff „oder“ dazu verwendet, um auf ein nichtausschließliches „oder“ Bezug zu nehmen derart, dass „A oder B“ „A, aber nicht B“, „B, aber nicht A“ und „A und B“ einschließt, wenn nicht anderweitig angegeben. In den angefügten Ansprüchen werden die Begriffe „enthaltend“ und „in denen“ als klare Äquivalente der betreffenden Begriffe „umfassend“ und „wobei“ verwendet. Auch sind in den folgenden Ansprüchen die Begriffe „enthaltend“ und „umfassend“ offenendig, d. h. ein System, ein Gerät, ein Artikel oder ein Prozess können Elemente zusätzlich zu denen enthalten, die nach solch einem Begriff in einem Anspruch aufgeführt sind, und dennoch als in den Umfang dieses Anspruchs fallend angesehen werden. Außerdem werden in den folgenden Ansprüchen die Begriffe „erster“, „zweiter“ und „dritter“ usw. lediglich als Etikettierungen verwendet und sollen ihren Gegenständen keine numerischen Erfordernisse auferlegen.
Die obige Beschreibung soll veranschaulichend und nicht einschränkend sein. Die vorbeschriebenen Beispiele (oder ein oder mehrere Aspekte derselben) können beispielsweise in Verbindung mit anderen verwendet werden. Andere Ausführungsformen können beispielweise von einem Durchschnittsfachmann bei Durchsicht der obigen Beschreibung verwendet werden. Der Abstract ist vorgesehen, damit der Leser schnell erkennen kann, was technisch offenbart wird. Er wird vorgelegt in der Annahme, dass er nicht zum Auslegen oder Beschränken des Umfangs oder der Bedeutung der Ansprüche verwendet wird. In der obigen ausführlichen Beschreibung können verschiedene Merkmale auch in Gruppen zusammengefasst sein, um die Offenbarung zu straffen. In den Ansprüchen muss jedoch nicht jedes hier offenbarte Merkmal dargelegt sein, da Ausführungsformen eine Teilmenge solcher Merkmale aufweisen können. Zudem können Ausführungsformen weniger Merkmale beinhalten, als in einem besonderen Beispiel offenbart sind. Daher sind die folgenden Ansprüche hierdurch in die ausführliche Beschreibung aufgenommen, wobei jeder Anspruch als separates Ausführungsbeispiel für sich allein steht. Der Umfang der Erfindung sollte mit Bezug auf die angefügten Ansprüche zusammen mit dem vollen Umfang von Äquivalenten, die diese Ansprüche rechtlich abdecken, bestimmt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 14976665 [0001]

Claims

System zur Verwaltung eines autonomen Fahrzeugs, das System umfassend: ein Fahrzeugsteuerungssystem in einem Fahrzeug zum: Erfassen einer Geschwindigkeit des Fahrzeugs; und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs.
System nach Anspruch 1, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
System nach Anspruch 2, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera ausgelegt ist zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenen hoch aufgelösten Bildes, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht, und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
System nach Anspruch 2, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera ausgelegt ist zum: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
System nach Anspruch 4, wobei das Fahrzeugsteuerungssystem zum Ansteuern der hoch auflösenden Kamera zwecks Einrahmen des Zielobjekts ausgelegt ist zum: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
System nach Anspruch 1, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
System nach Anspruch 1, wobei das Fahrzeugsteuerungssystem zum Einstellen der Kameraanordnung ausgelegt ist zum: Fokussieren einer Kamera in der Kameraanordnung auf Objekte weiter vor dem Fahrzeug, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
System nach Anspruch 1, ferner umfassend ein Sensorfusionsmodul zum: Zugreifen auf ein Modell einer Straße auf einer vom Fahrzeug befahrenen Wegstrecke, wobei die Straße ein Merkmal aufweist, das einen gefährlichen Teilabschnitt der Straße anzeigt; Verwenden der Kameraanordnung zum Erkennen des Merkmals; und Einstellen eines Sensors im Fahrzeug, wenn das Merkmal erkannt wird.
System nach Anspruch 8, wobei das Sensorfusionsmodul zum Einstellen des Sensors ausgelegt ist zum: Erhöhen einer Auflösung einer Kamera in der Kameraanordnung.
System nach Anspruch 8, wobei das Sensorfusionsmodul zum Einstellen des Sensors ausgelegt ist zum: Erhöhen einer Abtastrate des Sensors.
System nach Anspruch 10, wobei der Sensor umfasst: eine Kamera, einen Radarsensor, einen LIDAR-Sensor, einen Ultraschallsensor oder einen Infrarotsensor.
System nach Anspruch 8, wobei das Sensorfusionsmodul für den Zugriff auf das Modell auf der Wegstrecke ausgelegt ist zum: Bestimmen eines Standorts oder einer Wegstrecke des Fahrzeugs; Senden des Standorts oder der Wegstrecke des Fahrzeugs an einen Cloud-Dienst; und Empfangen des Modells der Straße auf der Wegstrecke von dem Cloud-Dienst.
System nach Anspruch 8, wobei das Modell auf einer Mehrzahl von Befahrungen der Straße durch frühere Fahrzeuge basiert.
System nach Anspruch 8, wobei das Modell mit Hilfe eines Verfahrens des maschinellen Lernens überarbeitet wird.
System nach Anspruch 1, ferner umfassend ein Bildaufnahmemodul zum: Bestimmen einer Blickrichtung eines Fahrers des Fahrzeugs; und Verarbeiten eines Bildes aus einer Kamera der Kameraanordnung anhand der Blickrichtung.
System nach Anspruch 15, wobei das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung ausgelegt ist zum: Aufnehmen des Bildes; und Senden des Bildes an einen Cloud-Dienst.
System nach Anspruch 15, wobei das Bildaufnahmemodul zum Verarbeiten des Bildes aus der Kamera der Kameraanordnung anhand der Blickrichtung ausgelegt ist zum: Einstellen der Kameraanordnung anhand des Bildes zur Identifizierung eines Zielobjekts im Bild; und Benachrichtigen des Fahrers entsprechend der Identifizierung des Zielobjekts.
Verfahren zum Erweitern von Fahrzeugsensoren, das Verfahren umfassend: in einem Fahrzeugsteuerungssystem in einem Fahrzeug Erfassen einer Geschwindigkeit des Fahrzeugs; und Einstellen einer nach vorn weisenden Kameraanordnung anhand der Geschwindigkeit des Fahrzeugs durch das Fahrzeugsteuerungssystem.
Verfahren nach Anspruch 18, wobei das Einstellen der Kameraanordnung umfasst: Bestimmen, ob die Geschwindigkeit des Fahrzeugs eine Schwellwertgeschwindigkeit übersteigt; Ansteuern einer niedrig auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines niedrig aufgelösten Bildes; und Ansteuern einer hoch auflösenden Kamera in der Kameraanordnung zum Aufnehmen eines im niedrig aufgelösten Bild identifizierten Objekts.
Verfahren nach Anspruch 19, wobei das Ansteuern der hoch auflösenden Kamera umfasst: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Bestimmen eines Teilabschnitts eines von der hoch auflösenden Kamera aufgenommenen hoch aufgelösten Bildes, der der Position des Zielobjekts im niedrig aufgelösten Bild entspricht; und Verarbeiten des Teilabschnitts des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
Verfahren nach Anspruch 19, wobei das Ansteuern der hoch auflösenden Kamera umfasst: Identifizieren eines Zielobjekts im niedrig aufgelösten Bild mit Hilfe eines einfachen Objektklassifikators; Bestimmen einer Position des Zielobjekts im niedrig aufgelösten Bild; Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts und zum Aufnehmen eines hoch aufgelösten Bildes; und Verarbeiten des hoch aufgelösten Bildes mit Hilfe eines komplexen Objektklassifikators.
Verfahren nach Anspruch 21, wobei das Ansteuern der hoch auflösenden Kamera zum Einrahmen des Zielobjekts umfasst: Ansteuern eines Zooms und/oder eines Fokus zum Einrahmen des Zielobjekts.
Verfahren nach Anspruch 18, wobei das Einstellen der Kameraanordnung umfasst: Einstellen entweder einer Brennweite oder einer Auflösung, um vom Fahrzeug weiter entfernte Objekte zu identifizieren, wenn sich die Geschwindigkeit des Fahrzeugs erhöht.
Maschinenlesbares Medium oder maschinenlesbare Medien, umfassend Anweisungen, die bei Ausführung durch eine Maschine die Maschine veranlassen, Vorgänge eines der Verfahren der Ansprüche 18 bis 23 auszuführen.
Apparat umfassend Mittel zur Ausführung eines der Verfahren der Ansprüche 18 bis 23.