DE102020126804A1

DE102020126804A1 - Im fahrzeug befindliches bildgebungssystem

Info

Publication number: DE102020126804A1
Application number: DE102020126804.1A
Authority: DE
Inventors: Guangyu J. Zou; Shuqing Zeng; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-11-18
Filing date: 2020-10-13
Publication date: 2021-05-20
Also published as: CN112822348B; US10893183B1; CN112822348A

Abstract

Es wird ein aufmerksamkeitsbasiertes Bildgebungssystem beschrieben, das eine Kamera umfasst, die ihr Sichtfeld (FOV) und ihre Auflösung einstellen kann, sowie eine Steuerungsroutine, die eine oder mehrere Bereiche von Interesse (ROI) innerhalb des FOV bestimmen kann, um Kameraressourcen zu priorisieren. Die Kamera umfasst einen Bildsensor, eine interne Linse, einen lenkbaren Spiegel, eine externe Linse und eine Steuerung. Die externe Linse ist so angeordnet, dass sie einen sichtbaren Bereich überwacht, und der lenkbare Spiegel ist zwischen den internen Linsen und den externen Linsen angeordnet. Die lenkbaren Spiegel sind so angeordnet, dass der sichtbare Bereich von der externen Linse über die interne Linse auf den Bildsensor projiziert wird. Der lenkbare Spiegel modifiziert den sichtbaren Bereich, der auf den Bildsensor projiziert wird, und steuert den Bildsensor so, dass er ein Bild erfasst. Die zugehörige Steuerungsroutine kann entweder innerhalb der Kamera oder in einem separaten externen Prozessor eingesetzt werden.

Description

EINLEITUNG
Fahrzeuge verwenden Kameras und andere Sensoren und Wahrnehmungsvorrichtungen zur Überwachung der Umgebung, einschließlich anderer Fahrzeuge, Fußgänger, Verkehrssignale, Gebäude, Straßenschilder usw., die das Fahrzeug umgeben und sich in einer gewünschten Fahrstrecke des Fahrzeugs befinden können. Viele der Informationen, die in einem sichtbaren Bereich einer Kamera enthalten sind, können insofern irrelevant sein, als sie für die Steuerung des Fahrzeugbetriebs auf einem Fahrweg möglicherweise nicht relevant sind. Die Datenübertragung von Kameras und anderen Sensorvorrichtungen und die damit verbundenen Latenzen können die Systemleistung verringern oder den Bedarf an Verarbeitungskapazität erhöhen. Die Auswirkungen von Latenzen und der Bedarf an Verarbeitungskapazität können mit der Implementierung von Kameras mit höherer Auflösung und anderen Sensorvorrichtungen verstärkt werden. Daher kann es von Vorteil sein, die fahrzeugseitigen Sensor- und Verarbeitungsressourcen auf Teile eines sichtbaren Bereichs zu konzentrieren, die mit einem Fahrweg verbunden sind, der einer gewünschten Fahrstrecke des Fahrzeugs entspricht. Daher besteht ein Bedarf, Teile eines sichtbaren Bereichs zu identifizieren, die von Interesse sein können, und den Betrieb der Kameras und anderer Sensor- und Wahrnehmungsvorrichtungen so zu steuern, dass sie sich darauf konzentrieren.
BESCHREIBUNG
Hierin werden ein System, eine Vorrichtung und ein Verfahren beschrieben, die sich auf das Identifizieren von Teilen eines sichtbaren Bereichs beziehen, die von Interesse sein können, auf das Steuern des Betriebs einer Kamera und anderer Sensorvorrichtungen, um sich darauf zu konzentrieren, um Bilder und andere Datenmodalitäten zu erfassen, auf das Analysieren der erfassten Bilder und anderer Modalitäten und auf das Steuern des darauf basierenden Betriebs. Dazu gehört ein aufmerksamkeitsbasiertes Bildgebungssystem, das eine Kamera umfasst, die ihr Sichtfeld (FOV) und ihre Auflösung dynamisch anpassen kann, sowie eine Steuerroutine, die eine oder mehrere Bereiche von Interesse (ROI) innerhalb des FOV bestimmen und es der Kamera ermöglichen kann, ihre Ressourcen auf diese ROIs zu priorisieren.
Ein Aspekt der Offenbarung umfasst eine Kamera, die einen Bildsensor, eine oder mehrere interne Linsen, einen oder mehrere lenkbare Spiegel und eine oder mehrere externe Linsen sowie eine Steuerung umfasst. Der Steuerung ist operativ mit dem Bildsensor und dem lenkbaren Spiegel verbunden. Die externe Linse ist so angeordnet, dass sie einen sichtbaren Bereich überwacht, und der lenkbare Spiegel ist zwischen den internen Linsen und den externen Linsen angeordnet. Die lenkbaren Spiegel sind so angeordnet, dass der sichtbare Bereich von der externen Linse über die interne Linse auf den Bildsensor projiziert wird. Die Steuerung ist so ausgeführt, dass sie den lenkbaren Spiegel so steuert, dass der sichtbare Bereich, der über die interne Linse auf den Bildsensor projiziert wird, modifiziert wird, und auch so ausgeführt, dass sie den Bildsensor so steuert, dass er ein Bild eines Sichtfeldes (FOV) erfasst, das dem sichtbaren Bereich zugeordnet ist, der über die interne Linse auf den Bildsensor projiziert wird.
Ein Aspekt der Offenbarung beinhaltet, dass die Steuerung so ausgeführt ist, dass sie den lenkbaren Spiegel so steuert, dass ein Teil des sichtbaren Bereichs auf den gesamten Bildsensor projiziert wird.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass der lenkbare Spiegel ein MEMS-Spiegel ist.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung so ausgeführt ist, dass sie den lenkbaren Spiegel so steuert, dass der sichtbare Bereich, der auf den Bildsensor projiziert wird, gekippt wird.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung so ausgeführt ist, dass sie den lenkbaren Spiegel steuert, um den sichtbaren Bereich, der auf den Bildsensor projiziert wird, zu schwenken.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass der lenkbare Spiegel steuerbar deformierbar ist.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung so ausgeführt ist, dass sie den lenkbaren Spiegel deformiert, um einen Teil des sichtbaren Bereichs, der auf den Bildsensor projiziert wird, zu vergrößern.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung operativ mit der internen Linse verbunden ist, wobei die Steuerung so angeordnet ist, dass sie den lenkbaren Spiegel und die interne Linse steuert, um den sichtbaren Bereich, der auf den Bildsensor projiziert wird, zu modifizieren.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Kamera an einem Fahrzeug angeordnet ist, wobei die externe Linse so angeordnet ist, dass sie einen Bereich um das Fahrzeug herum betrachtet, der mit einer Fahrtrichtung des Fahrzeugs verbunden ist.
Ein weiterer Aspekt der Offenbarung umfasst eine Bildverarbeitungsvorrichtung, die einen Bildsensor, eine interne Linse, einen lenkbaren Spiegel, eine externe Linse, eine Lidarvorrichtung und eine Steuerung umfasst. Die Lidarvorrichtung umfasst einen Lasersender und einen Empfänger, und der Lasersender ist so angeordnet, dass er einen Laserstrahl auf den lenkbaren Spiegel projiziert. Die Steuerung ist operativ mit dem Bildsensor, der Lidarvorrichtung und dem lenkbaren Spiegel verbunden. Die externe Linse ist so angeordnet, dass sie einen sichtbaren Bereich überwacht. Der lenkbare Spiegel befindet sich zwischen der internen Linse und der externen Linse und ist so angeordnet, dass er den sichtbaren Bereich von der externen Linse über die interne Linse auf den Bildsensor projiziert. Die Steuerung ist so angeordnet, dass sie den lenkbaren Spiegel auf eine erste Einstellung steuert, um den sichtbaren Bereich auf den Bildsensor zu projizieren, und den Bildsensor so steuert, dass er eine Bilddatei eines Sichtfeldes (FOV) erfasst, das dem sichtbaren Bereich zugeordnet ist, der über die interne Linse auf den Bildsensor projiziert wird. Die Steuerung ist außerdem so angeordnet, dass sie den lenkbaren Spiegel auf eine zweite Einstellung steuert, den Lasersender aktiviert, um den Laserstrahl über den lenkbaren Spiegel in den sichtbaren Bereich zu projizieren, und über den Empfänger ein reflektiertes Bild des Laserstrahls erfasst, das dem sichtbaren Bereich über den lenkbaren Spiegel zugeordnet ist.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung so angeordnet ist, dass sie den lenkbaren Spiegel steuert, um den Laserstrahl in einen Teil des sichtbaren Bereichs zu projizieren und das reflektierte Bild des Laserstrahls am Laserempfänger zu erfassen.
Ein weiterer Aspekt der Offenbarung umfasst den Lasersender und den Bildsensor, die sich einen gemeinsamen optischen Ausgangspfad zur Überwachung des Sichtbereichs teilen, der durch den lenkbaren Spiegel und die externe Linse definiert ist.
Ein weiterer Aspekt der Offenbarung beinhaltet, dass die Steuerung die Nutzung des optischen Ausgangspfades zwischen dem Bildsensor und der Lidarvorrichtung multiplext.
Die obige Beschreibung ist nicht dazu gedacht, jede mögliche Ausführungsform oder jeden Aspekt der vorliegenden Offenbarung darzustellen. Vielmehr soll die vorstehende Beschreibung einige der neuartigen Aspekte und Merkmale, die hier offenbart werden, veranschaulichen. Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der vorliegenden Offenbarung werden aus der folgenden detaillierten Beschreibung der repräsentativen Ausführungsformen und Modi für die Durchführung der vorliegenden Offenbarung einfach ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen und den beigefügten Ansprüchen genommen werden.
Figurenliste
Eine oder mehrere Ausführungsformen werden nun beispielhaft anhand der beigefügten Zeichnungen beschrieben, in denen:

1 eine schematische Seitenansicht eines Fahrzeugs mit einen an Bord befindlichen Bildgebungssystems zeigt, gemäß der Offenbarung.
2 ein schematisches Sensorschnittstellendiagramm zeigt, das die Signalübertragungen zwischen einer Kamera, einem Lidarsensor, einem Radarsensor, einem weiteren Wahrnehmungssensor, einem hochauflösenden Datenprozessor und einem Aufmerksamkeitsprozessor anzeigt, gemäß der Offenbarung.
3 schematisch eine Routine in Form eines Flussdiagramms zur Steuerung des Betriebs eines Bildgebungssystems zur Extraktion von Informationen aus einem sichtbaren Bereich einer Kamera zeigt, gemäß der Offenbarung.
4 bildlich ein Beispiel einer Bilddatei zeigt, die mit einem sichtbaren Bereich bei der Originalauflösung der Kamera assoziiert ist, gemäß der Offenbarung.
5 schematisch eine Ausführungsform einer Kamera eines Bildgebungssystems veranschaulicht, einschließlich einem Bildsensor, interner Linsengruppen, lenkbarem Spiegel, externer Linse und Kamerasteuerung, gemäß der Offenbarung.
6A, 6B und 6C schematisch eine horizontale Neigung des sichtbaren Bereichs zeigen, die vertikale Neigung des sichtbaren Bereichs bzw. das Schwenken des sichtbaren Bereichs der Kamera zeigen, gemäß der Offenbarung.
7 schematisch eine Ausführungsform einer Kamera eines Bildgebungssystems zeigt, einschließlich einem Bildsensor, Lidarsensor, interner Linsengruppen, lenkbarem Spiegel, externer Linse und Kamerasteuerung, gemäß der Offenbarung.

Die beigefügten Zeichnungen sind nicht notwendigerweise maßstabsgetreu und können eine etwas vereinfachte Darstellung verschiedener bevorzugter Merkmale der vorliegenden Offenbarung, wie sie hier offenbart wird, darstellen, einschließlich z.B. bestimmter Abmessungen, Ausrichtungen, Positionen und Formen. Einzelheiten, die mit solchen Merkmalen verbunden sind, werden zum Teil durch die beabsichtigte Anwendung und Nutzungsumgebung bestimmt.
DETAILLIERTE BESCHREIBUNG
Die hier beschriebenen und illustrierten Bestandteile der offenbarten Ausführungsformen können in einer Vielzahl unterschiedlicher Konfigurationen angeordnet und gestaltet werden. Die folgende detaillierte Beschreibung soll daher nicht den Umfang der Offenbarung, wie beansprucht, einschränken, sondern ist lediglich repräsentativ für mögliche Ausführungsformen davon. Obwohl in der folgenden Beschreibung zahlreiche spezifische Details aufgeführt sind, um ein gründliches Verständnis der hier offenbarten Ausführungsformen zu ermöglichen, können einige Ausführungsformen auch ohne einige dieser Details praktiziert werden. Darüber hinaus wurde aus Gründen der Klarheit bestimmtes technisches Material, das auf dem betreffenden Gebiet verstanden wird, nicht im Detail beschrieben, um die Offenbarung nicht unnötig zu verschleiern. Darüber hinaus sind die Zeichnungen in vereinfachter Form und nicht maßstabsgetreu. Aus Gründen der Zweckmäßigkeit und Klarheit können in Bezug auf die Zeichnungen Richtungsbegriffe wie oben, unten, links, rechts, aufwärts, über, oberhalb, unter, unterhalb, hinten und vorne verwendet werden. Diese und ähnliche Richtungsbegriffe sind nicht so auszulegen, dass sie den Umfang der Offenbarung einschränken. Darüber hinaus kann die Offenbarung, wie sie hier veranschaulicht und beschrieben wird, auch in Abwesenheit eines Elements praktiziert werden, das hier nicht ausdrücklich offenbart wird.
Wie hier verwendet, bezieht sich der Begriff „System“ auf mechanische und elektrische Hardware, Software, Firmware, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorvorrichtungen, einzeln oder in Kombination, die die beschriebene Funktionalität bereitstellen. Dies kann, ohne Einschränkung, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe), der ein oder mehrere Software- oder Firmware-Programme ausführt, eine oder mehrere Speichereinheiten mit Software- oder Firmware-Anweisungen, eine kombinierte Logikschaltung und/oder andere Komponenten umfassen.
Der Kürze halber werden einige Komponenten und Techniken, die auf dem Gebiet verstanden werden, und andere funktionelle Aspekte der Systeme sowie die einzelnen Betriebskomponenten der Systeme hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Figuren gezeigten Verbindungslinien beispielhafte Funktionsbeziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Viele alternative oder zusätzliche funktionelle Beziehungen oder physische Verbindungen können in einer Ausführungsform der Offenbarung vorhanden sein.
Unter Bezugnahme auf die Zeichnungen, in denen gleiche Bezugszahlen gleichen oder ähnlichen Bauteilen in den verschiedenen Figuren entsprechen, wird in 1 gemäß den hier offenbarten Ausführungsformen schematisch eine Seitenansicht eines Fahrzeugs 10 einschließlich eines am Fahrzeug befindlichen Bildgebungssystems 20 dargestellt. In einer Ausführungsform ist das Fahrzeug 10 auf einer Fahrbahn 70, wie z.B. einer asphaltierten Straße, angeordnet und in der Lage, diese zu durchfahren. Das Fahrzeug 10 umfasst auch eine Fahrzeugsteuerung 50, eine Mensch-Maschine-Schnittstelle (HMI) 60 und in einer Ausführungsform eine autonome Steuerung 65 und eine Telematiksteuerung 75. Das Fahrzeug 10 kann unter anderem eine mobile Plattform in Form eines Nutzfahrzeugs, eines Industriefahrzeugs, eines landwirtschaftlichen Fahrzeugs, eines Personenfahrzeugs, eines Luftfahrzeugs, eines Wasserfahrzeugs, eines Zugs, eines Geländefahrzeugs, eines persönlichen Bewegungsapparats, eines Roboters und dergleichen umfassen, um die Zwecke dieser Offenbarung zu erfüllen.
In einer Ausführung umfasst das Bildgebungssystem 20 einen oder mehrere Sensoren, die so angeordnet sind, dass sie den sichtbaren Bereich 32 um das Fahrzeug 10 herum überwachen, einschließlich z.B. des Teils, der sich vor dem Fahrzeug 10 befindet, sowie eine Bildgebungssteuerung 40. Die Sensoren, die so angeordnet sind, dass sie den sichtbaren Bereich 32 um das Fahrzeug 10 herum überwachen, einschließlich z.B. des Teils, der sich vor dem Fahrzeug 10 befindet, umfassen z.B. eine Kamera 100, einen Lidarsensor 34, einen Radarsensor 36, einen Wahrnehmungssensor 38, z.B. eine zweite Kamera usw. Die Sensoren sind so angeordnet, dass sie den sichtbaren Bereich 32 um das Fahrzeug 10 herum überwachen, einschließlich z.B. des Teils, der sich vor dem Fahrzeug 10 befindet. „Lidar“ bedeutet „Light Detection and Ranging“, und der Lidarsensor 34 ist ein Element eines Sensorsystems, das einen gepulsten und reflektierten Laserstrahl verwendet, um die Entfernung oder den Abstand zu einem Objekt zu messen. „Radar“ bedeutet „Radio Detection and Ranging“, und der Radarsensor 36 ist ein Element eines Sensorsystems, das Funkwellen zur Bestimmung von Entfernung, Winkel und/oder Geschwindigkeit eines Objekts verwendet. Die Ausführungsformen der Kamera 100 werden unter Bezugnahme auf die 5, 6 und 7 beschrieben und umfassen eine interne Linsengruppe 104 und einen Bildsensor 102, der in der Lage ist, Bilddateien des zugehörigen sichtbaren Bereichs 32 zu erfassen, zu verarbeiten und elektronisch zu speichern und die Bilddateien zur Speicherung und Analyse an eine Kamerasteuerung 110 zu übermitteln.
Die Kamera 100 ist vorteilhaft auf dem Fahrzeug 10 an einer Stelle angebracht und positioniert, die die Aufnahme von Bildern des sichtbaren Bereichs 32 ermöglicht, wobei mindestens ein Teil des sichtbaren Bereichs 32 einen Teil der Fahrfläche 70 einschließt, der sich vor dem Fahrzeug 10 befindet und eine Fahrstrecke des Fahrzeugs 10 einschließt. Der sichtbare Bereich 32 kann auch eine Umgebung einschließen, die z.B. den Fahrzeugverkehr, Straßenrandobjekte, Fußgänger und andere Merkmale, den Himmel, einen Horizont, die Fahrspur und den ankommenden Verkehr vor dem Fahrzeug 10 umfasst. Es können auch andere Kameras (nicht abgebildet) verwendet werden, einschließlich z.B. einer zweiten Kamera, die an einem hinteren Teil oder einem Seitenteil des Fahrzeugs 10 angeordnet ist, um hinter dem Fahrzeug 10 eine der rechten oder linken Seite des Fahrzeugs 10 zu überwachen.
Das Fahrzeug 10 kann mit einer autonomen Steuerung 65 ausgestattet werden, die autonome oder fortgeschrittene Fahrerassistenzsystem (ADAS) -Fahrzeugfunktionen implementiert. Zu den autonomen Fahrzeugfunktionen kann ein fahrzeugseitiges Steuerungssystem gehören, das in der Lage ist, ein gewisses Maß an Fahrautomatisierung zu bieten. Die Begriffe „Fahrer“ und „Bediener“ beschreiben die Person, die für die Steuerung des Betriebs des Fahrzeugs 10 verantwortlich ist, unabhängig davon, ob sie aktiv an der Steuerung einer oder mehrerer Fahrzeugfunktionen oder an der Steuerung des autonomen Fahrzeugbetriebs beteiligt ist. Die Fahrautomatisierung kann eine Reihe von dynamischen Fahr- und Fahrzeugfunktionen umfassen. Die Fahrautomatisierung kann ein gewisses Maß an automatischer Steuerung oder Intervention in Bezug auf eine einzelne Fahrzeugfunktion, wie Lenkung, Beschleunigung und/oder Bremsen, umfassen, wobei der Fahrer ständig die Gesamtkontrolle über das Fahrzeug hat 10. Die Fahrautomatisierung kann ein gewisses Maß an automatischer Steuerung oder Intervention in Bezug auf die gleichzeitige Steuerung mehrerer Fahrzeugfunktionen, wie Lenkung, Beschleunigung und/oder Bremsen, umfassen, wobei der Fahrer ständig die Gesamtkontrolle über das Fahrzeug hat. Die Fahrtautomatisierung kann die gleichzeitige automatische Steuerung von Fahrzeug-Fahrfunktionen einschließen, die Lenkung, Beschleunigung und Bremsen umfassen, wobei der Fahrer die Kontrolle über das Fahrzeug für einen Zeitraum während einer Fahrt abgibt. Die Fahrtautomatisierung kann die gleichzeitige automatische Steuerung von Fahrzeugantriebsfunktionen, einschließlich Lenkung, Beschleunigung und Bremsen, umfassen, wobei der Fahrer die Steuerung des Fahrzeugs für einen Zeitraum während einer Fahrt abgibt. Die Fahrautomation umfasst Hardware und Steuerungen, die so konfiguriert sind, dass sie die räumliche Umgebung unter verschiedenen Fahrmodi überwachen, um verschiedene Fahraufgaben während des dynamischen Fahrzeugbetriebs auszuführen. Die Fahrautomation kann in Form von nicht einschränkenden Beispielen den Tempomat, den adaptiven Tempomat, die Spurwechselwarnung, den Eingriff und die Steuerung, das automatische Einparken, die Beschleunigung, das Bremsen und dergleichen umfassen. Zu den autonomen Fahrzeugfunktionen gehören, als nicht einschränkende Beispiele, die Funktion des adaptiven Tempomats (ACC), Spurführung und Spurhaltefunktion, Spurwechselfunktion, Lenkhilfefunktion, Objektvermeidungsfunktion, Parkhilfefunktion, Fahrzeugbremsfunktion, Fahrzeuggeschwindigkeit und -beschleunigung, Querbewegungsfunktion, z.B. als Teil der Spurführung, Spurhalte- und Spurwechselfunktion usw. Somit kann der Bremsbefehl durch die autonome Steuervorrichtung 65 unabhängig von einer Aktion des Fahrzeugführers und als Reaktion auf eine autonome Steuerfunktion erzeugt werden.
Bedienteile können in den Fahrgastraum des Fahrzeugs eingebaut werden und können, als nicht einschränkende Beispiele, ein Lenkrad, ein Gaspedal, das Bremspedal und eine Eingabevorrichtung für den Bediener umfassen. Die Bedienelemente ermöglichen es dem Fahrzeugführer, mit dem Fahrzeug 10 zu interagieren und es direkt zu bedienen, wenn es zur Personenbeförderung eingesetzt wird.
Die HMI-Vorrichtung 60 dient der Mensch-Maschine-Interaktion zur Steuerung des Betriebs eines Infotainmentsystems, eines globalen Positionssensors (GPS) 52, eines Navigationssystems und ähnlichem und umfasst eine Steuerung. Die HMI -Vorrichtung 60 überwacht Bedieneranfragen und stellt dem Bediener Informationen zur Verfügung, einschließlich des Status von Fahrzeugsystemen sowie Service- und Wartungsinformationen. Das HMI-Vorrichtung 60 kommuniziert mit einer Vielzahl von Bedienerschnittstellen-Vorrichtungen und/oder steuert deren Betrieb, wobei die Bedienerschnittstellen-Vorrichtungen in der Lage sind, eine mit dem Betrieb eines der autonomen Fahrzeugsteuersysteme verbundene Nachricht zu übertragen. Die HMI-Vorrichtung 60 kann auch mit einem oder mehreren Vorrichtungen kommunizieren, die biometrische Daten in Verbindung mit dem Fahrzeugbediener überwachen, wie z.B. die Blickposition, die Körperhaltung und die Verfolgung der Kopfposition, unter anderem. Die HMI-Vorrichtung 60 ist der Einfachheit halber als eine einheitliche Vorrichtung dargestellt, kann aber in einer Ausführungsform des hier beschriebenen Systems als eine Mehrzahl von Steuerungen und zugehörigen Sensorvorrichtungen konfiguriert werden. Bedienerschnittstellenvorrichtungen können Vorrichtungen umfassen, die in der Lage sind, eine Nachricht zu übermitteln, die den Bediener zum Handeln auffordert, und können ein elektronisches Sichtanzeigemodul enthalten, z.B. eine Flüssigkristallanzeige (LCD), ein Heads-Up-Display (HUD), eine Audio-Feedback-Vorrichtung, eine tragbare Vorrichtung und einen haptischen Sitz. Die Bedienerschnittstellen-Vorrichtungen, die in der Lage sind, den Bediener zum Handeln zu bewegen, werden vorzugsweise durch oder über die HMI-Vorrichtung 60 gesteuert. Das HUD kann Informationen, die auf eine Innenseite einer Windschutzscheibe des Fahrzeugs reflektiert werden, in das Sichtfeld des Bedieners projizieren, einschließlich der Übertragung eines Vertrauensniveaus, das mit der Bedienung eines der autonomen Fahrzeugsteuersysteme verbunden ist. Das HUD kann auch Augmented-Reality-Informationen wie z.B. Fahrspurposition, Fahrzeugweg, Richtungs- und/oder Navigationsinformationen und ähnliches liefern.
Das Fahrzeug 10 kann eine Telematiksteuerung 75 enthalten, die ein drahtloses Telematik-Kommunikationssystem umfasst, das in der Lage ist, außerhalb des Fahrzeugs zu kommunizieren, einschließlich der Kommunikation mit einem Kommunikationsnetzwerk 90, das drahtlose und drahtgebundene Kommunikationsfähigkeiten besitzt. Die Telematiksteuerung 75 ist für die Kommunikation außerhalb des Fahrzeugs geeignet, die eine Fahrzeug-zu-Fahrzeug-Kommunikation (V2V) mit kurzer Reichweite und/oder eine Fahrzeug-zu-Infrastruktur-Kommunikation (V2x) umfasst, wozu auch die Kommunikation mit einer Infrastrukturüberwachung, z.B. einer Verkehrskamera, gehören kann. Alternativ oder zusätzlich verfügt die Telematiksteuerung 75 über ein drahtloses Telematik-Kommunikationssystem, das eine drahtlose Nahbereichskommunikation mit einer handgehaltenen Vorrichtung, z.B. einem Mobiltelefon, einem Satellitentelefon oder einer anderen telefonischen Vorrichtung, ermöglicht. In einer Ausführung wird die handgehaltene Vorrichtung mit einer Software-Anwendung geladen, die ein drahtloses Protokoll zur Kommunikation mit der Telematiksteuerung 75 enthält, und die handgehaltene Vorrichtung führt die Kommunikation außerhalb des Fahrzeugs aus, einschließlich der Kommunikation mit einem nicht an Bord befindlichen Server 95 über das Kommunikationsnetz 90. Alternativ oder zusätzlich führt die Telematiksteuerung 75 die Kommunikation mit dem Fahrzeugäußeren direkt aus, einschließlich der Kommunikation mit dem Server 95 über das Kommunikationsnetz 90.
Der Begriff „Steuerung“ und verwandte Begriffe wie Mikrocontroller, Steuereinheit, Prozessor und ähnliche Bezeichnungen beziehen sich auf eine oder verschiedene Kombinationen von anwendungsspezifischen integrierten Schaltungen (ASIC), Field-Programmable Gate Array (FPGA), elektronischen Schaltungen, zentralen Prozessoreinheit(en), z.B. Mikroprozessor(en) und zugehörigen nichtflüchtigen Speicherbausteinen in Form von Speicher- und Speichereinheiten (Read Only, Programmable Read Only, Random Access, Festplatte usw. ). Die nicht flüchtige Speicherkomponente ist in der Lage, maschinenlesbare Befehle in Form von einem oder mehreren Software- oder Firmware-Programmen oder -Routinen, kombinatorischen Logikschaltungen, Eingabe/Ausgabeschaltungen und -vorrichtungen, Signalkonditionierungs- und Pufferschaltungen und anderen Komponenten zu speichern, auf die ein oder mehrere Prozessoren zugreifen können, um eine beschriebene Funktionalität bereitzustellen. Eingabe/Ausgabeschaltung(en) und - vorrichtungen umfassen Analog/Digital-Wandler und verwandte Vorrichtungen, die Eingänge von Sensoren überwachen, wobei diese Eingänge mit einer voreingestellten Abtastfrequenz oder als Reaktion auf ein Auslöseereignis überwacht werden. Software, Firmware, Programme, Anweisungen, Steuerroutinen, Code, Algorithmen und ähnliche Begriffe bedeuten steuerungsausführbare Befehlssätze einschließlich Kalibrierungen und Nachschlagetabellen. Jede Steuerung führt Steuerroutine(n) aus, um die gewünschten Funktionen bereitzustellen. Die Routinen können in regelmäßigen Abständen ausgeführt werden, zum Beispiel alle 100 Mikrosekunden während des laufenden Betriebs. Alternativ können Routinen als Reaktion auf das Eintreten eines auslösenden Ereignisses ausgeführt werden. Die Kommunikation zwischen Steuerungen, Aktuatoren und/oder Sensoren kann über eine direkte drahtgebundene Punkt-zu-Punkt-Verbindung, eine vernetzte Kommunikationsbusverbindung, eine drahtlose Verbindung oder eine andere geeignete Kommunikationsverbindung erfolgen. Zur Kommunikation gehört der Austausch von Datensignalen in geeigneter Form, darunter z.B. elektrische Signale über ein leitendes Medium, elektromagnetische Signale über Luft, optische Signale über Lichtwellenleiter und dergleichen. Bei den Datensignalen kann es sich um diskrete, analoge oder digitalisierte Analogsignale handeln, die Eingänge von Sensoren, Aktuatorbefehle und die Kommunikation zwischen Steuerungen darstellen. Der Begriff „Signal“ bezieht sich auf einen physisch wahrnehmbaren Indikator, der Informationen übermittelt, und kann eine geeignete Wellenform (z.B. elektrisch, optisch, magnetisch, mechanisch oder elektromagnetisch) sein, wie z.B. Gleichstrom, Wechselstrom, Sinuswelle, Dreieckwelle, Rechteckwelle, Schwingung und dergleichen, die in der Lage ist, ein Medium zu durchlaufen. Ein Parameter ist definiert als eine messbare Größe, die eine physikalische Eigenschaft einer Vorrichtung oder eines anderen Elements darstellt, die mit Hilfe eines oder mehrerer Sensoren und/oder eines physikalischen Modells erkennbar ist. Ein Parameter kann einen diskreten Wert haben, z.B. entweder „1“ oder „0“, oder er kann im Wert stufenlos variabel sein.
2 zeigt schematisch ein Sensor-Schnittstellen-Diagramm 200, das dem Bildgebungssystem 20 zugeordnet ist und die Signalübertragungswege zwischen der Kamera 100, dem Lidarsensor 34, dem Radarsensor 36, dem Wahrnehmungssensor 38 (wenn eingesetzt), einem hochauflösenden Datenprozessor 220 und einem Aufmerksamkeitserzeugungsprozessor 210 anzeigt. Der hochauflösende Datenprozessor 220 und der Aufmerksamkeitserzeugungsprozessor 210 können Elemente der unter Bezugnahme auf 1 beschriebenen Bildgebungssteuerung 40 sein, oder sie können eigenständige Vorrichtungen sein, die mit der Bildgebungssteuerung 40 kommunizieren, um die Signalübertragung zwischen der Kamera 100, dem Lidarsensor 34, dem Radarsensor 36, dem anderen Wahrnehmungssensor 38, dem hochauflösenden Datenprozessor 220 und dem Aufmerksamkeitserzeugungsprozessor 210 zu koordinieren. Die Kamera 100 ist in der Lage, ein niedrigauflösendes digitales Bild 201 des gesamten sichtbaren Bereichs 32 zu erfassen, das an den Aufmerksamkeitserzeugungsprozessor 210 übermittelt wird. Weitere Eingaben an den Aufmerksamkeitserzeugungsprozessor 210 umfassen eine Blickverlaufskarte 45, eine digitale Karte 46 und ein zugehöriges GPS-Signal sowie Fahrzeugmanövrierungseingaben 47, die von Lenk-, Brems- und Beschleunigungssystemen des Fahrzeugs erfasst werden. Der Aufmerksamkeitserzeugungsprozessor 210 führt eine Steuerroutine 300 aus, die ein oder mehrere Kamerasteuersignale 202, ein oder mehrere Lidarsteuersignale 203, ein oder mehrere Radarsteuersignale 204 und ein oder mehrere Steuersignale 205 für den Wahrnehmungssensor 38 bestimmt. Einzelheiten der Steuerroutine 300 werden unter Bezugnahme auf 3 beschrieben.
Die Kamerasteuerungssignale 202 fokussieren den Betrieb der Kamera 100, um ein Bild 211 von einer oder mehreren Bereichen von Interesse (ROIs - Regions of Interest) in dem sichtbaren Bereich 32 aufzunehmen. Die Lidarsteuerungssignale 203 befehlen den Betrieb des Lidarsensors 34, um ein Lidarsignal 212 zu erfassen, das einem oder mehreren Bereichen von Interesse (ROIs) im sichtbaren Bereich 32 zugeordnet ist. Die Radarsteuersignale 204 befehlen den Betrieb des Radarsensors 36, um ein Radarsignal 213 zu erfassen, das einem oder mehreren Bereichen von Interesse (ROIs) im sichtbaren Bereich 32 zugeordnet ist. Das eine oder eine Vielzahl von Steuersignalen 205 befehlen den Betrieb des Wahrnehmungssensors 38, um ein Wahrnehmungssignal 214 zu erfassen, das einem oder einer Vielzahl von Bereichen von Interesse (ROIs) im sichtbaren Bereich 32 zugeordnet ist.
Das Bild 211, das Lidarsignal 212, das Radarsignal 213 und das Wahrnehmungssignal 214 werden in den hochauflösenden Datenprozessor 220 eingegeben, der einen Satz heterogener, hochauflösender, multimodaler sensorischer Daten 225 für die Fahrumgebungswahrnehmung erzeugt, die von der autonomen Steuerung 65 und den zugehörigen ADAS, die unter Bezugnahme auf 1 beschrieben werden, verwendet werden können. Ein solcher Betrieb kann zur Verbesserung des Datentransfers der hochauflösenden Bilder von der Kamera 100 und dem Lidarsensor 34 eingesetzt werden.

3 zeigt schematisch eine Ausführungsform der Steuerroutine 300 in Form eines Flussdiagramms zur Steuerung des Betriebs des Bildgebungssystems 20, das unter Bezugnahme auf 1 beschrieben wird, um Informationen aus dem sichtbaren Bereich 32 der Kamera 100 zu extrahieren, der sich vor dem Fahrzeug 10 befindet, um Informationen an einen Fahrzeugführer zu übermitteln und den Betrieb des Fahrzeugs 10 zu steuern. Die Steuerroutine 300 ist als eine Sammlung von Blöcken in einem logischen Flussdiagramm dargestellt, die eine Sequenz von Operationen darstellen, die in Hardware, Software oder einer Kombination davon implementiert werden können. Im Zusammenhang mit Software stellen die Blöcke Computerbefehle dar, die, wenn sie von einem oder mehreren Prozessoren ausgeführt werden, die rezitierten Operationen ausführen. Der Einfachheit und Klarheit der Veranschaulichung halber wird die Steuerroutine 300 mit Bezug auf das in 1 dargestellte Fahrzeug 10 beschrieben. Tabelle 1

BLOCK	BLOCK INHALT
302	Ausführung einleiten
304	Bilddatei des gesamten sichtbaren Bereichs erfassen
306	Erste Gruppe von Bereichen von Interesse (ROI) erzeugen
308	Erfassen von Entfernungsbildern von Lidar- und Radarsensoren
310	Zweite Gruppe von ROIs erzeugen
312	Wahrnehmung von Fahrwegmerkmalen und -strukturen
314	Dritte Gruppe von ROIs erzeugen
316	Bestimmen der Bewegungskarte basierend auf aufeinanderfolgenden Einzelbildern
318	Bestimmen der Bewegungskarte basierend auf Eingaben von anderen Sensoren
320	Vierten Satz von ROIs generieren
322	Konsolidieren und erster, zweiter, dritter, vierter Satz von ROIs
324	Auswählen der ROIs anhand der Rangfolge
326	Übertragen von Informationen an Bildgebungssteuerung
328	Erfassen von HD-Bildern in ausgewählten ROIs
330	Nachgeschaltete Datenverarbeitung

Die Durchführung der Steuerroutine 300 kann wie folgt ablaufen. Die Schritte der Steuerroutine 300 können der Reihe nach ausgeführt werden, sind aber nicht auf die mit Bezug zu 3 beschriebene Reihenfolge beschränkt. Wie hier verwendet, bedeutet der Begriff „1“ eine bejahende Antwort oder „JA“ und der Begriff „0“ eine verneinende Antwort oder „NEIN“. Die Steuerroutine 300 leitet (302) durch Steuerung der Kamera 100 die Erfassung einer oder mehrerer Bilddateien 23 ein, die dem sichtbaren Bereich 32 vor dem Fahrzeug 10 zugeordnet sind, und zwar bei einer vordefinierten Standardauflösung der Kamera 100, die für die optimale Leistung des Systems eingestellt werden kann. Ein erster Satz von Bereichen von Interesse (ROIs) 307 des sichtbaren Bereichs 32, der in der Bilddatei erfasst ist, wird erzeugt (306). Der erste Satz von ROIs 307 wird auf der Grundlage einer Vertrauensschwelle bestimmt, die mit jedem der Detektoren oder den Unstimmigkeiten mehrerer Detektoren verbunden ist, z.B. die Unstimmigkeit zwischen Objekterkennung und semantischer Segmentierung.
Ein zweiter Satz von ROIs 311 kann auf der Grundlage von Vergleichen zwischen verschiedenen sensorischen Modalitäten bestimmt werden, wie z.B. Bilddatei 23, Eingaben vom Lidarsensor 34, dem Radarsensor 36 und dem Wahrnehmungssensor 38 (wenn eingesetzt) (308). Dazu gehört die Identifizierung des zweiten Satzes von ROIs 311 als der Teil des sichtbaren Bereichs 32, der eine Unstimmigkeit zwischen der Bilddatei 23 und einem oder mehreren Eingängen des Lidarsensors 34, des Radarsensors 36 und des Wahrnehmungssensors 38 anzeigt (310). Daher kann eine Nichtübereinstimmung zwischen der Bilddatei 23 und einem oder mehreren Eingängen des Lidarsensors 34, des Radarsensors 36 und des Wahrnehmungssensors 38 der Kamerasteuerung 110 anzeigen, dass eine konzentrierte Überprüfung des Teils des sichtbaren Bereichs 32 erforderlich ist, der eine Nichtübereinstimmung zwischen der Bilddatei 23 und einem oder mehreren Eingängen des Lidarsensors 34, des Radarsensors 36 und des Wahrnehmungssensors 38 anzeigt.
Ein dritter Satz von ROIs 315 wird auf der Grundlage einer Wahrnehmung und Bewertung des Fahrwegs und der umgebenden Strukturen ermittelt, die mit Informationen aus einer digitalen Karte und/oder einer Vorhersage der Blickrichtung des Fahrzeugführers kombiniert werden können (312). Der dritte Satz von ROIs 315 wird auf der Grundlage der Wahrnehmung und Bewertung des Fahrwegs und der umgebenden Strukturen im Zusammenhang mit einem erwarteten Fahrweg des Fahrzeugs 10 und einem erwarteten Manöver des Fahrzeugs 10 ausgewählt (314). Daher kann entweder die Bilddatei 23 oder der erwartete Fahrweg des Fahrzeugs 10 oder das erwartete Manöver des Fahrzeugs 10 oder zusätzliche Informationen aus einer digitalen Karte der Kamerasteuerung 110 anzeigen, dass eine konzentrierte Überprüfung bestimmter Teile des sichtbaren Bereichs 32 erforderlich ist, die Informationen enthalten können, die für die gegenwärtige Fahrumgebung relevant sind.
Ein vierter Satz von ROIs 321 kann auf der Grundlage der Bewegung des Fahrzeugs 10 und der Bewegung von umgebenden Fahrzeugen, Fußgängern usw., die sich im Fahrweg des Fahrzeugs 10 befinden können, bestimmt werden. Dies kann die Bestimmung einer Bewegungskarte für den sichtbaren Bereich 32 auf der Grundlage der Auswertung aufeinanderfolgend aufgenommener Bildframes (316) oder von anderen Sensorvorrichtungen (falls verwendet) (318) umfassen. Der vierte Satz von ROIs 321 wird auf der Grundlage der Erkennung und Isolierung von Bewegung in einem Teil des sichtbaren Bereichs 32 unter Verwendung der Bewegungskarten ausgewählt (320). So kann die Bewegung des Fahrzeugs 10 oder die Bewegung von umgebenden Fahrzeugen, Fußgängern usw., die sich im Fahrweg des Fahrzeugs 10 befinden können, dem Kamerasteuerung 110 anzeigen, dass eine konzentrierte Überprüfung des Teils des sichtbaren Bereichs 32 erforderlich ist, der auf potenzielle Risiken hinweist.
Die erste Gruppe von ROIs 307, die zweite Gruppe von ROIs 311, die dritte Gruppe von ROIs 315 und die vierte Gruppe von ROIs 321 sind im Kontext von Teilen oder Untergruppen des sichtbaren Bereichs konsolidiert und nach Dringlichkeit geordnet, wobei die Dringlichkeit auf der Grundlage der Relevanz jeder der oben genannten ROIs im Kontext eines erwarteten Manövers des Fahrzeugs 10 und eines Risikoniveaus für das Fahrzeug 10 bestimmt wird (322). Das Risikoniveau für das Fahrzeug 10 ist mit einer Abschätzung der Notwendigkeit verbunden, ein Fahrmanöver auszuführen, wie z.B. das Bremsen an einer Kreuzung als Reaktion auf ein Bremslicht.
Eine oder mehrere aus dem ersten Satz von ROIs 307, dem zweiten Satz von ROIs 311, dem dritten Satz von ROIs 315 und dem vierten Satz von ROIs 321 werden auf der Grundlage der Rangfolge ausgewählt (324), und diese Informationen werden an die Bildgebungssteuerung 40 übermittelt (326), die den Betrieb der Kamera 100 basierenden darauf für nachgeschaltete Systemmodule steuert (328). Dies kann eine semantische Analyse der Szene, automatische Fokussierung, optisches und/oder digitales Vergrößern, hochauflösende und/oder niedrigauflösende sensorische Datenerfassung, feinere Abschätzung des Objektzustands, feinere Objektklassifizierung und Steuerung des Betriebs basierend darauf umfassen (330). Die Steuerung des Betriebs der Kamera 100 umfasst auch die Steuerung der Schwenk-, Neige- und Vergrößerungsfunktionen der Kamera 100, wie mit Bezug auf 5 und 7 beschrieben.
4 zeigt bildlich ein Beispiel einer Bilddatei, die mit einem sichtbaren Bereich 410 vor einer Ausführungsform des Fahrzeugs 10 bei der anfänglichen Standardauflösung der Kamera 100 im Hintergrund und nativer hoher Auflösung in den ROIs assoziiert ist. Die ROIs werden gemäß der Ausführung der Steuerroutine 300 zur Steuerung des Betriebs und der Ausführungsform des Bildgebungssystems 20 identifiziert, das mit Bezug auf 1 beschrieben wird. Dazu gehören eine erste ROI 411, die mit einer Einrichtung, z.B. einer Ampel, assoziiert ist, eine zweite ROI 412, die mit Längsverkehr, z.B. Fußgängern in einem Zebrastreifen, assoziiert ist, und eine dritte ROI 413, die mit Querverkehr, z.B. einem Fahrzeug an einer Kreuzung, assoziiert ist.
5 zeigt schematisch eine Ausführungsform der Kamera 100, die ein Element des Bildgebungssystems 20 ist, das mit Bezug auf 1 beschrieben wird. Die Kamera 100 umfasst den Bildsensor 102, die interne Linsengruppe 104, einen lenkbaren Spiegel 106, eine externe Linse 108 und die Kamerasteuerung 110. Die Kamerasteuerung 110 ist operativ mit dem Bildsensor 102 und dem lenkbaren Spiegel 106 verbunden, und die externe Linse 108 ist so angeordnet, dass sie einen sichtbaren Bereich überwacht, der zur Veranschaulichung als sichtbarer Bereich 410 dargestellt ist.
Der Bildsensor 102 ist eine elektro-optische Vorrichtung, die ein optisches Bild in ein elektronisches Signal umwandelt, wobei eine mehrdimensionale Anordnung lichtempfindlicher Sensorelemente verwendet wird. Der lenkbare Spiegel 106 befindet sich zwischen der internen Linsengruppe 104 und der externen Linse 108 und ist so angeordnet, dass er den sichtbaren Bereich 32 oder einen Teil davon von der externen Linse 108 über die interne Linsengruppe 104 auf den Bildsensor 102 projiziert. Die Kamerasteuerung 110 ist so ausgeführt, dass sie den lenkbaren Spiegel 106 so steuert, dass der sichtbare Bereich 410, der über die interne Linsengruppe 104 auf den Bildsensor 102 projiziert wird, modifiziert wird. Die Kamerasteuerung 110 ist so ausgeführt, dass sie den Bildsensor 102 so steuert, dass ein Bild eines Sichtfeldes (FOV) erfasst wird, das dem sichtbaren Bereich 410 zugeordnet ist, der über die interne Linsengruppe 104 auf den Bildsensor 102 projiziert wird.
In einer Ausführungsform hat der lenkbare Spiegel 106 die Form eines MEMS (Micro-Electro-Mechanical System)-Spiegels oder eines MOEMS (Micro-Opto-Electro-Mechanical System)-Spiegels, der eine optische Strahllenkung oder optische Abtasttechnologie verwendet, die in der Lage ist, Licht zu lenken, zu modulieren oder anderweitig zu steuern. In einer Ausführungsform ist die Kamerasteuerung 110 so ausgeführt, dass sie den lenkbaren Spiegel 106 so steuert, dass der sichtbare Bereich 410, der auf den Bildsensor 102 projiziert wird, gekippt wird. Dazu gehört, dass der lenkbare Spiegel 106 in eine zweite Position 106A steuerbar ist, um den sichtbaren Bereich 410 in Bezug auf eine horizontale Achse für die Projektion auf den Bildsensor 102 in einer Ausführungsform zu kippen. Das Kippen des sichtbaren Bereichs 410, der auf den Bildsensor 102 projiziert wird, in Bezug auf eine horizontale Achse 601 ist mit Bezug auf 6A dargestellt. Dies beinhaltet, dass der lenkbare Spiegel 106 in eine zweite Position 106B steuerbar ist, um den sichtbaren Bereich 410 in Bezug auf eine vertikale Achse für die Projektion auf den Bildsensor 102 in einer Ausführungsform zu kippen. Das Kippen des sichtbaren Bereichs 410, der auf den Bildsensor 102 projiziert wird, in Bezug auf eine vertikale Achse 602 ist unter Bezugnahme auf 6B dargestellt. In einer Ausführungsform ist die Kamerasteuerung 110 so ausgeführt, dass sie den lenkbaren Spiegel 106 steuert, um den sichtbaren Bereich 410, der auf den Bildsensor 102 projiziert wird, zu schwenken. Das Schwenken des sichtbaren Bereichs 410, der auf den Bildsensor 102 projiziert wird, wird durch die Elemente 106C veranschaulicht, die unter Bezugnahme auf 6C dargestellt sind. Der Schwenkeffekt kann auch durch eine Hubbewegung des Spiegels realisiert werden. Das Schwenken ist eine fotografische Technik, bei der die Kamera eine horizontale (oder vertikale) Bewegung ausführt, während sie ein sich bewegendes Objekt abtastet, um das sich bewegende Objekt im Fokus zu halten und gleichzeitig den Hintergrund zu minimieren oder anderweitig zu verwischen. In einer Ausführungsform kann der lenkbare Spiegel 106 um eine vertikale Achse, eine horizontale Achse oder einen Schwerpunkt steuerbar verformbar sein. Die Kamerasteuerung 110 ist so ausgeführt, dass sie den lenkbaren Spiegel verformt, um einen Teil des sichtbaren Bereichs 410, der auf den Bildsensor 102 projiziert wird, zu zoomen oder zu vergrößern. Die interne Linsengruppe 104 und die externe Linse 108 können so konfiguriert werden, dass sie Merkmale wie eine schwingspulenbetätigte Linse, eine MEMS-betätigte Linse, eine verformbare Flüssigkristalllinse, eine Stiftlochlinse, eine Fischaugenlinse, eine Stereolinse, eine Teleskoplinse usw. enthalten.
Die Kamera 100 nimmt periodisch über den Bildsensor 102 eine Bilddatei 23, die dem sichtbaren Bereich 410 zugeordnet ist, mit einer gewünschten Rate, z.B. 30 Bilddateien pro Sekunde, auf. Jede Bilddatei 23 ist aus einer gepixelten digitalen Darstellung des gesamten oder eines Teils des sichtbaren Bereichs 410 zusammengesetzt, der mit einer Originalauflösung der Kamera 100 erfasst wird. In einer Ausführungsform liegt die Bilddatei 23 in Form eines 24-Bit-Bildes vor, das RGB (rot-grün-blau) Werte des sichtbaren Lichtspektrums und Tiefenwerte enthält, die den sichtbaren Bereich 410 repräsentieren. Andere Ausführungsformen der Bilddatei 23 können entweder ein Bild mit einer bestimmten Auflösung enthalten, das eine Schwarzweiß- oder Graustufendarstellung des Spektrums des sichtbaren Lichts des sichtbaren Bereichs 410, eine Darstellung des Infrarotspektrums des sichtbaren Bereichs 410 oder andere Bilddarstellungen ohne Einschränkung darstellt. Die Bilddarstellungen der Vielzahl von Bilddateien 23 können für Parameter in Bezug auf Helligkeit und/oder Lichtmenge in einer Ausführungsform ausgewertet werden. Alternativ können die Bilddarstellungen auf der Grundlage von RGB-Farbkomponenten, Helligkeit, Textur, Kontur oder Kombinationen davon bewertet werden. Der Bildsensor kommuniziert mit einem Kodierer, der eine digitale Signalverarbeitung (DSP) für jede Bilddatei durchführt. Der Bildsensor 102 der Kamera 100 kann so konfiguriert werden, dass er das Bild mit einer nominellen Standard-Definitionsauflösung, z.B. 640x480 Pixel, erfasst. Alternativ kann der Bildsensor der Kamera 100 so konfiguriert werden, dass er das Bild mit einer nominell hochauflösenden Auflösung, z. B. 1440x1024 Pixel, oder mit einer anderen geeigneten Auflösung erfasst. Der Bildsensor der Kamera 100 kann Standbilder oder alternativ digitale Videobilder mit einer vorgegebenen Bildaufnahmerate erfassen. Die Bilddateien 23 werden von der Kamerasteuerung 110 als kodierte Datendateien übermittelt, die in einer Ausführungsform in einem nicht flüchtigen digitalen Datenspeichermedium zur an Bord durchgeführten oder nicht an Bord durchgeführten Analyse gespeichert werden.
7 zeigt schematisch eine weitere Ausführungsform der Kamera 700, die ein Element des Bildgebungssystems 20 ist, das unter Bezugnahme auf 1 beschrieben wird und einen Bildsensor 702, eine interne Linsengruppe 704, einen lenkbaren Spiegel 706, eine externe Linse 708 und eine Kamerasteuerung 710 umfasst. Die Kamera 700 umfasst auch eine Lidarvorrichtung 711 mit einem Lasersender 712 und einem Empfänger 713. Die Kamerasteuerung 710 ist operativ mit dem Bildsensor 702, dem lenkbaren Spiegel 706 und der Lidarvorrichtung 711 verbunden, und die externe Linse 708 ist so angeordnet, dass sie einen sichtbaren Bereich überwacht, der als sichtbarer Bereich 410 angezeigt wird.
Die Steuerung 710 ist so ausgeführt, dass sie den lenkbaren Spiegel 706 auf eine erste Einstellung 706-1 steuert, um den sichtbaren Bereich 410 auf den Bildsensor 702 zu projizieren, und den Bildsensor 702 steuert, um eine Bilddatei eines Sichtfeldes (FOV) zu erfassen, das dem sichtbaren Bereich 410 zugeordnet ist, der über die interne Linsengruppe 704 auf den Bildsensor 702 projiziert wird. Die Steuerung 710 ist so ausgeführt, dass sie den lenkbaren Spiegel 706 in eine zweite Einstellung 706-2 steuert und den Lasersender 712 aktiviert, um einen Laserstrahl über den lenkbaren Spiegel 706 in den sichtbaren Bereich 410 zu projizieren und über den Empfänger 713 ein reflektiertes Bild des Laserstrahls zu erfassen, der dem sichtbaren Bereich 410 über den lenkbaren Spiegel 706 zugeordnet ist. Als solche teilen sich der Lasersender 712 und der Empfänger 713 und der Bildsensor 702 einen gemeinsamen optischen Pfad 715 zur Überwachung des sichtbaren Bereichs 410, wobei der optische Pfad 715 durch den lenkbaren Spiegel 706 und die externe Linse 708 definiert ist. Auf diese Weise multiplext die Steuerung 710 die Verwendung des optischen Pfades 715 zwischen dem Bildsensor 702 und der Lidarvorrichtung 711.
Durch Multiplexen der Nutzung des optischen Pfades 715 zwischen dem Bildsensor 702 und der Lidarvorrichtung 711 wird die Anpassung der optischen Daten des Bildsensors 702 und der Laserdaten der Lidarvorrichtung 711 erleichtert, was die Sensorfusion erleichtert. Die gemultiplexte Nutzung des optischen Pfades 715 erleichtert auch die Beseitigung des Parallaxeneffekts und der Datenfehlanpassung, die sonst auftreten können. Die gemultiplexte Nutzung des optischen Pfades 715 reduziert oder eliminiert auch die Lidar- und optische Sensor-Ko-Kalibrierung, die in einer Fahrzeugmontagelinie auftritt.
Das hier beschriebene Bildgebungssystem 20 kann die Notwendigkeit der Übertragung und Verarbeitung von Bilddaten, die für den aktuellen Fahrzeugbetrieb nur von begrenzter Relevanz sind, reduzieren oder eliminieren und damit die Hardware-Anforderungen, das Material, den Stromverbrauch und die Komplexität ohne Einbußen bei der Systemleistung verringern und Datenübertragungs- und Verarbeitungsengpässe bei hochauflösenden Bildern reduzieren oder eliminieren und so den Betrieb eines mit ADAS ausgestatteten Fahrzeugs erleichtern oder verbessern, ohne dass die Systemleistung beeinträchtigt wird.
Das Flussdiagramm und die Blockdiagramme in den Flussdiagrammen veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß den verschiedenen Ausführungsformen der vorliegenden Offenbarung. In dieser Hinsicht kann jeder Block in dem Flussdiagramm oder den Blockdiagrammen ein Modul, ein Segment oder einen Teil des Codes darstellen, der eine oder mehrere ausführbare Anweisungen zur Implementierung der angegebenen logischen Funktion(en) enthält. Es wird auch darauf hingewiesen, dass jeder Block der Blockdiagramme und/oder Flussdiagrammdarstellungen und Kombinationen von Blöcken in den Blockdiagrammen und/oder Flussdiagrammdarstellungen durch Hardware-basierte Systeme mit dedizierter Funktion implementiert werden kann, die die spezifizierten Funktionen oder Handlungen oder Kombinationen von Hardware mit dedizierter Funktion und Computerbefehlen ausführen. Diese Computerprogrammbefehle können auch auf einem computerlesbaren Medium gespeichert werden, das einen Computer oder eine andere programmierbare Datenverarbeitungsanlage auf eine bestimmte Funktionsweise anweisen kann, so dass die auf dem computerlesbaren Medium gespeicherten Befehle einen Fertigungsgegenstand erzeugen einschließlich eines Befehlssatzes, der die im Flussdiagramm und/oder in den Blockdiagrammblöcken oder Blöcken spezifizierte Funktion/Wirkung implementiert. Die detaillierte Beschreibung und die Zeichnungen oder Figuren sind unterstützend und beschreibend für die vorliegenden Lehren, aber der Umfang der vorliegenden Lehren wird allein durch die Ansprüche definiert. Während einige der besten Modi und andere Ausführungsformen für die Umsetzung der vorliegenden Lehren ausführlich beschrieben wurden, gibt es verschiedene alternative Ausgestaltungen und Ausführungsformen für die Umsetzung der vorliegenden Lehren, die in den beigefügten Ansprüchen definiert sind.

Claims

Kamera, umfassend: einen Bildsensor, eine interne Linsengruppe, einen lenkbaren Spiegel, eine externe Linse und eine Steuerung, wobei die Steuerung operativ mit dem Bildsensor und dem lenkbaren Spiegel verbunden ist; wobei die externe Linse zur Überwachung eines sichtbaren Bereichs angeordnet ist; wobei der lenkbare Spiegel zwischen der internen Linsengruppe und der externen Linse angeordnet ist; wobei der lenkbare Spiegel angeordnet ist, um den sichtbaren Bereich von der externen Linse über die interne Linsengruppe auf den Bildsensor zu projizieren; wobei die Steuerung ausgeführt ist, den lenkbaren Spiegel zu steuern, um den sichtbaren Bereich, der über die interne Linsengruppe auf den Bildsensor projiziert wird, zu modifizieren; und wobei die Steuerung ausgeführt ist, den Bildsensor zu steuern, um ein Bild eines Sichtfeldes (FOV) zu erfassen, das dem sichtbaren Bereich zugeordnet ist, der über die interne Linsengruppe auf den Bildsensor projiziert wird.
Kamera nach Anspruch 1, ferner umfassend: wobei die Steuerung ausgeführt ist, den lenkbaren Spiegel zu steuern, um einen Teil des sichtbaren Bereichs auf den Bildsensor zu projizieren.
Kamera nach Anspruch 1, wobei der lenkbare Spiegel einen MEMS-Spiegel umfasst.
Kamera nach Anspruch 1, wobei die Steuerung zur Steuerung des lenkbaren Spiegels zum Modifizieren des auf den Bildsensor projizierten sichtbaren Bereichs die Steuerung umfasst, die zur Steuerung des lenkbaren Spiegels zum Kippen des auf den Bildsensor projizierten sichtbaren Bereichs ausgeführt ist.
Kamera nach Anspruch 1, wobei die Steuerung zur Steuerung des lenkbaren Spiegels zum Modifizieren des auf den Bildsensor projizierten sichtbaren Bereichs die Steuerung umfasst, die zur Steuerung des lenkbaren Spiegels zum Schwenken des auf den Bildsensor projizierten sichtbaren Bereichs ausgeführt ist.
Kamera nach Anspruch 1, wobei der lenkbare Spiegel kontrollierbar verformbar ist.
Kamera nach Anspruch 6, wobei die Steuerung zur Steuerung des lenkbaren Spiegels zum Modifizieren des auf den Bildsensor projizierten sichtbaren Bereichs eine Steuerung umfasst, die zur Deformation des lenkbaren Spiegels zum Vergrößern eines Teils des sichtbaren Bereichs, der auf den Bildsensor projiziert wird, ausgeführt ist.
Kamera nach Anspruch 1, ferner umfassend, dass die Steuerung operativ mit der internen Linsengruppe verbunden ist, wobei die Steuerung dazu ausgeführt ist, den lenkbaren Spiegel und die interne Linsengruppe zu steuern, um den sichtbaren Bereich, der auf den Bildsensor projiziert wird, zu modifizieren.
Kamera nach Anspruch 1, wobei die Kamera auf einem Fahrzeug angeordnet ist; und wobei die externe Linse so angeordnet ist, dass sie einen Bereich betrachtet, der das Fahrzeug umgibt und mit einer Fahrtrichtung des Fahrzeugs assoziiert ist.
Bildverarbeitungsvorrichtung, umfassend: einen Bildsensor, eine interne Linse, einen lenkbaren Spiegel, eine externe Linse, eine Lidarvorrichtung und eine Steuerung; wobei die Lidarvorrichtung einen Lasersender und einen Empfänger enthält; wobei der Lasersender so angeordnet ist, dass er einen Laserstrahl auf den lenkbaren Spiegel projiziert; wobei die Steuerung operativ mit dem Bildsensor, der Lidarvorrichtung und dem lenkbaren Spiegel verbunden ist; wobei die externe Linse angeordnet ist, um einen sichtbaren Bereich zu überwachen; wobei der lenkbare Spiegel zwischen der internen Linse und der externen Linse angeordnet ist, wobei der lenkbare Spiegel so angeordnet ist, dass der sichtbare Bereich von der externen Linse über die interne Linse auf den Bildsensor projiziert wird; wobei die Steuerung ausgeführt ist, um den lenkbaren Spiegel auf eine erste Einstellung zu steuern, um den sichtbaren Bereich auf den Bildsensor zu projizieren, und den Bildsensor zu steuern, um eine Bilddatei eines Sichtfeldes (FOV) zu erfassen, das dem sichtbaren Bereich zugeordnet ist, der über die interne Linse auf den Bildsensor projiziert wird; und wobei die Steuerung ausgeführt ist, um den lenkbaren Spiegel auf eine zweite Einstellung zu steuern, den Lasersender zu aktivieren, um den Laserstrahl über den lenkbaren Spiegel in den sichtbaren Bereich zu projizieren, und mittels des Empfängers ein reflektiertes Bild des Laserstrahls, das dem sichtbaren Bereich zugeordnet ist, über den lenkbaren Spiegel zu erfassen.