DE112021000051T5

DE112021000051T5 - Automatisch einstellbarer spiegel zur verwendung in fahrzeugen

Info

Publication number: DE112021000051T5
Application number: DE112021000051.9T
Authority: DE
Inventors: Feng Hu; Niranjan Avadhanam; Ratin Kumar; Simon John Baker
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-01-27
Filing date: 2021-01-27
Publication date: 2022-06-23
Also published as: CN114630769A; WO2021154830A1; CN114630769B; US20210229601A1

Abstract

Systeme und Verfahren für einen selbst-einstellenden Fahrzeugspiegel. Der Spiegel erkennt automatisch das Gesicht des Fahrers oder eines weiteren Passagiers und richtet den Spiegel so aus, dass das Gesicht des Fahrers/Passagiers den gewünschten Blick aus dem Spiegel erhält. Der Spiegel kann sich immer wieder neu ausrichten, wenn der Fahrer oder Passagier die Position wechselt, so dass er auch dann noch das gewünschte Sichtfeld bereitstellt, wenn der Fahrer oder Passagier seine Position im Laufe der Zeit ändert. In bestimmten Ausführungsformen kann das Spiegelsystem der Offenbarung ein in sich geschlossenes System sein, bei dem der Spiegel, der Spiegelantrieb, die Kamera und die Rechenvorrichtung als eine einzige integrierte Einheit im Spiegelgehäuse enthalten sind.

Description

Hintergrund
Ausführungsformen der Offenbarung beziehen sich allgemein auf Fahrzeugspiegel. Genauer gesagt, beziehen sich die Ausführungsformen der Offenbarung auf eigenständige und automatisch einstellbare Spiegel zur Verwendung in Fahrzeugen.
Kurzdarstellung
Die Entwicklung von auf Computer-Vision basierenden Gesichtserkennungsverfahren hat zu Verbesserungen bei einer Reihe von Technologien geführt. So wurde beispielsweise Software zur Gesichtserkennung in Produkte wie Kameras integriert, die automatisch auf Gesichter fokussieren, um das Auftreten unerwünschter Unschärfen in Bildern zu verringern. Gesichtserkennungsverfahren können auch in Systeme wie beispielsweise Fahrzeugspiegel integriert werden, um deren Fähigkeiten zu verbessern.
Dementsprechend werden hier Systeme und Verfahren für eine automatisch einstellbare Spiegelanordnung beschrieben, die in einigen Ausführungsformen alle ihre Komponenten in und/oder auf einem einzigen Spiegelgehäuse enthält. Ein Spiegel, ein Betätigungselement, eine Kamera und ein Computer sind jeweils im Spiegelgehäuse untergebracht und ermöglichen die Selbsteinstellung des Spiegels, ohne dass eine Interaktion mit anderen Fahrzeugsystemen erforderlich ist, mit Ausnahme von elektrischer Energiezufuhr. Die Kamera nimmt Bilder von z. B. dem Fahrer des Fahrzeugs auf und der Computer bestimmt die Position des Gesichts des Fahrers im aufgenommenen Bild. Die Position des Gesichts des Fahrers im Bild wird dann verwendet, um die Position des Gesichts des Fahrers relativ zu dem Spiegel im dreidimensionalen Raum zu bestimmen. Dieser Punkt wird zusammen mit mindestens einem anderen Referenzpunkt, wie beispielsweise einem Punkt an der Seite des Fahrzeugs, zur Bestimmung der gewünschten Ausrichtung des Spiegels verwendet. Die Rechenvorrichtung weist dann das Betätigungselement an, den Spiegel in der gewünschten Ausrichtung zu positionieren. Durch Wiederholung dieses Vorgangs kann das Spiegelsystem den Spiegel jederzeit neu positionieren, um dem Fahrer unabhängig von dessen Position im Fahrzeug das gewünschte Sichtfeld bereitzustellen. Auf diese Weise beschreiben die Spiegelanordnungen der Ausführungsformen der Offenbarung einen selbst-einstellenden Fahrzeugspiegel, der sich automatisch einstellt, um dem Fahrer das gewünschte Sichtfeld bereitzustellen, auch wenn er oder sie seine/ihre Position ändert. Bestimmte Spiegelausführungen bilden auch ein geschlossenes System, bei dem sich alle Komponenten im selben Gehäuse wie der Spiegel befinden. Dadurch wird vermieden, dass mehrere Komponenten im Fahrzeug verteilt werden müssen, was wiederum zu einem selbst-einstellenden Spiegel führt, der einfacher und billiger ist als herkömmliche selbst-einstellende Spiegelsysteme.
Da die Fahrzeugspiegelsysteme einiger Ausführungsformen der Offenbarung einen eigenen Prozessor aufweisen, müssen die Systeme keine Fahrzeugprozessoren mit dem Rechenaufwand für die Spiegeleinstellung belasten.
In einer Ausführungsform kann ein Spiegelsystem einen Rahmen, einen beweglichen Spiegel, eine Kamera, ein Betätigungselement, das den Spiegel bewegen kann, und eine Steuerschaltung wie einen Prozessor aufweisen. Der Spiegel, die Kamera, das Betätigungselement und die Steuerschaltung können jeweils mit dem Rahmen verbunden sein oder sich in einem Spiegelgehäuse befinden, das den Spiegel enthält. Der Prozessor empfängt die von der Kamera aufgenommenen Bilder, führt Gesichtserkennungsprozesse durch, um die Position des Gesichts des Fahrers zu bestimmen, und berechnet aus dieser Position (z. B. einem Punkt auf dem Gesicht des Fahrers) eine Zielausrichtung des Spiegels. Der Prozessor weist dann das Betätigungselement an, den Spiegel auf die Zielausrichtung einzustellen.
Die Zielausrichtung des Spiegels kann anhand eines oder mehrerer Punkte zusätzlich zum Gesicht des Fahrers berechnet werden. Die Berechnung der Zielausrichtung kann beispielsweise die Position eines anderen Punktes am oder um das Fahrzeug herum verwenden, z. B. eines Punktes an der Seite des Fahrzeugs oder eines Punktes, der einem bestimmten Teil des Fahrzeugs entspricht, der im Sichtfeld des Fahrers durch den Spiegel angezeigt wird. Das heißt, die Steuerschaltung kann eine Zielausrichtung des Spiegels so bestimmen, dass mindestens ein Schwellenbereich des Fahrzeugs im Sichtfeld des Fahrers vom Spiegel aus erscheint.
Der selbst-einstellende Spiegel kann ein beliebiger Spiegel in oder an einem Fahrzeug sein, wie z. B. ein Seitenspiegel oder ein Rückspiegel.
Die Spiegelsysteme der Ausführungsformen der Offenbarung können die Kenntnis der aktuellen Spielausrichtung beibehalten, so dass für die Bestimmung der Neupositionierung des Spiegels nur die Zielausrichtung des Spiegels erforderlich ist. Alternativ muss die aktuelle Ausrichtung des Spiegels nicht beibehalten werden, sondern kann stattdessen neu bestimmt werden, wenn eine neue Zielausrichtung berechnet werden soll. In solchen Fällen kann ein Referenzobjekt an den Spiegel gekoppelt werden, und ein Sekundärspiegel kann hinzugefügt werden, um ein Bild des Referenzobjekts in das Sichtfeld der Kamera zu reflektieren. Die Ausrichtung des Referenzobjekts in den Kamerabildern kann dann verwendet werden, um die aktuelle Ausrichtung des Spiegels zu bestimmen.
In weiteren Ausführungsformen der Offenbarung werden Bilddaten, die ein Bild eines Fahrzeugfahrers anzeigen, empfangen und verwendet, um die Position des Fahrers zu bestimmen. Die Zielausrichtung des Spiegels wird dann mindestens teilweise in Abhängigkeit von der Position des Fahrers bestimmt, wobei diese Zielausrichtung dem Fahrer ein gewünschtes Sichtfeld bereitstellt. Der Spiegel wird dann auf die Zielausrichtung ausgerichtet. Die Bilddaten können mehreren Bildern des Fahrers im Laufe der Zeit entsprechen, wobei der oben beschriebene Prozess für jedes Bild wiederholt wird, so dass der Spiegel in bestimmten Zeitabständen neu ausgerichtet wird, um die Position des Fahrers zu verfolgen, während er sich im Laufe der Zeit bewegt. Das heißt, der Spiegel kann im Laufe der Zeit angepasst werden, um den Fahrer dynamisch zu verfolgen, wenn er sich auf seinem Sitz bewegt.
Figurenliste
Die obigen und andere Aufgaben und Vorteile der Offenbarung werden unter Berücksichtigung der folgenden detaillierten Beschreibung, die in Verbindung mit den beigefügten Zeichnungen genommen wird, ersichtlich sein, in denen sich gleichartige Bezugszeichen durchweg auf gleichartige Teile beziehen und in denen Folgendes dargestellt wird:

1 ist eine Anordnungsansicht eines in sich geschlossenen und automatisch einstellbaren Spiegelsystems, das gemäß den Ausführungsformen der Offenbarung hergestellt wurde;
2 veranschaulicht den Betrieb eines in sich geschlossenen und automatisch einstellbaren Spiegelsystems, das gemäß den Ausführungsformen der Offenbarung hergestellt wurde;
3 ist eine Blockdiagramm-Darstellung eines in sich geschlossenen und automatisch einstellbaren Spiegelsystems der Ausführungsformen der Offenbarung;
4 ist eine verallgemeinerte Ausführungsform eines anschaulichen Prozessors, der für die Verwendung gemäß den Ausführungsformen der Offenbarung hergestellt wurde;
5 ist eine verallgemeinerte Ausführungsform eines weiteren Prozessors, der für die Verwendung gemäß den Ausführungsformen der Offenbarung hergestellt wurde;
6 ist ein Flussdiagramm zur Veranschaulichung von Prozessschritten zur Bestimmung der Spiegelausrichtung gemäß den Ausführungsformen der Offenbarung;
7 ist ein Flussdiagramm zur Veranschaulichung von Prozessschritten zur dynamischen Einstellung der Spiegelausrichtung als Reaktion auf die Bewegung des Fahrers gemäß den Ausführungsformen der Offenbarung; und
8 veranschaulicht die Berechnung der Spiegelausrichtung gemäß den Ausführungsformen der Offenbarung begrifflich.

Ausführliche Beschreibung
In einer Ausführungsform bezieht sich die Offenbarung auf Systeme und Verfahren für einen selbst-einstellenden Fahrzeugspiegel. Mit Hilfe der unten ausführlich beschriebenen Gesichtserkennungstechniken erkennt das Spiegelsystem das Gesicht des Fahrers oder eines weiteren Passagiers automatisch und richtet den Spiegel so aus, dass das Gesicht des Fahrers/Passagiers den gewünschten Blick aus dem Spiegel erhält. Der Spiegel kann sich immer wieder neu ausrichten, wenn der Fahrer oder Passagier die Position oder Haltung wechselt, so dass er auch dann noch das gewünschte Sichtfeld bereitstellt, wenn der Fahrer oder Passagier seine Position oder Haltung im Laufe der Zeit ändert. Das Spiegelsystem der Ausführungsformen der Offenbarung kann ein in sich geschlossenes System sein, bei dem der Spiegel, der Spiegelantrieb, die Kamera und die Rechenvorrichtung als eine einzige integrierte Einheit in einem gemeinsamen Spiegelgehäuse enthalten sind. Das Spiegelsystem solcher Ausführungsformen der Offenbarung weist keine über das Fahrzeug verteilten Komponenten auf und ist daher einfacher, kostengünstiger, weniger belastend für die Fahrzeugprozessoren und leichter zu warten.
1 ist eine Anordnungsansicht eines in sich geschlossenen und automatisch einstellbaren Spiegelsystems, das gemäß den Ausführungsformen der Offenbarung hergestellt wurde. Hier beinhaltet die Spiegelanordnung 10 ein Gehäuse 20, eine Plattform oder einen Rahmen 30, einen Spiegel 40, eine Befestigungsplatte 50, eine elektrische Schnittstelle 60, ein Betätigungselement 70, eine Rechenvorrichtung 80, eine Kamera 90, einen Hilfsspiegel 100 und ein Muster 110. Das Gehäuse 20 ist eine starre Struktur, die die übrigen Komponenten abdeckt und schützt. Es kann aus jedem geeigneten, im Wesentlichen starren Material wie Kunststoff und/oder Metall hergestellt werden. Die Plattform 30 stellt eine starre Basis oder einen Rahmen bereit, auf dem viele oder alle anderen Komponenten befestigt oder anderweitig gekoppelt sind. Der Spiegel 40 ist eine Platte aus reflektierendem Material, wie beispielsweise Verbundglas oder Kunststoff, das das Licht reflektiert, um dem Fahrer oder anderen Passagieren im Fahrzeug einen Blick auf Teile des Fahrzeugäußeren zu ermöglichen. Das Gehäuse 20 und der Rahmen oder die Plattform 30 sind hier als separate Komponenten dargestellt, können aber auch als eine einzige Komponente ausgebildet sein, die beide Funktionen erfüllt. Die Befestigungsplatte 50 ist eine starre Platte mit Schrauben- oder anderen Befestigungsbohrungen, um die Spiegelanordnung 10 an einem Fahrzeug zu befestigen. Die Befestigungsplatte 50 wird in der Regel mit Hilfe von Befestigungselementen, die durch die gezeigten Bohrungen gesteckt werden, am Fahrzeug befestigt, und der Rahmen 30 wird an der Befestigungsplatte 50 befestigt. Die Befestigungsplatte 50 hat eine elektrische Schnittstelle 60, die einen elektrischen Anschluss oder eine Schnittstelle zwischen einem oder mehreren elektrischen Systemen des Fahrzeugs und den elektrisch betriebenen Komponenten der Spiegelanordnung 10 bildet. Zum Beispiel kann die elektrische Schnittstelle 60 das Betätigungselement 70, den Computer 80 und die Kamera 90 über eine Stromquelle des Fahrzeugs wie die Fahrzeugbatterie mit Strom versorgen. Das Betätigungselement 70 ist am Rahmen 30 befestigt und kann auch am Spiegel 40 angebracht werden. Das Betätigungselement 70 kann ein beliebiges Betätigungselement sein, das den Spiegel 40 um eine oder mehrere Achsen drehen und/oder zu verschieben, um einen beweglichen oder einstellbaren Spiegel 40 zu erzeugen. Die Rechenvorrichtung 80 steht in elektrischer Verbindung mit der Kamera 90 und dem Betätigungselement 70, um Bilder des Fahrzeugfahrers oder eines anderen Passagiers von der Kamera 90 zu empfangen, ein Gesicht des Fahrers/Passagiers in den Bildern zu lokalisieren und dessen Position zu bestimmen, eine Ausrichtung des Spiegels 40 zu berechnen, die die Position des Gesichts mit einem gewünschten Sichtfeld verbindet, und den Spiegel 40 entsprechend auszurichten.
Die Kamera 90 kann so ausgerichtet sein, dass sie Bilder eines Fahrers oder eines anderen Passagiers aufnimmt. Es kann sich dabei um eine beliebige Miniaturkamera handeln, die geeignet ist, Bilder von Fahrern/Passagieren mit ausreichender Auflösung aufzunehmen, um deren Gesichter zu lokalisieren und deren Standort zu bestimmen. Der Hilfsspiegel 100 ist ein abgewinkelter Spiegel, dessen reflektierende Oberfläche so ausgerichtet ist, dass er ein Bild des Musters 110 auf die Kamera 90 reflektiert und gleichzeitig die Fähigkeit der Kamera 90, Bilder des Fahrers/Passagiers zu sehen und aufzunehmen, nicht beeinträchtigt. Der Hilfsspiegel 100 und das Muster 110 sind ein beliebiger Spiegel und ein beliebiges Muster, die geeignet sind, die Kamera 90 und die Rechenvorrichtung 80 bei der Bestimmung der aktuellen Ausrichtung des Spiegels 40 zu unterstützen, wie weiter unten beschrieben.
2 veranschaulicht den Betrieb der Spiegelanordnung 10 gemäß den Ausführungsformen der Offenbarung. In der gezeigten Ausführungsform ist die Spiegelanordnung 10 ein Fahrzeugseitenspiegel, der an der Seite 210 eines Fahrzeugs befestigt ist, obwohl andere Ausführungsformen der Offenbarung jede andere Art von Fahrzeugspiegel, wie beispielweise einen Rückspiegel, in Betracht ziehen. In der gezeigten Ausführungsform ist die Kamera 90 im Gehäuse 20 so befestigt, dass sie auf den Fahrer 200 gerichtet ist, um so Bilder des Fahrers 200 aufzunehmen. Die Kamera 90 ist hinter dem Spiegel 40 positioniert und der Spiegel 40 kann, wie gezeigt, einen Spalt oder eine Öffnung in seiner reflektierenden Oberfläche aufweisen, damit die Kamera 90 den Fahrer 200 erkennen kann. Die Kamera 90 kann an einer beliebigen Stelle am oder im Gehäuse 20 positioniert werden, die ihr einen Blick auf den Fahrer 200 ermöglicht. Die Kamera 90 kann zum Beispiel vor dem Spiegel 40 positioniert werden, um klarere Bilder des Fahrers 200 aufzunehmen, die nicht durch den Spiegel 40 beeinträchtigt werden.
Im Betrieb nimmt die Kamera 90 ein Bild auf, das sowohl den Fahrer 200 als auch die Seite 210 beinhaltet. Das Bild wird an die Rechenvorrichtung 80 übertragen, die das Gesicht des Fahrers 200 im Bild erkennt und die Position des Gesichts des Fahrers im dreidimensionalen Raum relativ zur Kamera 90 oder zum Spiegel 40 bestimmt. Die Rechenvorrichtung 80 berechnet dann eine gewünschte Ausrichtung des Spiegels 40 aus der Position des Gesichts des Fahrers 200 und der Position eines Punktes oder Bereichs der Seite 210 des Fahrzeugs.
In Ausführungsformen, in denen die aktuelle Ausrichtung des Spiegels 40 erforderlich ist, nimmt die Kamera 90 ein Bild eines Referenzobjekts auf, wie beispielsweise ein Muster 110, das am Spiegel 40 befestigt ist. Genauer gesagt wird das Muster 110 am Spiegel 40 befestigt, wie beispielsweise mit einem Klebstoff, um sich mit Spiegel 40 zu bewegen. Die Ausrichtung des Musters 110 entspricht folglich der Ausrichtung des Spiegels 40. Der Hilfsspiegel 100 ist so abgewinkelt, dass er ein Bild des Musters 110 in einen Teil des Sichtfelds der Kamera 90 reflektiert, so dass die von der Kamera 90 aufgenommenen Bilder sowohl ein Bild des Gesichts des Fahrers 200 oder eines anderen Passagiers als auch das reflektierte Bild des Musters 110 enthalten. Die von der Kamera 90 aufgenommenen Bilder enthalten daher sowohl Positionsinformationen über das Gesicht des Fahrers 200 als auch Ausrichtungsinformationen über das Muster 110 und damit den Spiegel 40. Die Rechenvorrichtung 80 empfängt also Bilddaten von der Kamera 90, die den Pixelwerten der von der Kamera 90 aufgenommenen Bilder entsprechen, und bestimmt sowohl die Position des Gesichts des Fahrers 200 innerhalb des Bildes als auch die Ausrichtung oder Stellung des Musters 110 (und damit auch die des Spiegels 40).
1-2 zeigen das Spiegelsystem 10 als ein in sich geschlossenes System zeigen, bei dem der Spiegel 40, das Betätigungselement 70, der Prozessor 80 und die Kamera 90 jeweils im Spiegelgehäuse 20 untergebracht sind, aber ein Fachmann wird erkennen, dass dies nicht unbedingt der Fall sein muss. Die Ausführungsformen der Offenbarung ziehen Konfigurationen des Spiegelsystems 10 in Betracht, bei denen einer oder mehrere von dem Spiegel 40, dem Betätigungselement 70, dem Prozessor 80, der Kamera 90, dem Hilfsspiegel 100 und dem Muster 110 an der Außenseite des Gehäuses 20 oder außerhalb des Gehäuses angeordnet sind. Die Kamera 90 kann sich zum Beispiel in der Fahrzeugkabine befinden, damit der Fahrer 200 sie besser sehen kann. In solchen Fällen kann es vorteilhaft sein, wenn sich eine zusätzliche Hilfskamera im Gehäuse 20 befindet, um das Muster 110 zu sehen und damit die aktuelle Ausrichtung des Spiegels 40 zu bestimmen. Ebenso kann der Prozessor 80 innerhalb des Fahrzeugs angeordnet sein, wo er bei Kollisionen weniger anfällig für Schäden ist und leichter auf die Stromversorgung des Fahrzeugs zugreifen kann.
3 ist eine Blockdiagramm-Darstellung eines automatisch einstellbaren Spiegelsystems der Ausführungsformen der Offenbarung. 3 stellt die Komponenten der Spiegelanordnung 10 und ihre Verbindungen in einer Ausführungsform der Offenbarung dar. Wie gezeigt, kann die Rechenvorrichtung 300 der Rechenvorrichtung 80 von 1 entsprechen, während Kamera 310 und Betätigungselement 320 der Kamera 90 bzw. dem Betätigungselement 70 entsprechen. Hier steht die Rechenvorrichtung 300 in elektronischer Kommunikation mit der Kamera 310 und dem Betätigungselement 320, um Bilddaten von der Kamera 310 zu empfangen, die entsprechenden Ausrichtungen des Spiegels 40 zu bestimmen und das Betätigungselement 320 anzuweisen, den Spiegel 40 entsprechend zu bewegen oder neu auszurichten.
4 ist eine verallgemeinerte Ausführungsform einer anschaulichen elektronischen Rechenvorrichtung, die für die Verwendung gemäß den Ausführungsformen der Offenbarung hergestellt wurde. Hier ist die Rechenvorrichtung 400 eine detailliertere Darstellung der Rechenvorrichtung 80, und kann jede Vorrichtung sein, die in der Lage ist, Gesichter in einem Bild zu lokalisieren, deren Positionen zu bestimmen, die entsprechenden Spiegelausrichtungen zu berechnen und die Betätigungselemente so zu steuern, dass die Spiegel entsprechend ausgerichtet werden. Die Rechenvorrichtung 400 kann zum Beispiel ein System on Chip (SoC), ein eingebetteter Prozessor oder Mikroprozessor oder ähnliches sein. Die Rechenvorrichtung 400 kann Daten über den Eingabe-/Ausgabeweg 402 (im Folgenden „E/A“) empfangen. Der E/A-Weg 402 kann Daten (z. B. Bilddaten von der Kamera 90 oder dergleichen) und andere Eingaben an die Steuerschaltung 404 bereitstellen, die die Verarbeitungsschaltung 406 und den Speicher 408 beinhaltet. Die Steuerschaltung 404 kann zum Senden und Empfangen von Befehlen, Anfragen und anderen geeigneten Daten über den E/A-Weg 402 verwendet werden. Der E/A-Weg 402 kann die Steuerschaltung 404 (und insbesondere die Verarbeitungsschaltung 406) mit einem oder mehreren Kommunikationswegen verbinden. Die E/A-Funktionen können über einen oder mehrere dieser Kommunikationswege bereitgestellt werden, sind jedoch als ein einziger Weg in 4 gezeigt, damit die Zeichnung nicht zu kompliziert wird.
Die Steuerschaltung 404 kann auf jeder geeigneten Verarbeitungsschaltung wie der Verarbeitungsschaltung 406 basieren. Unter Verarbeitungsschaltungen sind hier Schaltungen zu verstehen, die auf einem oder mehreren Mikroprozessoren, Mikrocontrollern, digitalen Signalprozessoren, programmierbaren Logikbausteinen, feldprogrammierbaren Gate-Arrays (FPGAs), anwendungsspezifischen integrierten Schaltungen (ASICs) usw. basieren und einen Multicore-Prozessor (z. B. Dual-Core, Quad-Core, Hexa-Core oder eine beliebige Anzahl von Kernen) beinhalten können. In einigen Ausführungsformen können die Verarbeitungsschaltungen auf mehrere separate Prozessoren oder Verarbeitungseinheiten verteilt sein, zum Beispiel auf mehrere Verarbeitungseinheiten desselben Typs (z. B. zwei Intel® Core™-Prozessoren) oder auf mehrere unterschiedliche Prozessoren (z. B. einen Intel® Core™-Prozessor und einen Intel® Nervana™-Prozessor). Jede Art und Struktur von Verarbeitungsschaltungen kann verwendet werden. Die Verarbeitungsschaltung 406 kann beispielsweise einen Multi-Core-Prozessor, einen Multi-Core-Prozessor, der als Grafik- oder Berechnungspipeline zur parallelen Ausführung von Operationen strukturiert ist, einen neuromorphen Prozessor, einen anderen parallelen Prozessor oder Grafikprozessor oder dergleichen beinhalten. In mindestens einer Ausführungsform kann die Verarbeitungsschaltung 406 ohne Einschränkung einen Mikroprozessor mit komplexem Befehlssatz („CISC“), einen Mikroprozessor mit reduziertem Befehlssatz („RISC“), einen Mikroprozessor mit sehr langem Befehlswort („VLIW“), einen Prozessor, der eine Kombination von Befehlssätzen implementiert, oder jede andere Prozessoreinheit, wie z. B. einen digitalen Signalprozessor oder einen Grafikprozessor, beinhalten.
In einigen Ausführungsformen führt die Steuerschaltung 404 Befehle zur Erkennung von Gesichtern in Bildern, zur Bestimmung der entsprechenden Positionen, zur Berechnung der Spiegelausrichtung und zur Anweisung an das Betätigungselement 70 aus, den Spiegel 40 entsprechend zu bewegen, wobei diese Befehle eingebettete Befehle oder Teil eines Anwendungsprogramms sein können, das auf einem Betriebssystem läuft. In mindestens einer Ausführungsform kann die Rechenvorrichtung 100 eine Version des WINDOWS-Betriebssystems der Microsoft Corporation aus Redmond, Washington, ausführen, obwohl auch andere Betriebssysteme (z. B. UNIX und Linux), eingebettete Software und/oder grafische Benutzeroberflächen verwendet werden können.
Der Speicher kann ein elektronischer Speicher sein, der als Speicher 408 Teil der Steuerschaltung 404 ist. Der Begriff „elektronisches Speichermedium“ oder „Speichermedium“ bezieht sich auf alle Vorrichtungen zur Speicherung von elektronischen Daten, Computersoftware oder Firmware, wie z. B. Direktzugriffsspeicher, Festspeicher, Festplatten, Quantenspeicher oder andere geeignete feste oder entfernbare Speichermedien und/oder eine Kombination davon. Der Speicher 408 kann zum Speichern von Codemodulen verwendet werden, wie unten beschrieben. Ein nichtflüchtiger Speicher kann ebenfalls verwendet werden (z. B. zum Starten einer Boot-Routine und anderer Anweisungen). Ein Cloud-basierter Speicher kann als Ergänzung zum Speicher 408 oder anstelle des Speichers 408 verwendet werden.
Der Speicher 408 kann auch Anweisungen oder Code für das oben beschriebene Betriebssystem und eine beliebige Anzahl von Anwendungsprogrammen speichern, die vom Betriebssystem ausgeführt werden sollen. Im Betrieb kann die Verarbeitungsschaltung 406 die im Speicher 408 gespeicherten Befehle abrufen und ausführen, um die hier beschriebenen Prozesse auszuführen oder ein Betriebssystem und Anwendungsprogramme zu starten.
Der Speicher 408 ist ein Speicher, der eine Reihe von Programmen oder Befehlsmodulen zur Ausführung durch die Verarbeitungsschaltung 406 speichert. Insbesondere kann der Speicher 408 ein Modul zur Vorrichtungssteuerung 412, ein Modul zur Spiegelausrichtung 414 und ein Modul zur aktuellen Spiegelausrichtung 416 speichern. Das Modul zur Vorrichtungssteuerung 412 enthält Befehle oder Routinen zur Steuerung der mit dem Prozessor 300 verbundenen Vorrichtungen, z. B. Kamera 310 und Betätigungselement 320. Das Modul zur Spiegelausrichtung 414 enthält Befehle zur Erkennung von Gesichtern, zur Bestimmung ihrer Positionen im dreidimensionalen Raum und zur Berechnung der Spiegelausrichtung daraus. Das Modul zur aktuellen Spiegelausrichtung 416 enthält Befehle zur Bestimmung der aktuellen Ausrichtung des Spiegels 40, die als Eingabe in das Modul zur Spiegelausrichtung 414 eingespeist werden können, um das Modul 414 bei der Bestimmung der Beträge zu unterstützen, um die der Spiegel 40 bewegt werden muss, um eine gewünschte neue Ausrichtung zu erreichen. Das Modul zur Spiegelausrichtung 414 kann diese Beträge als Befehle an das Modul zur Vorrichtungssteuerung 412 übermitteln und das Betätigungselement 320 anweisen, den Spiegel 40 entsprechend neu auszurichten.
Die Rechenvorrichtung 400 kann eine lokale Vorrichtung sein, wie in 1 gezeigt. Die Ausführungsformen der Offenbarung sind jedoch nicht auf diese Konfiguration beschränkt und ziehen andere Implementierungen der Rechenvorrichtung 400 in Betracht. Die Rechenvorrichtung 400 kann beispielsweise eine lokale Vorrichtung sein, die über Kabel oder drahtlos mit der Kamera 90 und dem Betätigungselement 70 kommuniziert, oder es kann eine entfernte Rechenvorrichtung sein, die über ein elektronisches Kommunikationsnetzwerk wie das öffentliche Internet mit der Kamera 90 und dem Betätigungselement 70 kommuniziert. In solchen letzteren Ausführungen kann die Spiegelanordnung 10 einen drahtlosen Transceiver und/oder ein Modem für die elektronische Kommunikation zwischen der Kamera 90, dem Computer 400 und dem Betätigungselement 70 beinhalten.
Bei der Rechenvorrichtung 400 kann es sich um eine beliebige elektronische Rechenvorrichtung handeln, die in der Lage ist, die Spiegelausrichtung aus den Bildern des Fahrers oder des Passagiers zu berechnen. Die Rechenvorrichtung 400 kann ein eingebetteter Prozessor, ein Mikrocontroller, ein entfernter Desktop-Computer, ein Tablet-Computer oder ein Server, der elektronisch mit der Kamera 90 und dem Betätigungselement 70 kommuniziert, oder dergleichen sein. Darüber hinaus kann die Rechenvorrichtung 400 eine beliebige Konfiguration oder Architektur aufweisen, die es ihm ermöglicht, die Spiegelausrichtung aus den Bildern des Fahrers oder Passagiers zu berechnen und das Betätigungselement 70 entsprechend zu steuern. 5 veranschaulicht eine solche Konfiguration, in der die Rechenvorrichtung 400 als Computersystem 500 dargestellt ist, das mit einer parallelen Verarbeitungsarchitektur für die parallele Verarbeitung von Bilddaten der Kamera 90 aufgebaut ist. Das Computersystem 500 von 5 kann zum Beispiel in Ausführungsformen der Offenbarung verwendet werden, die auf künstlicher Intelligenz basierende Verfahren und Prozesse zur Bestimmung der Position von Gesichtern in Bildern verwenden. In mindestens einer Ausführungsform umfasst das Computersystem 500 ohne Einschränkung mindestens eine Zentralverarbeitungseinheit („CPU“) 502, die mit einem Kommunikationsbus 510 verbunden ist, der unter Verwendung eines beliebigen geeigneten Protokolls wie PCI („Peripheral Component Interconnect“), PCI-Express („Peripheral Component Interconnect Express“), AGP („Accelerated Graphics Port“), HyperTransport oder eines anderen Bus- oder Punkt-zu-Punkt-Kommunikationsprotokolls bzw. anderer Protokolle implementiert ist. In mindestens einer Ausführungsform beinhaltet das Computersystem 500 ohne Einschränkung einen Hauptspeicher 504, bei dem es sich um eine beliebige Speichervorrichtung handeln kann, sowie eine Steuerschaltung oder -logik (z. B. in Form von Hardware, Software oder einer Kombination davon). Die Daten werden im Hauptspeicher 504 gespeichert, der die Form eines Direktzugriffsspeichers („RAM“) haben kann. In mindestens einer Ausführungsform stellt ein Netzwerkschnittstellen-Subsystem („Netzwerkschnittstelle“) 522 eine Schnittstelle zu anderen Rechenvorrichtungen und Netzwerken bereit, um Daten vom Computersystem 500 zu empfangen und an andere Systeme zu übermitteln. Die Logik 515 wird verwendet, um Rechenoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verbunden sind, und kann eine beliebige Verarbeitungsschaltung sein. Insbesondere kann die Logik 515 ohne Einschränkung Code und/oder Datenspeicher beinhalten, um Eingabe-/Ausgabedaten und/oder andere Parameter für die Ausführung von
alle Rechenoperationen zu speichern. Die Logik 515 kann auch einen Code- und/oder Datenspeicher beinhalten oder mit diesem gekoppelt sein, um einen Code oder eine andere Software zu speichern, die das Timing und/oder die Reihenfolge der Operationen steuert. Die Logik 515 kann außerdem Ganzzahl- und/oder Gleitkommaeinheiten (zusammenfassend als arithmetische Logikeinheiten oder ALUs bezeichnet) zur Durchführung von Operationen mit den abgerufenen Daten gemäß dem gespeicherten Code beinhalten. In mindestens einer Ausführungsform kann ein beliebiger Teil des Code- und/oder Datenspeichers mit anderen On-Chip- oder Off-Chip-Datenspeichern kombiniert werden, einschließlich des L1-, L2- oder L3-Cache- oder Systemspeichers eines Prozessors.
In mindestens einer Ausführungsform beinhaltet das Parallelverarbeitungssystem 512 ohne Einschränkung eine Vielzahl von Parallelverarbeitungseinheiten („PPUs“) 514 und zugehörige Speicher 516. Diese PPUs 514 können über eine Verbindung 518 und einen Schalter 520 oder Multiplexer mit einem Host-Prozessor oder anderen Peripherievorrichtungen verbunden werden. In mindestens einer Ausführungsform verteilt das Parallelverarbeitungssystem 512 Rechenaufgaben auf die PPUs 514, die parallelisierbar sein können - zum Beispiel als Teil der Verteilung von Rechenaufgaben auf mehrere Thread-Blöcke der Grafikverarbeitungseinheit („GPU“). Der Speicher kann von einigen oder allen PPUs 514 gemeinsam genutzt werden und zugänglich sein (z. B. für Lese- und/oder Schreibzugriffe), obwohl ein solcher gemeinsam genutzter Speicher im Vergleich zur Nutzung von lokalem Speicher und Registern, die in einer PPU 214 resident sind, zu Leistungseinbußen führen kann. In mindestens einer Ausführungsform wird der Betrieb der PPUs 514 durch die Verwendung eines Befehls wie _syncthreads() synchronisiert, wobei alle Threads in einem Block (z. B. über mehrere PPUs 514 ausgeführt) einen bestimmten Punkt der Codeausführung erreichen müssen, bevor sie fortfahren.
6 ist ein Flussdiagramm zur Veranschaulichung von Prozessschritten zur Bestimmung der Spiegelausrichtung gemäß den Ausführungsformen der Offenbarung. In anschaulichen Ausführungsformen nimmt die Kamera 90 Bilder des Fahrers auf, obwohl die Kamera 90 in alternativen Ausführungsformen auch Bilder von jedem anderen Fahrzeugpassagier aufnehmen kann.
Zunächst nimmt die Kamera 90 ein Bild des Fahrzeugfahrers auf und überträgt die entsprechenden Bilddaten an die Rechenvorrichtung 80 (Schritt 600). Die Rechenvorrichtung 80 bestimmt dann die Position des Fahrers aus dem Bild (Schritt 610). Genauer gesagt wird das Gesicht des Fahrers im Bild lokalisiert, ein oder mehrere Punkte auf dem Gesicht des Fahrers werden ausgewählt und die räumliche(n) Position(en) dieses einen oder dieser mehreren Punkte relativ zum Spiegel 40 wird/werden bestimmt. Fahrergesichter können in einem Bild mit Hilfe beliebiger Verfahren oder Prozesse lokalisiert werden, einschließlich bekannter Computer-Vision-basierter Gesichtserkennungsprozesse, die Gesichter ohne Verwendung neuronaler Netze erkennen, wie beispielsweise Kantenerkennungsverfahren, Verfahren zur Merkmalssuche, probabilistische Gesichtsmodelle, Graph-Matching, Histogramme orientierter Gradienten (HOGs), die in Klassifikatoren wie Support Vector Machines, HaarCascadeklassifikatoren und dergleichen, eingespeist werden. Die Lokalisierung von Gesichtern kann auch mit auf neuronalen Netzen basierenden Gesichtserkennungsverfahren durchgeführt werden, z. B. mit Deep Neural Network (DNN)-Gesichtserkennungsprogrammen oder anderen. Die Ausführungsformen der Offenbarung ziehen auch die Position der Augen des Fahrers auf demselben Bild in Betracht. Die Lokalisierung der Augen kann auf jede beliebige Weise erfolgen, wie beispielsweise durch bekannte Computer Vision-basierte Augenerkennungsprozesse, einschließlich der oben genannten, nicht auf neuronalen Netzen basierenden Techniken, auf neuronalen Netzen basierenden Augenerkennungsverfahren und dergleichen.
Sobald das Gesicht des Fahrers in dem empfangenen Bild lokalisiert ist, werden ein oder mehrere Punkte auf dem Gesicht des Fahrers ausgewählt. Es können beliebige Punkte ausgewählt werden. In einer Ausführungsform können ein oder mehrere Punkte im geometrischen Zentrum der identifizierten Fläche oder ihres Begrenzungsrahmens oder ein oder mehrere Punkte an einem beliebigen anderen Ort auf der identifizierten Fläche oder innerhalb ihres Begrenzungsrahmens ausgewählt werden. In alternativen Ausführungsformen, bei denen das Auge geortet wird, kann ein Punkt zwischen den beiden identifizierten Augen ausgewählt werden, oder es kann stattdessen eines der Augen ausgewählt werden.
Die räumliche(n) Position(en) des/der ausgewählten Punktes/Punkte kann/können dann bestimmt werden. Die räumliche(n) Position(en) kann/können auf jede beliebige Art und Weise bestimmt oder geschätzt werden, z. B. über tabellarische Positionen, die jeder Pixelposition entsprechen und anhand einer Entfernungsschätzung bestimmt werden, z. B. anhand einer bekannten Entfernung zwischen dem Spiegel 40 und einem oder mehreren Punkten in der Nähe des Fahrersitzes, oder auf jede andere Art und Weise.
Als nächstes berechnet die Rechenvorrichtung 80 eine Zielausrichtung des Spiegels 40, die dem Fahrer ein gewünschtes Sichtfeld durch den Spiegel 40 bereitstellt (Schritt 620). Die Berechnung der Zielausrichtung des Spiegels 40 wird weiter unten im Zusammenhang mit 8 erläutert und kann durch jedes Verfahren oder jeden Prozess zur Auswahl einer gewünschten Ausrichtung des Spiegels 40 erreicht werden. Sobald diese Ziel- oder gewünschte Ausrichtung bestimmt ist, bewegt oder richtet die Rechenvorrichtung 80 den Spiegel 40 auf die Zielausrichtung aus (Schritt 630).
Die Schritte 600-630 können jederzeit wiederholt werden, um den Spiegel 40 als Reaktion auf die Bewegung des Fahrers 200 oder eines anderen Passagiers im Laufe der Zeit adaptiv neu auszurichten. Die Schritte 600-630 können beispielsweise als Reaktion auf einen Benutzerbefehl (z. B. Tastendruck oder Sprachbefehl), als Reaktion auf bestimmte Ereignisse (z. B. Zündung des Fahrzeugmotors oder Hinsetzen des Fahrers auf den Fahrersitz), in regelmäßigen Abständen oder auf jede andere Weise wiederholt werden. Als weiteres Beispiel können die Schritte 600-630 als Reaktion auf eine erkannte Änderung der Fahrerhaltung oder -position oder als Reaktion auf eine Änderung der Haltung oder Position, die ein bestimmtes Ausmaß und/oder eine bestimmte Zeitspanne überschreitet, wiederholt werden. Das letztgenannte Beispiel kann die Implementierung eines übermäßig empfindlichen Spiegels 40 vermeiden, der sich unerwünscht oft selbst einstellt, selbst bei kleinen oder vorübergehenden Bewegungen des Fahrers. Insbesondere kann der Spiegel 40 vor der Ausführung von Schritt 630 zunächst feststellen, ob die in Schritt 610 ermittelte Position oder Haltung des Fahrers 200 für mindestens eine bestimmte Zeitspanne beibehalten wurde. Dieser vorbestimmte Zeitraum kann von beliebiger Dauer sein. Darüber hinaus kann die Feststellung, dass eine Position oder Haltung zumindest eine gewisse Zeit lang eingenommen oder beibehalten wurde, auf beliebige Weise erfolgen. Zum Beispiel kann eine Haltung als beibehalten oder gehalten geschätzt werden, wenn eine oder mehrere Positionen auf einem erkannten Gesicht des Fahrers 200 für mindestens die vorgegebene Zeitspanne konstant oder im Wesentlichen konstant bleiben, z. B. konstant innerhalb eines vorgegebenen Bereichs von Positionswerten. Dieser Bereich kann einen beliebigen Wert haben, z. B. eine Fahrerposition, die innerhalb von 6,0 Zoll in jeder Richtung konstant ist, oder dergleichen.
Es sei darauf hingewiesen, dass Schritt 630 neben der Neuausrichtung des Spiegels 40 auch andere Aktionen beinhalten kann. Beispielsweise kann der Prozessor 80 über die elektrische Schnittstelle 60 mit einem oder mehreren Prozessoren des Fahrzeugs elektronisch kommunizieren, um verschiedene Befehle und Daten mit diesen auszutauschen. Dazu können auch Befehle gehören, die das Fahrzeug anweisen, eine Warnung auszugeben oder den Fahrer 200 auf andere Weise zu wecken, wenn der Prozessor 80 feststellt, dass der Fahrer schläft oder handlungsunfähig ist. Wenn der Prozessor 80 in Schritt 610 beispielsweise feststellt, dass das Gesicht des Fahrers 200 in einem übermäßigen Winkel zur Senkrechten geneigt ist oder länger als eine bestimmte Zeitspanne aus dem Sichtfeld der Kamera 90 verschwunden ist, kann der Fahrer 200 als schlafend oder handlungsunfähig eingestuft werden. Der Prozessor 80 kann dann einen Befehl erteilen, der das Fahrzeug anweist, bestimmte Vorgänge auszuführen, z. B. eine Warnung an den Fahrer 200 auszugeben, das Fahrzeug zu verlangsamen oder anzuhalten, den Autopiloten zu aktivieren oder andere Vorgänge auszuführen. Ein weiteres Beispiel: Der Prozessor 80 kann das Fahrzeug anweisen, die Sitzposition des Fahrers 200 oder eines anderen Passagiers anzupassen, um ihm eine bessere Sicht aus dem Spiegel 40 zu ermöglichen. Wenn der Prozessor 80 in Schritt 610 beispielsweise feststellt, dass sich das Gesicht des Fahrers 200 bewegt hat, kann der Prozessor 80 das Fahrzeug anweisen, die Sitzposition des Fahrers 200 einzustellen, anstatt oder zusätzlich zur Änderung der Ausrichtung des Spiegels 40. Die Sitzposition kann beispielsweise so eingestellt werden, dass das Gesicht des Fahrers 200 wieder in dieselbe Position gebracht wird, in der es sich auf dem vorhergehenden Bild befand, oder in die Position, die dem gewünschten Sichtfeld für die aktuelle Ausrichtung des Spiegels 40 entspricht.
In einigen Ausführungsformen der Offenbarung ist die Kenntnis der aktuellen Ausrichtung des Spiegels 40 erforderlich, um zu bestimmen, um wie viel der Spiegel 40 bewegt werden muss, um die neue Zielausrichtung zu erreichen. Daher umfassen die Ausführungsformen der Offenbarung die Bestimmung der aktuellen Ausrichtung des Spiegels 40 vor der Ausführung von Schritt 630. Die Bestimmung der aktuellen Ausrichtung des Spiegels 40 kann auf beliebige Weise erfolgen. 7 veranschaulicht die Prozessschritte zur Bestimmung der aktuellen Spiegelausrichtung gemäß einigen Ausführungsformen. Der Prozess von 7 verwendet die Kamera 90, den Hilfsspiegel 100 und das Muster 110, um die aktuelle Ausrichtung des Spiegels 40 zu bestimmen. Wie oben und mit Bezug auf 2 beschrieben, ist der Hilfsspiegel 100 so abgewinkelt und dimensioniert, dass er ein Bild des Musters 110 auf einen Teil des Sichtfeldes der Kamera 90 reflektiert, so dass die Kamera 90 ein Bild aufnimmt, von dem ein Teil durch das reflektierte Bild des Musters 110 belegt ist. Wie ein Fachmann feststellen kann, zeigt die Position des reflektierten Bildes des Musters 110 die Position des Spiegels 40 an, da das Muster 110 auf dem Spiegel 40 befestigt ist. Folglich nimmt die Kamera 90 zunächst ein Bild eines am Spiegel 40 angebrachten Referenzobjekts, in diesem Fall das Muster 110, auf, wobei die Bilddaten an die Rechenvorrichtung 80 übertragen werden (Schritt 700). Die Rechenvorrichtung 80 bestimmt dann die Ausrichtung des Referenzobjekts, d. h. des Musters 110 (Schritt 710). Die Bestimmung der Ausrichtung des Referenzobjekts kann auf beliebige Weise erfolgen. Ein Beispiel: Ein Muster 110, dessen offensichtliche Form mit der Ausrichtung variiert, wie z. B. ein Schachbrettmuster oder ein anderes gemustertes Objekt, wird an einer vorbestimmten Stelle auf dem Spiegel 40 angebracht. Die Form des Musters in dem von der Kamera 90 aufgenommenen Bild zeigt also dessen Position oder Ausrichtung und damit auch die Position des Spiegels 40 an. Auf diese Weise bestimmt die Rechenvorrichtung 80 die Ausrichtung des Referenzobjekts oder Musters 110 (Schritt 710) und bestimmt dann die aktuelle Ausrichtung des Spiegels 40 anhand der ermittelten Ausrichtung des Referenzobjekts (Schritt 720).
Die Bestimmung der Ausrichtung des Referenzobjekts aus einem aufgenommenen Bild kann auf beliebige Weise erfolgen. In einigen Ausführungsformen der Offenbarung können Computer-Vision basierte Prozesse verwendet werden, um die Form von Referenzobjektmerkmalen wie den farbigen Quadraten des Musters 110 zu bestimmen. Solche Prozesse können alle auf Computer-Vision basierenden Prozesse sein, einschließlich der oben beschriebenen Prozesse. Die Ausrichtung des Musters 110 kann dann in bekannter Weise aus dieser Form bestimmt werden. Die Ausrichtung von Muster 110 kann alternativ auch auf andere Weise bestimmt werden, z. B. durch auf neuronalen Netzen basierende Verfahren zur Formerkennung, eine gespeicherte Tabelle mit Ausrichtungswerten, die jeder bestimmten Form entsprechen, oder dergleichen. Die Ausrichtung des Spiegels 40 kann in bekannter Weise aus der Ausrichtung des Musters 110 bestimmt werden, da das Muster 110 fest mit dem Spiegel 40 verbunden ist.
8 veranschaulicht die Berechnung der Spiegelhaltung gemäß den Ausführungsformen der Offenbarung begrifflich. Es wird darauf hingewiesen, dass die Ausführungsformen der Offenbarung die Bestimmung der Spiegelhaltung anhand der Position des Gesichts des Fahrers auf beliebige Weise ermöglichen. 8 veranschaulicht begrifflich einen beispielhaften Prozess zur Bestimmung der Spiegelhaltung bei der Bewegung eines Spiegels von seiner aktuellen Stellung MP zu einer neuen Stellung MP_n. Ein beliebiger Punkt P_w(X_w, Y_w,Z_w) in der physischen Welt und in einem Augenkoordinatensystem, hat einen ursprünglichen virtuellen Spiegelpunkt P_v oder einen virtuellen Punkt vor der Bewegung des Spiegels, der wie folgt ausgedrückt werden kann $P_{v} = f_{Reflektion} (MP, P_{w})$
Das heißt, der scheinbare Ort des virtuellen Punktes, der P_w entspricht, ist eine Spiegelung des Punktes P_w, um die Spiegelausrichtung MP. Nach der Neuausrichtung des Spiegels durch Drehung R_m und Verschiebung T_m kann die neue Spiegelstellung wie folgt ausgedrückt werden: ${MP}_{n} = f_{Transform} (MP, R_{m}, T_{m})$
Das heißt, die neue Spiegelstellung ist eine Funktion der vorherigen Spiegelstellung und der Drehung Rm und der Verschiebung Tm unterzogen. Wenn sich der Spiegel verschiebt, ändert sich auch die scheinbare Position von Pw wie durch den Spiegel gesehen. Dementsprechend ist der neue virtuelle Spiegelpunkt: $P_{vn} = f_{Reflektion} ({MP}_{n}, P_{w})$
Durch das Verschieben des Spiegels ändert sich der Ort, auf den der Fahrer 200 schauen muss, um den Spiegel 40 zu sehen. Dementsprechend kann eine Änderung der Ausrichtungen des Spiegels 40 die Kopfhaltung des Fahrers 200 etwas verändern. Dementsprechend werden für die ursprüngliche Kopfhaltung HP, können die neue Kopfhaltung HPn und die Augenposition P_en nach der Kopftransformation (R_h, T_h) wie folgt ausgedrückt werden: ${HP}_{n} = f_{Transform} (HP, R_{h}, T_{h})$
$P_{en} = f_{Kopf - zu - Auge} ({HP}_{n})$
Der Schnittpunkt von P_vn und Pen ist: $P_{in} = f_{Schnittpunkt} ({MP}_{n}, P_{vn}, P_{en})$
Die Ausrichtung des Punktes Pw aus der Sicht des Fahrers kann wie folgt beschrieben werden: ${Ori}_{PvnPen} = f_{Ausrichtung} (P_{vn}, P_{en})$
Wenn die sichtbare Hülle des Auges definiert ist als E_e definiert ist und die Form des Spiegels 40 als MS angegeben ist, dann ist die sichtbare Hülle des Sichtfeldes des Spiegels 40, E_w: $E_{w} = f_{H \ddot{u} lle} (P_{vn}, P_{en})$
Das Sichtfeld, oder alle Punkte im Sichtfeld, sind dann festgelegt: $F o V S = {P_{w} | P_{w} \in R^{3} \cap O r i_{P v n P e n} \in E_{w}}$
Das gewünschte Sichtfeld kann dann als Optimierungsformel ausgedrückt werden: ${}_{R_{m} \in R^{3}, T_{m} \in T^{3}}^{a r g m a x}F o V S = {P_{w} | P_{w} \in R^{3} \cap O r i_{P v n P e n} \in E_{w}}$
Das heißt, dass die neue Ausrichtung des Spiegels 40 diejenige sein kann, die das größte Sichtfeld ergibt, aber dennoch einen ausgewählten Punkt P_w innerhalb des Sichtfeldes enthält. Die neue Ausrichtung des Spiegels 40 kann daher für einen Seitenspiegel ausgewählt werden, indem beispielsweise ein Punkt P_w auf der Seite 210 des Fahrzeugs ausgewählt und die obige Optimierungsformel für eine gegebene Augenposition und die aktuelle Stellung des Spiegels 40 ausgeführt wird.
Die Ausführungsformen der Offenbarung ermöglichen die Auswahl eines beliebigen Punktes P_w. Ein Beispiel dafür ist, dass der Punkt P_w beispielsweise anhand einer bekannten Position auf der Seite 210 des Fahrzeugs und einer ungefähren Entfernung geschätzt werden kann. Ein weiteres Beispiel ist, dass der Punkt P_w ein vorbestimmter Punkt auf der Seite 210 des Fahrzeugs sein kann, wobei dieser vorbestimmte Punkt so gewählt werden kann, dass z. B. ein bestimmter Teil der Seite 210 des Fahrzeugs im Sichtfeld des Fahrers 200 liegt. Zum Beispiel kann ein Punkt entlang der Seite 210 des Fahrzeugs als Punkt P_w ausgewählt werden, und die neue Spiegelausrichtung kann als maximale Sichtfeldausrichtung ausgewählt werden, die P_w enthält. Bei der Lösung dieses Optimierungsproblems können auch beliebige andere Randbedingungen berücksichtigt werden. Zum Beispiel kann die Ausrichtung des maximalen Sichtfeldes aus den Ausrichtungen ausgewählt werden, die P_w im Sichtfeld enthalten und bei denen die Seite 210 des Fahrzeugs einen bestimmten Schwellenwert, z. B. 25%, des Sichtfelds einnimmt und die einen negativen Neigungswinkel des Spiegels 40 haben. Bei der Lösung der vorliegenden Optimierungsformel können eine oder mehrere Einschränkungen verwendet werden, darunter ein Schwellenwert für das von der Seite 210 des Fahrzeugs eingenommene Sichtfeld, bestimmte Neigungs- und/oder Gierwerte des Spiegels 40, bestimmte Bereiche solcher Werte oder dergleichen.
Die Optimierung kann auf jede beliebige Art und Weise durchgeführt werden, z. B. durch Interpolation aus einer Menge von gelösten Punkten, ein Lösungsverfahren wie ein bekanntes Gradientenabstiegsverfahren oder ein anderes Verfahren zur Lösung von Optimierungsproblemen.
Es wird darauf hingewiesen, dass die Verfahren und Techniken der Offenbarung auf jedes andere Objekt als einen Spiegel 40 angewendet werden können. Das heißt, jedes einstellbare Objekt kann in ähnlicher Weise wie hier beschrieben auf die Bewegungen des Betrachters reagiert werden. Zum Beispiel kann jedes Display in einem Fahrzeug einstellbar sein. So ist es beispielsweise möglich, eine Kamera im Fahrzeug zu platzieren, um die Haltung oder Position des Fahrers oder eines anderen Passagiers zu bestimmen, und diese ermittelten Haltungen oder Positionen des Fahrers/Passagiers zu nutzen, um einen Bildschirm auf den Fahrer/Passagier zu richten. Auf diese Weise kann ein Bildschirm, wie z. B. ein Head-up-Display (HUD), auf den Fahrer gerichtet und innerhalb eines bestimmten Sichtfeldes des Fahrers gehalten werden, damit dieser während der Fahrt weniger von der Straße wegschauen muss. Alternativ können Sie auch einen Informations- oder Unterhaltungsbildschirm für die Passagiere bereithalten, um den Komfort zu erhöhen. Ein Fachmann wird feststellen, dass die Verfahren und Techniken der Offenbarung dazu verwendet werden können, jeden Bildschirm und jedes Objekt als Reaktion auf die Bewegung eines Fahrzeugpassagiers oder Fahrers so einzustellen, dass die gewünschte Perspektive erhalten bleibt.
Ein Fachmann wird auch feststellen, dass die Haltung oder Position entweder in zwei oder drei Dimensionen bestimmt werden kann. Da die von der Kamera 90 aufgenommenen Bilder zweidimensional sind, kann die Position des Fahrers 200 in zwei Dimensionen bestimmt und verwendet werden, vielleicht zusammen mit einer Schätzung der dritten Dimension. Wie oben beschrieben, kann diese Schätzung z. B. eine Schätzung des Abstands zwischen dem Spiegel 40 und einer Position in der Nähe des Fahrersitzes sein. Alternativ kann die dreidimensionale Position des Fahrers 200 bestimmt werden, z. B. durch den Einsatz einer zusätzlichen Kamera 90, eines Entfernungsmessgeräts zur Bestimmung der Entfernung zum Fahrer 200 oder ähnlichem. Die Bestimmung der Position des Fahrers in drei Dimensionen kann zu einer genaueren Ausrichtung des Spiegels 40 führen.
In der vorstehenden Beschreibung wurde zur Erläuterung eine spezielle Nomenklatur verwendet, um ein umfassendes Verständnis der Offenbarung bereitzustellen. Einem Fachmann wird jedoch klar sein, dass die spezifischen Details nicht erforderlich sind, um die Verfahren und Systeme der Offenbarung anzuwenden. Daher werden die vorstehenden Beschreibungen der spezifischen Ausführungsformen der vorliegenden Erfindung zum Zwecke der Darstellung und Beschreibung präsentiert. Sie sollen nicht erschöpfend oder auf die genaue offenbarte Formen begrenzt sein. Viele Modifikationen und Variationen sind ausgehend von den obigen Lehren möglich. Die aktuelle Ausrichtung des Spiegels kann zum Beispiel auf jede beliebige Weise bestimmt werden, sei es durch die Verwendung eines am Spiegel befestigten Referenzobjekts oder auf andere Weise. Die Spiegelsysteme der hier beschriebenen Ausführungsformen können beliebige Fahrzeugspiegelsysteme sein, einschließlich Seitenspiegel und Rückspiegel. Die Ausführungsformen wurden ausgewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktischen Anwendungen bestmöglich zu erläutern und dadurch andere Fachleute in die Lage zu versetzen, die Verfahren und Systeme der Offenbarung und die verschiedenen Ausführungsformen mit verschiedenen Modifikationen, die für die jeweilige Verwendung geeignet sind, bestmöglich zu nutzen. Darüber hinaus können verschiedene Merkmale der verschiedenen Ausführungsformen, ob offenbart oder nicht, gemischt und angepasst oder anderweitig kombiniert werden, um weitere Ausführungsformen zu erstellen, die durch die Offenbarung in Betracht gezogen werden.

Claims

Spiegelsystem zur Verwendung in einem Fahrzeug, wobei das System Folgendes umfasst: einen Rahmen; einen relativ zum Rahmen bewegbaren Spiegel; eine Kamera; ein Betätigungselement, das in der Lage ist, eine Ausrichtung des Spiegels einzustellen; und eine Steuerschaltung, die elektronisch mit der Kamera und dem Betätigungselement verbunden ist, wobei die Steuerschaltung dazu dient: Bilddaten zu empfangen, die ein Bild von der Kamera anzeigen; eine Zielausrichtung des Spiegels zu bestimmen, die dem Fahrer des Fahrzeugs ein gewünschtes Sichtfeld auf der Grundlage von zwei oder mehr visuellen Referenzpunkten bereitstellt, wobei mindestens einer der visuellen Referenzpunkte in dem Bild dargestellt ist und wobei sich mindestens einer der visuellen Referenzpunkte auf dem Fahrer befindet, und das Betätigungselement zu veranlassen, den Spiegel auf der Grundlage der Zielausrichtung zu positionieren.
Spiegelsystem nach Anspruch 1, wobei der Spiegel und die Kamera mit dem Rahmen und dem Betätigungselement mit dem Spiegel verbunden sind.
Spiegelsystem nach Anspruch 1, wobei die Steuerschaltung ferner die Ausrichtung des Spiegels so bestimmt, dass ein Schwellenbereich des Fahrzeugs im Sichtfeld des Fahrers vom Spiegel aus erscheint.
Spiegelsystem nach Anspruch 1, wobei der Spiegel einer der folgenden ist: ein Seitenspiegel oder ein Rückspiegel.
Spiegelsystem nach Anspruch 1, wobei das gewünschte Sichtfeld einen Teil einer Seite des Fahrzeugs darin umfasst.
Spiegelsystem nach Anspruch 1, wobei der Spiegel ein erster Spiegel ist; wobei das Spiegelsystem ferner Folgendes umfasst: ein Objekt, das mit dem ersten Spiegel verbunden ist; und einen zweiten Spiegel, der so positioniert ist, dass er ein Bild des Objekts an die Kamera reflektiert; und die Steuerschaltung ferner eine aktuelle Ausrichtung des ersten Spiegels auf der Grundlage des Bildes des Objekts zu bestimmen hat.
Spiegelsystem nach Anspruch 1, wobei die Steuerschaltung ferner dazu dient: ein Gesicht des Fahrers, das in dem Bild dargestellt ist, zu identifizieren und den visuellen Referenzpunkt auf dem Fahrer von einer oder mehreren Stellen auf dem Gesicht des Fahrers zu bestimmen.
Spiegelsystem nach Anspruch 1, wobei die Steuerschaltung ferner dazu dient, die Zielausrichtung des Spiegels ohne Verwendung eines neuronalen Netzes zu bestimmen.
Spiegelsystem nach Anspruch 1: wobei die Steuerschaltung ferner das Betätigungselement dazu veranlasst, den Spiegel in Reaktion auf eine Position des Fahrers zu positionieren, die für mindestens eine vorbestimmte Zeitspanne beibehalten wird.
Verfahren zum Einstellen eines Spiegels eines Fahrzeugs, wobei das Verfahren Folgendes umfasst: Empfangen von Bilddaten von einer Kamera, die ein Bild eines Fahrers des Fahrzeugs anzeigt; Bestimmen einer Position des Fahrers anhand des Bildes; Berechnen einer Zielausrichtung des Spiegels, die dem Fahrer des Fahrzeugs ein gewünschtes Sichtfeld bereitstellt, das zumindest teilweise auf der Position des Fahrers basiert ist, und Veranlassen, dass der Spiegel auf die Zielausrichtung ausgerichtet wird.
Verfahren nach Anspruch 10, wobei die Bilddaten ferner eine Vielzahl von Bildern anzeigen, die den Fahrer im Laufe der Zeit anzeigen, wobei das Verfahren ferner umfasst, dass für jedes der Vielzahl von Bildern das Bestimmen, das Berechnen und das Veranlassen automatisch wiederholt werden.
Verfahren nach Anspruch 10, wobei der Spiegel einer der folgenden ist: ein Seitenspiegel oder ein Rückspiegel.
Verfahren nach Anspruch 10, wobei der Spiegel einen Seitenspiegel umfasst und wobei das gewünschte Sichtfeld einen Teil einer Seite des Fahrzeugs umfasst.
Verfahren nach Anspruch 10, das ferner das Bestimmen einer aktuellen Ausrichtung des Spiegels umfasst, wobei das Berechnen der Zielausrichtung des Spiegels ferner das Bestimmen einer Ausrichtungsdifferenz zwischen der aktuellen Ausrichtung und der Zielausrichtung umfasst, und wobei das Veranlassen basierend auf der Ausrichtungsdifferenz durchgeführt wird.
Verfahren nach Anspruch 14, wobei die Bilddaten ein Bild eines mit dem Spiegel gekoppelten Objekts umfassen, und wobei das Bestimmen einer aktuellen Ausrichtung des Spiegels ferner Folgendes umfasst: Bestimmen einer Ausrichtung des Objekts aus den Bilddaten; und Bestimmen der aktuellen Ausrichtung des Spiegels basierend auf der Ausrichtung des Objekts.
Verfahren nach Anspruch 10, wobei das gewünschte Sichtfeld auf zwei oder mehr visuellen Referenzpunkten basiert, wobei sich einer der visuellen Referenzpunkte auf dem Fahrer befindet.
Verfahren nach Anspruch 10, wobei das Bestimmen ferner das Bestimmen der Position des Fahrers ohne Verwendung eines neuronalen Netzes umfasst.
Verfahren nach Anspruch 10, wobei das Veranlassen ferner das Veranlassen der Ausrichtung des Spiegels auf die Zielausrichtung als Reaktion auf die Feststellung, dass die Position des Fahrers für mindestens eine vorbestimmte Zeitspanne beibehalten wurde, umfasst.
Spiegelsystem zur Verwendung in einem Fahrzeug, wobei das System Folgendes umfasst: einen beweglichen Spiegel; eine Kamera; ein Betätigungselement, das in der Lage ist, eine Ausrichtung des Spiegels einzustellen; und eine Steuerschaltung in elektronischer Kommunikation mit der Kamera und dem Betätigungselement, wobei die Steuerschaltung dazu dient: Bilddaten zu empfangen, die ein Bild von der Kamera anzeigen; die Position eines Gesichts des Fahrers im Bild zu erkennen; zumindest teilweise in Abhängigkeit von der Position eine Zielausrichtung des Spiegels zu bestimmen, die dem Fahrer des Fahrzeugs ein gewünschtes Sichtfeld bereitstellt; und das Betätigungselement zu veranlassen, den Spiegel auf der Grundlage der Zielausrichtung zu positionieren.
Spiegelsystem nach Anspruch 19, wobei die Steuerschaltung ferner die Zielausrichtung des Spiegels so bestimmt, dass ein Schwellenbereich des Fahrzeugs im Sichtfeld des Fahrers vom Spiegel aus erscheint.
Spiegelsystem nach Anspruch 19, wobei der Spiegel einer der folgenden ist: ein Seitenspiegel oder ein Rückspiegel.
Spiegelsystem nach Anspruch 19, wobei der Spiegel ein erster Spiegel ist; wobei das Spiegelsystem ferner Folgendes umfasst: ein Objekt, das mit dem ersten Spiegel verbunden ist; und einen zweiten Spiegel, der so positioniert ist, dass er ein Bild des Objekts an die Kamera reflektiert, und die Steuerschaltung ferner eine aktuelle Ausrichtung des ersten Spiegels auf der Grundlage des Bildes des Objekts zu bestimmen hat.
Spiegelsystem nach Anspruch 19, wobei die Steuerschaltung eine Parallelverarbeitungsschaltung umfasst.
Spiegelsystem nach Anspruch 19, wobei die Steuerschaltung ferner die Position des Gesichts des Fahrers im Bild ohne Verwendung eines neuronalen Netzes erkennt.
Spiegelsystem nach Anspruch 19, wobei die Steuerschaltung ferner das Betätigungselement dazu veranlasst, den Spiegel basierend auf der Zielausrichtung zu positionieren, nachdem festgestellt wurde, dass die Position des Gesichts des Fahrers für mindestens eine vorgegebene Zeitspanne beibehalten wurde.