DE102021112565B4

DE102021112565B4 - Verfahren zum Justieren eines Orts und einer Verzerrung eines durch eine Headup-Anzeige auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes

Info

Publication number: DE102021112565B4
Application number: DE102021112565.0A
Authority: DE
Inventors: Thomas A. Seder; Kai-Han Chang; Leslie G. Ferris; Guy N. Kennerly
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-10-12
Filing date: 2021-05-14
Publication date: 2024-03-14
Anticipated expiration: 2041-05-15
Also published as: CN114363591A; US11833901B2; US20220111728A1; CN114363591B; DE102021112565A1

Abstract

Verfahren zum Justieren eines Orts eines durch eine Headup-Anzeige (20) auf eine Windschutzscheibe (14) eines Fahrzeugs (10) projizierten Bildes (22), wobei das Verfahren umfasst:Anordnen eines physischen Ziels (90) auf der Windschutzscheibe (14) an einem Zielort des projizierten Bilds (22);Montieren einer Halterung (32) an einer Komponente innerhalb eines Fahrgastraums (16) des Fahrzeugs (10), um eine an der Halterung (32) befestigte Anordnung von Kameras (34) innerhalb einer möglichen Sichtlinie zwischen Augen eines Insassen des Fahrzeugs (10) und dem Zielort des projizierten Bildes (22) zu positionieren;Erfassen einer ersten Mehrzahl von Bildern des physischen Ziels (90) unter Verwendung der Anordnung von Kameras (34);Bestimmen wenigstens einer Differenz zwischen einem tatsächlichen Ort des physischen Ziels (90) in jedem der ersten Mehrzahl von Bildern und einem Zielort des physischen Ziels (90) in jedem der ersten Mehrzahl von Bildern;Steuern der Headup-Anzeige (20) zum Anzeigen eines virtuellen Ziels auf der Windschutzscheibe (14) an dem Zielort des projizierten Bilds (22);Erfassen einer zweiten Mehrzahl von Bildern des virtuellen Ziels unter Verwendung der Anordnung von Kameras (34);Bestimmen eines Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage der wenigstens einen Differenz;Bestimmen wenigstens eines Versatzes zwischen einem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern; undJustieren des Orts des durch die Headup-Anzeige (20) auf die Windschutzscheibe (14) projizierten Bildes (22) auf der Grundlage des wenigstens einen Versatzes.

Description

EINLEITUNG
Die vorliegende Offenbarung betrifft ein Verfahren zum Justieren eines Orts und einer Verzerrung eines durch eine Headup-Anzeige auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes.
Eine Headup-Anzeige (HUD) projiziert ein Bild auf eine Windschutzscheibe des Fahrzeugs. Die Fläche der Windschutzscheibe, wo die HUD das Bild projiziert, wird als HUD-Bereich bezeichnet. Wenn eine HUD anfangs in ein Fahrzeug eingebaut wird, ist das HUD-Bild wegen Herstellungstoleranzen der Befestigungsstruktur in dem Fahrzeug für die HUD und/oder der HUD selbst wenigstens teilweise außerhalb des HUD-Bereichs positioniert. Außerdem ist das HUD-Bild üblicherweise verzerrt.
DE 10 2020 127 158 A1 beschreibt ein Verfahren zum Justieren eines Ortes eines durch eine Headup-Anzeige auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes, bei dem durch Abgleich einer Mehrzahl von Bildern, die durch eine im Inneren des Fahrzeugs angebrachte Anordnung von Kameras aufgenommen werden, ein Justieren des projizierten Bildes der HUD auf der Grundlage des Versatzes vorgenommen wird.
Weitere Verfahren zum Justieren eines Ortes eines durch eine Headup-Anzeige auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes gehen aus den Druckschriften DE 10 2017 221 713 A1 , DE 10 2005 005 242 A1 , DE 10 2018 001 969 A1 und US 2016/0 377873 A1 hervor.
ZUSAMMENFASSUNG
Erfindungsgemäß wird ein Beispiel eines Verfahrens zum Justieren eines Orts eines durch eine Headup-Anzeige (HUD) auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes vorgestellt, das sich durch die Merkmale des Anspruchs 1 auszeichnet.
Das Verfahren enthält das Anordnen eines physischen Ziels auf der Windschutzscheibe an einen Zielort des projizierten Bildes, das Montieren einer Halterung an einer Komponente innerhalb eines Fahrgastraums des Fahrzeugs, um eine an der Halterung befestigte Anordnung von Kameras innerhalb einer möglichen Sichtlinie zwischen Augen eines Insassen des Fahrzeugs und dem Zielort des projizierten Bildes zu positionieren, das Erfassen einer ersten Mehrzahl von Bildern des physischen Ziels unter Verwendung der Anordnung von Kameras und das Bestimmen wenigstens einer Differenz zwischen einem tatsächlichen Ort des physischen Ziels in jedem der ersten Mehrzahl von Bildern und einem Zielort des physischen Ziels in jedem der ersten Mehrzahl von Bildern. Außerdem enthält das Verfahren das Steuern der HUD zum Anzeigen eines virtuellen Ziels auf der Windschutzscheibe an dem Zielort des projizierten Bildes, das Erfassen einer zweiten Mehrzahl von Bildern des virtuellen Ziels unter Verwendung der Anordnung von Kameras und das Bestimmen eines Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage der wenigstens einen Differenz. Ferner enthält das Verfahren das Bestimmen wenigstens eines Versatzes zwischen einem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und das Justieren des Orts des durch die HUD auf die Windschutzscheibe projizierten Bildes auf der Grundlage des wenigstens einen Versatzes.
Gemäß einem Aspekt enthält das Verfahren ferner das Positionieren einer Kamera in einem Mittelpunkt der Anordnung von Kameras in der Weise, dass das physische Ziel in einem durch die Kamera erfassten Bild in dem erfassten Bild an dem Zielort des physischen Ziels positioniert wird.
Gemäß einem Aspekt enthält die wenigstens eine Differenz einen Abstand zwischen einem Mittelpunkt des physischen Ziels in jedem der ersten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der ersten Mehrzahl von Bildern.
Gemäß einem Aspekt enthält die wenigstens eine Differenz den Abstand in zwei Richtungen, die zueinander senkrecht sind.
Gemäß einem Aspekt enthält das Verfahren ferner das Bestimmen wenigstens eines Winkels zwischen einer tatsächlichen Orientierung der Halterung und einer Zielorientierung der Halterung und das Bestimmen des Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern ferner auf der Grundlage des wenigstens einen Winkels.
Gemäß einem Aspekt enthält der wenigstens eine Winkel einen Winkel, um den die Halterung um eine Achse, die durch eine mittlere Kamera der Anordnung von Kameras verläuft und die senkrecht zu einer Ebene ist, in der die Anordnung von Kameras angeordnet ist, gedreht ist.
Gemäß einem Aspekt enthält der wenigstens eine Winkel einen Winkel, um den die Halterung um eine Achse, die durch wenigstens zwei Kameras der Anordnung von Kameras verläuft und die innerhalb einer Ebene angeordnet ist, in der die Anordnung von Kameras angeordnet ist, gedreht ist.
Gemäß einem Aspekt ist die Achse parallel zu wenigstens einer Seite der Halterung.
Gemäß einem Aspekt enthält der wenigstens eine Versatz einen Abstand zwischen einem Mittelpunkt des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der zweiten Mehrzahl von Bildern.
Gemäß einem Aspekt enthält der wenigstens eine Versatz den Abstand in zwei Richtungen, die senkrecht zueinander sind.
Gemäß einem Aspekt enthält das Verfahren ferner das Bestimmen eines Zielorts eines Mittelpunkts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage der wenigstens einen Differenz und das Justieren des Orts des durch die HUD projizierten Bildes auf der Grundlage des wenigstens einen Versatzes in der Weise, dass ein tatsächlicher Ort des Mittelpunkts des virtuellen Bildes in jedem der zweiten Mehrzahl von Bildern an dem Zielort des Mittelpunkts des virtuellen Ziels ist.
Gemäß einem Aspekt erfasst jede Kamera in der Anordnung von Kameras ein Bild in der ersten Mehrzahl von Bildern und ein Bild in der zweiten Mehrzahl von Bildern.
Es wird ein anderes Beispiel eines Verfahrens zum Justieren eines Orts eines durch eine HUD auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes offenbart. Das Verfahren enthält das Anordnen eines physischen Ziels auf der Windschutzscheibe an einem Zielort des projizierten Bildes und das Montieren einer Halterung an einem Lenkrad und/oder an einer Lenksäule, um eine Anordnung von Kameras an der Halterung innerhalb einer möglichen Sichtlinie zwischen Augen eines Fahrers des Fahrzeugs und dem Zielort des projizierten Bildes zu positionieren. Eine Kamera in der Anordnung von Kameras befindet sich in einem Mittelpunkt der Anordnung von Kameras. Ferner enthält das Verfahren das Positionieren der einen Kamera in der Weise, dass ein tatsächlicher Ort des physischen Ziels in einem durch die eine Kamera erfassten Bild an einem Zielort des physischen Ziels in dem erfassten Bild ist, das Erfassen einer ersten Mehrzahl von Bildern des physischen Ziels unter Verwendung der Anordnung von Kameras und das Bestimmen eines ersten Abstands zwischen dem tatsächlichen Ort des physischen Ziels in jedem der ersten Mehrzahl von Bildern und dem Zielort des physischen Ziels in jedem der ersten Mehrzahl von Bildern. Der erste Abstand ist in einer ersten Richtung. Ferner enthält das Verfahren das Bestimmen eines zweiten Abstands zwischen dem tatsächlichen Ort des physischen Ziels in jedem der ersten Mehrzahl von Bildern und dem Zielort des physischen Ziels in jedem der ersten Mehrzahl von Bildern. Der zweite Abstand ist in einer zweiten Richtung, die senkrecht zu der ersten Richtung ist. Ferner enthält das Verfahren das Steuern der HUD zum Anzeigen eines virtuellen Ziels auf der Windschutzscheibe an dem Zielort des projizierten Bildes, das Erfassen einer zweiten Mehrzahl von Bildern des virtuellen Ziels unter Verwendung der Anordnung von Kameras und das Bestimmen eines Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage des ersten und des zweiten Abstands. Ferner enthält das Verfahren das Bestimmen eines ersten Versatzes zwischen einem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern. Der erste Versatz ist in der ersten Richtung. Ferner enthält das Verfahren das Bestimmen eines zweiten Versatzes zwischen dem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern. Der zweite Versatz ist in der zweiten Richtung. Ferner enthält das Verfahren das Justieren des Orts des durch die HUD auf die Windschutzscheibe projizierten Bildes auf der Grundlage des ersten und des zweiten Versatzes.
Gemäß einem Aspekt enthält das Verfahren ferner das Bestimmen eines ersten Winkels, um den die Halterung um eine Achse gedreht ist, die durch eine mittlere Kamera der Anordnung von Kameras verläuft und die senkrecht zu einer Ebene ist, in der die Anordnung von Kameras angeordnet ist, das Bestimmen eines zweiten Winkels, um den die Halterung um eine Achse gedreht ist, die durch wenigstens zwei Kameras der Anordnung von Kameras verläuft und die innerhalb der Ebene angeordnet ist, in der die Anordnung von Kameras angeordnet ist, und das Bestimmen des Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern ferner auf der Grundlage des ersten und des zweiten Winkels.
Ferner wird ein System zum Justieren eines Orts eines durch eine HUD auf eine Windschutzscheibe eines Fahrzeugs projizierten Bildes beschrieben. Das System enthält ein Kamerasteuermodul, ein Kamerafehlausrichtungsmodul, ein HUD-Fehlausrichtungsmodul und ein HUD-Steuermodul. Das Kamerasteuermodul ist dafür konfiguriert, eine Anordnung von Kameras, die innerhalb eines Fahrgastraums des Fahrzeugs angeordnet sind, zum Erfassen einer ersten Mehrzahl von Bildern eines physischen Ziels, das an einem Zielort des projizierten Bildes auf der Windschutzscheibe angeordnet ist, zu steuern und die Anordnung von Kameras zum Erfassen einer zweiten Mehrzahl von Bildern eines virtuellen Ziels, das unter Verwendung der Anordnung von Kameras auf der Windschutzscheibe angezeigt wird, zu steuern. Das Kamerafehlausrichtungsmodul ist dafür konfiguriert, wenigstens eine Differenz zwischen einem tatsächlichen Ort des physischen Ziels in jedem der ersten Mehrzahl von Bildern und einem Zielort des physischen Ziels in jedem der ersten Mehrzahl von Bildern zu bestimmen. Das HUD-Fehlausrichtungsmodul ist dafür konfiguriert, auf der Grundlage der wenigstens einen Differenz einen Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern zu bestimmen und wenigstens einen Versatz zwischen einem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern zu bestimmen. Das HUD-Steuermodul ist dafür konfiguriert, die HUD zum Anzeigen des virtuellen Ziels auf der Windschutzscheibe an dem Zielort des projizierten Bildes zu steuern und den Ort des durch die HUD auf die Windschutzscheibe projizierten Bildes auf der Grundlage des wenigstens einen Versatzes zu justieren.
Gemäß einem Aspekt enthält das System ferner die Anordnung von Kameras und eine Halterung, an der die Anordnung von Kameras befestigt ist. Die Halterung ist dafür konfiguriert, an einer Komponente des Fahrzeugs innerhalb des Fahrgastraums montiert zu werden, um die Anordnung von Kameras innerhalb einer möglichen Sichtlinie zwischen Augen eines Insassen eines Fahrzeugs und dem Zielort des projizierten Bildes auf die Windschutzscheibe zu positionieren.
Gemäß einem Aspekt enthält die wenigstens eine Differenz einen Abstand zwischen einem Mittelpunkt des physischen Ziels in jedem der ersten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der ersten Mehrzahl von Bildern.
Gemäß einem Aspekt ist das Kamerafehlausrichtungsmodul dafür konfiguriert, wenigstens einen Winkel zwischen einer tatsächlichen Orientierung der Anordnung von Kameras und einer Zielorientierung der Anordnung von Kameras zu bestimmen, und ist das HUD-Fehlausrichtungsmodul dafür konfiguriert, den Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage des wenigstens einen Winkels zu bestimmen.
Gemäß einem Aspekt enthält der wenigstens eine Versatz einen Abstand zwischen einem Mittelpunkt des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der zweiten Mehrzahl von Bildern.
Gemäß einem Aspekt ist das HUD-Steuermodul dafür konfiguriert, auf der Grundlage der wenigstens einen Differenz einen Zielort eines Mittelpunkts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern zu bestimmen und den Ort des durch die HUD projizierten Bildes auf der Grundlage des wenigstens einen Versatzes in der Weise zu justieren, dass ein tatsächlicher Ort des Mittelpunkts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern an dem Zielort des Mittelpunkts des virtuellen Ziels ist.
Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der ausführlichen Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur zu Veranschaulichungszwecken bestimmt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:

1 eine perspektivische Ansicht eines beispielhaften Fahrzeugs, das eine Headup-Anzeige (HUD) zum Projizieren von Bildern auf eine Windschutzscheibe des Fahrzeugs enthält, und einer beispielhaften Kamerahalterung, die eine beispielhafte Kameraanordnung gemäß der vorliegenden Offenbarung hält;
2 einen Funktionsblockschaltplan eines beispielhaften Systemsteuermoduls zum Steuern der HUD und der Kameraanordnung zum Justieren eines Orts und einer Verzerrung eines durch die HUD projizierten Bildes gemäß der vorliegenden Offenbarung;
3 einen Ablaufplan eines beispielhaften Verfahrens zum Justieren eines Orts und einer Verzerrung eines durch die HUD projizierten Bildes gemäß der vorliegenden Offenbarung;
4 eine Draufsicht eines beispielhaften physischen Ziels zur Anordnung auf der Windschutzscheibe des Fahrzeugs gemäß der vorliegenden Offenbarung;
5 eine perspektivische Ansicht der Kameraanordnung und eines Bildes des physischen Ziels, das durch eine mittlere Kamera der Kameraanordnung erfasst wird;
6 eine Draufsicht des Bildes aus 5;
7 eine Draufsicht der Kamerahalterung und der Kameraanordnung;
8 eine perspektivische Ansicht der Kameraanordnung und eines durch eine obere mittlere Kamera der Kameraanordnung erfassten Bildes des physischen Ziels;
9 eine Draufsicht des Bildes aus 8;
10 eine perspektivische Ansicht der Kameraanordnung und eines durch eine mittlere rechte Kamera der Kameraanordnung erfassten Bildes des physischen Ziels;
11 eine Draufsicht des Bildes aus 10;
12 eine Draufsicht von Bildern, die durch die Kamera erfasst werden, die sich in dem Mittelpunkt der Kameraanordnung befindet, wenn die Kamerahalterung richtig orientiert ist und wenn die Kamerahalterung um die mittlere Kamera gedreht ist;
13 eine Draufsicht der Kamerahalterung, die eine Achse darstellt, um die die Kamerahalterung gedreht sein kann;
14 eine Seitenansicht der Kamerahalterung, die um die Achse aus 13 gedreht ist;
15 eine Draufsicht der Kamerahalterung, die eine andere Achse darstellt, um die die Kamerahalterung gedreht sein kann;
16 eine Seitenansicht der Kamerahalterung, die um die Achse aus 15 gedreht ist;
17 eine Draufsicht eines virtuellen Ziels für die Projektion auf die Windschutzscheibe des Fahrzeugs gemäß der vorliegenden Offenbarung;
18 eine Draufsicht von Bildern des virtuellen Ziels, die durch die untere rechte Kamera und durch die mittlere Kamera der Kameraanordnung erfasst werden;
19 eine Draufsicht von Bildern des virtuellen Ziels, die durch alle Kameras in der Kameraanordnung erfasst werden.

In den Zeichnungen können Bezugszeichen mehrfach verwendet sein, um ähnliche und/oder gleiche Elemente zu identifizieren.
AUSFÜHRLICHE BESCHREIBUNG
Während der Montage eines Fahrzeugs kann ein Kalibrierungsprozess ausgeführt werden, um den Ort und die Verzerrung eines durch eine HUD auf eine Windschutzscheibe des Fahrzeugs projizierten Bildes zu justieren. Der Kalibrierungsprozess stellt sicher, dass das HUD-Bild in den HUD-Bereich projiziert wird, und korrigiert eine Verzerrung des HUD-Bildes. In einem Beispiel umfasst der Kalibrierungsprozess das Verwenden eines Robotersystems zum genauen Lokalisieren einer Kamera an verschiedenen Orten innerhalb einer Eyebox (d. h. eines Querschnitts einer möglichen Sichtlinie zwischen den Augen des Fahrers und dem HUD-Bereich). Die Kamera erfasst an jedem Ort ein Bild eines durch die HUD projizierten virtuellen Ziels wie etwa einer Anordnung von Punkten. Die durch die Kamera erfassten Bilder werden verwendet, um die horizontale und die vertikale Fehlausrichtung verschiedener Punkte des virtuellen Ziels in dem HUD-Bild relativ zu Zielorten dieser Punkte zu bestimmen. Auf der Grundlage der horizontalen und der vertikalen Fehlausrichtung werden eine oder mehrere Verzerrungskompensationskarten entwickelt und der Ort und die Verzerrung des HUD-Bildes werden unter Verwendung der einen oder mehreren Verzerrungskompensationskarten eingestellt.
Der oben beschriebene HUD-Kalibrierungsprozess erfordert kostspielige Roboter, um die Kamera genau innerhalb der Eyebox anzuordnen, und das Neupositionieren der Kamera an verschiedenen Orten in der Eyebox erhöht die zum Montieren des Fahrzeugs erforderliche Zeitdauer. Ferner kann es nicht ausführbar sein, den Ort und die Verzerrung des durch die HUD projizierten Bildes unter Verwendung des oben beschriebenen HUD-Kalibrierungsprozesses zu justieren, falls eine HUD eines Fahrzeugs im Kundendienst ersetzt wird, da die Roboter, die hierfür erforderlich sind, nicht verfügbar sein können. Zum Beispiel ist es unwahrscheinlich, dass ein Fahrzeughändler Robotersysteme besitzt, die in der Lage sind, eine Kamera an verschiedenen Positionen in der Eyebox genau anzuordnen, um den oben beschriebenen HUD-Kalibrierungsprozess auszuführen.
Um dieses Problem zu behandeln, justiert ein Verfahren gemäß der vorliegenden Offenbarung den Ort und die Verzerrung eines durch eine HUD projizierten Bildes ohne die Notwendigkeit, eine Kamera an verschiedenen Positionen in der Eyebox genau örtlich festzulegen. Stattdessen umfasst das Verfahren das Montieren einer Halterung an einer Komponente in einem Fahrgastraum des Fahrzeugs wie etwa an einem Lenkrad und/oder an einer Lenksäule, um eine Kameraanordnung an der Halterung in der Eyebox näherungsweise örtlich festzulegen. Daraufhin wird in dem HUD-Bereich ein physisches Ziel wie etwa ein Klebezettel mit einem Rechteck und einem Punkt oder einem Fadenkreuz in dem Mittelpunkt des Rechtecks angeordnet und erfasst jede Kamera in der Kameraanordnung ein Bild des physischen Ziels.
Der eine bzw. die mehreren Zielorte eines oder mehrerer Punkte des physischen Ziels in dem durch jede Kamera erfassten Bild werden auf der Grundlage räumlicher Beziehungen zwischen den Kameras in der Kameraanordnung und zwischen der Kameraanordnung und dem physischen Ziel bestimmt. Außerdem können das Blickfeld und/oder die Winkelfehlausrichtung der Kameras in der Kameraanordnung verwendet werden, um den einen bzw. die mehreren Zielorte zu bestimmen. In einem Beispiel sind die Sichtlinien der Kameras in der Kameraanordnung zueinander parallel und sind die räumlichen Beziehungen bekannt. Daraufhin wird auf der Grundlage der Abstände zwischen dem einen bzw. den mehreren Zielorten des bzw. der Punkte auf dem physischen Ziel und dem einen bzw. den mehreren Orten des bzw. der Punkte in dem HUD-Bild die horizontale und die vertikale Fehlausrichtung der Kameraanordnung von dem Mittelpunkt der Eyebox bestimmt.
Daraufhin wird die HUD zum Anzeigen des virtuellen Ziels auf der Windschutzscheibe gesteuert und erfasst jede Kamera in der Kameraanordnung ein Bild des virtuellen Ziels. Die durch die Kameras erfassten Bilder werden verwendet, um die horizontalen und vertikalen Fehlausrichtungen verschiedener Punkte auf dem virtuellen Ziel in dem HUD-Bild relativ zu Zielorten dieser Punkte zu bestimmen. Wenn die Zielorte dieser Punkte bestimmt werden, wird die Kamerafehlausrichtung berücksichtigt. Auf der Grundlage der horizontalen und vertikalen Fehlausrichtung werden eine bzw. mehrere Verzerrungskompensationskarten entwickelt und der Ort und die Verzerrung des HUD-Bildes werden unter Verwendung der einen bzw. mehreren Verzerrungskompensationskarten eingestellt.
Die Bestimmung der Fehlausrichtung der Kameraanordnungshalterung und die Bestimmung von Zielorten verschiedener Punkte auf dem virtuellen Ziel in dem HUD-Bild auf der Grundlage der Kamerafehlausrichtung ermöglichen, dass das Verfahren die HUD kalibriert, ohne eine Kameraanordnungshalterung genau örtlich festzulegen. Somit spart das Verfahren relativ zu HUD-Kalibrierungsprozessen, die die Verwendung eines Robotersystems erfordern, um eine Kamera an verschiedenen Orten in einer Eyebox genau örtlich festzulegen, Zeit in der Fertigungsstraße. Außerdem kann das Verfahren durch einen Fahrzeughändler ausgeführt werden, um den Ort und die Verzerrung des durch die HUD projizierten Bildes zu justieren, falls eine HUD eines Fahrzeugs im Kundendienst ersetzt wird.
Nun anhand von 1 enthält ein Fahrzeug 10 eine Karosseriestruktur 12 und eine Windschutzscheibe 14, die einen Fahrgastraum 16 des Fahrzeugs 10 einschließen. Außerdem enthält das Fahrzeug 10 ein Armaturenbrett 18, das an der Karosseriestruktur 12 angebracht ist, und eine Headup-Anzeige (HUD) 20, die ein Bild 22 auf die Windschutzscheibe 14 projiziert. Diejenige Fläche der Windschutzscheibe 14, wo die HUD 20 das Bild 22 projiziert, wird als ein HUD-Bereich 24 bezeichnet. In 1 ist der HUD-Bereich 24 als mit einem rechteckigen Umfang gezeigt. Ferner enthält das Fahrzeug 10 ein Lenkrad 26, eine Lenksäule 28 und ein Systemsteuermodul 30. Die Lenksäule 28 verbindet das Lenkrad 26 mit einem Lenkmechanismus (nicht gezeigt) des Fahrzeugs 10.
Das Systemsteuermodul 30 steuert die HUD 20, um Bilder wie etwa das Bild 22 auf den HUD-Bereich 24 der Windschutzscheibe 14 zu projizieren. Die durch die HUD 20 projizierten Bilder können Text, Symbole und/oder Anzeigeinstrumente enthalten. Das Systemsteuermodul 30 kann den Inhalt der durch die HUD 20 zu projizierenden Bilder und/oder den Ort und die Verzerrung der durch die HUD 20 zu projizierenden Bilder steuern.
Außerdem stellen 1 und 7 eine Kamerahalterung 32 und eine Kameraanordnung 34 dar. Die Kamerahalterung 32 und die Kameraanordnung 34 können nur verwendet werden, um das durch die HUD 20 projizierte Bild 22 zu projizieren, und brauchen kein Teil des Fahrzeugs 10 zu sein. In dem gezeigten Beispiel ist die Kameraanordnung 34 eine rechteckige Anordnung von neun Kameras. Die neun Kameras enthalten eine obere linke Kamera 1, eine obere mittlere Kamera 2, eine obere rechte Kamera 3, eine mittlere linke Kamera 4, eine mittlere Kamera 5, eine mittle rechte Kamera 6, eine untere linke Kamera 7, eine untere mittlere Kamera 8 und eine untere rechte Kamera 9. Gemäß anderen Beispielen kann die Kameraanordnung 34 zusätzliche oder weniger Kameras als neun enthalten. Zum Beispiel können die Kameras 2, 4, 6 und 8 weggelassen sein. Zusätzlich oder alternativ kann die Kameraanordnung 34 in anderen Formen als einem Rechteck angeordnet sein.
Die Kamerahalterung 32 enthält horizontale Klammern 36 und vertikale Klammern 38. Die vertikalen und die horizontalen Klammern 36 und 38 bilden oder umfassen zusammen einen Rahmen der Kamerahalterung 32. Die Kameras in der Kameraanordnung 34 sind z. B. unter Verwendung von Befestigungselementen, die die Kameras an den vertikalen und horizontalen Klammern 36 und 38 der Kamerahalterung 32 befestigen, an der Kamerahalterung 32 befestigt. Die Kamerahalterung 32 kann z. B. unter Verwendung von Befestigungsarmen (nicht gezeigt) an dem Lenkrad 26 und/oder an der Lenksäule 28 montiert werden. Jeder Befestigungsarm kann an einem distalen Ende davon einen Ring enthalten, der dafür konfiguriert ist, ein Segment des Lenkrads 26 oder der Lenksäule 28 aufzunehmen und um das Lenkrad 26 oder um die Lenksäule 28 angezogen zu werden. Die Befestigungsarme können Teil der Kamerahalterung 32 sein.
1 zeigt die Kameraanordnung 34, die durch einen erheblichen Abstand über dem Lenkrad 26 und der Lenksäule 28 beabstandet ist. Wenn die Kameraanordnung 34 an dem Lenkrad 26 und/oder an der Lenksäule 28 montiert wäre, wäre der Abstand, um den die Kameraanordnung 34 über dem Lenkrad 26 und der Lenksäule 28 beabstandet ist, wahrscheinlich kleiner, als der in 1 gezeigte. In einem Beispiel ist die Kameraanordnung 34 innerhalb einer möglichen Sichtlinie zwischen den Augen eines Fahrers des Fahrzeugs 10 und dem HUD-Bereich 24 positioniert, wenn die Kamerahalterung 32 die Kameraanordnung 34 an dem Lenkrad 26 und an der Lenksäule 28 montiert. Ein Querschnitt dieser möglichen Sichtlinie kann als eine Eyebox bezeichnet werden, wobei die Kamerahalterung 32 justierbar sein kann, um die Kameraanordnung 34 innerhalb der Eyebox zu positionieren, und die Größe der Kameraanordnung 34 gleich der Größe der Eyebox sein kann. Die ideale Positionierung der Kameraanordnung 34 ist, die Kamera 5 auf den Mittelpunkt der Eyebox auszurichten.
Um den Ort und die Verzerrung von durch die HUD 20 projizierten Bildern zu justieren, kann ein Kalibrierungsprozess ausgeführt werden. Während des Kalibrierungsprozesses steuert das Systemsteuermodul 30 die Kameras der Kameraanordnung 34 zum Erfassen von Bildern eines physischen Ziels 90 (4), das auf dem HUD-Bereich 24 der Windschutzscheibe 14 angeordnet ist. Das Systemsteuermodul 30 charakterisiert die Fehlausrichtung jeder Kamera in der Kameraanordnung 34 auf der Grundlage der Position des physischen Ziels in jedem Bild relativ zu einer Zielposition. Daraufhin steuert das Systemsteuermodul 30 die HUD 20 zum Projizieren eines Bildes eines virtuellen Ziels 150 (17) auf den HUD-Bereich 24 der Windschutzscheibe 14 und steuert es die Kameras der Kameraanordnung 34 zum Erfassen von Bildern des virtuellen Ziels 150. Das Systemsteuermodul 30 charakterisiert die Fehlausrichtung der HUD 20 oder des durch die HUD 20 projizierten Bildes auf der Grundlage (i) der Position des virtuellen Ziels 150 in jedem Bild relativ zu einer Zielposition und (ii) der Kamerafehlausrichtungen.
Daraufhin justiert das Systemsteuermodul 30 den Ort und die Verzerrung der durch die HUD 20 projizierten Bilder, um die HUD-Fehlausrichtung zu korrigieren.
Nun anhand von 4 enthält ein Beispiel des physischen Ziels 90 ein Rechteck 92, ein Fadenkreuz 94, eine horizontale Mittellinie 96 und eine vertikale Mittellinie 98. Das physische Ziel 90 kann ein Klebezettel sein, der mit Ausnahme des Rechtecks 92, des Fadenkreuzes 94, der horizontalen Mittellinie 96 und der vertikalen Mittellinie 98 durchsichtig ist. Das physische Ziel 90 kann in der Weise bemessen und geformt sein, dass es den gesamten HUD-Bereich 24 bedeckt.
Nun anhand von 17 enthält ein Beispiel des virtuellen Ziels 150 eine horizontale Mittellinie 152 und eine vertikale Mittellinie 154, ein mittleres Quadrat 156 bei dem Schnittpunkt der horizontalen und der vertikalen Mittellinie 152 und 154 und eine Anordnung oder ein Gitter kreisförmiger Punkte 158. Das mittlere Quadrat 156 und die kreisförmigen Punkte 158 können als Punkte bezeichnet werden. Die Punkte können wie gezeigt in regelmäßigen Abständen entlang der horizontalen und der vertikalen Mittellinie 152 und 154 voneinander beabstandet sein. Obwohl das in 17 gezeigte virtuelle Ziel 150 einundzwanzig Punkte enthält, kann die Anzahl der in dem virtuellen Ziel 150 enthaltenen Punkte größer oder kleiner als einundzwanzig sein. Zum Beispiel kann das virtuelle Ziel siebenundzwanzig Punkte enthalten. Das virtuelle Ziel 150 kann in der Weise bemessen und geformt sein, dass es den gesamten HUD-Bereich 24 bedeckt.
Nun anhand von 2 enthält eine beispielhafte Implementierung des Systemsteuermoduls 30 ein HUD-Steuermodul 40, ein Kamerasteuermodul 42, ein Kamerafehlausrichtungsmodul 44 und ein HUD-Fehlausrichtungsmodul 46. Das HUD-Steuermodul 40 steuert die HUD 20 zum Projizieren von Bildern wie etwa des Bildes 22 auf den HUD-Bereich 24 der Windschutzscheibe 14. Das HUD-Steuermodul 40 steuert den Inhalt, den Ort und die Verzerrung der durch die HUD 20 projizierten Bilder. Außerdem steuert das HUD-Steuermodul 40 das virtuelle Ziel 150 und steuert es während des Kalibrierungsprozesses die HUD 20 zum Projizieren eines Bildes des virtuellen Ziels 150 (17). Das HUD-Steuermodul 40 gibt an das Kamerasteuermodul 42 ein Signal aus, das angibt, wann die HUD 20 das Bild des virtuellen Ziels 150 projiziert.
Das Kamerasteuermodul 42 steuert die Kameras in der Kameraanordnung 34 zum Erfassen von Bildern. Während des Kalibrierungsprozesses steuert das Kamerasteuermodul 42 jede Kamera in der Kameraanordnung 34 zum Erfassen eines Bildes des physischen Ziels 90, wenn das physische Ziel 90 auf dem HUD-Bereich 24 angeordnet ist. Das Kamerasteuermodul 42 kann auf der Grundlage einer Eingabe von einer Benutzerschnittstellenvorrichtung (nicht gezeigt), die Teil des Fahrzeugs 10 oder der Kamerahalterung 32 sein kann, bestimmen, wann das physische Ziel 90 auf dem HUD-Bereich 24 angeordnet ist. Das Kamerasteuermodul 42 gibt die Bilder des physischen Ziels 90 an das Kamerafehlausrichtungsmodul 44 aus.
Außerdem steuert das Kamerasteuermodul 42 während des Kalibrierungsprozesses jede Kamera in der Kameraanordnung 34 zum Erfassen eines Bildes des virtuellen Ziels 150, wenn das virtuelle Ziel 150 auf dem HUD-Bereich 24 angeordnet ist. Das Kamerasteuermodul 42 kann auf der Grundlage einer Eingabe von dem HUD-Steuermodul 40 (z. B. des durch das HUD-Steuermodul 40 ausgegebenen Signals) bestimmen, wann das virtuelle Ziel 150 auf dem HUD-Bereich 24 angezeigt ist. Das Kamerasteuermodul 42 gibt die Bilder des virtuellen Ziels 150 an das HUD-Fehlausrichtungsmodul 46 aus.
Das Kamerafehlausrichtungsmodul 44 charakterisiert auf der Grundlage der Position des physischen Ziels in dem durch die jeweilige Kamera der Kameraanordnung 34 erfassten Bild relativ zu einer Zielposition die Fehlausrichtung jeder Kamera in der Kameraanordnung 34. In dem Beispiel bestimmt das Kamerafehlausrichtungsmodul 44 den horizontalen und den vertikalen Abstand zwischen dem Mittelpunkt des physischen Ziels 90 in dem durch jede Kamera der Kameraanordnung 34 erfassten Bild und den Mittelpunkt des Bildes. Der Mittelpunkt des Bildes kann ein vorgegebener Pixelort (z. B. der Ort des Pixels in dem Mittelpunkt der Breite des Bildes und in dem Mittelpunkt der Höhe des Bilds) sein. Das Kamerafehlausrichtungsmodul 44 kann den Pixelort des Mittelpunkts des physischen Ziels 90 in dem erfassten Bild durch Identifizieren des Pixelorts, an dem sich die zwei Linien des Fadenkreuzes 94 schneiden, bestimmen. Das Kamerafehlausrichtungsmodul 44 gibt Parameter wie etwa den horizontalen und den vertikalen Abstand, die die Fehlausrichtung der Kameraanordnung 34 von der erwarteten Position in der Eyebox angeben, aus.
Das HUD-Fehlausrichtungsmodul 46 charakterisiert die Fehlausrichtung der HUD 20 oder des durch die HUD 20 projizierten Bildes auf der Grundlage (i) der Position des vertikalen Ziels 150 in jedem Bild relativ zu einer Zielposition und (ii) der Kamerafehlausrichtungen. In einem Beispiel bestimmt das Kamerafehlausrichtungsmodul 44 den horizontalen und den vertikalen Versatz zwischen dem Mittelpunkt des virtuellen Ziels 150 in dem durch jede Kamera der Kameraanordnung 34 erfassten Bild und dem Mittelpunkt des Bildes. Das HUD-Fehlausrichtungsmodul 46 kann den Pixelort des Mittelpunkts des virtuellen Ziels 150 in dem erfassten Bild durch Identifizieren des Orts des Pixels in dem Mittelpunkt des mittleren Quadrats 156 bestimmen. Das HUD-Fehlausrichtungsmodul 46 gibt Parameter wie etwa den horizontalen und den vertikalen Versatz aus, die die Fehlausrichtung der HUD 20 oder des durch die HUD 20 projizierten Bildes angeben.
Nun anhand von 3 beginnt ein beispielhaftes Verfahren zum Justieren des Orts und der Verzerrung von durch die HUD 20 auf die Windschutzscheibe 14 des Fahrzeugs 10 projizierten Bildern bei 50. Das Verfahren ist in dem Kontext der Module aus 2 beschrieben. Allerdings können die bestimmten Module, die die Schritte des Verfahrens ausführen, von den im Folgenden erwähnten Modulen verschieden sein und/oder können ein oder mehrere Schritte des Verfahrens in anderen als den Modulen aus 2 implementiert werden.
Bei 52 ordnet eine Person oder ein Roboterarm das physische Ziel 90 an einem Zielort der durch die HUD 20 (z. B. bei dem HUD-Bereich 24) projizierten Bildern auf der Windschutzscheibe 14 an. In einem Beispiel ist das physische Ziel 90 ein Teil eines größeren Overlays mit einem Außenumfang, der in der Weise bemessen und geformt ist, dass er an den Außenumfang der Windschutzscheibe 14 angepasst ist, und das, wenn es auf der Windschutzscheibe 14 angeordnet wird, an der Windschutzscheibe 14 haftet. Somit befindet sich das physische Ziel 90 in dem HUD-Bereich 24, wenn das Overlay in der Weise auf der Windschutzscheibe 14 angeordnet ist, dass der Außenumfang des Overlays auf den Außenumfang der Windschutzscheibe 14 ausgerichtet ist.
Bei 54 senkt eine Person oder ein Roboterarm die Lenksäule 28 auf das maximal mögliche Ausmaß ab und fährt sie aus. Dies stellt sicher, dass die Lenksäule 28 während des Kalibrierungsprozesses in einer bekannten Position ist. In einem Beispiel ist die Kamerahalterung 32 in der Weise ausgelegt, dass sich die Kameraanordnung 34 in der Eyebox befindet, wenn die Lenksäule 28 in der bekannten Position ist und wenn die Kamerahalterung 32 an dem Lenkrad 26 und an der Lenksäule 28 montiert ist. Die ideale Positionierung der Kameraanordnung 34 ist, die Kamera 5 auf den Mittelpunkt der Eyebox auszurichten.
Bei 56 montiert eine Person oder ein Roboterarm die Kamerahalterung 32 an dem Lenkrad 26 und an der Lenksäule 28. Dabei kann die Person oder der Roboterarm die Kameraanordnung 34 innerhalb einer möglichen Sichtlinie zwischen den Augen des Fahrers des Fahrzeugs 10 und dem HUD-Bereich 24 (z. B. in der Eyebox) positionieren. Da das Verfahren eine Fehlausrichtung der Kameras beim Zugreifen auf und Korrigieren des Orts und der Verzerrung der durch die HUD 20 projizierten Bilder berücksichtigt, brauchen sich die Kameras in der Kameraanordnung 34 aber nicht genau in der Eyebox zu befinden.
Bei 58 verbindet eine Person oder ein Roboterarm die Kameraanordnung 34 mit einem Borddiagnoseanschluss (OBD-Anschluss) (nicht gezeigt) des Fahrzeugs 10. In einem Beispiel enthält die Kameraanordnung 34 ein Kabel, das den Kameras der Kameraanordnung 34 Leistung zuführt und durch die Kameras erfasste Bilder an das Kamerasteuermodul 42 sendet, wenn es mit dem OBD-Anschluss des Fahrzeugs 10 verbunden ist. Außerdem kann das HUD-Steuermodul 40 die HUD 20 in einer Kalibrierungsbetriebsart anordnen, wenn die Kameraanordnung 34 mit dem OBD-Anschluss des Fahrzeugs 10 verbunden ist.
Bei 60 richtet eine Person oder ein Roboterarm die mittlere Kamera 5 der Kameraanordnung 34 manuell auf das physische Ziel 90 aus. Zum Beispiel kann die Kamerahalterung 32, kurz anhand von 5 und 6, neu positioniert werden, bis sich der Mittelpunkt des physischen Ziels 90 in dem Bild 100 in dem Mittelpunkt des Bildes 100 befindet, während die mittlere Kamera 5 ein Bild 100 des physischen Ziels 90 erfasst. Der Mittelpunkt des physischen Ziels 90 kann derjenige Ort sein, an dem sich die zwei Linien des Fadenkreuzes 94 schneiden. Der Mittelpunkt des Bildes 100 kann derjenige Ort sein, an dem eine horizontale Mittellinie 102 des Bildes 100 eine vertikale Mittellinie 104 des Bildes 100 schneidet.
Die Dimension des Bildes 100 entlang der horizontalen Mittellinie102 ist seine Breite und die Dimension des Bildes 100 entlang der vertikalen Mittellinie 104 ist seine Höhe. Das Bild 100 bezeichnet den Flächenbereich, der auf den Pixeln einer Kamera erfasst werden kann. Jede Kamera in der Kameraanordnung 34 weist eine mittlere Sichtlinie 106 und ein Blickfeld, das durch einen Winkel 108 und durch einen Winkel 110 charakterisiert ist, auf. Der Winkel 108 ist ein Winkel θx zwischen der mittleren Sichtlinie 106 und einer äußersten Sichtlinie 112 in der horizontalen Richtung (d. h. in der Richtung entlang der horizontalen Mittellinie 102).
Der Winkel 110 ist ein Winkel θy zwischen der mittleren Sichtlinie 106 und einer äußersten Sichtlinie 114 in der vertikalen Richtung (d. h. in der Richtung entlang der vertikalen Mittellinie 104).
Das Bild 100 kann durch eine Kamera mit M Pixeln entlang ihrer Breite und N Pixeln entlang ihrer Höhe erfasst werden, wobei M und N ganze Zahlen größer als eins sind. Somit kann die Gesamtzahl der Pixel in dem Bild 100 gleich einem Produkt von M und N sein und kann der Mittelpunkt des Bildes 100 bei dem (M/2)-ten Pixel in der horizontalen Richtung und bei dem (N/2)-ten Pixel in der vertikalen Richtung sein. Außerdem entspricht die Breite des Bildes 100 einem Abstand 2Dtanθx und entspricht die Höhe des Bildes 100 einem Abstand 2Dtanθy, falls sich die mittlere Kamera 5 in einem Abstand D von dem physischen Ziel 90 befindet.
Wieder anhand von 3 steuert das Kamerasteuermodul 42 bei 62 jede Kamera in der Kameraanordnung 34 zum Erfassen eines Bildes des physischen Ziels 90. Zum Beispiel erfasst die Kameraanordnung 34 neun Bilder des physischen Ziels 90, wobei jede Kamera in der Kameraanordnung 34 eines der neun Bilder erfasst, falls die Kameraanordnung 34, wie in 1 und 7 gezeigt ist, neun Kameras enthält.
Bei 64 berechnet das Kamerafehlausrichtungsmodul 44 Parameter (z. B. Δx, Δy, Δθ und Δφ), um die Fehlausrichtung der Kamerahalterung 32 und/oder der Kameraanordnung 34 zu charakterisieren. Das Kamerafehlausrichtungsmodul 44 berechnet für jede Kamera in der Kameraanordnung 34 einen Abstand zwischen einem tatsächlichen Ort des physischen Ziels 90 in dem durch die Kamera erfassten Bild und einem Zielort des physischen Ziels 90 in dem Bild. Der Zielort des physischen Ziels 90 in dem durch die mittlere Kamera 5 erfassten Bild kann in dem Mittelpunkt des Bildes sein. Der Zielort des physischen Ziels 90 in dem durch jede der anderen Kameras in der Kameraanordnung 34 erfassten Bild kann auf der Grundlage der räumlichen Beziehungen zwischen den Kameras und dem physischen Ziel 90 und dem Blickfeld der Kameras bestimmt werden.
Kurz anhand von 8 und 9 kann die obere mittlere Kamera 2 in einem Beispiel ein Bild 120 des physischen Ziels 90 erfassen und kann das Bild 120 eine horizontale Mittellinie 122 und eine vertikale Mittellinie 124 aufweisen. Da sich die obere mittlere Kamera 2 über der mittleren Kamera 5 befindet, kann der Mittelpunkt des physischen Ziels 90 in dem Bild 120 relativ zu einem Mittelpunkt 126 des Bildes 120 wie gezeigt nach unten verschoben sein. Somit kann das Kamerafehlausrichtungsmodul 44 einen vertikalen Abstand 128 zwischen dem Mittelpunkt des physischen Ziels 90 in dem Bild 120 und dem Mittelpunkt 126 des Bildes 120 bestimmen. Das Kamerafehlausrichtungsmodul 44 kann den vertikalen Abstand 128 unter Verwendung einer Beziehung wie etwa $d n = \frac{- d y}{2 D t a n θ_{y}} N$
bestimmen, wobei dn der vertikale Abstand 128 ist, dy der vertikale Abstand zwischen den Kameras 2 und 5 ist, D der Abstand zwischen der Kameraanordnung 34 und dem physischen Ziel 90 ist, θy der Blickfeldwinkel 110 ist und N die Anzahl von Pixeln in dem Bild 120 entlang der Höhe des Bildes 120 ist.
Kurz anhand von 10 und 11 kann die mittlere rechte Kamera 6 in einem anderen Beispiel ein Bild 130 des physischen Ziels 90 erfassen und kann das Bild 130 eine horizontale Mittellinie 132 und eine vertikale Mittellinie 134 aufweisen. Da sich die mittlere rechte Kamera 6 rechts von der mittleren Kamera 5 befindet, kann der Mittelpunkt des physischen Ziels 90 in dem Bild 130 relativ zu einem Mittelpunkt 136 des Bildes 130 wie gezeigt nach links verschoben sein. Somit kann das Kamerafehlausrichtungsmodul 44 einen horizontalen Abstand 138 zwischen dem Mittelpunkt des physischen Ziels 90 in dem Bild 130 und dem Mittelpunkt 136 des Bildes 130 bestimmen. Das Kamerafehlausrichtungsmodul 44 kann den horizontalen Abstand 138 unter Verwendung einer Beziehung wie etwa $d m = \frac{- d x}{2 D t a n θ_{x}} M$
bestimmen, wobei dm der horizontale Abstand 138 ist, dx der horizontale Abstand zwischen den Kameras 5 und 6 ist, D der Abstand zwischen der Kameraanordnung 34 und dem physischen Ziel 90 ist, θx der Blickfeldwinkel 108 ist und M die Anzahl von Pixeln in dem Bild 120 entlang der Breite des Bildes 120 ist.
Wieder anhand von 7 kann das Kamerafehlausrichtungsmodul 44 Beziehungen wie etwa (1) und (2) verwenden, um zu bestimmen, wo irgendein gegebener Punkt in dem durch die mittlere Kamera 5 erfassten Bild in den durch die anderen Kameras in der Kameraanordnung 34 erfassten Bildern sein sollte. In einem Beispiel sind die Kameras in der Kameraanordnung 34 durch den horizontalen und durch den vertikalen Abstand dx und dy voneinander beabstandet und ist ein Punkt in dem durch die mittlere Kamera 5 erfassten Bild bei einer Koordinate (m, n). Somit ist die obere linke Kamera 1 bei einer Koordinate (-dx, dy), ist die obere mittlere Kamera 2 bei einer Koordinate (0, dy), ist die obere rechte Kamera 3 bei einer Koordinate (dx, dy), ist die mittlere linke Kamera 4 bei einer Koordinate (-dx, 0) ist die mittlere rechte Kamera 6 bei einer Koordinate (0, dy), ist die untere linke Kamera 7 bei einer Koordinate (-dx, -dy), ist die untere mittlere Kamera 8 bei einer Koordinate (0, -dy) und ist die untere rechte Kamera 9 bei einer Koordinate (dx, -dy). Außerdem ist derselbe Punkt in dem durch die obere linke Kamera 1 erfassten Bild bei einer Koordinate $(m + \frac{d x}{2 D t a n θ_{x}} M, n + \frac{- d y}{2 D t a n θ_{y}} N),$
ist derselbe Punkt in dem durch die obere mittlere Kamera 2 erfassten Bild bei einer Koordinate $(m,n + \frac{- d y}{2 D t a n θ_{y}} N),$

ist derselbe Punkt in dem durch die mittlere linke Kamera 4 erfassten Bild bei einer Koordinate $(m + \frac{d x}{2 D t a n θ_{x}} M, n),$
ist derselbe Punkt in dem durch die mittlere rechte Kamera 6 erfassten Bild bei einer Koordinate $(m + \frac{- d x}{2 D t a n θ_{x}} M, n),$
ist derselbe Punkt in dem durch die untere linke Kamera 7 erfassten Bild bei einer Koordinate $(m + \frac{- d x}{2 D t a n θ_{x}} M, n + \frac{d y}{2 D t a n θ_{y}} N),$
ist derselbe Punkt in dem durch die untere mittlere Kamera 8 erfassten Bild bei einer Koordinate $(m, n + \frac{d y}{2 D t a n θ_{y}} N)$
und ist derselbe Punkt in dem durch die untere rechte Kamera 9 erfassten Bild bei einer Koordinate $(m + \frac{- d x}{2 D t a n θ_{x}} M, n + \frac{d y}{2 D t a n θ_{y}} N) .$
Bei den Koordinaten in dem oben beschriebenen Beispiel ist angenommen, dass die Kameras in der Kameraanordnung 34 genau durch die vertikalen und horizontalen Abstände dx und dy voneinander beabstandet sind. Somit repräsentiert für irgendeinen Punkt in dem durch die mittlere Kamera 5 erfassten Bild mit einer Koordinate (m, n) die Koordinate desselben Punkts in jedem der anderen Bilder wie oben dargelegt den Zielort desselben Punkts in den anderen Bildern. Zum Beispiel ist der Zielort desselben Punkts in dem durch die obere linke Kamera 1 erfassten Bild bei einer Koordinate $(m + \frac{d x}{2 D t a n θ_{x}} M, n + \frac{- d y}{2 D t a n θ_{y}} N) .$
Allerdings kann der tatsächliche Ort desselben Punkts wegen einer Kameraanordnungsfehlausrichtung von dem Mittelpunkt der Eyebox bei $(m + \frac{d x}{2 D t a n θ_{x}} M + Δ x, n + \frac{- d y}{2 D t a n θ_{y}} N + Δ y)$
erscheinen, wobei Δx und Δy der horizontale und der vertikale Abstand zwischen dem tatsächlichen und dem Zielort des Punkts in dem Bild sind. Das Kamerafehlausrichtungsmodul 44 kann Δx und Δy für einen oder mehrere Punkte an dem physischen Ziel 90 (z. B. dem Mittelpunkt davon) bestimmen, um die horizontale und die vertikale Fehlausrichtung der Kameraanordnung 34 von dem Mittelpunkt der Eyebox zu charakterisieren.
Außerdem kann das Kamerafehlausrichtungsmodul 44 Parameter zum Charakterisieren der Winkelfehlausrichtung der Kamerahalterung 32 und/oder der Kameraanordnung 34 berechnen. Zum Beispiel kann das Kamerafehlausrichtungsmodul 44 einen Winkel zwischen einer tatsächlichen Orientierung der Kamerahalterung 32 und/oder der Kameraanordnung 34 und einer Zielorientierung der Kamerahalterung 32 und/oder der Kameraanordnung 34 bestimmen. Daraufhin kann das Kamerafehlausrichtungsmodul 44 auf der Grundlage des Winkels den Zielort eines Punkts auf dem physischen Ziel 90 in dem durch jede Kamera in der Kameraanordnung 34 erfassten Bild bestimmen und den horizontalen und den vertikalen Abstand zwischen dem Zielort des Punkts und einem tatsächlichen Ort des Punkts bestimmen.
Kurz anhand von 12 kann die Kamerahalterung 32 in einem Beispiel wegen eines Einbaufehlers um einen Winkel 140 um eine Achse, die durch die mittlere Kamera 5 und senkrecht zu der Ebene der Kamera 34 (z. B. senkrecht zu der Seite) verläuft, entgegen der Uhrzeigerrichtung gedreht sein. Wegen dieser Drehung kann sich die Koordinate eines Punkts in dem durch die mittlere Kamera 5 erfassten Bild von (m, n) auf (m', n') ändern, wobei $[\begin{matrix} m' \\ n' \end{matrix}] = [\begin{matrix} cos θ & sin θ \\ - sin θ & cos θ \end{matrix}] [\begin{matrix} m \\ n \end{matrix}]$
ist und θ der Winkel 140 ist. Das Kamerafehlausrichtungsmodul 44 kann den Winkel 140 auf der Grundlage der Orientierung eines oder mehrerer Ränder des physischen Ziels 90 in einem oder mehreren der durch die Kameras in der Kameraanordnung 34 erfassten Bilder bestimmen. Zum Beispiel kann das Kamerafehlausrichtungsmodul 44 annehmen, dass der Winkel 140 gleich dem Winkel zwischen einer horizontalen Linie des physischen Ziels 90 in dem durch die mittlere Kamera 5 erfassten Bild und einem horizontalen Rand des Bildes ist.
Außerdem kann die neue Koordinate desselben Punkts in dem durch die mittlere rechte Kamera 6 erfassten Bild unter Verwendung der folgenden Beziehung bestimmt werden: $[\begin{matrix} cos θ & - sin θ \\ sin θ & cos θ \end{matrix}] [\begin{matrix} d x \\ 0 \end{matrix}] = [\begin{matrix} d x cos θ \\ d x sin θ \end{matrix}],$
wobei dx der Abstand zwischen der mittleren Kamera 5 und der mittleren rechten Kamera 6 entlang der horizontalen Klammer 36, die die Kameras 5, 6 miteinander verbindet, ist. Falls das Blickfeld der mittleren Kamera 5 gerade ist, das Blickfeld der mittleren rechten Kamera 6 gerade ist und der Mittelpunkt des durch die mittlere Kamera 5 erfassten Bildes bei einer Koordinate (m, n) war, wäre die Koordinate desselben Punkts in dem durch die mittlere rechte Kamera 6 erfassten Bild $(m + \frac{- d x c o s θ}{2 D t a n θ_{x}} M, n + \frac{- d x c o s θ}{2 D t a n θ_{y}} N) .$
Allerdings ist die mittlere rechte Kamera 6 tatsächlich um den Winkel 140 (d. h. um θ) gedreht. Somit kann die Koordinate (m', n') desselben Punkts in dem durch die mittlere rechte Kamera 6 erfassten Bild unter Verwendung der folgenden Beziehung bestimmt werden: ${[\begin{matrix} m' \\ n' \end{matrix}]}_{K a m e r a 6} = [\begin{matrix} cos θ & - sin θ \\ sin θ & cos θ \end{matrix}] [\begin{matrix} x cos θ \\ d x sin θ \end{matrix}] .$
Bei den Koordinaten in dem oben beschriebenen Beispiel ist angenommen, dass die Kameras in der Kameraanordnung 34 genau durch den vertikalen und durch den horizontalen Abstand dx und dy voneinander beabstandet sind. Somit repräsentiert die Koordinate desselben Punkts, die oben für jedes der anderen Bilder dargelegt ist, für irgendeinen Punkt in dem durch die mittlere Kamera 5 erfassten Bild mit einer Koordinate (m', n') den Zielort desselben Punkts in den anderen Bildern. Zum Beispiel ist der andere Zielort desselben Punkts in dem durch die mittlere rechte Kamera 6 erfassten Bild bei der durch die Beziehung (5) definierten Koordinate. Allerdings können sich der tatsächliche Ort und der Zielort desselben Punkts in dem durch die mittlere rechte Kamera 6 erfassten Bild um einen horizontalen und einen vertikalen Abstand Δx und Δy unterscheiden. Das Kamerafehlausrichtungsmodul 44 kann Δx und Δy für einen oder mehrere Punkte auf dem physischen Ziel 90 (z. B. dem Mittelpunkt davon) bestimmen, um die horizontale und die vertikale Fehlausrichtung der Kamera in der Kameraanordnung 34 zu charakterisieren.
Kurz anhand von 13 und 14 kann die Kamerahalterung 32 in einem anderen Beispiel wegen einer ungenauen Ausrichtung der Kamerahalterung/Kameraanordnung 32/34, wie in 13 gezeigt ist, um einen Winkel 142 um eine Achse 144, die durch die Kameras 2, 5 und 8 verläuft und die innerhalb der Ebene der Kameraanordnung 34 angeordnet ist, gedreht sein. Wie in 14 gezeigt ist, ist die Kamerahalterung 32 außerdem ebenfalls um den Winkel 142 um eine Achse, die durch die mittlere Kamera 5 verläuft und die innerhalb der Ebene der Kameraanordnung 34 angeordnet ist, gedreht, falls die Kamerahalterung 32 um den Winkel 142 um die Achse 144 gedreht ist und die mittlere Kamera 5 weiterhin auf das physische Ziel 90 richtet. Das Kamerafehlausrichtungsmodul 44 kann den Winkel 146 auf der Grundlage der Größe und/oder der Form des physischen Ziels 90 in einem oder mehreren der durch die Kameras in der Kameraanordnung 34 erfassten Bilder bestimmen. Im Ergebnis der in 13 und 14 gezeigten Winkelfehlausrichtung der Kamerahalterung 32 weisen die durch die Kameras 1, 4, 7 erfassten Bilder relativ zu den durch die Kameras 3, 6, 9 erfassten Bildern eine entgegengesetzte Tiefenänderung auf. Außerdem ist eine Zielgrößenänderung in der horizontalen Richtung x des durch die mittlere Kamera 5 erfassten Bildes gleich $(Zielgröße (x) \cdot cos φ_{y}) \cdot \frac{M}{2 D t a n θ x},$
wobei φ_y der Winkel 142 ist.
Kurz anhand von 15 und 16 kann die Kamerahalterung 32 in einem anderen Beispiel wegen einer ungenauen Ausrichtung der Kamerahalterung/Kameraanordnung 32/34, wie in 15 gezeigt ist, um einen Winkel 146 um eine Achse 148 gedreht sein, die durch die Kameras 4, 5, 6 verläuft und innerhalb der Ebene der Kameraanordnung 34 angeordnet ist. Wie in 16 gezeigt ist, ist die Kamerahalterung 32 außerdem ebenfalls um den Winkel 146 um eine Achse gedreht, die durch die mittlere Kamera 5 verläuft, und innerhalb der Ebene der Kameraanordnung 34 angeordnet, falls die Kamerahalterung 32 um den Winkel 146 um die Achse 148 gedreht ist und immer noch die mittlere Kamera 5 auf das physische Ziel 90 richtet. Das Kamerafehlausrichtungsmodul 44 kann den Winkel 146 auf der Grundlage der Größe und/oder der Form des physischen Ziels 90 in einem oder mehreren der durch die Kameras in der Kameraanordnung 34 erfassten Bilder bestimmen. Im Ergebnis der in 15 und 16 gezeigten Winkelfehlausrichtung der Kamerahalterung 32 weisen die durch die Kameras 1, 2, 3 erfassten Bilder relativ zu den durch die Kamera 7, 8, 9 erfassten Bildern eine entgegengesetzte Tiefenänderung auf. Außerdem ist eine Zielgrößenänderung in der vertikalen Richtung y des durch die mittlere Kamera 5 erfassten Bildes gleich $(Zielgröße y (m) \cdot cos φ_{x}) \cdot \frac{N}{2 D t a n θ y}$
wobei φ_x der Winkel 146 ist.
Wieder anhand von 3 steuert das HUD-Steuermodul 40 bei 66 die HUD 20 zum Anzeigen des virtuellen Ziels 150 an dem Zielort der durch die HUD 20 (z. B. bei dem HUD-Bereich 24) projizierten Bilder. Bei 68 steuert das Kamerasteuermodul 42 jede Kamera in der Kameraanordnung 34 zum Erfassen eines Bildes des virtuellen Ziels 150. Zum Beispiel erfasst die Kameraanordnung 34 neun Bilder des virtuellen Ziels 150, wobei jede Kamera in der Kameraanordnung 34 eines der neun Bilder erfasst, falls die Kameraanordnung 34, wie in 1 und 7 gezeigt ist, neun Kameras enthält.
18 zeigt Beispiele eines durch die mittlere Kamera 5 erfassten Bildes 160 des virtuellen Ziels 150 und eines durch die untere rechte Kamera 9 erfassten Bildes 162 des virtuellen Ziels 150. Da die mittlere Kamera 5 auf den HUD-Bereich 24 ausgerichtet ist und da die HUD 20 das virtuelle Ziel 150 in dem HUD-Bereich 24 anzeigt, erscheint das mittlere Quadrat 156 des virtuellen Ziels 150 in dem Mittelpunkt des durch die mittlere Kamera 5 erfassten Bildes 160. Da sich die untere rechte Kamera 9 unter und rechts von der mittleren Kamera 5 befindet, erscheint das mittlere Quadrat 156 des virtuellen Ziels 150 in dem oberen rechten Quadranten des durch die untere rechte Kamera 9 erfassten Bildes 162.
19 zeigt beispielhafte Bilder eines Punkts 164 auf dem virtuellen Ziel 150 wie etwa des mittleren Quadrats 156, die durch die Kameras in der Kameraanordnung 134 erfasst werden. Die in 19 gezeigten Bilder erhalten ein durch die obere linke Kamera 1 erfasstes Bild 166, ein durch die obere mittlere Kamera 2 erfasstes Bild 168, ein durch die obere rechte Kamera 3 erfasstes Bild 170, ein durch die mittlere linke Kamera 4 erfasstes Bild 172, ein durch die mittlere Kamera 5 erfasstes Bild 174, ein durch die mittlere rechte Kamera 6 erfasstes Bild 176, ein durch die untere linke Kamera 7 erfasstes Bild 178, ein durch die untere mittlere Kamera 8 erfasstes Bild 180 und ein durch die untere rechte Kamera 9 erfasstes Bild 182. 19 stellt die horizontalen und vertikalen Versätze zwischen dem Pixelort des Punkts 164 in dem durch die mittlere Kamera 5 erfassten Bild 174 und den Pixelorten des Punkts 164 in den durch die anderen Kameras in der Kameraanordnung 34 erfassten Bildern 166, 168, 170, 172, 176, 178, 180, 182 dar.
Wieder anhand von 3 bestimmt das HUD-Fehlausrichtungsmodul 46 bei 70 einen Zielort des virtuellen Ziels 150 in jedem durch die Kameras in der Kameraanordnung 34 erfassten Bild. Der Zielort des virtuellen Ziels 150 in jedem Bild kann auf der Grundlage der horizontalen und vertikalen Fehlausrichtung der jeweiligen Kamera bestimmt werden. Der Zielort des virtuellen Ziels 150 in jedem Bild kann ebenfalls auf der Grundlage der Beziehungen zwischen der Koordinate eines Punkts in dem durch die mittlere Kamera 5 erfassten Bild und der Koordinate desselben Punkts in dem durch jede der anderen Kameras in der Kameraanordnung 34 erfassten Bild bestimmt werden.
In einem Beispiel ist der Zielort des mittleren Quadrats 156 des virtuellen Ziels 150 in dem durch die mittlere Kamera 5 erfassten Bild bei einer Koordinate (Δx₅, Δy₅), wobei Δx₅ und Δy₅ die horizontale und die vertikale Fehlausrichtung der mittleren Kamera 5 repräsentieren. Mit anderen Worten, Δx₅ und Δy₅ sind der horizontale und der vertikale Abstand zwischen dem tatsächlichen Ort und dem Zielort des physischen Ziels 90 in dem durch die mittlere Kamera 5 erfassten Bild. Außerdem kann der Zielort des mittleren Quadrats 156 des virtuellen Ziels in dem durch jede der anderen Kameras in der Kameraanordnung 34 erfassten Bild auf der Grundlage (1) der Beziehungen zwischen Punkten in den Bildern der anderen Kameras und Punkten in dem Bild der mittleren Kamera 5 und (2) der horizontalen und der vertikalen Fehlausrichtung der anderen Kameras bestimmt werden. Zum Beispiel ist der Zielort des mittleren Quadrats 156 in dem durch die obere linke Kamera 1 erfassten Bild bei einer Koordinate $(\frac{d x}{2 D t a n θ_{x}} M + Δ x_{1}, \frac{- d y}{2 D t a n θ_{y}} N + Δ y_{1}),$
wobei Δx₁ und Δy₁ die horizontale und die vertikale Bildfehlausrichtung zwischen dem Zielort und dem tatsächlichen Ort der auf dem Bild der oberen linken Kamera 1 erscheinenden Punkte repräsentieren.
Gemäß verschiedenen Implementierungen kann das HUD-Fehlausrichtungsmodul 46 die Bilder des durch die Kameras in der Kameraanordnung 34 erfassten virtuellen Ziels 150 auf der Grundlage der horizontalen und der vertikalen Fehlausrichtung der jeweiligen Kamera justieren. Zum Beispiel kann das HUD-Fehlausrichtungsmodul 46 die Bilder des virtuellen Ziels 150 verarbeiten, um die Fehlausrichtung der Kamerahalterung/der Kameraanordnung 32/34 zu entfernen. In diesen Implementierungen kann das HUD-Fehlausrichtungsmodul 46 die Tatsache berücksichtigen, dass jedes Bild bereits justiert worden ist, um die Kamera-/Halterungsfehlausrichtung zu entfernen, wenn der Zielort des virtuellen Ziels 150 in jedem Bild bestimmt worden ist.
Bei 72 bestimmt das HUD-Fehlausrichtungsmodul 46 den horizontalen und den vertikalen Versatz Δx und Δy zwischen dem tatsächlichen Ort und dem Zielort eines oder mehrerer Punkte auf dem virtuellen Ziel 150 in den durch die Kameras in der Kameraanordnung 34 erfassten Bildern. Die Versätze Δx, Δy repräsentieren die horizontale und die vertikale Fehlausrichtung der durch die HUD 20 projizierten Bilder. In einem Beispiel bestimmt das HUD-Fehlausrichtungsmodul 46 für jede Kamera in der Kameraanordnung 34 die Versätze Δx, Δy zwischen dem tatsächlichen Ort und dem Zielort des mittleren Quadrats 156 in dem durch die jeweilige Kamera erfassten Bild des virtuellen Ziels 150. Das HUD-Fehlausrichtungsmodul 46 kann den Durchschnittswert aller Versätze Δx und den Durchschnittswert aller Versätze Δy bestimmen, um Versätze Δx_avg, Δy_avg zu erhalten, die die horizontale und die vertikale Fehlausrichtung der durch die HUD 20 projizierten Bilder repräsentieren.
Bei 74 justiert das HUD-Steuermodul 40 den Ort des durch die HUD 20 projizierten Bildes, um den Mittelpunkt des HUD-Bildes auf den Mittelpunkt der durch die Kameras in der Kameraanordnung 34 erfassten Bilder auszurichten. Das HUD-Steuermodul 40 kann den horizontalen und den vertikalen Ort des HUD-Bildes durch negative Werte der Versätze Δx, Δy zwischen dem tatsächlichen Ort und dem Zielort des virtuellen Ziels 150 in den durch die Kameras erfassten Bildern justieren. Zum Beispiel kann das HUD-Steuermodul 40 den horizontalen und den vertikalen Ort des HUD-Bildes um -Δx_avg bzw. -Δy_avg justieren, falls die horizontale und die vertikale Fehlausrichtung des HUD-Bildes durch die Versätze Δx_avg, Δy_avg repräsentiert ist. Das Ausrichten des Mittelpunkts des HUD-Bildes auf den Mittelpunkt der Kamerabilder stellt sicher, dass das HUD-Bild in dem HUD-Bereich 24 ist.
Bei 76 steuert das Kamerasteuermodul 42 jede Kamera in der Kameraanordnung 34 zum Erfassen eines durch die HUD 20 projizierten Bildes des virtuellen Ziels 150, nachdem der Mittelpunkt des HUD-Bildes auf den Mittelpunkt der Kamerabilder ausgerichtet worden ist. Bei 78 bestimmt das HUD-Steuermodul 40 eine bzw. mehrere Verzerrungskompensationskarten, die die Verzerrung der durch die HUD 20 projizierten Bilder charakterisieren. Zum Beispiel kann das HUD-Steuermodul 40 für jede Kamera in der Kameraanordnung die Versätze Δx, Δy zwischen dem tatsächlichen Ort und dem Zielort jedes kreisförmigen Punkts 158 in dem durch die jeweilige Kamera erfassten Bild bestimmen. Daraufhin kann das HUD-Steuermodul 40 auf der Grundlage der Versätze Δx, Δy der kreisförmigen Punkte 158 Kompensationswerte zur Verwendung beim Justieren der Verzerrung des HUD-Felds bestimmen, um die Versätze Δx, Δy zu beseitigen. Die Kompensationswerte umfassen zusammen die eine bzw. die mehreren Kompensationskarten.
Bei 80 justiert das HUD-Steuermodul 40 die Verzerrung des durch die HUD 20 projizierten Bildes unter Verwendung der einen bzw. mehreren Verzerrungskompensationskarten. Zum Beispiel kann das HUD-Steuermodul 40 einen Zielort jedes Punkts in dem HUD-Bild mit einem entsprechenden der Kompensationswerte multiplizieren, um einen neuen Zielort zu erhalten, und den jeweiligen Punkt an dem neuen Zielort projizieren. Für Punkte in dem HUD-Bild, die nicht einem der Kompensationswerte entsprechen, kann das HUD-Steuermodul 40 eine Interpolation zwischen zwei oder mehr der Kompensationswerte verwenden, um neue Kompensationswerte für diese Punkte zu bestimmen.
Bei 82 steuert das Kamerasteuermodul 42 jede Kamera in der Kameraanordnung 34 zum Erfassen eines neuen Bildes des virtuellen Ziels 150, um die eine bzw. die mehreren Verzerrungskompensationskarten zu validieren. Während der Validierung kann das HUD-Steuermodul 40 wieder die Versätze Δx, Δy zwischen dem tatsächlichen Ort und dem Zielort jedes kreisförmigen Punkts 158 in dem durch jede Kamera in der Kameraanordnung 34 erfassten Bild bestimmen. Falls jeder Versatz Δx, Δy kleiner als ein vorgegebener Wert ist, kann das HUD-Steuermodul 40 die eine bzw. die mehreren Verzerrungskompensationskarten validieren. Andernfalls kann das HUD-Steuermodul 40 die eine bzw. die mehreren Verzerrungskompensationskarten nicht validieren. Bei 84 endet das Verfahren.
Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen miteinander sind möglich.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf”, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind. Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chipplättchen, mehrere Prozessorschaltungen auf einem einzelnen Chipplättchen, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil von oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagespeichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

Verfahren zum Justieren eines Orts eines durch eine Headup-Anzeige (20) auf eine Windschutzscheibe (14) eines Fahrzeugs (10) projizierten Bildes (22), wobei das Verfahren umfasst: Anordnen eines physischen Ziels (90) auf der Windschutzscheibe (14) an einem Zielort des projizierten Bilds (22); Montieren einer Halterung (32) an einer Komponente innerhalb eines Fahrgastraums (16) des Fahrzeugs (10), um eine an der Halterung (32) befestigte Anordnung von Kameras (34) innerhalb einer möglichen Sichtlinie zwischen Augen eines Insassen des Fahrzeugs (10) und dem Zielort des projizierten Bildes (22) zu positionieren; Erfassen einer ersten Mehrzahl von Bildern des physischen Ziels (90) unter Verwendung der Anordnung von Kameras (34); Bestimmen wenigstens einer Differenz zwischen einem tatsächlichen Ort des physischen Ziels (90) in jedem der ersten Mehrzahl von Bildern und einem Zielort des physischen Ziels (90) in jedem der ersten Mehrzahl von Bildern; Steuern der Headup-Anzeige (20) zum Anzeigen eines virtuellen Ziels auf der Windschutzscheibe (14) an dem Zielort des projizierten Bilds (22); Erfassen einer zweiten Mehrzahl von Bildern des virtuellen Ziels unter Verwendung der Anordnung von Kameras (34); Bestimmen eines Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage der wenigstens einen Differenz; Bestimmen wenigstens eines Versatzes zwischen einem tatsächlichen Ort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und dem Zielort des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern; und Justieren des Orts des durch die Headup-Anzeige (20) auf die Windschutzscheibe (14) projizierten Bildes (22) auf der Grundlage des wenigstens einen Versatzes.
Verfahren nach Anspruch 1, wobei die wenigstens eine Differenz einen Abstand zwischen einem Mittelpunkt des physischen Ziels in jedem der ersten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der ersten Mehrzahl von Bildern enthält.
Verfahren nach Anspruch 2, wobei die wenigstens eine Differenz den Abstand in zwei Richtungen, die senkrecht zueinander sind, enthält.
Verfahren nach Anspruch 1, das ferner umfasst: Bestimmen wenigstens eines Winkels zwischen einer tatsächlichen Orientierung der Halterung (32) und einer Zielorientierung der Halterung (32); und Bestimmen des Zielorts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern ferner auf der Grundlage des wenigstens einen Winkels.
Verfahren nach Anspruch 4, wobei der wenigstens eine Winkel einen Winkel enthält, um den die Halterung (32) um eine Achse, die durch eine mittlere Kamera (5) der Anordnung von Kameras (34) verläuft und die senkrecht zu einer Ebene ist, in der die Anordnung von Kameras (34) angeordnet ist, gedreht ist.
Verfahren nach Anspruch 4, wobei der wenigstens eine Winkel einen Winkel enthält, um den die Halterung (32) um eine Achse, die durch wenigstens zwei Kameras der Anordnung von Kameras (34) verläuft und die innerhalb einer Ebene angeordnet ist, in der die Anordnung von Kameras (34) angeordnet ist, gedreht ist.
Verfahren nach Anspruch 1, wobei der wenigstens eine Versatz einen Abstand zwischen einem Mittelpunkt des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern und einem Mittelpunkt eines entsprechenden Bildes der zweiten Mehrzahl von Bildern enthält.
Verfahren nach Anspruch 7, wobei der wenigstens eine Versatz den Abstand in zwei Richtungen, die zueinander senkrecht sind, enthält.
Verfahren nach Anspruch 1, das ferner umfasst: Bestimmen eines Zielorts eines Mittelpunkts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern auf der Grundlage der wenigstens einen Differenz; und Justieren des Orts des durch die Headup-Anzeige (20) projizierten Bildes (22) auf der Grundlage des wenigstens einen Versatzes in der Weise, dass ein tatsächlicher Ort des Mittelpunkts des virtuellen Ziels in jedem der zweiten Mehrzahl von Bildern an dem Zielort des Mittelpunkts des virtuellen Ziels ist.
Verfahren nach Anspruch 1, wobei jede Kamera (1-9) in der Anordnung von Kameras (34) ein Bild in der ersten Mehrzahl von Bildern und ein Bild in der zweiten Mehrzahl von Bildern erfasst.