-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Durchführung der Bildsynthese in Fahrerinformationssystemen. Insbesondere betrifft die Erfindung Systeme für die Bildsynthese, wobei realen Objekten bzw. deren Abbildern zusätzliche virtuelle Elemente hinzugefügt werden, so dass für den Nutzer eine erweiterte Realität („Augmented Reality“) entsteht.
-
Darstellungen, bei denen Abbildungen der Realität mit zusätzlichen Informationen, beispielsweise virtuellen Objekten, versehen sind, sind bekannt. Realitätsnahe Darstellungen virtueller Elemente/Objekte in diesem Kontext werden häufig durch reale Objekte zumindest teilweise verdeckt. Diese teilweise Verdeckung durch im Vordergrund der virtuellen Elemente befindliche Körper/Objekte erleichtert wesentlich das menschliche Verständnis der Darstellung. Die bereitgestellten zusätzlichen Informationen können intuitiv verstanden und schnell eingeordnet werden. Entsprechend eignen sich solche Darstellungen insbesondere für Fahrerinformationssysteme, wobei dem Fahrer durch das Hinzufügen von virtuellen Elementen die Fahrzeugführung erleichtert und er deutlicher auf Gefahren hingewiesen werden soll. Die angezeigten Informationen müssen aber nicht zwangsläufig sicherheitsrelevant sein. Es ist möglich, viele verschiedene Informationen in der erweiterten Realität gut verständlich anzuzeigen (z.B. POIs, Tankstellen, usw.).
-
Für die im jeweiligen Kontext realitätsnahe Verdeckung der virtuellen Elemente durch reale Gegenstände sind allerdings aufwändige Rechenoperationen bei der Bildbearbeitung nötig. Häufig werden für die Verdeckungsberechnung Oberflächen der realen Objekte rekonstruiert. Dies erfordert massiven Rechenaufwand und benötigte Zeit. Für einige Anwendungsfälle müssen die entsprechenden Systeme echtzeitfähig sein, so dass eine lange Wartezeit auf Rechenergebnisse oft nicht hinnehmbar ist.
-
Dieses Problem wird durch ein Verfahren für die Bildsynthese gemäß Patentanspruch 1 zur Erzeugung mindestens eines zweidimensionalen Bilds gelöst, wodurch die rechenintensive Rekonstruktion der Oberfläche als notwendiger Schritt der Bildbearbeitung vermieden wird.
-
Insbesondere wird das Problem durch ein Verfahren für die Bildsynthese gelöst, das die folgenden Schritte umfasst:
- a) Erfassung eines optischen Zentrums und einer Blickrichtung auf eine Vielzahl von realen Objekten;
- b) Ermittlung von Positionsinformationen der realen Objekte bezüglich des optischen Zentrums;
- c) Initialisierung eines Tiefenpuffers, insbesondere mittels der Grafikhardware, unter Verwendung der Positionsinformationen, wobei eine Vielzahl von Tiefenpufferwerten in den Tiefenpuffer eingetragen werden;
- d) Generierung mindestens eines virtuellen Objekts;
- e) Ermittlung von Objekt-Tiefeninformationen und Objekt-Farbwerten anhand des virtuellen Objekts;
- f) Vergleich der Tiefenpufferwerte mit den Objekt-Tiefeninformationen;
- g) Speichern der Objekt-Farbwerte in einem Farbpuffer der Grafikhardware in Abhängigkeit von dem Vergleich der Tiefenpuffer-Werte mit den Objekt-Tiefeninformationen;
- h) zumindest teilweises Anzeigen der Farbpuffer-Farbwerte.
-
Das optische Zentrum kann beispielsweise die Position des Betrachters, z.B. der Kopf des Fahrers, oder einer realen oder virtuellen Kamera sein.
-
Dementsprechend kann die Blickrichtung eine Blickrichtung des Betrachters oder eine Blickrichtung einer realen oder virtuellen Kamera sein. Diese Positionsinformationen können absolute oder relative Positionsinformationen sein. Die Positionsinformationen können eine oder mehrere Koordinaten und/oder eine oder mehrere Distanzangaben und/oder eine oder mehrere Winkelangaben umfassen. Vorzugsweise sind die Positionsinformationen so beschaffen, dass sich ein örtlicher Bezug zwischen den realen Objekten und dem mindestens einen virtuellen Objekt herstellen lässt. Zumindest sollten sie geeignet sein, um die Distanzen zwischen den realen Objekten und den virtuellen Objekten zu berechnen.
-
Gegenüber herkömmlichen Verfahren gemäß dem Stand der Technik bestehen die mit der Erfindung erzielten Vorteile insbesondere darin, bei mindestens vergleichbarem Ergebnis die für die Bildbearbeitung notwendigen Rechenressourcen zu reduzieren.
-
Die Grafikhardware kann eine oder mehrere Grafikkarten sein. Die Grafikhardware kann des Weiteren jede dedizierte Hardware, beispielsweise ein oder mehrere Grafikprozessor(en) (GPU) ggf. mit zugehörigem oder geteiltem Speicher („shared memory“), sein, die zur Erzeugung und Verwaltung von Grafikinformationen, insbesondere des Tiefenpuffers, eingesetzt wird.
-
In einer Ausgestaltung der Erfindung wird nur dann an einer bestimmten Position des Farbpuffers ein Farbwert des virtuellen Elementes gespeichert, wenn die zugehörige Tiefeninformation des virtuellen Elementes eine größere Nähe zum Betrachter, also zum optischen Zentrum, aufweist als die bisherige Tiefeninformation. Diese Weiterbildung ermöglicht es somit, eine besonders sparsame Rechenoperation auszuführen, bei der nur die Farbwerte der virtuellen Elemente für die darzustellenden Pixel für die Anzeige eingetragen werden, die nicht verdeckt sind. Somit müssen darzustellen Objekte oder Geometrien, insbesondere von der CPU, nicht mehr sortiert werden (Bei bekannten Ansätzen werden ferne Geometrien als erstes an die Grafikhardware gesandt.). Des Weiteren ist eine schnelle und effiziente Darstellung von sich überkreuzenden Geometrien mit entsprechenden Verdeckungen möglich.
-
In einer/dieser Ausgestaltung der Erfindung wird in Abhängigkeit des Vergleiches der Tiefenpufferwerte des bisherigen Eintrages mit dem des virtuellen Elementes ein neuer Tiefenpufferwert im Tiefenpuffer gespeichert. Entsprechend ist das Ergebnis der aktuellen Bildsynthese dokumentiert und steht für weitere Berechnungen zur Verfügung.
-
Darüber hinaus sieht eine Ausgestaltung der Erfindung den Eintrag der Tiefeninformation des virtuellen Elementes bei größerer Nähe zum optischen Zentrum als der bisherige Tiefenpuffer-Eintrag vor. Somit werden in vorteilhafter Weise nur Veränderungen im Tiefenpuffer neu eingetragen. So können mehrere Lagen von Objekten übereinander gelegt und eine entsprechende Anzeige generiert werden.
-
Ein weiteres Ausführungsbeispiel der Erfindung umfasst die zumindest teilweise Anzeige der Farbpuffer-Farbwerte auf einer transparenten Anzeigefläche. Somit kann z.B. lediglich die virtuelle Information in einem sogenannten Head-Up Display, also in dem Sichtbereich des Fahrers auf der Windschutzscheibe, dargestellt werden. In diesem Fall ist es nicht zwingend notwendig den Hintergrund, z.B. die realen Objekte darzustellen, da er durch die transparenten Anzeigefläche „durchscheint“. Die Erfassung der realen Objekte und die Bestimmung der Tiefeninformation erfolgt in diesem Ausführungsbeispiel also nur zur Feststellung, ob bestimmte Pixel des virtuellen Objekts sichtbar sind und daher angezeigt werden müssen.
-
In einem (anderen) Ausführungsbeispiel der Erfindung ist ferner die Erfassung und Speicherung von Farbwerten gemäß der Farbinformation der realen Objekte in den Farbpuffer zeitlich vor dem Vergleich der Tiefenpufferwerte vorgesehen. Dies ist besonders Vorteilhaft, wenn Auszüge des realen Objekts ebenfalls dargestellt werden müssen. Dies kann beispielsweise notwendig sein, wenn keine transparente Anzeigefläche, sondern ein Monitor oder etwas ähnliches verwendet wird.
-
Ferner kann in einer weiteren Ausführungsform der Erfindung die Generierung des virtuellen Elementes durch die Erzeugung einer Vektor-Grafik erfolgen, bei der die Ermittlung der entsprechenden Tiefeninformation und Farbwerte vom Grafikprozessor der Grafikhardware durchgeführt werden. Dadurch kann der Grafikprozessor und die Kommunikation mit der Grafikhardware besonders effizient betrieben werden. Moderne Grafikhardware ist für die Generierung von Tiefenpufferwerten ausgehend von Vektor-Grafiken optimiert.
-
Darüber hinaus wird die genannte Aufgabe durch einen Computer lesbaren Datenspeicher mit Instruktionen zur Implementierung der beschriebenen Verfahren gelöst. Es ergeben sich ähnliche Vorteile, wie diese bereits erläutert wurden.
-
Das erfindungsgemäße Verfahren kann auch in einem Fahrerinformationssystem implementiert sein.
-
Die genannte Aufgabe wird weiterhin durch ein Fahrerinformationssystem gelöst.
-
Dieses umfasst vorzugsweise eine Anzeigevorrichtung zur Anzeige eines mindestens zweidimensionalen Bildes, eine Grafikhardware, die mit der Anzeigevorrichtung funktional gekoppelt ist und das mindestens zweidimensionale Bild ausgibt, zumindest eine Positionsermittlungseinrichtung zur Ermittlung von Positionsinformationen von realen Objekten, und einen Hauptprozessor (CPU) für folgende Funktionen:
- – die Verarbeitung der Positionsinformationen,
- – die Erstellung einer Matrix von Tiefenwerten als Datenstruktur,
- – die Initialisierung des Tiefenpuffers der Grafikhardware mit Tiefenwerten und/oder Steuerung der Grafikhardware, so dass der Tiefenpuffer initialisiert wird,
- – die Errechnung eines virtuellen Objektes zur zumindest teilweisen Anzeige als Teil eines zweidimensionalen Bildes zur Übergabe an die Grafikhardware.
-
Die Grafikhardware kann erfindungsgemäß einen Grafikprozessor für folgende Funktionen umfassen:
- – Vergleich der Tiefenpufferwerte des realen Objektes mit den Objekt-Tiefeninformationen des virtuellen Objektes sowie
- – Speicherung von Objekt-Farbwerten des virtuellen Objekts in einem Farbpuffer der Grafikhardware in Abhängigkeit vom Vergleich der Tiefenpufferwerte des realen Objektes mit den Objekt-Tiefeninformationen des virtuellen Objektes.
-
Erfindungsgemäß kann der Hauptprozessor oder eine andere dedizierte Hardware einige oder alle Funktionen der Grafikhardware übernehmen. Ebenso kann der Farbpuffer und/oder der Tiefenpuffer dem Hauptprozessor oder der dedizierten Hardware zugeordnet sein. Insbesondere ist es möglich, den Farbpuffer und/oder Tiefenpuffer in einem Speicher zu organisieren, auf den sowohl die Grafikhardware als auch der Hauptprozessor (unmittelbaren) Zugriff haben. Es können also ein oder mehrere gemeinsam genutzte(r) Speicher vorgesehen sein, wobei der Zugriff auf den Speicher vorzugsweise von dem Hauptprozessor koordiniert wird.
-
Das Fahrerinformationssystem kann beliebige Informationen schnell und effizient anzeigen, wobei eine Ablenkung des Fahrers durch eine perspektivisch inkorrekte Darstellung vermieden wird.
-
Die Positionsermittlungseinrichtung kann mittels Lichtwellen und/oder Radarwellen funktionieren. Insbesondere kann die Positionsermittlungseinrichtung mindestens eine Stereokamera, mindestens ein LIDAR („Light detection and ranging“) und/oder Photomischdetektor (PMD) umfassen. Alternativ oder zusätzlich können ein Radarsystem und/oder Infrarotabstandssensoren zur Positionsermittlung verwendet werden. Sehr zuverlässige Ergebnisse werden mit Kamera- und LIDAR-Systemen im Automotivbereich erzielt. Somit lassen sich die notwendigen Daten auf vielfältige Weise ermitteln, so dass sowohl mittels Einzelsensoren als auch durch eine Kombination verschiedener Sensoren die Daten in hinreichender Genauigkeit ermittelt werden können.
-
Des Weiteren besteht die Möglichkeit, die Erfindung derart weiterzubilden, dass die Anzeigeeinrichtung eine zumindest teilweise transparente Anzeigefläche zur Anzeige eines mindestens zweidimensionalen Bildes umfasst. Somit kann beispielsweise die Windschutzscheibe des Fahrzeuges als Anzeigefläche dienen, was auch als Head-Up Display bekannt ist. Entsprechend erübrigt sich eine zusätzliche Anzeigefläche.
-
Eine weitere bevorzugte Ausführungsform der Erfindung umfasst eine Bilderfassungseinrichtung zur Erfassung von Farbwerten der realen Objekte, wobei ein Hauptprozessor Instruktionen ausführt, um den Farbpuffer der Grafikhardware mit zumindest einigen Farbwerten zu initialisieren. Bilderfassungseinrichtung und Hauptprozessor können diese Aufgaben besonders effizient wahrnehmen.
-
Gemäß einer noch weiteren Ausführungsform der Erfindung führt der Hauptprozessor Instruktionen aus, um zur Initialisierung des Farbpuffers und des Tiefenpuffers der Grafikhardware mindestens ein Vollbild umfassend eine erste Textur mit Tiefeninformationen und eine zweite Textur mit Farbinformationen der realen Objekte zu übergeben. Ein Vollbild kann eine vollbesetzte Matrix mit Tiefeninformationen und Farbinformationen für jedes Pixel sein.
-
Dadurch können in vorteilhafter Weise die anschließenden Änderungen auf der Grafikhardware auf die unverdeckten Teile des virtuellen Objekts beschränkt werden. Diese Ausführungsform ist besonders für die Verwendung in Verbindung mit einer nicht-transparenten Anzeigefläche vorteilhaft.
-
Schließlich ist es auch denkbar, das erfinderische Fahrerinformationssystem mit einer Einrichtung zur Ermittlung der Fahrerposition auszubilden, wobei der Hauptprozessor Instruktionen ausführt, um anhand der Fahrerposition das optische Zentrum zu ermitteln und dieses bei der Initialisierung des Farb- und/oder des Tiefenpuffers zu berücksichtigen. Dadurch kann in besonders vorteilhafter Weise eine natürliche Wahrnehmung des dargestellten Bildes durch den Fahrer erreicht werden.
-
Die Erfindung wird im Folgenden anhand eines Ausführungsbeispiels unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Hierbei werden gleiche und gleichwirkende Teile mit denselben Bezugsziffern versehen.
-
Hierin zeigen:
-
1 ein Blockschaltbild eines Fahrerinformationssystems,
-
2 ein Fahrzeug mit eingebautem Fahrerinformationssystem, und
-
3 das erfinderische Verfahren zur Ermittlung der Verdeckung der virtuellen Elemente.
-
Das Blockschaltbild der 1 zeigt die im Zusammenhang mit der Erfindung wesentlichen Elemente eines Fahrerinformationssystems 1, die miteinander kommunikativ verbunden sind. Eine Einrichtung zum Erfassen der Fahrerposition 2 ermöglicht die Erfassung eines optischen Zentrums. Dieses entspricht der Position der Augen des Fahrers oder dessen Kopfes und bestimmt somit die Perspektive und die Blickrichtung, der die Darstellung auf der Anzeigeeinheit 3 genügen muss, um mit der vom Fahrer wahrgenommenen Realität übereinzustimmen. Optional kann das optische Zentrum auch aus im System hinterlegten Daten abgeleitet werden, sodass die Einrichtung zur Erfassung der Fahrerposition entfallen kann, allerdings unter Inkaufnahme potentiell verschlechterter Übereinstimmung zwischen Darstellung und der vom Fahrer wahrgenommenen Realität.
-
Die Anzeigefläche 3 liefert dem Fahrer die Darstellung der erweiterten Realität. Dies kann z.B. auf einem Display erfolgen, auf dem die realen Objekte zusammen mit dem virtuellen Objekt dargestellt sind. Dabei können reale Objekte andere Verkehrsteilnehmer, wie z.B. Automobile, sein und virtuelle Objekte z.B. die Darstellung von Fahrbahnen und deren Begrenzungen, auf denen sich die Verkehrsteilnehmer bewegen. Alternativ können die virtuellen Objekte auch auf die Windschutzscheibe im direkten Sichtfeld des Fahrers projiziert werden, was als Head-Up Konzept bekannt ist. Hierbei entfällt naturgemäß die Darstellung der realen Objekte. Entsprechend beschränkt sich die Anzeige der weiter unten näher erläuterten Farbinformationen bzw. Farbpufferwerte im Wesentlichen auf die Darstellung der virtuellen Objekte. Diese werden vom Fahrer beim Blick durch die Windschutzscheibe unmittelbar wahrgenommen. In einer weiteren Ausführungsform können die virtuellen Objekte mittel eines Head-Mounted Displays, beispielsweise einer Videobrille, eines Helmdisplays oder VR-Helms, angezeigt werden.
-
Ein Hauptprozessor 4 führt wesentliche Rechenoperationen des Systems aus. Eine Grafikhardware 5, insbesondere eine Grafikkarte mit einem entsprechenden Grafikprozessor 8, ist für die optische Aufbereitung der Anzeige auf der Anzeigeeinheit 3 verantwortlich. Neben einem Grafikprozessor 8 umfasst sie zwei miteinander korrelierte Speicherbereiche, deren Werte bei der Anzeige der Pixel auf der Anzeigevorrichtung Berücksichtigung finden, dem Tiefenpuffer 6 und dem Farbpuffer 7. Ersterer speichert eine Tiefeninformation zu einem Pixel eines angezeigten Objektelements, letzterer eine zugehörige Farbinformation dieses Objektelementes. In diesem Ausführungsbeispiel sind der Tiefenpuffer 6 und der Frabpuffer 7 als Matrix implementiert. Andere Implementierungen sind möglich. Ebenso lassen sich die Datenstrukturen so abwandeln, dass jeder Eintrag in der Matrix Farbinformationen und Tiefeninformationen enthält.
-
Der Hauptprozessor und die Grafikhardware 5 können in einer Baueinheit 9 zusammengefasst sein. Alternativ kann bei der Ausführung mit Display 3 dieses ebenfalls Element der Baueinheit 9 sein.
-
Die Positionsbestimmungseinrichtung 10 dient der Erfassung der Position des realen Objektes, also der Distanz zum Auge des Fahrers. Sie kann z.B. als konventionelles Radarsystem und/oder als Light detection and ranging (LIDAR) Radar System und/oder als Stereokamera ausgeführt sein. Die Daten im Tiefenpuffer 6 werden von der Positionsbestimmungseinrichtung 10 gespeist.
-
Optional kann noch eine Bilderfassungseinrichtung 11 benötigt werden, wenn die Darstellung der realen Objekte auf der Anzeigeeinheit 3 beabsichtigt ist. Die Daten im Farbpuffer 7 werden von der Bilderfassungseinrichtung 11 gespeist. Somit ermöglichen die hier gezeigten Komponenten des Fahrerinformationssystems 1 die Erzeugung und Darstellung der erweiterten Realität (Augmented Reality).
-
2 zeigt beispielhaft den Einbau eines Fahrerinformationssystems 1 in ein Kraftfahrzeug. Dabei kann die Einrichtung zum Erfassen der Fahrerposition 2 z.B. in der Nähe des Rückspiegels positioniert sein, um den Fahrer 13 gut erfassen zu können. Die Anzeigeeinheit 3 kann alternativ als konventionelles Display bzw. als Head-Up Display ausgeführt sein und ist jeweils im Sichtbereich des Fahrers angeordnet. Die Zentraleinheit 9 kann z.B. im Cockpit untergebracht sein. Positionsermittlungseinrichtung 10 sowie optional Bilderfassungseinrichtung 11 sind typischerweise am Rückspiegel angebracht. Einige Komponenten der Positionsermittlungseinrichtungen 10 können auch am Kühlergrill oder an der Stoßstange (z.B. Ultraschallarray) angeordnet sein.
-
3 zeigt das Verfahren für die Bildsynthese des erfinderischen Fahrerinformationssystems 1. Dabei zeigt Element 14 das Sensorbild des realen Objektes (z.B. ein anderes Auto) einschl. Farbwerten, erfasst von der Bilderfassungseinrichtung 11. Bei der Darstellung auf dem Head-Up Display ohne Abbildung der realen Objekte kann die Erfassung und Speicherung dieser Daten auch entfallen. In diesem Fall wird der Farbpuffer neutral bzw. transparent initialisiert. Element 15 zeigt die zugehörige Tiefeninformation, erfasst von der Positionsermittlungseinrichtung 10.
-
Element 16 zeigt ein Abbild des virtuellen Objektes (z.B. eine Straße oder eine Bewegungsbahn), das vorzugsweise als Vektor-Grafik generiert wurde. Element 17 enthält die zugehörigen Tiefendaten des virtuellen Objektes. Die Verknüpfung von realem und virtuellem Objekt erfolgt in einer Verknüpfungseinheit 18, die durch den Grafikprozessor 8 implementiert werden kann. Es ergibt sich ein synthetisiertes zweidimensionales Bild 19, das Auszüge des virtuellen und des realen Objekts zeigt. Hierbei werden Überdeckungen der Objekte berücksichtigt, so dass sich beim Anzeigen des Bilds 19 beispielsweise auf der Anzeigeeinrichtung 3 eine Darstellung ergibt, die für den Fahrer 13 leicht verständlich ist und zusätzliche Informationen – im konkreten Fall die Bewegungsbahn des Fahrzeugs – liefert.
-
In einem Ausführungsbeispiel wird der Tiefenpuffer 6 und ggf. der Farbpuffer 7 mit den Daten (Tiefeninformationen bzw. Tiefendaten und Farbwerte) des realen Objektes initialisiert. Anschließend ersetzen die Tiefendaten des virtuellen Objektes die initialisierten Daten im Tiefenpuffer 6 immer dann wenn sie darauf hinweisen, dass das virtuelle Objekt näher am Auge des Betrachters liegt. Für dieses Pixel der Anzeigevorrichtung 3 findet nun ebenfalls ein entsprechender Eintrag des virtuellen Objektes im Farbpuffer 7 statt. Entsprechend wird im Falle der Initialisierung des Farbpuffers 7 mit dem realen Objekt dessen Pixelinformation ersetzt. Im Ergebnis wird somit die Verknüpfung von realen und virtuellen Objekten durch einen einfachen Vergleich bestimmt.
-
Das Verfahren, der Datenträger sowie die Vorrichtung sind nicht auf die Verwendung in Kraftfahrzeugen beschränkt. Vielmehr können sie ebenso in Luft- und Wasserfahrzeugen zum Einsatz kommen. Darüber hinaus sind mit fortschreitender Miniaturisierung und Leistungssteigerung der Bauteile auch tragbare Versionen solcher Geräte denkbar, die z.B. für touristische Zwecke oder im Baugewerbe zum Einsatz kommen können.
-
Bezugszeichenliste
-
- 1
- Fahrerinformationssystem
- 2
- Fahrerposition
- 3
- Anzeigeeinrichtung
- 4
- Hauptprozessor
- 5
- Grafikhardware
- 6
- Tiefenpuffer
- 7
- Farbpuffer
- 8
- Grafikprozessor
- 9
- Baueinheit
- 10
- Positionsermittlungseinrichtung
- 11
- Bilderfassungseinrichtung
- 13
- Fahrer
- 14
- Farbwerte des realen Objektes (Matrix)
- 15
- Tiefeninformation des realen Objektes (Matrix)
- 16
- Farbwerte des virtuellen Objektes (Matrix)
- 17
- Tiefeninformation des virtuellen Objektes (Matrix)
- 18
- Verknüpfungseinheit
- 19
- synthetisiertes zweidimensionales Bild
