DE112020000391T5

DE112020000391T5 - Ein Steuerungssystem, System und Verfahren zur Unterstützung einesFahrzeuginsassen

Info

Publication number: DE112020000391T5
Application number: DE112020000391.4T
Authority: DE
Inventors: Ilias Aitidis
Original assignee: Jaguar Land Rover Ltd
Current assignee: Jaguar Land Rover Ltd
Priority date: 2019-01-10
Filing date: 2020-01-06
Publication date: 2021-10-07
Also published as: WO2020144129A1; US11919513B2; US20220111840A1

Abstract

Aspekte der vorliegenden Erfindung beziehen sich auf ein Steuerungssystem, ein System und ein Verfahren zur Bereitstellung von Unterstützung für einen Fahrzeuginsassen. Insbesondere bezieht sich die vorliegende Erfindung auf die Bestimmung einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen (32, 34) umfasst, von denen jeder ein aufgenommenes Bild einer Umgebung außerhalb des Fahrzeugs und einen Trajektorienindikator (39) umfasst, der die bestimmte Fahrzeugtrajektorie durch diese Umgebung anzeigt. Der Trajektorienindikator (39) wird innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von der Bewegung des Fahrzeugs (50) zwischen dem Zeitpunkt positioniert, zu dem die den entsprechenden Bildrahmen (32, 34) zugeordneten Bilder aufgenommen werden, so dass der Trajektorienindikator (39) in einer Fahrtrichtung (D) des Fahrzeugs (50) in Bezug auf ein oder mehrere Bildobjekte (36, 38) innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung bezieht sich auf ein Steuerungssystem, ein System und ein Verfahren zur Unterstützung eines Fahrzeuginsassen. Aspekte der Erfindung beziehen sich auf ein Steuerungssystem, ein System, ein Fahrzeug, ein Verfahren, ein nichttransitorisches computerlesbares Medium und eine Computersoftware zur Bereitstellung von Unterstützung bei der Durchführung von Manövern in einem Fahrzeug.
HINTERGRUND
Es ist bekannt, Fahrerassistenzsysteme bereitzustellen, die eine visuelle Darstellung einer Umgebung außerhalb eines Fahrzeugs liefern. Einige dieser Systeme beinhalten eine Bildsequenz der Umgebung, die von einer oder mehreren am oder im Fahrzeug montierten Kameras aufgenommen wird. Darüber hinaus enthalten einige Systeme eine Form der Anzeige eines voraussichtlichen Weges des Fahrzeugs durch die Bildsequenz. Dies geschieht im Allgemeinen in Form von einer oder mehreren Trajektorienlinien. Konventionell können Trajektorienlinien den voraussichtlichen Weg eines oder mehrerer Räder des Fahrzeugs in der Umgebung veranschaulichen.
Ein Nachteil von Systemen nach dem Stand der Technik ist, dass die Trajektorienlinien selbst in Bezug auf das Fahrzeug in Fahrtrichtung des Fahrzeugs fixiert erscheinen. Dies kann für einen Benutzer unnatürlich und/oder verwirrend erscheinen, da die Bahnlinien über eine Oberfläche zu „schweben“ scheinen, während sich das Fahrzeug in der Umgebung bewegt, insbesondere wenn das Gelände, über das das Fahrzeug fährt, in Bezug auf das Fahrzeug nicht eben ist. Dies kann es schwierig machen, irgendeine Übereinstimmung zwischen der Lage der Trajektorienlinien innerhalb der Bildsequenz und irgendwelchen Objekten in der Umgebung außerhalb des Fahrzeugs zu beurteilen, die in der Bildsequenz vorhanden sind.
Es ist ein Ziel der vorliegenden Erfindung, einen oder mehrere der mit dem Stand der Technik verbundenen Nachteile zu beheben.
ZUSAMMENFASSUNG DER ERFINDUNG
Aspekte und Ausführungsformen der Erfindung stellen ein Steuerungssystem, ein System, ein Fahrzeug, ein Verfahren, ein nichttransitorisches computerlesbares Medium und Computersoftware gemäß den beigefügten Ansprüchen bereit.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Steuerungssystem zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Steuerungssystem eine oder mehrere Steuerungen umfasst, die konfiguriert sind, um:

Bestimmen einer Fahrzeugtrajektorie aus einem oder mehreren Fahrzeugparametern; und
Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen (image frames) umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt;
wobei das Steuerungssystem so konfiguriert ist, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von einer von dem Fahrzeug zurückgelegten Strecke so positioniert, dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs sind.

Gemäß einem Aspekt der vorliegenden Erfindung wird ein Steuerungssystem zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Steuerungssystem eine oder mehrere Steuerungen umfasst, die konfiguriert sind, um:

einen oder mehrere Fahrzeugparameter zu empfangen;
Bilddaten von einer Bildgebungsvorrichtung zu empfangen, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfassen
Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter;
Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und
Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs;
wobei das Steuerungssystem so konfiguriert ist, dass es den Trajektorienindikator von einer ersten Position in einem ersten Bildrahmen der zusammengesetzten Bildsequenz zu einer zweiten Position in einem zweiten Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt, die von dem Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt wird, so dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs liegen.

Vorteilhafterweise kann das Fahrzeug einem Benutzer des Steuerungssystems, der das zusammengesetzte Bild betrachtet, so erscheinen, als fahre es über einen stationären Trajektorienindikator. Dies bietet dem Benutzer eine natürlichere und weniger verwirrende Darstellung der Bewegung des Fahrzeugs durch die Umgebung. Das Steuerungssystem der vorliegenden Erfindung bietet eine visuelle Darstellung einer Umgebung eines Fahrzeugs, die es einem Benutzer ermöglicht, besser zu beurteilen, jede Korrespondenz zwischen der Position eines Trajektorie-Indikators, und damit eine zukünftige Position eines Fahrzeugs, in Bezug auf ein oder mehrere Objekte innerhalb der Umgebung außerhalb des Fahrzeugs.
In Ausführungsformen umfassen die eine oder die mehreren Steuerungen gemeinsam: mindestens einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen des einen oder der mehreren Fahrzeugparameter und/oder der Bilddaten; und mindestens eine elektronische Speichervorrichtung, die operativ mit dem mindestens einen elektronischen Prozessor gekoppelt ist und in der Anweisungen gespeichert sind; wobei der mindestens eine elektronische Prozessor so konfiguriert ist, dass er auf die mindestens eine Speichervorrichtung zugreift und die darin gespeicherten Anweisungen ausführt, um die zusammengesetzte Bildsequenz zu bestimmen. Optional ist die mindestens eine elektronische Speichervorrichtung elektrisch mit dem mindestens einen elektronischen Prozessor gekoppelt.
In Ausführungsformen sind die erste Position und die zweite Position innerhalb der zusammengesetzten Bildsequenz durch einen Abstand getrennt, der direkt proportional zu der Strecke ist, die das Fahrzeug zwischen dem Zeitpunkt, zu dem das dem ersten Bild zugeordnete Bild aufgenommen wird, und dem Zeitpunkt, zu dem das dem zweiten Bild zugeordnete Bild aufgenommen wird, zurücklegt.
Der Trajektorienindikator kann eine Vielzahl von Indikatorabschnitten umfassen. In einigen Ausführungsformen ist das Steuerungssystem so konfiguriert, dass es jeden der Indikatorabschnitte von jeweiligen ersten Positionen innerhalb des ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt, die das Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt hat, so dass jeder Indikatorabschnitt im Wesentlichen stationär in der Fahrtrichtung des Fahrzeugs innerhalb der zusammengesetzten Bildsequenz in Bezug auf das eine oder die mehreren Bildobjekte erscheint.
Vorteilhafterweise bietet die Verwendung einer Vielzahl von Trajektorienabschnitten im Gegensatz zu einer durchgehenden Trajektorienlinie eine bessere Darstellung der Bewegung des Trajektorienindikators in Bezug auf das Fahrzeug.
In einigen Ausführungsformen umfasst der Trajektorienindikator eine oder mehrere Linien, die einen vorhergesagten Pfad anzeigen, der von einem oder mehreren Rädern des Fahrzeugs durchlaufen wird. In solchen Ausführungsformen kann der Trajektorienindikator eine erste Trajektorienlinie umfassen, die einen vorhergesagten Weg darstellt, der von einem ersten Rad des Fahrzeugs durchlaufen werden soll, und eine zweite Trajektorienlinie, die einen vorhergesagten Weg darstellt, der von einem zweiten Rad des Fahrzeugs durchlaufen werden soll. Vorteilhafterweise kann ein Insasse des Fahrzeugs mit Informationen versorgt werden, die sich auf den vorhergesagten Weg eines oder mehrerer Räder des Fahrzeugs durch die Umgebung beziehen, die durch die zusammengesetzte Bildsequenz dargestellt wird. Dies kann dem Insassen helfen, indem er Informationen bezüglich des Geländes oder anderer Bildobjekte erhält, auf die die Räder des Fahrzeugs treffen könnten, wenn das Fahrzeug entlang des vorhergesagten Weges weiterfahren würde.
In einigen Ausführungsformen umfassen das eine oder die mehreren Bildobjekte eine überfahrbare Oberfläche innerhalb der zusammengesetzten Bildsequenz. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es den Trajektorienindikator von der ersten Position zur zweiten Position bewegt, so dass es für den Benutzer den Anschein hat, dass sich das Fahrzeug über den Trajektorienindikator bewegt, wenn das Fahrzeug die Oberfläche entlang der ermittelten Fahrzeugtrajektorie überquert. Vorteilhafterweise kann das Steuerungssystem einen Trajektorienindikator bereitstellen, der in Bezug auf die Oberfläche, über die das Fahrzeug fährt, ortsfest ist. Auf diese Weise kann der Insasse den Weg des Fahrzeugs über die Oberfläche besser einschätzen.
In einigen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es die empfangenen Bilddaten analysiert, um eine Topografie der Oberfläche zu bestimmen. In solchen Ausführungsformen kann das Steuerungssystem konfiguriert sein, eine Position und/oder Orientierung des Trajektorienindikators innerhalb eines oder mehrerer Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von der ermittelten Topographie zu bestimmen. In einigen Ausführungsformen kann das Steuerungssystem konfiguriert sein, um: Sensordaten von einem oder mehreren Sensoren zu empfangen, die eine Topographie der Oberfläche anzeigen; und die zusammengesetzte Bildsequenz in Abhängigkeit von den empfangenen Sensordaten zu bestimmen.
Das Steuerungssystem kann einen elektrischen Eingang zum Empfangen der Sensordaten von dem einen oder den mehreren Sensoren umfassen.
In Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es die empfangenen Sensordaten verarbeitet, um ein Oberflächenprofil der Oberfläche zu bestimmen; und eine Position und/oder Orientierung des Trajektorienindikators innerhalb eines oder mehrerer Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von dem bestimmten Oberflächenprofil bestimmt, so dass der Trajektorienindikator auf der Oberfläche innerhalb der zusammengesetzten Bildsequenz zu liegen scheint.
In Ausführungsformen kann das Steuerungssystem konfiguriert sein, um: die empfangenen Bilddaten zu verarbeiten, um eine Geschwindigkeit und/oder eine Bewegungsrichtung des einen oder der mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz zu bestimmen; und den Trajektorienindikator von der ersten Position zu der zweiten Position in Abhängigkeit von der bestimmten Geschwindigkeit und/oder Bewegungsrichtung des einen oder der mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz zu bewegen. Durch das Bewegen des Trajektorienindikators in Abhängigkeit von der Geschwindigkeit und/oder der Bewegungsrichtung des einen oder der mehreren Bildobjekte kann der Trajektorienindikator in Bezug auf das eine oder die mehreren Bildobjekte in eine feste Position gebracht werden.
Der eine oder die mehreren Fahrzeugparameter können einen Lenkwinkel des Fahrzeugs umfassen. Der Lenkwinkel kann einen Winkel eines Lenkrades des Fahrzeugs oder den Winkel eines oder mehrerer lenkbarer Räder des Fahrzeugs umfassen.
Steuerungssystem nach einem der vorhergehenden Ansprüche, wobei der eine oder die mehreren Fahrzeugparameter eine Geschwindigkeit des Fahrzeugs umfassen. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz mit einer Geschwindigkeit und in einer Richtung proportional zur Geschwindigkeit des Fahrzeugs bewegt.
In einigen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es Bilddaten von einer Vielzahl von Bildgebungsgeräten empfängt. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es die von der Vielzahl der bildgebenden Geräte empfangenen Bilddaten verarbeitet, um die zusammengesetzte Bildsequenz zu bestimmen. Das Steuerungssystem kann so konfiguriert sein, dass es die empfangenen Bilddaten verarbeitet, indem es eine oder mehrere Bildtransformationen anwendet und/oder Bilddaten von zwei oder mehr verschiedenen bildgebenden Geräten zusammenfügt, um die zusammengesetzte Bildsequenz zu bilden, wie es in der Technik bekannt sein wird. Das erste und das zweite Bild der zusammengesetzten Bildsequenz können jeweils Bilddaten von zwei oder mehreren separaten bildgebenden Geräten umfassen.
Gemäß einem weiteren Aspekt der Erfindung wird ein System bereitgestellt, das das Steuerungssystem eines beliebigen vorangehenden Aspekts der Erfindung und eine Bildgebungsvorrichtung umfasst, die so konfiguriert ist, dass sie ein oder mehrere Bilder einer Umgebung außerhalb des Fahrzeugs erfasst.
In Ausführungsformen kann das System ein Display umfassen. Das Display kann ein Fahrzeugdisplay sein, das so konfiguriert ist, dass es ein Signal empfängt, das die zusammengesetzte Bildsequenz anzeigt, um die zusammengesetzte Bildsequenz einem Insassen des Fahrzeugs darzustellen.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Fahrzeug bereitgestellt, das ein Steuerungssystem oder ein System gemäß einem der vorhergehenden Aspekte der Erfindung umfasst.
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Bereitstellen einer Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Verfahren umfasst:

Bestimmen einer Fahrzeugtrajektorie aus einem oder mehreren Fahrzeugparametern; und
Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt;
wobei das Verfahren das Positionieren des Trajektorienindikators innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von einer von dem Fahrzeug zurückgelegten Strecke umfasst, so dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs sind.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Verfahren umfasst:

Empfangen eines oder mehrerer Fahrzeugparameter;
Empfangen von Bilddaten, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfassen
Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter;
Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und
Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs;
wobei das Verfahren das Bewegen des Trajektorienindikators von einer ersten Position in einem ersten Bildrahmen der zusammengesetzten Bildsequenz zu einer zweiten Position in einem zweiten Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung, die von dem Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und einem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt wird, umfasst, so dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs liegen.

In Ausführungsformen sind die erste Position und die zweite Position innerhalb der zusammengesetzten Bildsequenz durch einen Abstand getrennt, der direkt proportional zu der Strecke ist, die das Fahrzeug zwischen dem Zeitpunkt, zu dem das dem ersten Bild zugeordnete Bild aufgenommen wird, und dem Zeitpunkt, zu dem das dem zweiten Bild zugeordnete Bild aufgenommen wird, zurücklegt.
Vorteilhafterweise kann das Fahrzeug einem Benutzer des Steuerungssystems, der das zusammengesetzte Bild betrachtet, so erscheinen, als würde es über einen stationären Trajektorienindikator fahren. Dies bietet dem Benutzer eine natürlichere und weniger verwirrende Darstellung der Bewegung des Fahrzeugs durch die Umgebung im Vergleich zu Systemen nach dem Stand der Technik. Das Verfahren der vorliegenden Erfindung stellt eine visuelle Darstellung der Umgebung eines Fahrzeugs zur Verfügung, die es einem Benutzer ermöglicht, eine Übereinstimmung zwischen der Position eines Trajektorienindikators und damit einer zukünftigen Position eines Fahrzeugs in Bezug auf ein oder mehrere Objekte innerhalb der Umgebung außerhalb des Fahrzeugs besser zu beurteilen.
Der Trajektorienindikator kann eine Vielzahl von Indikatorabschnitten umfassen. In einigen Ausführungsformen kann das Verfahren das Bewegen jedes der Indikatorabschnitte von jeweiligen ersten Positionen innerhalb des ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung umfassen, die das Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt hat, so dass jeder Indikatorabschnitt im Wesentlichen stationär in der Fahrtrichtung des Fahrzeugs innerhalb der zusammengesetzten Bildsequenz in Bezug auf das eine oder die mehreren Bildobjekte erscheint.
In einigen Ausführungsformen umfasst der Trajektorienindikator eine oder mehrere Linien, die einen vorhergesagten Weg anzeigen, der von einem oder mehreren Rädern des Fahrzeugs durchfahren werden soll. In solchen Ausführungsformen kann der Trajektorienindikator eine erste Trajektorienlinie umfassen, die einen vorhergesagten Weg darstellt, der von einem ersten Rad des Fahrzeugs durchlaufen werden soll, und eine zweite Trajektorienlinie, die einen vorhergesagten Weg darstellt, der von einem zweiten Rad des Fahrzeugs durchlaufen werden soll. Vorteilhafterweise kann ein Insasse des Fahrzeugs mit Informationen versorgt werden, die sich auf den vorhergesagten Weg eines oder mehrerer Räder des Fahrzeugs durch die Umgebung beziehen, die durch die zusammengesetzte Bildsequenz dargestellt wird. Dies kann dem Insassen helfen, indem er Informationen bezüglich des Geländes oder anderer Bildobjekte erhält, auf die die Räder des Fahrzeugs treffen könnten, wenn das Fahrzeug entlang des vorhergesagten Weges weiterfahren würde.
In einigen Ausführungsformen umfassen das eine oder die mehreren Bildobjekte eine überfahrbare Oberfläche innerhalb der zusammengesetzten Bildsequenz. In solchen Ausführungsformen kann das Verfahren das Bewegen des Trajektorienindikators von der ersten Position zur zweiten Position umfassen, so dass es für den Benutzer so aussieht, als würde sich das Fahrzeug über den Trajektorienindikator bewegen, wenn das Fahrzeug die Oberfläche entlang der ermittelten Fahrzeugtrajektorie überquert. Vorteilhafterweise kann das Verfahren einen Trajektorienindikator bereitstellen, der in Bezug auf die Oberfläche, über die das Fahrzeug fährt, ortsfest ist. Auf diese Weise kann der Insasse den Weg des Fahrzeugs über die Oberfläche besser einschätzen.
In einigen Ausführungsformen kann das Verfahren das Analysieren der empfangenen Bilddaten umfassen, um eine Topographie der Oberfläche zu bestimmen. Das Verfahren kann das Bestimmen einer Position und/oder Orientierung des Trajektorienindikators innerhalb eines oder mehrerer Bildframes der zusammengesetzten Bildsequenz in Abhängigkeit von der bestimmten Topographie umfassen. In einigen Ausführungsformen kann das Verfahren das Empfangen von Sensordaten von einem oder mehreren Sensoren, die eine Topographie der Oberfläche anzeigen, und das Bestimmen der zusammengesetzten Bildsequenz in Abhängigkeit von den empfangenen Sensordaten umfassen. In einigen Ausführungsformen umfasst das Verfahren das Verarbeiten der empfangenen Sensordaten, um ein Oberflächenprofil der Oberfläche zu bestimmen; und das Bestimmen einer Position und/oder Orientierung des Trajektorienindikators innerhalb eines oder mehrerer Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von dem bestimmten Oberflächenprofil, so dass der Trajektorienindikator auf der Oberfläche innerhalb der zusammengesetzten Bildsequenz zu liegen scheint.
In Ausführungsformen kann das Verfahren die Verarbeitung der empfangenen Bilddaten umfassen, um eine Geschwindigkeit und/oder eine Bewegungsrichtung des einen oder der mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz zu bestimmen; und das Bewegen des Trajektorienindikators von der ersten Position zu der zweiten Position in Abhängigkeit von der bestimmten Geschwindigkeit und/oder Bewegungsrichtung des einen oder der mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz. Durch das Bewegen des Trajektorienindikators in Abhängigkeit von der Geschwindigkeit und/oder der Bewegungsrichtung des einen oder der mehreren Bildobjekte kann der Trajektorienindikator in Bezug auf das eine oder die mehreren Bildobjekte in eine feste Position gebracht werden.
Der eine oder die mehreren Fahrzeugparameter können einen Lenkwinkel des Fahrzeugs umfassen. Der Lenkwinkel kann einen Winkel eines Lenkrades des Fahrzeugs oder den Winkel eines oder mehrerer lenkbarer Räder des Fahrzeugs umfassen.
In einigen Ausführungsformen kann das Verfahren das Empfangen von Bilddaten von einer Vielzahl von Bildgebungsgeräten umfassen. In solchen Ausführungsformen kann das Verfahren das Verarbeiten der von der Vielzahl von Bildgebungsvorrichtungen empfangenen Bilddaten umfassen, um die zusammengesetzte Bildsequenz zu bestimmen. Die Verarbeitung kann das Verarbeiten der empfangenen Bilddaten durch Anwenden einer oder mehrerer Bildtransformationen und/oder das Zusammenfügen von Bilddaten von zwei oder mehreren verschiedenen Bildgebungsvorrichtungen umfassen, um die zusammengesetzte Bildsequenz zu bilden, wie es in der Technik bekannt sein wird. Das erste und das zweite Bild der zusammengesetzten Bildsequenz können jeweils Bilddaten von zwei oder mehr separaten bildgebenden Geräten umfassen.
Gemäß einem Aspekt der Erfindung wird ein computerlesbares Medium mit darin gespeicherten Anweisungen bereitgestellt, die, wenn sie von einem oder mehreren elektronischen Prozessoren ausgeführt werden, den einen oder die mehreren elektronischen Prozessoren veranlassen, das Verfahren eines vorhergehenden Aspekts der Erfindung durchzuführen. Optional umfasst das computerlesbare Medium ein nicht-transitorisches computerlesbares Medium.
Gemäß einem weiteren Aspekt der Erfindung wird eine Computersoftware bereitgestellt, die, wenn sie von einem oder mehreren Prozessoren ausgeführt wird, die Durchführung des Verfahrens eines vorangehenden Aspekts der Erfindung bewirkt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Steuerungssystem zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Steuerungssystem eine oder mehrere Steuerungen umfasst, die konfiguriert sind, um: Bestimmen einer zusammengesetzten Bildsequenz, die ein oder mehrere Bildrahmen umfasst, wobei der oder jeder Bildrahmen ein erfasstes Bild einer Umgebung außerhalb des Fahrzeugs und einen Trajektorienindikator umfasst, der eine bestimmte Fahrzeugtrajektorie durch die Umgebung anzeigt; und Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an ein Display zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs; wobei das Steuerungssystem konfiguriert ist, um den Trajektorienindikator an einer oder mehreren Stellen innerhalb des oder jedes Bildrahmens in Abhängigkeit von einer Topographie der Oberfläche zu positionieren.
Gemäß einem weiteren Aspekt der Erfindung wird ein Steuerungssystem zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Steuerungssystem eine oder mehrere Steuerungen umfasst, die konfiguriert sind, um:

einen oder mehrere Fahrzeugparameter zu empfangen;
Bilddaten von einer Bildgebungsvorrichtung zu empfangen, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfasst;
Topographiedaten zu empfangen oder zu bestimmen, die eine Topographie einer Oberfläche innerhalb der Umgebung anzeigen
Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter;
Bestimmen einer zusammengesetzten Bildsequenz, die ein oder mehrere Bildrahmen umfasst, wobei der oder jeder Bildrahmen eines der erfassten Bilder und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und
Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs;
wobei das Steuerungssystem so konfiguriert ist, dass es den Trajektorienindikator an einer oder mehreren Stellen innerhalb des oder jedes Bildes in Abhängigkeit von den empfangenen Topographiedaten positioniert.

Vorteilhafterweise kann der Trajektorienindikator so eingestellt werden, dass er innerhalb der zusammengesetzten Bildsequenz auf dem Boden „verankert“ oder auf diesen ausgerichtet erscheint. Dies erhöht das Situationsbewusstsein eines Insassen in Bezug auf die Fahrumgebung und bietet dem Benutzer eine natürlichere und weniger verwirrende Darstellung der Bewegung des Fahrzeugs durch die Umgebung im Vergleich zu Systemen nach dem Stand der Technik. Das Steuerungssystem der vorliegenden Erfindung bietet eine visuelle Darstellung einer Umgebung eines Fahrzeugs, die es einem Benutzer ermöglicht, jede Übereinstimmung zwischen der Position eines Trajektorienindikators und damit einer zukünftigen Position eines Fahrzeugs in Bezug auf ein oder mehrere Objekte innerhalb der Umgebung außerhalb des Fahrzeugs besser zu beurteilen, insbesondere in Umgebungen, in denen die Topographie des Geländes, über das das Fahrzeug fährt, nicht im Wesentlichen flach ist, sondern Steigungen, Gefälle und andere Variationen enthält.
In Ausführungsformen umfassen die eine oder die mehreren Steuerungen gemeinsam: mindestens einen elektronischen Prozessor mit einem elektrischen Eingang zum Empfangen des einen oder der mehreren Fahrzeugparameter und/oder der Bilddaten; und mindestens eine elektronische Speichervorrichtung, die operativ mit dem mindestens einen elektronischen Prozessor gekoppelt ist und in der Anweisungen gespeichert sind; wobei der mindestens eine elektronische Prozessor so konfiguriert ist, dass er auf die mindestens eine Speichervorrichtung zugreift und die darin gespeicherten Anweisungen ausführt, um die zusammengesetzte Bildsequenz zu bestimmen.
Das Steuerungssystem kann so konfiguriert sein, dass es den Trajektorienindikator innerhalb des oder jedes Bildes so positioniert, dass eine scheinbare Orientierung des Trajektorienindikators an der Stelle des oder jedes Bildes im Wesentlichen der Orientierung der Oberfläche an der Stelle des Bildes entspricht. Optional ist das Steuerungssystem so konfiguriert, dass es den Trajektorienindikator innerhalb des oder jedes Bildes so positioniert, dass der Trajektorienindikator die ermittelte Trajektorie des Fahrzeugs über die Oberfläche anzeigt.
In einigen Ausführungsformen umfassen die Topographiedaten ein Oberflächenprofil der Oberfläche. In solchen Ausführungsformen kann das Steuerungssystem konfiguriert sein, um: das Oberflächenprofil mit der Oberfläche innerhalb des oder jedes Bildes zu korrelieren; und den Trajektorienindikator in Übereinstimmung mit einer Orientierung des Oberflächenprofils an dem einen oder mehreren Bildpositionen zu positionieren. Alternativ umfassen die Topographiedaten eine Punktwolke mit einer Vielzahl von Datenpunkten, die die Topographie der Oberfläche innerhalb der Umgebung anzeigen. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es: die Punktwolke mit der Oberfläche innerhalb des oder jedes Bildes korreliert; und den Trajektorienindikator in Übereinstimmung mit der Punktwolke an den Positionen des einen oder der mehreren Bilder positioniert. Das Korrelieren des Oberflächenprofils oder der Punktwolke mit der Oberfläche in dem oder jedem Bildrahmen kann das Überlagern des Oberflächenprofils oder der Punktwolke mit einer Darstellung der Oberfläche in dem oder jedem Bildrahmen umfassen, um die Topographiedaten mit der Darstellung der Oberfläche auszurichten.
In Ausführungsformen umfassen die Topographiedaten Sensordaten von einem oder mehreren mit dem Fahrzeug verbundenen Sensoren. In solchen Ausführungsformen kann das Steuerungssystem konfiguriert sein, um: eine Topographie der Oberfläche innerhalb der Umgebung in Abhängigkeit von den Sensordaten zu bestimmen; und den Trajektorienindikator innerhalb des oder jedes Bildes in Abhängigkeit von der bestimmten Topographie zu positionieren. Vorteilhafterweise kann das Steuerungssystem der vorliegenden Erfindung verwendet werden, um eine Topographie einer Oberfläche aus Sensorrohdaten zu bestimmen.
In Ausführungsformen kann das Steuerungssystem konfiguriert sein, um: die Topographiedaten aus den Sensordaten zu bestimmen. Vorteilhafterweise kann das Steuerungssystem der vorliegenden Erfindung verwendet werden, um die Topographiedaten aus Sensor-Rohdaten zu bestimmen. Beispielsweise können in einigen Ausführungsformen die Sensordaten Bilddaten umfassen, und das Steuerungssystem kann konfiguriert sein, um die Topographiedaten aus den Bilddaten zu extrahieren.
Das Steuerungssystem kann konfiguriert sein, um: eine Topographie der Oberfläche innerhalb der Umgebung zu bestimmen, indem ein Oberflächenprofil der Oberfläche in Abhängigkeit von den Sensordaten bestimmt wird; das Oberflächenprofil mit der Oberfläche innerhalb des oder jedes Bildes zu korrelieren; und den Trajektorienindikator in Übereinstimmung mit einer Orientierung des Oberflächenprofils an dem einen oder mehreren Bildpositionen zu positionieren. Alternativ kann das Steuerungssystem konfiguriert sein, um: eine Topographie der Oberfläche innerhalb der Umgebung zu bestimmen, indem eine Punktwolke bestimmt wird, die eine Vielzahl von Datenpunkten umfasst, die die Topographie der Oberfläche in Abhängigkeit von den Sensordaten anzeigen; die Punktwolke mit der Oberfläche innerhalb des oder jedes Bildes zu korrelieren; und den Trajektorienindikator in Übereinstimmung mit der Punktwolke an dem einen oder den mehreren Bildpositionen zu positionieren. Wie hierin beschrieben, kann das Korrelieren des Oberflächenprofils oder der Punktwolke mit der Oberfläche in dem oder jedem Bildrahmen das Überlagern des Oberflächenprofils oder der Punktwolke mit einer Darstellung der Oberfläche in dem oder jedem Bildrahmen umfassen, um die Topographiedaten mit der Darstellung der Oberfläche auszurichten.
Der eine oder die mehreren Sensoren können eine oder mehrere Kameras umfassen. Die Kamera(s) können beispielsweise eine Monokamera, eine Stereokamera, eine optische Kamera und/oder eine Infrarotkamera umfassen. Zusätzlich oder alternativ können der eine oder die mehreren Sensoren einen RADAR-Sensor, einen LIDAR-Sensor und/oder einen Ultraschallsensor umfassen. In Ausführungsformen können der eine oder die mehreren Sensoren einen Positionssensor umfassen, der ein GNSS-Sensor zur Bestimmung einer absoluten Position eines zugehörigen Objekts, z. B. des Fahrzeugs, sein kann. Der eine oder die mehreren Sensoren können einen oder mehrere Lagesensoren zur Bestimmung einer Orientierung des Fahrzeugs in Bezug auf die Umgebung umfassen. Der/die Lagesensor(en) kann/können z. B. eine Inertialmesseinheit (IMU), einen Beschleunigungsmesser, einen Neigungsmesser und/oder ein Gyroskop umfassen.
Die ein oder mehreren Fahrzeugparameter können einen Lenkwinkel des Fahrzeugs umfassen. Der Lenkwinkel kann einen Winkel eines Lenkrads des Fahrzeugs oder einen Winkel von einem oder mehreren lenkbaren Rädern des Fahrzeugs umfassen. Der eine oder die mehreren Fahrzeugparameter können eine Geschwindigkeit des Fahrzeugs und/oder eine Ausrichtung des Fahrzeugs um eine oder mehrere Achsen umfassen.
In Ausführungsformen kann das Steuerungssystem konfiguriert sein, um:

Fahrzeugorientierungsdaten zu empfangen oder zu bestimmen, die eine Orientierung des Fahrzeugs um eine oder mehrere Achsen anzeigen; eine relative Orientierung des Fahrzeugs in Bezug auf die Oberfläche in Abhängigkeit von den Fahrzeugorientierungsdaten zu bestimmen; und den Trajektorienindikator an dem einen oder den mehreren Bildrahmenpositionen in Abhängigkeit von der relativen Orientierung des Fahrzeugs zu positionieren. Auf diese Weise kann die Orientierung des Fahrzeugs innerhalb der Umgebung verwendet werden, um eine erforderliche Position für einen Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz zu bestimmen.

In einigen Ausführungsformen kann der Trajektorienindikator eine Vielzahl von Indikatorabschnitten umfassen. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es jeden Trajektorienindikatorabschnitt an einer entsprechenden Bildposition in Abhängigkeit von der Topografie der Oberfläche an der entsprechenden Bildposition positioniert. In einigen Ausführungsformen ist jeder Indikatorabschnitt um einen jeweiligen Drehpunkt beweglich, der mit einem Endpunkt eines vorangehenden Indikatorabschnitts verbunden ist. In solchen Ausführungsformen kann das Steuerungssystem so konfiguriert sein, dass es einen oder mehrere der mehreren Indikatorabschnitte in Abhängigkeit von der Topografie der Oberfläche an einer entsprechenden Bildposition um seinen jeweiligen Drehpunkt bewegt. Auf diese Weise kann ein Trajektorienindikator aus einer Vielzahl von Indikatorabschnitten aufgebaut werden, der jegliche Diskontinuitäten entlang der Länge des Trajektorienindikators vermeidet, die andernfalls auftreten könnten, wenn Indikatorabschnitte ohne Berücksichtigung der Position benachbarter Abschnitte bewegt würden.
Gemäß einem weiteren Aspekt der Erfindung wird ein System zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, das ein Steuerungssystem gemäß einem der vorangehenden Aspekte der Erfindung und eine oder mehrere Einrichtungen umfasst, die ausgewählt sind aus: einer Bildgebungsvorrichtung, die so konfiguriert ist, dass sie ein oder mehrere Bilder einer Umgebung außerhalb des Fahrzeugs erfasst; und einer Anzeige, die so konfiguriert ist, dass sie die zusammengesetzte Bildsequenz dem Insassen des Fahrzeugs anzeigt.
Gemäß einem weiteren Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, das ein Steuerungssystem oder ein System eines beliebigen Aspekts der hierin beschriebenen Erfindung umfasst.
Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum Bereitstellen einer Unterstützung für einen Insassen eines Fahrzeugs bereitgestellt, wobei das Verfahren umfasst:

Empfangen eines oder mehrerer Fahrzeugparameter;
Empfangen von Bilddaten von einer Bildgebungsvorrichtung, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfasst;
Empfangen oder Bestimmen von Topographiedaten, die eine Topographie einer Oberfläche innerhalb der Umgebung anzeigen;
Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter;
Bestimmen einer zusammengesetzten Bildsequenz, die ein oder mehrere Bildrahmen umfasst, wobei der oder jeder Bildrahmen eines der aufgenommenen Bilder und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und
Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs;
wobei das Verfahren das Positionieren des Trajektorienindikators an einer oder mehreren Stellen innerhalb des oder jedes Bildes in Abhängigkeit von den Topographiedaten umfasst.

In einigen Ausführungsformen umfasst das Verfahren das Positionieren des Trajektorienindikators innerhalb des oder jedes Bildes, so dass eine scheinbare Orientierung des Trajektorienindikators an der oder jeder Bildposition im Wesentlichen äquivalent zu der Orientierung der Oberfläche an der Bildposition ist. Optional umfasst das Verfahren das Positionieren des Trajektorienindikators innerhalb des oder jedes Bildes, so dass der Trajektorienindikator die ermittelte Trajektorie des Fahrzeugs über die Oberfläche anzeigt.
In Ausführungsformen umfassen die Topographiedaten Sensordaten von einem oder mehreren Sensoren, und das Verfahren umfasst: Bestimmen einer Topographie der Oberfläche in Abhängigkeit von den Sensordaten; und Positionieren des Trajektorienanzeigers innerhalb des oder jedes Bildes in Abhängigkeit von der bestimmten Topographie.
In Ausführungsformen kann das Verfahren die Bestimmung der Topographiedaten aus den Sensordaten umfassen. In einigen Ausführungsformen können die Sensordaten zum Beispiel Bilddaten umfassen, und das Verfahren kann das Extrahieren der Topographiedaten aus den Bilddaten umfassen.
In einigen Ausführungsformen umfassen die Topographiedaten ein Oberflächenprofil der Oberfläche. In solchen Ausführungsformen umfasst das Verfahren das Korrelieren des Oberflächenprofils mit der Oberfläche innerhalb des oder jedes Bildes; und das Positionieren des Trajektorienindikators gemäß einer Orientierung des Oberflächenprofils an den Positionen des einen oder der mehreren Bilder. Alternativ dazu umfassen die Topographiedaten eine Punktwolke, die eine Vielzahl von Datenpunkten umfasst, die die Topographie der Oberfläche innerhalb der Umgebung anzeigen. In solchen Ausführungsformen kann das Verfahren das Korrelieren der Punktwolke mit der Oberfläche innerhalb des oder jedes Bildes umfassen; und das Positionieren des Trajektorienindikators in Übereinstimmung mit der Punktwolke an den Positionen des einen oder der mehreren Bilder. Das Korrelieren des Oberflächenprofils oder der Punktwolke mit der Oberfläche in dem oder jedem Bildrahmen kann das Überlagern des Oberflächenprofils oder der Punktwolke mit einer Darstellung der Oberfläche in dem oder jedem Bildrahmen umfassen, um die Topographiedaten mit der Darstellung der Oberfläche auszurichten.
In Ausführungsformen umfassen die Topographiedaten Sensordaten von einem oder mehreren mit dem Fahrzeug verbundenen Sensoren. In solchen Ausführungsformen kann das Verfahren das Bestimmen einer Topographie der Oberfläche innerhalb der Umgebung in Abhängigkeit von den Sensordaten umfassen; und das Positionieren des Trajektorienindikators innerhalb des oder jedes Bildes in Abhängigkeit von der bestimmten Topographie.
In einigen Ausführungsformen umfasst das Verfahren das Bestimmen einer Topographie der Oberfläche innerhalb der Umgebung durch Bestimmen eines Oberflächenprofils der Oberfläche in Abhängigkeit von den Sensordaten; Korrelieren des Oberflächenprofils mit der Oberfläche innerhalb des oder jedes Bildrahmens (image frame); und Positionieren des Trajektorienindikators in Übereinstimmung mit einer Orientierung des Oberflächenprofils an dem einen oder mehreren Bildrahmenpositionen. Alternativ kann das Verfahren das Bestimmen einer Topographie der Oberfläche innerhalb der Umgebung durch Bestimmen einer Punktwolke, die eine Vielzahl von Datenpunkten umfasst, die die Topographie der Oberfläche in Abhängigkeit von den Sensordaten anzeigen; Korrelieren der Punktwolke mit der Oberfläche innerhalb des oder jedes Bildes; und Positionieren des Trajektorienindikators in Übereinstimmung mit der Punktwolke an dem einen oder den mehreren Bildpositionen umfassen. Wie hierin beschrieben, kann das Korrelieren des Oberflächenprofils oder der Punktwolke mit der Oberfläche in dem oder jedem Bildrahmen das Überlagern des Oberflächenprofils oder der Punktwolke mit einer Darstellung der Oberfläche in dem oder jedem Bildrahmen umfassen, um die Topographiedaten mit der Darstellung der Oberfläche auszurichten.
Das Verfahren kann das Empfangen oder Bestimmen von Fahrzeugorientierungsdaten umfassen, die eine Orientierung des Fahrzeugs um eine oder mehrere Achsen anzeigen; das Bestimmen einer relativen Orientierung des Fahrzeugs in Bezug auf die Oberfläche in Abhängigkeit von den Fahrzeugorientierungsdaten; und das Positionieren des Trajektorienindikators an dem einen oder den mehreren Bildrahmenpositionen in Abhängigkeit von der relativen Orientierung des Fahrzeugs.
In einigen Ausführungsformen kann der Trajektorienindikator eine Vielzahl von Indikatorabschnitten umfassen. In solchen Ausführungsformen kann das Verfahren das Positionieren jedes Trajektorienindikatorabschnitts an einer jeweiligen Bildrahmenposition in Abhängigkeit von der Topographie der Oberfläche an der jeweiligen Bildrahmenposition umfassen. In einigen Ausführungsformen ist jeder Indikatorabschnitt um einen jeweiligen Drehpunkt beweglich, der mit einem Endpunkt eines vorangehenden Indikatorabschnitts verbunden ist. In solchen Ausführungsformen kann das Verfahren das Bewegen eines oder mehrerer der mehreren Indikatorabschnitte um seinen jeweiligen Drehpunkt in Abhängigkeit von der Topografie der Oberfläche an einer entsprechenden Bildrahmenposition umfassen.
Gemäß einem weiteren Aspekt der Erfindung wird ein nicht-transitorisches computerlesbares Medium mit darin gespeicherten Anweisungen bereitgestellt, die bei Ausführung durch eine Recheneinrichtung ein Verfahren gemäß dem vorhergehenden Aspekt der Erfindung durchführen.
Gemäß einem weiteren Aspekt der Erfindung wird eine Computersoftware bereitgestellt, die, wenn sie von einem oder mehreren Prozessoren ausgeführt wird, die Durchführung eines Verfahrens gemäß einem der vorangehenden Aspekte der Erfindung bewirkt.
Jede hierin beschriebene Steuerung oder Steuerungen können zweckmäßigerweise eine Steuereinheit oder Recheneinrichtung mit einem oder mehreren elektronischen Prozessoren umfassen. Somit kann das System eine einzige Steuereinheit oder einen einzigen elektronischen Controller umfassen, oder alternativ können verschiedene Funktionen des Controllers in verschiedenen Steuereinheiten oder Controllern verkörpert sein oder in diesen untergebracht sein. Der hier verwendete Begriff „Steuergerät“ oder „Steuereinheit“ umfasst sowohl ein einzelnes Steuergerät oder eine einzelne Steuereinheit als auch eine Vielzahl von Steuergeräten oder Steuereinheiten, die gemeinsam arbeiten, um eine bestimmte Steuerungsfunktionalität bereitzustellen. Um ein Steuergerät zu konfigurieren, kann ein geeigneter Satz von Anweisungen bereitgestellt werden, die, wenn sie ausgeführt werden, bewirken, dass die Steuereinheit oder das Rechengerät die hier angegebenen Steuertechniken implementiert. Der Satz von Anweisungen kann in geeigneter Weise in den einen oder die mehreren elektronischen Prozessoren eingebettet sein. Alternativ kann der Satz von Anweisungen als Software bereitgestellt werden, die in einem oder mehreren mit dem Steuergerät verbundenen Speicher(n) gespeichert ist, um auf dem Rechengerät ausgeführt zu werden. Ein erster Controller kann in Software implementiert sein, die auf einem oder mehreren Prozessoren läuft. Eine oder mehrere andere Steuerungen können in Software implementiert sein, die auf einem oder mehreren Prozessoren läuft, optional auf demselben oder mehreren Prozessoren wie die erste Steuerung. Andere geeignete Anordnungen können ebenfalls verwendet werden.
Im Rahmen dieser Anmeldung ist ausdrücklich beabsichtigt, dass die verschiedenen Aspekte, Ausführungsformen, Beispiele und Alternativen, die in den vorhergehenden Absätzen, in den Ansprüchen und/oder in der folgenden Beschreibung und den Zeichnungen dargelegt sind, und insbesondere die einzelnen Merkmale davon, unabhängig oder in beliebiger Kombination betrachtet werden können. Das heißt, alle Ausführungsformen und/oder Merkmale einer Ausführungsform können in beliebiger Weise und/oder Kombination miteinander kombiniert werden, sofern diese Merkmale nicht miteinander unvereinbar sind. Der Anmelder behält sich das Recht vor, jeden ursprünglich eingereichten Anspruch zu ändern oder einen neuen Anspruch entsprechend einzureichen, einschließlich des Rechts, einen ursprünglich eingereichten Anspruch dahingehend zu ändern, dass er von einem anderen Anspruch abhängt und/oder ein Merkmal eines anderen Anspruchs einbezieht, obwohl er ursprünglich nicht in dieser Weise beansprucht wurde.
Figurenliste
Eine oder mehrere Ausführungsformen der Erfindung werden jetzt nur beispielhaft unter Bezugnahme auf die beigefügten Figuren beschrieben, in denen:

1 zeigt eine schematische Darstellung einer Ausführungsform eines Steuerungssystems gemäß der vorliegenden Erfindung;
2 zeigt eine schematische Darstellung einer Ausführungsform eines Fahrzeugs gemäß der vorliegenden Erfindung;
3 ist ein Flussdiagramm zur Veranschaulichung einer Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung;
4 veranschaulicht ein Beispielverfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung;
5 veranschaulicht ein Beispielverfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung;
6 veranschaulicht verschiedene Typen von Trajektorienindikatoren, die in Ausführungsformen der vorliegenden Erfindung verwendet werden können;
Die 7A und 7B zeigen ein Beispiel für ein Verfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung;
7C veranschaulicht die betriebliche Nutzung von Ausführungsformen der vorliegenden Erfindung und zeigt eine grafische Darstellung einer zusammengesetzten Bildsequenz, die in Ausführungsformen der vorliegenden Erfindung gebildet wird;
8A ist eine grafische Darstellung einer zusammengesetzten Bildsequenz, die mit Systemen und Verfahren des Standes der Technik erzeugt wurde;
8B veranschaulicht die betriebliche Verwendung von Ausführungsformen der Erfindung und zeigt eine grafische Darstellung einer zusammengesetzten Bildsequenz, die in Ausführungsformen der vorliegenden Erfindung gebildet wird; und
9 veranschaulicht die betriebliche Verwendung von Ausführungsformen der Erfindung, zeigt eine grafische Darstellung einer zusammengesetzten Bildsequenz in Ausführungsformen der vorliegenden Erfindung gebildet.
10 zeigt eine schematische Darstellung einer Ausführungsform eines Steuerungssystems gemäß der vorliegenden Erfindung;
11 zeigt eine schematische Darstellung einer Ausführungsform eines Fahrzeugs gemäß der vorliegenden Erfindung;
12 ist ein Flussdiagramm zur Veranschaulichung einer Ausführungsform eines Verfahrens gemäß der vorliegenden Erfindung;
13 veranschaulicht ein Beispielverfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung;
14 veranschaulicht ein Beispielverfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung;
15A-D veranschaulichen eine betriebliche Verwendung von Ausführungsformen der vorliegenden Erfindung;
16 veranschaulicht ein beispielhaftes Verfahren zur Verwendung in Ausführungsformen der vorliegenden Erfindung; und
17-20 veranschaulichen die betriebliche Verwendung von Ausführungsformen der vorliegenden Erfindung und zeigen eine Reihe von grafischen Darstellungen von zusammengesetzten Bildsequenzen, die in Ausführungsformen der vorliegenden Erfindung gebildet werden.

AUSFÜHRLICHE BESCHREIBUNG
Ein Steuerungssystem 10, ein System 30, ein Fahrzeug 50 und ein Verfahren 100 gemäß Ausführungsformen der vorliegenden Erfindung werden hier unter Bezugnahme auf die begleitenden Figuren beschrieben.
Unter Bezugnahme auf 1 umfasst ein erfindungsgemäßes System 30 ein Steuerungssystem 10. Das Steuerungssystem 10 ist operativ mit einem Fahrzeugsystem 16, einer Bildgebungseinrichtung in Form einer Kamera 20, einem oder mehreren Sensoren 28 und einem Display 24 gekoppelt, wie in 1 dargestellt. Das Steuerungssystem 10 umfasst einen Prozessor 12, eine Speichereinrichtung 26, elektrische Eingänge 14, 18, 27 und einen elektrischen Ausgang 22.
Die Kamera 20 ist so konfiguriert, dass sie Bilder von einer Umgebung außerhalb des Fahrzeugs aufnimmt. Wie hierin beschrieben wird, ist das Steuerungssystem 10 so konfiguriert, dass es Bilddaten empfängt, die für die von der Kamera 20 aufgenommenen Bilder repräsentativ sind, und diese Daten verwendet, um eine zusammengesetzte Bildsequenz zu bestimmen.
Das Fahrzeugsystem 16 kann jedes System sein, das in der Lage ist, ein Signal auszugeben, das einen oder mehrere Fahrzeugparameter anzeigt, insbesondere in Bezug auf die Bewegung des Fahrzeugs. Das Fahrzeugsystem 16 kann ein Lenksystem des Fahrzeugs umfassen, das in der Lage sein kann, ein Signal auszugeben, das einen Lenkwinkel des Fahrzeugs angibt. Der Lenkwinkel kann eine Winkelposition eines Lenkrads des Fahrzeugs sein. Zusätzlich oder alternativ kann der Lenkwinkel eine Winkelstellung eines oder mehrerer lenkbarer Räder des Fahrzeugs umfassen. Der Lenkwinkel kann sich auf einen vorhergesagten Krümmungsradius eines Fahrzeugwegs aufgrund der Winkelposition eines oder mehrerer lenkbarer Räder des Fahrzeugs beziehen. Das Fahrzeugsystem 16 kann ein Bremssystem des Fahrzeugs umfassen, wie z. B. ein Antiblockiersystem (ABS), das so konfiguriert sein kann, dass es ein Signal ausgibt, das eine Raddrehzahl des Fahrzeugs und damit eine Geschwindigkeit des Fahrzeugs anzeigt. Das Fahrzeugsystem 16 kann ein Triebwerksmanagementsystem umfassen, das so konfiguriert sein kann, dass es ein Signal ausgibt, das z. B. eine Motordrehzahl und/oder eine Motordrehzahl des Fahrzeugs anzeigt. Im Gebrauch kann das Steuerungssystem 10 so konfiguriert sein, dass es die Fahrzeugtrajektorie in Abhängigkeit von einer oder mehreren solcher Arten von Fahrzeugparametern bestimmt.
In Ausführungsformen ist das Fahrzeugsystem 16 ein bildgebendes System und kann z. B. die Kamera 20 umfassen. In solchen Ausführungsformen umfasst das Fahrzeugsystem 16 eine Bildverarbeitungseinheit, die so konfiguriert ist, dass sie die Bewegung eines oder mehrerer Objekte in den vom bildgebenden System erfassten Bilddaten analysiert. Eine solche Analyse kann verwendet werden, um eine Geschwindigkeit des Fahrzeugs relativ zu diesen Objekten und damit eine Geschwindigkeit des Fahrzeugs innerhalb der Umgebung abzuleiten.
Der eine oder die mehreren Sensoren 28 können Sensoren umfassen, die in der Lage sind, Hindernisse, Oberflächen und andere derartige Objekte in der Umgebung des Fahrzeugs zu erkennen, und/oder Informationen, die sich auf die Position/Ausrichtung des Fahrzeugs in dieser Umgebung beziehen. Der eine oder die mehreren Sensoren können zum Beispiel ein bildgebendes Gerät wie eine Kamera, RADAR, LIDAR, Ultraschallsensoren usw. umfassen. Der eine oder die mehreren Sensoren können die Kamera 20 umfassen, die so konfiguriert ist, dass sie Bilder von der Umgebung außerhalb des Fahrzeugs aufnimmt. Die von dem einen oder den mehreren Sensoren 28 empfangenen Daten können verwendet werden, um die Umgebung außerhalb des Fahrzeugs abzubilden. In Ausführungsformen ist das Steuerungssystem 10 beispielsweise so konfiguriert, dass es die von dem/den Sensor(en) empfangenen Daten verwendet, um eine Topografie einer Oberfläche zu bestimmen, über die das Fahrzeug gerade fährt oder fahren wird, wenn es entlang der bestimmten Trajektorie weiterfährt. Diese Topographie kann verwendet werden, um die zusammengesetzte Bildsequenz wie hier beschrieben zu bestimmen. Der/die Sensor(en) 28 kann/können zusätzlich eine Inertialmesseinheit (IMU) zur Bestimmung einer Orientierung des Fahrzeugs entlang einer oder mehrerer Achsen und/oder Sensoren in Bezug auf ein GNSS-Modul (z. B. ein GPS-Modul) innerhalb des Fahrzeugs umfassen, die zur Bestimmung einer Position des Fahrzeugs innerhalb einer kartierten Umgebung geeignet sind.
Im Gebrauch empfängt das Steuerungssystem 10 am elektrischen Eingang 14 einen oder mehrere Fahrzeugparameter vom Fahrzeugsystem 16. Der eine oder die mehreren Fahrzeugparameter können beispielsweise eine Geschwindigkeit des Fahrzeugs, eine Geschwindigkeit des Fahrzeugs, einen Lenkwinkel und/oder eine Orientierung des Fahrzeugs (z. B. einen Roll-, Nick- und/oder Gierwinkel) umfassen. Das Steuerungssystem 10 ist ferner so konfiguriert, dass es am elektrischen Eingang 18 Bilddaten von der Kamera 20 empfängt. Die Bilddaten umfassen erfasste Bilder einer Umgebung außerhalb des Fahrzeugs. Der Prozessor 12 bestimmt eine Fahrzeugtrajektorie unter Verwendung der empfangenen Fahrzeugparameter und verwendet die bestimmte Fahrzeugtrajektorie zusammen mit den empfangenen Bilddaten, um eine zusammengesetzte Bildsequenz zu bestimmen. Insbesondere ist der Prozessor 12 so konfiguriert, dass er eine zusammengesetzte Bildsequenz bildet, die eine Folge von Bildrahmen umfasst, von denen jedes ein erfasstes Bild und einen Trajektorienindikator enthält, der die bestimmte Fahrzeugtrajektorie anzeigt. Ein Steuersignal, das die zusammengesetzte Bildsequenz anzeigt, wird über den elektrischen Ausgang 22 an das Display 24 ausgegeben, um die zusammengesetzte Bildsequenz einem Insassen des Fahrzeugs zu zeigen.
Wie im Folgenden noch näher beschrieben wird, ist das Steuerungssystem 10 bei der Erzeugung der zusammengesetzten Bildsequenz so konfiguriert, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz so bewegt, dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs im Wesentlichen stationär erscheint. Insbesondere ist das Steuerungssystem 10 so konfiguriert, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz so bewegt, dass der Trajektorienindikator in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das oder die Bildobjekte außerhalb des Fahrzeugs liegen. In einigen Ausführungsformen ist das Steuerungssystem 10 so konfiguriert, dass es am elektrischen Eingang 27 Sensordaten von dem/den Sensor(en) 28 empfängt. Die Sensordaten können eine Topographie einer Oberfläche anzeigen, über die das Fahrzeug fahren kann.
In Ausführungsformen ist das Steuerungssystem 10 so konfiguriert, dass es beim Erzeugen der zusammengesetzten Bildsequenz eine Position und/oder Orientierung der Trajektorienindikatorbildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Topographie einer Oberfläche bestimmt, über die das Fahrzeug voraussichtlich fahren wird. Sensordaten von dem/den Sensor(en) 28 werden verwendet, um eine Topographie einer befahrbaren Oberfläche innerhalb der Umgebung des Fahrzeugs zu bestimmen. Dies wird erreicht, indem eine Umgebung mit einem oder mehreren Sensoren kartiert wird, z. B. mit einer Punktwolkenkarte, einer Konturenkarte, einer dünn besetzten Karte usw. Die Abbildung der Umgebung wird verwendet, um eine dreidimensionale Darstellung der Umgebung und insbesondere eine befahrbare Fläche innerhalb der Umgebung des Fahrzeugs zu bestimmen. Die Überlagerung oder anderweitige Ausrichtung dieser dreidimensionalen Darstellung mit den von der Kamera 20 erhaltenen Bildern und die Positionierung/Orientierung des Trajektorienindikators in Bezug auf die dreidimensionale Darstellung stellt sicher, dass der/die Trajektorienindikator(en) für einen Benutzer auf der Oberfläche liegen (und in Bezug darauf fixiert sind). Bei der Bestimmung der zusammengesetzten Bildsequenz kann das Steuerungssystem 10 beispielsweise so konfiguriert werden, dass es den Trajektorienindikator so positioniert und/oder ausrichtet, dass er mit der Ausrichtung der Oberfläche an der gewünschten Position des Trajektorienindikators innerhalb eines Bildrahmens (bzw. mehrerer Bilder) der zusammengesetzten Bildsequenz übereinstimmt. Auf diese Weise erscheint der Trajektorienindikator einem Benutzer des Systems so, als läge er auf einer befahrbaren Oberfläche innerhalb der Umgebung.
Wie zu erkennen sein wird, kann jeder hierin beschriebene Prozessschritt (oder Verfahrensschritt) durch Ausführen von Computersoftware, z. B. Computersoftware 29, auf einem oder mehreren Prozessoren 12, wie in 1 gezeigt, durchgeführt werden. Jede derartige Software 29 kann an einem Ort gespeichert sein, auf den der Prozessor 12 zugreifen kann, z. B. im Speicher 26.
2 zeigt eine Ausführungsform eines Fahrzeugs 50 gemäß einer Ausführungsform der Erfindung. Wie dargestellt, umfasst das Fahrzeug 50 ein System 30, das ein Steuerungssystem 10, bildgebende Einrichtungen in Form von Kameras 20a, 20b, das Fahrzeugsystem 16, einen Sensor 28 und das Display 24 umfasst.
Eine Ausführungsform eines erfindungsgemäßen Verfahrens 100 wird nun unter Bezugnahme auf 3 beschrieben.
Das Verfahren umfasst das Empfangen 102 eines oder mehrerer Fahrzeugparameter. Wie hierin beschrieben, kann der eine oder mehrere Parameter von einem Fahrzeugsystem empfangen werden und beziehen sich auf die Bewegung des Fahrzeugs. Bei 104 umfasst das Verfahren den Empfang von Bilddaten von einer Bildgebungsvorrichtung. Typischerweise umfasst dies den Empfang von Bilddaten von einer am oder im Fahrzeug montierten Kamera, die so konfiguriert ist, dass sie Bilder von einer Umgebung außerhalb des Fahrzeugs erfasst. Es versteht sich jedoch von selbst, dass das Verfahren den Empfang von Bilddaten von einer Vielzahl von Bildgebungsvorrichtungen umfassen kann. Bei 106 umfasst das Verfahren das Bestimmen einer Fahrzeugtrajektorie (wie unten ausführlicher besprochen). Die Fahrzeugtrajektorie wird in Abhängigkeit von dem einen oder den mehreren empfangenen Fahrzeugparametern bestimmt. Bei 108 umfasst das Verfahren das Bestimmen einer zusammengesetzten Bildsequenz. Die zusammengesetzte Bildsequenz umfasst eine Sequenz von Bildrahmen, wobei jeder Bildrahmen ein (von der Bildgebungsvorrichtung empfangenes) aufgenommenes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt. Bei 110 wird ein Steuersignal, das die zusammengesetzte Bildsequenz anzeigt, an ein Display ausgegeben, um die zusammengesetzte Bildsequenz einem Insassen des Fahrzeugs anzuzeigen.
Beim Bestimmen der zusammengesetzten Bildsequenz umfasst das Verfahren 100 das Bewegen des Trajektorienindikators von einer ersten Position in einem ersten Bildrahmen der zusammengesetzten Bildsequenz zu einer zweiten Position in einem zweiten Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung, die das Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und einem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurücklegt. Auf diese Weise wird der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheinen gelassen, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs liegen. Die Bestimmung der zusammengesetzten Bildsequenz wird im Folgenden unter Bezugnahme auf die 4-9 im Detail erläutert.
4 illustriert ein Verfahren zur Bestimmung einer Fahrzeugtrajektorie. Konkret zeigt 4, wie ein Fahrradmodell verwendet wird, um die Trajektorie eines Fahrzeugs 50 zu modellieren.
In dem in 4 gezeigten Modell umfasst das Fahrzeug 50 vier lenkbare Räder 52, 54, 56, 58, zwei Vorderräder 52, 54, die einer Vorderachse 53 des Fahrzeugs 50 zugeordnet sind, und zwei Hinterräder 56, 58, die einer Hinterachse 57 des Fahrzeugs 50 zugeordnet sind. In diesem Beispiel sind die Vorderräder 52, 54 so konfiguriert, dass sie unter demselben Winkel Φvorne in Bezug auf die Fahrzeuglängsachse y gelenkt werden. Dementsprechend können die Vorderräder 52, 54 als ein einzelnes Rad modelliert werden, das in der Mitte der Vorderachse 53 unter einem Winkel Φvorne in Bezug auf die Fahrzeuglängsachse y positioniert ist. Dementsprechend können die Hinterräder 56, 58 als ein einzelnes Rad modelliert werden, das in der Mitte der Hinterachse 57 in einem Winkel ϕ hinten in Bezug auf die Fahrzeuglängsachse y positioniert ist.
Es wird deutlich, dass das Fahrzeug 50 auch andere Lenkungskonfigurationen aufweisen kann, die jeweils auf ähnliche, aber unterschiedliche Weise modelliert werden müssen. Wenn ein Fahrzeug beispielsweise nur zwei lenkbare Räder, z. B. die Vorderräder 52, 54, umfasst, wobei die Hinterräder 56, 58 in Bezug auf die Längsachse des Fahrzeugs y drehfest sind, können die Vorderräder 52, 54 wie oben beschrieben modelliert werden. Die Hinterräder 56, 58 können als ein einzelnes Rad modelliert werden, das in der Mitte der Hinterachse 57 in einem Winkel von 0° zur Fahrzeuglängsachse y positioniert ist. Wenn jedes der Räder 52, 54, 56, 58 in unterschiedlichen Winkeln zueinander lenkbar ist, muss jedes einzeln modelliert werden.
Mit dem in 4 gezeigten Modell wird ein Drehpunkt C für das Fahrzeug 50 in Abhängigkeit vom Lenkwinkel ϕ_vorne der Vorderräder 52, 54 und dem Lenkwinkel ϕ_hinten der Hinterräder 56, 58 bestimmt. Definiert man den Bezugsrahmen bezüglich der Längsachse y und der Querachse x des Fahrzeugs 50 mit dem Ursprung in der Mitte der Hinterachse 57, so wird der Drehpunkt C des Fahrzeugs 50 als Schnittpunkt der Geraden Y vorne, Y_hinten bestimmt, die durch die Mittelpunkte der Vorder- und Hinterachsen 53, 57, senkrecht zu den Lenkrichtungen der jeweiligen Achsen 53, 57, verlaufen. Die Gleichungen dieser Geraden sind durch die folgenden Gleichungen gegeben: $Y_v o r n e = t a n (φ_v o r n e) * x + W$
$Y_h i n t e n = t a n (φ_h i n t e n) * x$
wobei W der Radstand des Fahrzeugs 50 ist. Das Lösen der Gleichungen 1 und 2 für x und Y ergibt den Drehpunkt C, wobei x = R (Radius) und Y = O (Versatz zur Querachse).
Ist der Drehpunkt C gefunden, wird die Trajektorie des Fahrzeugs 50 als Kreis um den Drehpunkt C mit einem Radius R definiert. Dies wird in 5 durch einen Trajektorienindikator in Form eines Paars paralleler Trajektorienlinien 40, 42 dargestellt. Eine erste Trajektorie-Linie 40 stellt einen vorhergesagten Weg dar, der von einem ersten Punkt des Fahrzeugs 50 durchlaufen werden soll, und eine zweite Trajektorie-Linie 42 stellt einen vorhergesagten Weg dar, der von einem zweiten Punkt des Fahrzeugs 50 durchlaufen werden soll. Typischerweise, und wie in 5 gezeigt, ist der erste Punkt am Fahrzeug 50 der Punkt am Fahrzeug, der am weitesten vom identifizierten Drehzentrum C entfernt ist. Dies ist typischerweise die vordere Ecke des Fahrzeugs 50, wobei sich „vordere Seite“ auf die Seite des Fahrzeugs 50 bezieht, die am weitesten vom Drehzentrum C entfernt ist. Der zweite Punkt am Fahrzeug 50 kann dem proximalen Hinterrad des Fahrzeugs 50 entsprechen, wobei sich „proximale Seite“ auf die Seite des Fahrzeugs 50 bezieht, die dem Rotationszentrum C am nächsten ist. In Ausführungsformen stellen die Bahnlinien 40, 42 einen vorhergesagten Weg dar, der von anderen Fahrzeugkomponenten durchlaufen wird. Zum Beispiel stellt die erste Trajektorienlinie 40 einen vorhergesagten Weg dar, der von einem ersten Vorderrad des Fahrzeugs 50 durchlaufen wird, und die zweite Trajektorienlinie 42 stellt einen vorhergesagten Weg dar, der von einem zweiten Vorderrad des Fahrzeugs 50 durchlaufen wird.
Die lineare Geschwindigkeit des Fahrzeugs 50 kann verwendet werden, um eine Winkelgeschwindigkeit, v_Fahrzeug, des Fahrzeugs 50 zu bestimmen, wenn es sich entlang der ermittelten Trajektorie bewegt, unter Verwendung der folgenden Formel: $v_F a h r z e u g = V_l i n e a r / R_F a h r z e u g$
wobei V_linear die lineare Geschwindigkeit des Fahrzeugs ist (die aus einem oder mehreren Fahrzeugparametern, wie hierin beschrieben, bestimmt werden kann), und R_Fahrzeug der senkrechte Abstand zwischen der Längsachse des Fahrzeugs 50 und dem Drehpunkt C ist. Diese Gleichung kann verwendet werden, um die Winkelgeschwindigkeit eines beliebigen Punktes auf dem Fahrzeug zu bestimmen, z. B. des ersten Punktes und des zweiten Punktes zur Definition der ersten und zweiten Trajektorienlinien 40, 42.
Zur Berechnung der Winkelgeschwindigkeit, v_out, des Punktes auf dem Fahrzeug 50, der die erste Trajektorienlinie 40 definiert, kann die folgende Gleichung verwendet werden: $v_o u t = V_l i n e a r / R_o u t$
wobei R_out der Krümmungsradius der ersten Trajektorienlinie 40 um den Drehpunkt C ist.
Zur Berechnung der Winkelgeschwindigkeit, v_in, des Punktes auf dem Fahrzeug 50, der die zweite Trajektorienlinie 42 definiert, kann die folgende Gleichung verwendet werden $v_i n = V_l i n e a r / R_i n$
wobei R_in der Krümmungsradius der zweiten Trajektorienlinie 42 um den Drehpunkt C ist.
Das Ausmaß, in dem die Trajektorienlinien 40, 42 innerhalb der zusammengesetzten Bildsequenz bewegt werden müssen, ist für jede der Linien 40, 42 unterschiedlich für den Fall, dass ein Lenkwinkel auf das Fahrzeug 50 angewendet wird. Wenn das Fahrzeug in einer geraden Linie fährt (d.h. vorwärts oder rückwärts entlang der Längsachse des Fahrzeugs), ist R_out = R_in (der Drehpunkt C liegt auf der Längsachse des Fahrzeugs), was bedeutet, dass V_out = V_in ist und die von einem ersten Punkt des Fahrzeugs 50 (z.B. der hinteren vorderen Ecke) entlang der ersten Trajektorienlinie 40 zurückgelegte Strecke die gleiche ist wie die von einem zweiten Punkt des Fahrzeugs 50 (z.B. dem nahen Hinterrad) entlang der zweiten Trajektorienlinie 42 zurückgelegte Strecke. Wenn jedoch ein beliebiger Lenkwinkel angewendet wird, ist V_out kleiner als V_in. In ähnlicher Weise unterscheidet sich die von einem ersten Punkt am Fahrzeug 50 (z. B. der hinteren vorderen Ecke) entlang der ersten Trajektorienlinie 40 zurückgelegte Strecke von der Strecke, die von einem zweiten Punkt am Fahrzeug 50 (z. B. dem nahen Hinterrad) entlang der zweiten Trajektorienlinie 42 zurückgelegt wird.
Die Winkelgeschwindigkeit der relevanten Punkte des Fahrzeugs 50, die die Position der Trajektorienlinien 40, 42 definieren, kann verwendet werden, um den Abstand zu bestimmen, um den die Linien 40, 42 innerhalb der zusammengesetzten Bildsequenz zwischen den Bildrahmen bewegt werden müssen, damit der Trajektorienindikator in Bezug auf die Bildobjekte außerhalb des Fahrzeugs 50 fest erscheint. Konkret wird, wie in der Beschreibung beschrieben, der Trajektorienindikator zwischen den Bildrahmen innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt, die das Fahrzeug 50 zwischen den Zeitpunkten zurücklegt, zu denen die den jeweiligen Bildrahmen entsprechenden Bilder aufgenommen werden. Dies kann dadurch erreicht werden, dass die Strecke bestimmt wird, die von jedem der Punkte auf dem Fahrzeug, die die Trajektorienlinien 40, 42 definieren, in der Zeit zwischen der Aufnahme eines ersten Bildes, das einem ersten Bildrahmen zugeordnet ist, und eines zweiten Bildes, das einem zweiten Bildrahmen zugeordnet ist, zurückgelegt wird, und dass die entsprechende Linie 40, 42 (oder ein Abschnitt oder ein Segment der Linie 40, 42 - siehe 6 und die zugehörige Beschreibung unten) innerhalb der zusammengesetzten Bildsequenz, insbesondere von einer ersten Position innerhalb des ersten und einer zweiten Position im zweiten Bildrahmen, um eine Strecke bewegt wird, die proportional zu der bestimmten Strecke ist, die von dem entsprechenden Punkt auf dem Fahrzeug 50 zurückgelegt wird. Dieser Vorgang kann über eine beliebige Anzahl von Bildrahmen wiederholt werden, um die zusammengesetzte Bildsequenz zu erzeugen. Der gleiche Effekt kann auch dadurch erzielt werden, dass die Trajektorienlinien 40, 42 (bzw. Linienabschnitte/Segmente davon) innerhalb der zusammengesetzten Bildsequenz mit einer Geschwindigkeit bewegt werden, die proportional zur ermittelten Winkelgeschwindigkeit des entsprechenden Punktes auf dem Fahrzeug 50 um den Drehpunkt C ist, d.h. die Trajektorienlinien 40, 42 bzw. Linienabschnitte/Segmente davon werden innerhalb der zusammengesetzten Bildsequenz in einer Richtung bzw. mit einer Geschwindigkeit bewegt, die proportional, aber entgegengesetzt zur Bewegungsrichtung bzw. Geschwindigkeit des Fahrzeugs 50 ist. Auf diese Weise führt die vorliegende Erfindung zu einem Trajektorienindikator, der in Bezug auf ein oder mehrere fahrzeugexterne Bildobjekte in Bewegungsrichtung des Fahrzeugs im Wesentlichen stationär erscheint. Der Effekt für den Benutzer ist, dass das Fahrzeug 50 scheint über eine stationäre Trajektorie Indikator zu fahren. Man geht davon aus, dass dies dem Benutzer eine natürlichere und weniger verwirrende Darstellung der Bewegung des Fahrzeugs durch die Umgebung bietet.
In 6 sind verschiedene Arten von Trajektorienanzeigern 39 dargestellt, die in Ausführungsformen der vorliegenden Erfindung verwendet werden können.
6(a) zeigt einen Trajektorienindikator 39, der eine Vielzahl von unterschiedlichen Indikatorabschnitten 39a, 39b, 39c, 39d umfasst. In Ausführungsformen, in denen der Trajektorienindikator 39 wie in 6(a) gezeigt verwendet wird, kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von der Bewegung des Fahrzeugs bewegt werden, so dass der Trajektorienindikator 39 in einer Fahrtrichtung des Fahrzeugs in Bezug auf das eine oder die mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wie hier beschrieben. Beispielsweise kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d von jeweiligen ersten Positionen innerhalb eines ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt werden, die das Fahrzeug 50 zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurücklegt, so dass jeder Indikatorabschnitt 39a, 39b, 39c, 39d im Wesentlichen stationär in der Fahrtrichtung des Fahrzeugs 50 innerhalb der zusammengesetzten Bildsequenz in Bezug auf das eine oder die mehreren Bildobjekte erscheint.
In 6(b) ist ein Trajektorienindikator 39 dargestellt, der nur einen einzigen Indikatorabschnitt 39a umfasst. Der Abschnitt enthält ein schraffiertes Muster. In Ausführungsformen, die den in 6(b) gezeigten Trajektorienindikator 39 verwenden, kann die Position des einzelnen Indikatorabschnitts 39a in Abhängigkeit von der Bewegung des Fahrzeugs verändert werden, so dass der Trajektorienindikator 39 in einer Fahrtrichtung des Fahrzeugs in Bezug auf das eine oder die mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wie hier beschrieben. Die Bereitstellung des schraffierten Musters bietet dem Benutzer des Systems eine visuelle Anzeige der relativen Position des Trajektorienindikators 39 innerhalb der zusammengesetzten Bildsequenz, die nicht bereitgestellt würde, wenn der Trajektorienindikator 39 beispielsweise aus einem einzelnen monochromen Indikatorabschnitt bestehen würde.
6(c) zeigt einen Trajektorienindikator 39, der eine Vielzahl von Indikatorabschnitten 39a, 39b, 39c, 39d, 39e in Form eines Musters aus schattierten und nicht schattierten Bereichen entlang einer Trajektorienlinie umfasst. In Ausführungsformen, die den in 6(c) gezeigten Trajektorienindikator 39 verwenden, kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d, 39e, in diesem Fall die schattierten Bereiche, innerhalb der zusammengesetzten Bildsequenz bewegt werden, insbesondere entlang der Trajektorienlinie in Abhängigkeit von der Bewegung des Fahrzeugs, so dass der Trajektorienindikator 39 in einer Fahrtrichtung des Fahrzeugs in Bezug auf das eine oder die mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wie hier beschrieben. Beispielsweise kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d, 39e entlang der Trajektorienlinie von jeweiligen ersten Positionen innerhalb eines ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Strecke bewegt werden, die das Fahrzeug 50 zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurücklegt, so dass jeder Anzeigeabschnitt 39a, 39b, 39c, 39d, 39e in der Fahrtrichtung des Fahrzeugs 50 innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint.
6(d) zeigt einen Trajektorienindikator 39, der eine Vielzahl von Indikatorabschnitten 39a, 39b, 39c, 39d, 39e, 39f, 39g, 39h in Form einer Reihe von Kerben entlang einer Trajektorienlinie umfasst. In Ausführungsformen mit dem in 6(d) gezeigten Trajektorienindikator 39 kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d, 39e, 39f, 39g, 39h, in diesem Fall die Kerben, innerhalb der zusammengesetzten Bildsequenz bewegt werden, und zwar entlang der Trajektorienlinie in Abhängigkeit von der Bewegung des Fahrzeugs, so dass der Trajektorienindikator 39 in einer Fahrtrichtung des Fahrzeugs in Bezug auf das eine oder die mehreren Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wie hier beschrieben. Beispielsweise kann jeder der Indikatorabschnitte 39a, 39b, 39c, 39d, 39e, 39f, 39g, 39h entlang der Trajektorienlinie von jeweiligen ersten Positionen innerhalb eines ersten Bildrahmens der zusammengesetzten Bildsequenz bewegt werden, entlang der Bahnlinie von jeweiligen ersten Positionen innerhalb eines ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt werden, die von dem Fahrzeug 50 zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt wird, so dass jeder Indikatorabschnitt 39a, 39b, 39c, 39d, 39e, 39f, 39g, 39h im Wesentlichen stationär in der Fahrtrichtung des Fahrzeugs 50 innerhalb der zusammengesetzten Bildsequenz in Bezug auf das eine oder die mehreren Bildobjekte erscheint.
Ein Verfahren zur Steuerung der Position des Trajektorienindikators zwischen den Bildrahmen der zusammengesetzten Bildsequenz, um die Bewegung des Trajektorienindikators innerhalb der zusammengesetzten Bildsequenz zu vermitteln, ist in den 7A und 7B dargestellt. Diese Figuren zeigen die Position einer Kamera 20 und einer virtuellen Anzeige 60 in Bezug auf das Fahrzeug 50 sowie Projektionsumrisse 62, 64. Die Projektionsumrisse 62, 64 verknüpfen die Position eines Trajektorienanzeigeabschnitts 39a mit der Position der Kamera 20. Insbesondere verbindet die Projektionskontur 62 die Position eines ersten Endes des Trajektorienanzeigeabschnitts 39a mit der Kamera 20, und die Projektionskontur 64 verbindet die Position eines zweiten Endes des Trajektorienanzeigeabschnitts 39a mit der Kamera 20. Die Position, an der die Projektionskonturen 62, 64 die virtuelle Anzeige 60 schneiden, veranschaulicht, wie die Position einer Darstellung des Trajektorienanzeigerabschnitts 39a innerhalb einer Bild-/Bildsequenz, z. B. der zusammengesetzten Bildsequenz, einem Benutzer, der die Anzeige betrachtet, Tiefe vermitteln kann, wie hier beschrieben.
In 7A ist ein Trajektorienindikator in Form von zwei parallelen Trajektorienlinien 40, 42 in einer ersten Position in Bezug auf ein Fahrzeug 50 zum Zeitpunkt t0 dargestellt. Ebenso sind in 7B die Trajektorienlinien 40, 42 in einer zweiten Position in Bezug auf ein Fahrzeug 50 zum Zeitpunkt t1 dargestellt. Zwischen t0 und t1 hat sich das Fahrzeug in Bewegungsrichtung D bewegt. Um einem Benutzer zu vermitteln, dass der Trajektorienindikator in Bezug auf die Umgebung des Fahrzeugs und nicht auf das Fahrzeug 50 fixiert bleibt, wird der Trajektorienindikator, wie hier beschrieben, innerhalb der zusammengesetzten Bildsequenz so bewegt, dass er sich scheinbar in Richtung des Fahrzeugs 50 um eine Strecke oder mit einer Geschwindigkeit bewegt, die von der vom Fahrzeug 50 zwischen t0 und t1 zurückgelegten Strecke abhängt.
Wie in 7A dargestellt, schneiden die Projektionskonturen 62, 64 die virtuelle Anzeige 60 an jeweiligen ersten Positionen zum Zeitpunkt t0. Wenn sich der Anzeigeabschnitt 39a in einer zweiten Position befindet, wie in 7B gezeigt (zum Zeitpunkt t1), werden die Schnittpunkte der Projektionsumrisse 62, 64 mit der virtuellen Anzeige 60 verändert. Insbesondere bewegen sich die Schnittpunkte in Richtung eines Randes der virtuellen Anzeige 60 und bilden einen größeren Schnittbereich mit der virtuellen Anzeige 60. Um Tiefe innerhalb der zusammengesetzten Bildsequenz zu vermitteln oder um die Bewegung des Trajektorienanzeigers in Richtung des Fahrzeugs zu vermitteln, muss der Trajektorienanzeiger innerhalb des zusammengesetzten Bildes in Richtung eines Randes des Bildrahmens verschoben und vergrößert werden.
Obwohl in den 7A und 7B als eindimensionale virtuelle Anzeige 60 dargestellt, kann dieselbe Technik gleichermaßen für eine virtuelle Anzeige in 2 (oder mehr) Dimensionen angewendet werden, wie noch zu sehen sein wird. In 7C ist eine solche Ausführungsform dargestellt.
Insbesondere ist in 7C eine Darstellung einer zusammengesetzten Bildsequenz mit einem ersten Bildrahmen 32 und einem zweiten Bildrahmen 34 gezeigt. Der erste Bildrahmen 32 stellt eine Darstellung eines Bildes dar, das von einer Kamera erhalten wurde, die an oder in einem Fahrzeug 50 montiert oder mit diesem verbunden ist, und zwar zum Zeitpunkt t0. Der erste Bildrahmen 32 enthält einen Trajektorienindikator in Form von Trajektorienlinien 40, 42. Ein einzelner Trajektorienindikatorabschnitt 39a ist hervorgehoben dargestellt. In ähnlicher Weise stellt das zweite Bild 34 eine Darstellung eines Bildes dar, das von der Kamera zum Zeitpunkt t1 im Anschluss an t0 aufgenommen wurde. Der zweite Bildrahmen 34 enthält ebenfalls die Trajektorienlinien 40, 42 und den Indikatorabschnitt 39a. Zwischen t0 und t1 hat sich das Fahrzeug 50 in einer Längsrichtung bewegt. Dementsprechend ist der Indikatorabschnitt 39a zwischen einer ersten Position im ersten Bildrahmen 32 und einer zweiten Position in einem zweiten Bildrahmen 34 bewegt worden, um die Bewegung des Indikatorabschnitts 39a in Bezug auf das Fahrzeug 50 zu vermitteln. Insbesondere wird der Indikatorabschnitt 39a in Richtung einer Ecke der zusammengesetzten Bildsequenz bzw. näher an die Position des Fahrzeugs 50 innerhalb der Bildsequenz und in Richtung eines Randes innerhalb der Bildsequenz bewegt. Durch die Bewegung des Indikatorabschnitts 39a um eine Strecke innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit und vorzugsweise proportional zu einer vom Fahrzeug zwischen dem Zeitpunkt t0 und t1 zurückgelegten Strecke kann die Anordnung der vorliegenden Erfindung eine Bewegung des Trajektorienindikators bezüglich des Fahrzeugs 50 innerhalb der zusammengesetzten Bildsequenz vermitteln. Oder, noch bevorzugter, eine Bewegung des Trajektorienindikators innerhalb der zusammengesetzten Bildsequenz, so dass er in Bezug auf Bildobjekte außerhalb des Fahrzeugs im Wesentlichen stationär erscheint - d.h. so, dass das Fahrzeug 50 für einen Benutzer den Eindruck erweckt, über den Trajektorienindikator zu fahren.
Wie in 7C gezeigt, werden, wenn die Abschnitte des Trajektorienindikators, z. B. Abschnitt 39a, zwischen den Bildrahmen bewegt werden, um eine Bewegung in Bezug auf das Fahrzeug zu vermitteln, neue Indikatorabschnitte 39b am Ende der Trajektorienlinien 40, 42, die am weitesten vom Fahrzeug 50 entfernt sind, eingeführt. In der dargestellten Ausführungsform werden die neuen Abschnitte 39b eingeführt, um eine bestimmte Länge der Trajektorienlinien 40, 42 beizubehalten. Es wird jedoch deutlich, dass neue Trajektorienanzeiger 39b eingeführt werden können, um die Anzahl der Abschnitte in jeder Trajektorienlinie 40, 42 beizubehalten. In Ausführungsformen werden die neuen Indikatorabschnitte 39b „eingeblendet“, z. B. durch Erhöhung der Opazität der neuen Abschnitte 39b.
Die 8A und 8B zeigen eine grafische Darstellung einer zusammengesetzten Bildsequenz, die in Ausführungsformen der vorliegenden Erfindung gebildet wurde, im Vergleich zu zusammengesetzten Bildsequenzen, die mit Systemen und Verfahren des Standes der Technik gebildet wurden. Wo gleiche Komponenten und Merkmale vorhanden sind, werden in den 8A und 8B die gleichen Bezugsziffern verwendet, um die Unterschiede zu verdeutlichen.
Die in den 8A und 8B gezeigten grafischen Darstellungen sind aus einer Perspektive oberhalb des Fahrzeugs 50 dargestellt. Es versteht sich, dass eine solche Darstellung durch geeignete Verarbeitung von Bilddaten erfolgen kann, die von einer oder mehreren am oder im Fahrzeug 50 montierten Kameras gewonnen werden.
8A ist eine beispielhafte grafische Darstellung einer zusammengesetzten Bildsequenz, die mit Systemen und Verfahren des Standes der Technik erstellt wurde. Die Darstellung zeigt ein erstes Bildfeld 32, das ein zum Zeitpunkt t0 aufgenommenes Bild umfasst, und ein zweites Bildfeld 34, das ein zum Zeitpunkt t1 aufgenommenes Bild umfasst. Innerhalb jedes Bildrahmens 32, 34 ist eine grafische Darstellung eines Teils des Fahrzeugs 50, ein Trajektorienindikator in Form von zwei parallelen Trajektorienlinien 40, 42 mit jeweils einer Vielzahl von Indikatorabschnitten (hier der Kürze halber nur 39a beschriftet) vorgesehen. Der Einfachheit halber sind die Trajektorienlinien 40, 42 in Fahrtrichtung D gerade vor dem Fahrzeug 50 dargestellt. Es wird jedoch deutlich, dass diese Linien 40, 42 in Abhängigkeit von einer ermittelten Trajektorie des Fahrzeugs (die z.B. wie oben beschrieben ermittelt wird) eine beliebige Krümmung aufweisen können. Innerhalb jedes Bildrahmens 32, 34 ist die Position von zwei Bildobjekten 36, 38 innerhalb der Umgebung außerhalb des Fahrzeugs 50 dargestellt. Ein erstes Bildobjekt in Form eines Ausschnitts einer befahrbaren Fläche (Flächenausschnitt) ist durch den Kasten 36 dargestellt. Ein zweites Bildobjekt in Form eines Hindernisses 38 ist ebenfalls dargestellt. Der Oberflächenabschnitt 36 und das Hindernis 38 befinden sich in der fahrzeugexternen Umgebung und werden daher in den Bildern des ersten und zweiten Bildrahmens 32, 34 erfasst.
Zwischen dem Zeitpunkt, zu dem ein Bild des ersten Bildes 32 aufgenommen wird (t0), und dem Zeitpunkt, zu dem ein Bild des zweiten Bildes 34 aufgenommen wird (t1), hat sich das Fahrzeug um eine bestimmte Strecke in Fahrtrichtung D bewegt. In solchen Systemen sind die Trajektorienlinien 40, 42 jedoch in Bezug auf die Position des Fahrzeugs innerhalb der zusammengesetzten Bildsequenz fixiert. Dementsprechend, und wie in 8A gezeigt, scheinen sich die Trajektorienlinien 40, 42 und damit die Indikatorabschnitte 39a usw. mit dem Fahrzeug in Bezug auf den Oberflächenabschnitt 36 und das Hindernis 38 zu bewegen. Dies erscheint einem Insassen, der das System benutzt, als würden die Bahnlinien 40, 42 über der Oberfläche „schweben“, was für den Insassen unnatürlich und/oder verwirrend erscheinen kann, da es schwierig ist, die genaue Übereinstimmung eines beliebigen Punktes auf einem Bahnindikator dieser Art und Bildobjekten außerhalb des Fahrzeugs 50 zu beurteilen.
Um solche Probleme zu überwinden, stellt die vorliegende Erfindung ein Mittel zur Verfügung, um die Position des Trajektorienanzeigers in Bezug auf ein oder mehrere Bildobjekte außerhalb des Fahrzeugs zu „fixieren“, anstatt auf das Fahrzeug 50 selbst. Wie hierin erörtert, ist dies in der vorliegenden Erfindung durch Bewegen der Trajektorie Indikator (oder einzelne Abschnitte / Segmente davon) zwischen Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von der Bewegung des Fahrzeugs 50 erreicht, so dass die Trajektorie Indikator erscheint im Wesentlichen stationär in der Fahrtrichtung D des Fahrzeugs 50 in Bezug auf Bildobjekte 36, 38 außerhalb des Fahrzeugs 50.
Wie in 8A zeigt 8B einen ersten Bildrahmen 32, das ein zum Zeitpunkt t0 aufgenommenes Bild umfasst, und einen zweiten Bildrahmen 34, das ein zum Zeitpunkt t1 aufgenommenes Bild umfasst. In ähnlicher Weise ist innerhalb jedes Bildrahmens 32, 34 eine grafische Darstellung eines Teils eines Fahrzeugs 50 vorgesehen, ein Trajektorienindikator in Form von zwei parallelen Trajektorienlinien 40, 42, die jeweils eine Vielzahl von Indikatorabschnitten aufweisen (hier der Kürze halber nur 39a beschriftet). Oberflächenabschnitt 36 und Hindernis 38 sind ebenfalls dargestellt und befinden sich ebenfalls in der Umgebung außerhalb des Fahrzeugs und werden daher in den Bildern erfasst, die dem ersten und zweiten Bildrahmen 32, 34 entsprechen.
Wie gezeigt, hat sich das Fahrzeug zwischen t0 und t1 um eine bestimmte Strecke in Fahrtrichtung D bewegt. Dementsprechend erscheinen der Oberflächenabschnitt 36 und das Hindernis 38 innerhalb des zweiten Bildrahmens 34 der zusammengesetzten Bildsequenz vergleichsweise näher an der Front des Fahrzeugs 50, verglichen mit ihrer Position im ersten Bildrahmen 32. Die vorliegende Erfindung unterscheidet sich von dem in 8A dargestellten Stand der Technik dadurch, dass die Position der Trajektorienlinien 40, 42 und insbesondere die Position der Indikatorabschnitte zwischen dem ersten und dem zweiten Bildrahmen 32, 34 verändert wird. Konkret und insbesondere auf den Indikatorabschnitt 39a fokussiert (obwohl das Folgende für alle Indikatorabschnitte gleichermaßen gilt), wird der Indikatorabschnitt 39a von einer ersten Position, wie sie im ersten Bildrahmen 32 gezeigt ist, wo der Indikatorabschnitt 39a größtenteils vor der Darstellung des Fahrzeugs 50 liegt, in eine zweite Position bewegt, wie sie im zweiten Bildrahmen 34 gezeigt ist, wo der Indikatorabschnitt 39a neben der Darstellung des Fahrzeugs 50 dargestellt ist. Der Abstand zwischen der ersten Position des Anzeigeabschnitts 39a und der zweiten Position des Anzeigeabschnitts 39a wird in Abhängigkeit von einer vom Fahrzeug 50 zwischen t0 und t1 zurückgelegten Strecke bestimmt. In Ausführungsformen kann der Abstand zwischen der ersten und der zweiten Position des Indikatorabschnitts 39a direkt proportional zu der vom Fahrzeug 50 zwischen t0 und t1 zurückgelegten Strecke sein. In Ausführungsformen kann die vorliegende Erfindung die Durchführung einer Analyse der von der zugehörigen Bildgebungsvorrichtung aufgenommenen Bilder umfassen, um die Bewegung eines oder mehrerer Bildobjekte (z. B. Oberflächenabschnitt 36, Hindernis 38) zu bestimmen. Der Abstand zwischen der ersten und der zweiten Position des Indikatorabschnitts 39a kann dann in Abhängigkeit von einer von dem einen oder den mehreren Bildobjekten zwischen den Bildrahmen der zusammengesetzten Bildsequenz zurückgelegten Strecke bestimmt werden. Auf diese Weise erscheinen die Bahnlinien 40, 42 und damit die Indikatorabschnitte 39a usw. in Bezug auf den Oberflächenabschnitt 36 und das Hindernis 38 als lagefixiert. Dies erscheint einem Insassen, der das System benutzt, als würde das Fahrzeug 50 über die Trajektorienlinien 40, 42 fahren, wodurch eine bessere Darstellung der Übereinstimmung der Position eines beliebigen Punktes auf einem Trajektorienindikator und der Bildobjekte außerhalb des Fahrzeugs 50 erreicht wird.
9 zeigt ein äquivalentes Szenario wie in 8B dargestellt. Die zusammengesetzte Bildsequenz wird jedoch aus einer anderen Perspektive gezeigt, in diesem Fall vom Fahrzeug aus gesehen und nicht über Kopf wie in 8B. Darüber hinaus sind die Trajektorienlinien 40, 42 als gekrümmter Verlauf einer vorhergesagten Fahrzeugbahn dargestellt, bei der ein Lenkwinkel auf das Fahrzeug 50 angewendet wurde, und das zweite Bild 34 enthält ein zusätzliches Hindernis 38', das im ersten Bild 32 nicht sichtbar ist. Die Erfindung kann jedoch auf die gleiche Weise umgesetzt werden, wie sie in den vorangegangenen Figuren gezeigt und hier besprochen wurde.
Auch hier hat sich das Fahrzeug zwischen t0 und t1 um eine bestimmte Strecke in Fahrtrichtung D bewegt. Dementsprechend erscheinen im zweiten Bildausschnitt 34 der zusammengesetzten Bildsequenz der Flächenabschnitt 36 und das Hindernis 38 im Vergleich zu ihrer Position im ersten Bildausschnitt 32 vergleichsweise näher an der Front des Fahrzeugs 50. Der Indikatorabschnitt 39a wird von einer ersten Position, wie sie im ersten Bildausschnitt 32 gezeigt ist, in der sich der Indikatorabschnitt 39a vor der Darstellung des Fahrzeugs 50 befindet, in eine zweite Position bewegt, wie sie im zweiten Bildausschnitt 34 gezeigt ist, in der der Indikatorabschnitt 39a neben und teilweise unterhalb der Darstellung des Fahrzeugs 50 dargestellt ist. Der Abstand zwischen der ersten Position des Indikatorabschnitts 39a und der zweiten Position des Indikatorabschnitts 39a wird in Abhängigkeit von einer Strecke bestimmt, die das Fahrzeug 50 zwischen t0 und t1 zurückgelegt hat. Auf diese Weise erscheinen die Trajektorienlinien 40, 42 und damit die Indikatorabschnitte 39a usw. in Bezug auf den Oberflächenabschnitt 36 und das Hindernis 38 lagefixiert. Dies erscheint einem Insassen, der das System benutzt, dass das Fahrzeug 50 über die Trajektorienlinien 40, 42 fährt, wodurch eine bessere Darstellung der Übereinstimmung der Position eines beliebigen Punktes auf einem Trajektorienindikator und der Bildobjekte 36, 38, 38' außerhalb des Fahrzeugs 50 erreicht wird.
Es wird deutlich, dass in den dargestellten Ausführungsformen die Bewegung des Trajektorienindikators zwischen Bildrahmen übertrieben dargestellt wurde, um die betriebliche Nutzung der Erfindung zu veranschaulichen. Es wird erwartet, dass sich der Trajektorienindikator zwischen aufeinanderfolgenden Bildern um eine relativ geringe Strecke bewegt, wenn sich das Fahrzeug in der Umgebung bewegt. Die zusammengesetzte Bildsequenz besteht vorzugsweise aus Bildrahmen, die sich auf Bilddaten beziehen, die mit einer ausreichend hohen Rate erfasst wurden, um eine im Wesentlichen kontinuierliche Bewegung des Fahrzeugs innerhalb der Umgebung zu vermitteln. Beispielsweise werden die Bilddaten mit einer solchen Rate erfasst, dass eine zusammengesetzte Bildsequenz mit einer Bildwechselfrequenz von 50 Bildern pro Sekunde oder höher gebildet werden kann.
Ein Steuerungssystem 510, ein System 530, ein Fahrzeug 550 und ein Verfahren 600 gemäß Ausführungsformen der vorliegenden Erfindung werden hier unter Bezugnahme auf die begleitenden Figuren beschrieben.
Mit Bezug auf 10, ein System 530 in Übereinstimmung mit der Erfindung umfasst ein Steuerungssystem 510. Das Steuerungssystem 510 ist operativ mit einem Fahrzeugsystem 516, einer bildgebenden Vorrichtung in Form einer Kamera 520, einem oder mehreren Sensoren 528 und einem Display 524 gekoppelt, wie in 10 gezeigt. Das Steuerungssystem 510 umfasst einen Prozessor 512, eine Speichervorrichtung 526, elektrische Eingänge 514, 518, 527 und einen elektrischen Ausgang 522.
Die Kamera 520 ist so konfiguriert, dass sie Bilder von einer Umgebung außerhalb des Fahrzeugs aufnimmt. Wie hierin beschrieben wird, ist das Steuerungssystem 510 so konfiguriert, dass es Bilddaten empfängt, die für die von der Kamera 520 aufgenommenen Bilder repräsentativ sind, und diese Daten verwendet, um eine zusammengesetzte Bildsequenz zu bestimmen.
Das Fahrzeugsystem 516 kann jedes System sein, das in der Lage ist, ein Signal auszugeben, das einen oder mehrere Fahrzeugparameter anzeigt, insbesondere in Bezug auf die Bewegung des Fahrzeugs. Das Fahrzeugsystem 516 kann ein Lenksystem des Fahrzeugs umfassen, das in der Lage sein kann, ein Signal auszugeben, das einen Lenkwinkel des Fahrzeugs angibt. Der Lenkwinkel kann eine Winkelposition eines Lenkrads des Fahrzeugs sein. Zusätzlich oder alternativ kann der Lenkwinkel eine Winkelstellung eines oder mehrerer lenkbarer Räder des Fahrzeugs umfassen. Der Lenkwinkel kann sich auf einen vorhergesagten Krümmungsradius einer Fahrzeugbahn aufgrund der Winkelposition eines oder mehrerer lenkbarer Räder des Fahrzeugs beziehen. Das Fahrzeugsystem 516 kann ein Bremssystem des Fahrzeugs umfassen, wie z. B. ein Antiblockiersystem (ABS), das so konfiguriert sein kann, dass es ein Signal ausgibt, das eine Raddrehzahl des Fahrzeugs und damit eine Geschwindigkeit des Fahrzeugs anzeigt. Das Fahrzeugsystem 516 kann ein Triebwerksmanagementsystem umfassen, das so konfiguriert sein kann, dass es ein Signal ausgibt, das z. B. eine Motordrehzahl und/oder eine Motordrehzahl des Fahrzeugs anzeigt. Im Gebrauch kann das Steuerungssystem 510 so konfiguriert sein, dass es die Fahrzeugtrajektorie in Abhängigkeit von einer oder mehreren solcher Arten von Fahrzeugparametern bestimmt.
In Ausführungsformen ist das Fahrzeugsystem 516 ein bildgebendes System und kann z. B. die Kamera 520 umfassen. In solchen Ausführungsformen umfasst das Fahrzeugsystem 516 eine Bildverarbeitungseinheit, die so konfiguriert ist, dass sie die Bewegung eines oder mehrerer Objekte in den vom bildgebenden System erfassten Bilddaten analysiert. Eine solche Analyse kann verwendet werden, um eine Geschwindigkeit des Fahrzeugs relativ zu diesen Objekten und damit eine Geschwindigkeit des Fahrzeugs innerhalb der Umgebung abzuleiten.
Der eine oder die mehreren Sensoren 528 können Sensoren umfassen, die in der Lage sind, Hindernisse, Oberflächen und andere derartige Objekte in der Umgebung des Fahrzeugs zu erkennen, und/oder Informationen über die Position/Ausrichtung des Fahrzeugs in dieser Umgebung. Der eine oder die mehreren Sensoren können zum Beispiel ein bildgebendes Gerät wie eine Kamera, RADAR, LIDAR, Ultraschallsensoren usw. umfassen. Der eine oder die mehreren Sensoren können die Kamera 520 umfassen, die so konfiguriert ist, dass sie Bilder von der Umgebung außerhalb des Fahrzeugs aufnimmt. Die von dem einen oder den mehreren Sensoren 528 empfangenen Daten, die im Folgenden als Topographiedaten bezeichnet werden, können verwendet werden, um die Umgebung außerhalb des Fahrzeugs abzubilden. In Ausführungsformen ist das Steuerungssystem 510 beispielsweise so konfiguriert, dass es die Topographiedaten verwendet, um eine Topographie einer Oberfläche zu bestimmen, über die das Fahrzeug gerade fährt oder fahren wird, wenn es entlang der bestimmten Trajektorie weiterfährt. Die Topografie der Oberfläche wird verwendet, um die zusammengesetzte Bildsequenz zu bestimmen, wie hier beschrieben. Der/die Sensor(en) 528 kann/können zusätzlich eine Inertialmesseinheit (IMU) zur Bestimmung einer Orientierung des Fahrzeugs entlang einer oder mehrerer Achsen und/oder Sensoren in Bezug auf ein GNSS-Modul (z. B. ein GPS-Modul) innerhalb des Fahrzeugs umfassen, die zur Bestimmung einer Position des Fahrzeugs innerhalb einer kartierten Umgebung geeignet sind.
In den hier beschriebenen illustrierten Ausführungsformen umfassen die von dem einen oder den mehreren Sensoren 528 empfangenen Daten Topographiedaten, und das Steuerungssystem 510 ist so konfiguriert, dass es die Daten von den Sensoren 528 als „Topographiedaten“ empfängt. Es wird jedoch deutlich, dass in anderen Ausführungsformen das Steuerungssystem 510 so konfiguriert sein kann, dass es Sensor-Rohdaten von den Sensoren 528 empfängt. In solchen Ausführungsformen kann das Steuerungssystem 510 zum Beispiel so konfiguriert sein, dass es Topographiedaten bestimmt, indem es die Topographiedaten aus den von den Sensoren 528 empfangenen Sensor-Rohdaten extrahiert.
Im Gebrauch empfängt das Steuerungssystem 510 am elektrischen Eingang 514 einen oder mehrere Fahrzeugparameter vom Fahrzeugsystem 516. Der eine oder die mehreren Fahrzeugparameter können z. B. eine Geschwindigkeit des Fahrzeugs, eine Geschwindigkeit des Fahrzeugs, einen Lenkwinkel (z. B. einen Winkel eines Lenkrads oder einen Winkel eines oder mehrerer lenkbarer Räder des Fahrzeugs) und/oder eine Orientierung des Fahrzeugs (z. B. einen Roll-, Nick- und/oder Gierwinkel) umfassen. Das Steuerungssystem 510 ist ferner konfiguriert, um an einem elektrischen Eingang 518 Bilddaten von der Kamera 520 zu empfangen. Die Bilddaten umfassen erfasste Bilder einer Umgebung außerhalb des Fahrzeugs. Der Prozessor 512 bestimmt eine Fahrzeugtrajektorie unter Verwendung der empfangenen Fahrzeugparameter und verwendet die bestimmte Fahrzeugtrajektorie zusammen mit den empfangenen Bilddaten, um eine zusammengesetzte Bildsequenz zu bestimmen. Insbesondere ist der Prozessor 512 so konfiguriert, dass er eine zusammengesetzte Bildsequenz bildet, die eine Sequenz von einem oder mehreren Bildrahmen umfasst, von denen jeder ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt. Ein Steuersignal, das die zusammengesetzte Bildsequenz anzeigt, wird über den elektrischen Ausgang 522 an das Display 524 ausgegeben, um die zusammengesetzte Bildsequenz einem Insassen des Fahrzeugs anzuzeigen.
Wie im Folgenden noch näher beschrieben wird, ist das Steuerungssystem 510 bei der Erzeugung der zusammengesetzten Bildsequenz so konfiguriert, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz in Abhängigkeit von den empfangenen Topographiedaten positioniert. Dementsprechend kann das Steuerungssystem 510 so konfiguriert sein, dass es den Trajektorienindikator innerhalb der zusammengesetzten Bildsequenz so positioniert, dass eine scheinbare Orientierung des Trajektorienindikators an einem oder mehreren Orten innerhalb des oder jedes Bildes im Wesentlichen der Orientierung der Oberfläche an dem jeweiligen Bildort entspricht. Insbesondere werden die Daten von dem/den Sensor(en) 528 verwendet, um eine Topografie einer befahrbaren Oberfläche innerhalb der Umgebung des Fahrzeugs zu bestimmen. Dies wird durch Kartierung, z. B. unter Verwendung einer Punktwolkenkarte, Konturenkarte, Sparse Map usw., einer Umgebung mit dem/den einen oder mehreren Sensor(en) 528 erreicht. In Ausführungsformen wird die Kartierung der Umgebung verwendet, um eine dreidimensionale Darstellung der Umgebung zu bestimmen, insbesondere eine befahrbare Oberfläche innerhalb der Umgebung des Fahrzeugs. Das Überlagern oder anderweitige Korrelieren der kartierten Topografie mit den von der Kamera 520 erhaltenen Bildern und das Positionieren des Trajektorienindikators in Abhängigkeit von der Topografie stellt sicher, dass der/die Trajektorienindikator(en) für einen Benutzer auf der Oberfläche zu liegen scheinen (und in Bezug darauf fixiert sind).
Wie zu erkennen sein wird, kann jeder hierin beschriebene Prozessschritt (oder Verfahrensschritt) durch Ausführen von Computersoftware, z. B. Computersoftware 529, auf einem oder mehreren Prozessoren 512, wie in 10 gezeigt, durchgeführt werden. Jede derartige Software 529 kann an einem Ort gespeichert werden, auf den der Prozessor 512 zugreifen kann, z. B. im Speicher 526.
11 veranschaulicht eine Ausführungsform eines Fahrzeugs 550 gemäß einer Ausführungsform der Erfindung. Wie dargestellt, umfasst das Fahrzeug 550 ein System 530, das ein Steuerungssystem 510, Bildgebungseinrichtungen in Form von Kameras 520a, 520b, das Fahrzeugsystem 516, einen Sensor 528 und das Display 524 umfasst.
Eine Ausführungsform eines erfindungsgemäßen Verfahrens 600 wird nun unter Bezugnahme auf 12 beschrieben.
Das Verfahren umfasst das Empfangen 602 eines oder mehrerer Fahrzeugparameter. Wie hierin beschrieben, kann der eine oder mehrere Parameter von einem Fahrzeugsystem empfangen werden und beziehen sich auf die Bewegung des Fahrzeugs. Bei 604 umfasst das Verfahren den Empfang von Bilddaten von einer Bildgebungsvorrichtung. Typischerweise umfasst dies den Empfang von Bilddaten von einer am oder im Fahrzeug montierten Kamera, die so konfiguriert ist, dass sie Bilder von einer Umgebung außerhalb des Fahrzeugs erfasst. Es versteht sich jedoch von selbst, dass das Verfahren den Empfang von Bilddaten von einer Vielzahl von Bildgebungsvorrichtungen umfassen kann. Bei 606 umfasst das Verfahren das Empfangen von Topographiedaten, die eine Topographie einer Oberfläche innerhalb der Umgebung anzeigen. Die Topographiedaten können direkt oder indirekt (d.h. über ein oder mehrere zusätzliche Fahrzeugsysteme) von dem oder jedem Sensor 528 empfangen werden. Bei 608 umfasst das Verfahren das Bestimmen einer Fahrzeugtrajektorie (wie unten ausführlicher beschrieben). Die Fahrzeugtrajektorie wird in Abhängigkeit von dem einen oder den mehreren empfangenen Fahrzeugparametern bestimmt. Bei 610 umfasst das Verfahren das Bestimmen einer zusammengesetzten Bildsequenz. Die zusammengesetzte Bildsequenz umfasst eine Sequenz von einem oder mehreren Bildrahmen, wobei der oder jeder Bildrahmen ein erfasstes Bild (von der Bildgebungsvorrichtung empfangen) und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt. Bei 612 wird ein Steuersignal, das die zusammengesetzte Bildsequenz anzeigt, an ein Display ausgegeben, um die zusammengesetzte Bildsequenz einem Insassen des Fahrzeugs anzuzeigen.
Beim Bestimmen der zusammengesetzten Bildsequenz umfasst das Verfahren 600 das Positionieren des Trajektorienindikators an einer oder mehreren Stellen innerhalb des oder jedes Bildes der zusammengesetzten Bildsequenz in Abhängigkeit von den empfangenen Topographiedaten. Auf diese Weise kann der Trajektorienindikator so eingestellt werden, dass er im Wesentlichen die gleiche Orientierung wie die Oberfläche in der Umgebung an einer bestimmten Bildposition aufweist. Dementsprechend kann der Trajektorienindikator in der zusammengesetzten Bildsequenz so dargestellt werden, dass er auf der Oberfläche positioniert ist und eine direkte Entsprechung dazu hat. Die Bestimmung der zusammengesetzten Bildsequenz wird weiter unten im Detail besprochen.
In den hier beschriebenen illustrierten Ausführungsformen umfassen die von dem einen oder den mehreren Sensoren empfangenen Daten Topographiedaten, und das Verfahren umfasst das Empfangen der Daten von den Sensoren als „Topographiedaten“. Es wird jedoch deutlich, dass das Verfahren in anderen Ausführungsformen auch den Empfang von Sensor-Rohdaten von den Sensoren umfassen kann. In solchen Ausführungsformen kann das Verfahren die Bestimmung der Topographiedaten durch Extraktion der Topographiedaten aus den von den Sensoren empfangenen Sensor-Rohdaten umfassen.
13 veranschaulicht ein Verfahren zur Bestimmung einer Fahrzeugtrajektorie. Konkret zeigt 13, wie ein Fahrradmodell verwendet wird, um die Trajektorie eines Fahrzeugs 550 zu modellieren.
In dem in 13 gezeigten Modell umfasst das Fahrzeug 550 vier lenkbare Räder 552, 554, 556, 558, wobei zwei Vorderräder 552, 554 einer Vorderachse 553 des Fahrzeugs 550 zugeordnet sind und zwei Hinterräder 556, 558 einer Hinterachse 557 des Fahrzeugs 550 zugeordnet sind. In diesem Beispiel sind die Vorderräder 552, 554 so konfiguriert, dass sie in demselben Winkel Φvorne in Bezug auf die Fahrzeuglängsachse y gelenkt werden. Dementsprechend können die Vorderräder 552, 554 als ein einzelnes Rad modelliert werden, das in der Mitte der Vorderachse 553 in einem Winkel Φvorne in Bezug auf die Fahrzeuglängsachse y positioniert ist. Dementsprechend können die Hinterräder 556, 558 als ein einzelnes Rad modelliert werden, das in der Mitte der Hinterachse 557 in einem Winkel ϕ hinten in Bezug auf die Längsachse des Fahrzeugs y positioniert ist.
Es wird deutlich, dass das Fahrzeug 550 auch andere Lenkungskonfigurationen umfassen kann, die jeweils auf ähnliche, aber unterschiedliche Weise modelliert werden müssen. Wenn ein Fahrzeug beispielsweise nur zwei lenkbare Räder umfasst, z. B. die Vorderräder 552, 554, wobei die Hinterräder 556, 558 in Bezug auf die Längsachse des Fahrzeugs y drehfest sind, können die Vorderräder 552, 554 wie oben beschrieben modelliert werden. Die Hinterräder 556, 558 können als ein einzelnes Rad modelliert werden, das in der Mitte der Hinterachse 557 in einem Winkel von 0° zur Fahrzeuglängsachse y positioniert ist. Wenn jedes der Räder 552, 554, 556, 558 in unterschiedlichen Winkeln zueinander lenkbar ist, muss jedes einzeln modelliert werden.
Mit dem in 13 dargestellten Modell wird ein Drehpunkt C für das Fahrzeug 550 in Abhängigkeit vom Lenkwinkel ϕ vorne der Vorderräder 552, 554 und dem Lenkwinkel ϕ_hinten der Hinterräder 556, 558 bestimmt. Definiert man den Bezugsrahmen in Bezug auf die Längsachse y und die Querachse x des Fahrzeugs 550 mit dem Ursprung in der Mitte der Hinterachse 557, so wird der Drehpunkt C des Fahrzeugs 550 als Schnittpunkt der Geraden Y vorne, Y_hinten bestimmt, die durch die Mittelpunkte der Vorder- und Hinterachsen 553, 557, senkrecht zu den Lenkrichtungen der jeweiligen Achsen 553, 557 verlaufen. Die Gleichungen dieser Geraden sind durch die folgenden Gleichungen gegeben: $Y_v o r n e = t a n (φ_v o r n e) * x + W$
$Y_h i n t e n = t a n (φ_h i n t e n) * x$
wobei W der Radstand des Fahrzeugs 550 ist. Das Lösen der Gleichungen 1 und 2 für x und Y ergibt den Drehpunkt C, wobei x = R (Radius) und Y = O (Versatz zur Querachse).
Sobald der Drehpunkt C gefunden ist, wird die Trajektorie des Fahrzeugs 550 als Kreis um den Drehpunkt C mit einem Radius R definiert. Dies wird in 14 durch einen Trajektorieindikator in Form eines Paars paralleler Trajektorielinien 540, 542 dargestellt. Eine erste Trajektorie-Linie 540 stellt einen vorhergesagten Weg dar, der von einem ersten Punkt des Fahrzeugs 550 durchlaufen werden soll, und eine zweite Trajektorie-Linie 542 stellt einen vorhergesagten Weg dar, der von einem zweiten Punkt des Fahrzeugs 550 durchlaufen werden soll. Typischerweise, und wie in 14 gezeigt, ist der erste Punkt am Fahrzeug 550 der Punkt am Fahrzeug, der am weitesten vom identifizierten Drehzentrum C entfernt ist. Dies ist typischerweise die vordere Ecke des Fahrzeugs 550, wobei sich „vordere Seite“ auf die Seite des Fahrzeugs 550 bezieht, die am weitesten vom Drehzentrum C entfernt ist. Der zweite Punkt am Fahrzeug 550 kann dem proximalen Hinterrad des Fahrzeugs 550 entsprechen, wobei sich „proximale Seite“ auf die Seite des Fahrzeugs 550 bezieht, die dem Rotationszentrum C am nächsten ist. In Ausführungsformen stellen die Bahnlinien 540, 542 einen vorhergesagten Weg dar, der von anderen Fahrzeugkomponenten durchlaufen wird. Zum Beispiel stellt die erste Trajektorienlinie 540 einen vorhergesagten Weg dar, der von einem ersten Vorderrad des Fahrzeugs 550 durchlaufen wird, und die zweite Trajektorienlinie 542 stellt einen vorhergesagten Weg dar, der von einem zweiten Vorderrad des Fahrzeugs 550 durchlaufen wird.
Die lineare Geschwindigkeit des Fahrzeugs 550 kann verwendet werden, um eine Winkelgeschwindigkeit, vVehicle, des Fahrzeugs 550 zu bestimmen, wenn es sich entlang der ermittelten Trajektorie bewegt, und zwar unter Verwendung der folgenden Formel $v_F a h r z e u g = V_l i n e a r / R_F a h r z e u g$
wobei V_linear die lineare Geschwindigkeit des Fahrzeugs ist (die aus einem oder mehreren Fahrzeugparametern, wie hierin beschrieben, bestimmt werden kann), und R_Fahrzeug der senkrechte Abstand zwischen der Längsachse des Fahrzeugs 550 und dem Drehpunkt C ist. Diese Gleichung kann zur Bestimmung der Winkelgeschwindigkeit eines beliebigen Punktes auf dem Fahrzeug verwendet werden, beispielsweise des ersten Punktes und des zweiten Punktes zur Definition der ersten und zweiten Trajektorienlinien 540, 542.
Zur Berechnung der Winkelgeschwindigkeit, v_out, des Punktes auf dem Fahrzeug 550, der die erste Trajektorienlinie 540 definiert, kann die folgende Gleichung verwendet werden: $v_o u t = V_l i n e a r / R_o u t$
wobei R_out der Krümmungsradius der ersten Trajektorienlinie 540 um den Drehpunkt C ist.
Zur Berechnung der Winkelgeschwindigkeit, v_in, des Punktes auf dem Fahrzeug 550, der die zweite Trajektorienlinie 542 definiert, kann die folgende Gleichung verwendet werden: $v_i n = V_l i n e a r / R_i n$
wobei R_in der Krümmungsradius der zweiten Trajektorienlinie 542 um den Drehpunkt C ist.
Wenn sich das Fahrzeug in einer geraden Linie bewegt (d. h. vorwärts oder rückwärts entlang der Längsachse des Fahrzeugs), ist R_out = R_in (der Drehpunkt C liegt auf der Längsachse des Fahrzeugs), was bedeutet, dass V_out = V_in ist und die von einem ersten Punkt am Fahrzeug 550 (z. B. der hinteren vorderen Ecke) entlang der ersten Trajektorienlinie 540 zurückgelegte Strecke die gleiche ist wie die von einem zweiten Punkt am Fahrzeug 550 (z. B. dem nahen Hinterrad) entlang der zweiten Trajektorienlinie 542 zurückgelegte Strecke. Wenn jedoch ein beliebiger Lenkwinkel angewendet wird, ist V_out kleiner als V_in. In ähnlicher Weise unterscheidet sich die von einem ersten Punkt am Fahrzeug 550 (z. B. der hinteren vorderen Ecke) entlang der ersten Trajektorienlinie 540 zurückgelegte Strecke von der Strecke, die von einem zweiten Punkt am Fahrzeug 550 (z. B. dem nahen Hinterrad) entlang der zweiten Trajektorienlinie 542 zurückgelegt wird.
Die 15A bis 15D veranschaulichen den betrieblichen Einsatz von Ausführungsformen der vorliegenden Erfindung. Insbesondere illustriert jede der 15A-D ein Fahrzeug 550, das eine Fläche 536 durchfährt, und eine Position einer Kamera 520 und einer virtuellen Anzeige 560 in Bezug auf das Fahrzeug 550 sowie Projektionsumrisse 562, 564. Die Projektionsumrisse 562, 564 verknüpfen die Position einer Trajektorienlinie 540 mit der Position der Kamera 520. Insbesondere verbindet der Projektionsumriss 562 die Position eines ersten Endes der Trajektorienlinie 540 mit der Kamera 520, und der Projektionsumriss 564 verbindet die Position eines zweiten Endes der Trajektorienlinie 540 mit der Kamera 520. Die Position, an der die Projektionsumrisse 562, 564 die virtuelle Anzeige 560 schneiden, veranschaulicht, wie die Position einer Darstellung der Trajektorienlinie 540 innerhalb einer Bild-/Bildsequenz, z. B. der zusammengesetzten Bildsequenz, einem Benutzer, der die Anzeige betrachtet, unterschiedliche Orientierungen der Trajektorienlinie 540 vermitteln kann, wie hierin beschrieben wird.
15A zeigt das Fahrzeug 550 beim Überfahren einer Oberfläche 536 mit einem Oberflächenprofil 536a, das in Bezug auf die Ausrichtung des Fahrzeugs 550 im Wesentlichen eben ist. Die Trajektorienlinie 540 ist mit einer ersten Ausrichtung entlang des Oberflächenprofils 536a der Oberfläche 536 dargestellt. In 15A ist die Oberfläche 536 auch mit unterschiedlichen Oberflächenprofilen 536b (mit einer Steigung vor dem Fahrzeug 550) und 536c (mit einer Abnahme der Steigung vor dem Fahrzeug 550) dargestellt. Diese Figur veranschaulicht, wie eine Trajektorienlinie 540 entweder in der Oberfläche (in Bezug auf das Oberflächenprofil 536b) oder „schwebend“ über der Oberfläche (in Bezug auf das Oberflächenprofil 536c) positioniert zu sein scheint, wenn, wie in Systemen nach dem Stand der Technik, eine Topografie der Oberfläche 536 bei der Positionierung der Trajektorienlinie 540 nicht berücksichtigt wird.
Um dies zu berücksichtigen, ist in 15B die Trajektorienlinie 540 mit einer zweiten Ausrichtung entlang des Oberflächenprofils 536b der Oberfläche 536 dargestellt. Ebenso ist in 15C die Bahnlinie 540 mit einer dritten Ausrichtung entlang des Oberflächenprofils 536c der Oberfläche 536 dargestellt. Wie hierin beschrieben, wird die Bahnlinie 540 in Abhängigkeit von Topographiedaten, die die Topographie der Oberfläche 536 anzeigen, ausgerichtet, um die Bahnlinie 540 korrekt zu positionieren, so dass sie für den Benutzer den Anschein erweckt, auf der Oberfläche 536 zu sitzen, anstatt zu „schweben“ oder in der Oberfläche 536 zu liegen.
Wie dargestellt, schneiden die Projektionskonturen 562, 564 die virtuelle Anzeige 560 an jeweiligen ersten Positionen für das Oberflächenprofil 536a, jeweiligen zweiten Positionen für das Oberflächenprofil 536b und jeweiligen dritten Positionen für das Oberflächenprofil 536c. Insbesondere durch die Anpassung der Schnittpunkte der Projektionskonturen 562, 564 in Abhängigkeit von einer Topographie der Oberfläche 536 ist es möglich, eine scheinbare Orientierung der Trajektorienlinie 540 innerhalb der zusammengesetzten Bildsequenz zu vermitteln.
In den 15A bis 15C sind verschiedene Oberflächenprofile 536a, 536b, 536c dargestellt, die eine im Wesentlichen konstante Steigung aufweisen. Es wird jedoch deutlich, dass die Erfindung in diesem Sinne nicht beschränkt ist. Ebenso, und wie in 15D gezeigt, kann die Oberfläche 536 ein Profil 536d haben, das in der Steigung entlang seiner Länge variiert. Um dies zu berücksichtigen, kann die Trajektorienlinie 540 in Indikatorabschnitte 539 (a, b, c, d, ...) unterteilt werden, von denen jeder unabhängig positioniert und/oder ausgerichtet werden kann, um die Trajektorienlinie 540 auf das Oberflächenprofil 536d abzubilden. Zum Beispiel kann jeder Indikatorabschnitt 539 (a, b, c, d, ...) um entsprechende Drehpunkte entlang der Trajektorie des Fahrzeugs 550 beweglich sein.
Wie in 16 gezeigt, kann jeder Anzeigeabschnitt 539 (a, b, c, d, ...) um einen jeweiligen Drehpunkt 544 (a, b, c, d, ...), der einem Endpunkt eines vorangehenden Anzeigeabschnitts 539 (a, b, c, d, ...) in der Trajektorie 540 zugeordnet ist, beweglich sein, um eine Gleichförmigkeit entlang der Länge einer Trajektorie 540 zu vermitteln, die eine Vielzahl von Anzeigeabschnitten 539 (a, b, c, d, ...) umfasst. Insbesondere ist der Indikatorabschnitt 539b um den Drehpunkt 544a schwenkbar, der einem Endpunkt des vorhergehenden Indikatorabschnitts 539a zugeordnet ist, der Indikatorabschnitt 539c ist um den Drehpunkt 544b schwenkbar, der einem Endpunkt des vorhergehenden Indikatorabschnitts 539b zugeordnet ist, und so weiter für jeden Indikatorabschnitt 539 (a, b, c, d, ...), der die Trajektorienlinie 540 bildet. Es wird deutlich, dass die Indikatorabschnitte 539 (a, b, c, d, ...) je nach Bedarf um eine oder mehrere Achsen, z.B. drei Achsen, schwenkbar sein können. Die Konstruktion eines Trajektorienindikators auf diese Weise stellt sicher, dass jegliche Unstetigkeiten in den Trajektorienlinien 540, 542 vermieden werden können, wodurch eine natürlichere Darstellung der Trajektorie des Fahrzeugs über die Oberfläche 536 vermittelt wird.
Obwohl in den 15A - 15D als eindimensionale virtuelle Anzeige 560 dargestellt, kann dieselbe Technik gleichermaßen für eine virtuelle Anzeige in 2 (oder mehr) Dimensionen angewendet werden, wie noch zu sehen sein wird. Die 17 bis 20 illustrieren solche Ausführungsformen.
Die 17 bis 20 zeigen Darstellungen einer zusammengesetzten Bildsequenz, die einen Bildrahmen 532 umfasst. Der Bildrahmen 532 umfasst eine Darstellung eines Bildes, das von einer Kamera erhalten wurde, die an, in oder mit einem Fahrzeug 550 montiert ist, und einen Trajektorienindikator in Form von Trajektorienlinien 540, 542. Jede der Trajektorienlinien umfasst eine Reihe von Trajektorienindikatorabschnitten. Wie dargestellt, umfasst die Darstellung des Kamerabildes eine Fläche 536, über die das Fahrzeug 550 voraussichtlich fahren wird. In den dargestellten Ausführungsformen enthält die Darstellung des Bildes zusätzlich ein Oberflächenprofil in Form einer Oberflächenkarte, die die Topografie der Oberfläche veranschaulicht. Wie hier beschrieben, kann die Topografie der Oberfläche durch Bildanalyse der von der Kamera erhaltenen Bilddaten oder durch andere Erfassungsmethoden bestimmt werden.
In 17 ist die Topografie der Oberfläche 536 so beschaffen, dass es im Weg des Fahrzeugs 550 eine Steigung gibt. In 18 ist die Topografie der Oberfläche 536 so beschaffen, dass es eine Steigung in der Bahn der rechten Seite des Fahrzeugs 550 gibt. Dementsprechend ist die Trajektorienlinie 542 so dargestellt, dass sie der Neigung der Oberfläche 536 folgt. In 19 ist die Topografie der Oberfläche 536 so beschaffen, dass es ein Gefälle in der Bahn der rechten Seite des Fahrzeugs 550 gibt. Dementsprechend ist die Trajektorienlinie 542 so dargestellt, dass sie dem Gefälle der Oberfläche 536 folgt. Jede der 17-19 zeigt eine Trajektorie des Fahrzeugs 550, die im Allgemeinen gerade vor dem Fahrzeug 550 verläuft. Wie jedoch deutlich wird und in 20 gezeigt ist, kann die Trajektorie des Fahrzeugs 550 nicht geradeaus vor dem Fahrzeug 550 verlaufen, sondern einem Weg folgen, der durch einen Lenkwinkel des Fahrzeugs, wie hier beschrieben, sowie in Übereinstimmung mit Steigungen und/oder Gefällen in der Topografie der Oberfläche 536 definiert ist.
In den hier beschriebenen Ausführungsformen ist das Steuerungssystem 510 so konfiguriert, dass es Sensor-Rohdaten von dem/den Sensor(en) 528 verwendet, um eine Topografie der Oberfläche zu bestimmen. Es versteht sich jedoch von selbst, dass die Topographiedaten ein Oberflächenprofil, eine Punktwolke oder einen anderen formatierten Satz von Datenpunkten umfassen können, die von einer Steuerung, einem Prozessor oder einem weiteren Steuerungssystem außerhalb des Steuerungssystems 510 zusammengestellt werden. In solchen Ausführungsformen ist das Steuerungssystem 510 der vorliegenden Erfindung konfiguriert, um die formatierten Topographiedaten zu verwenden, um die Topographie der Oberfläche 536 zu bestimmen.
Es wird gewürdigt, dass Ausführungsformen der vorliegenden Erfindung in Form von Hardware, Software oder einer Kombination aus Hardware und Software realisiert werden können. Jede solche Software kann in Form von flüchtigen oder nichtflüchtigen Speicher, wie zum Beispiel ein Speichergerät wie ein ROM, ob löschbar oder wiederbeschreibbar oder nicht, oder in Form von Speicher, wie zum Beispiel RAM, Speicherchips, Gerät oder integrierte Schaltungen oder auf einem optisch oder magnetisch lesbaren Medium, wie zum Beispiel eine CD, DVD, Magnetplatte oder Magnetband gespeichert werden. Es wird deutlich, dass die Speichervorrichtungen und Speichermedien Ausführungsformen eines maschinenlesbaren Speichers sind, die zum Speichern eines Programms oder von Programmen geeignet sind, die, wenn sie ausgeführt werden, Ausführungsformen der vorliegenden Erfindung implementieren. Dementsprechend stellen Ausführungsformen ein Computerprogramm bereit, das einen Code zum Implementieren eines beanspruchten Systems oder Verfahrens umfasst, sowie einen maschinenlesbaren Speicher, der ein solches Programm speichert (z. B. ein nicht-transitorisches computerlesbares Medium). Weiterhin können Ausführungsformen der vorliegenden Erfindung elektronisch über ein beliebiges Medium, wie z. B. ein über eine drahtgebundene oder drahtlose Verbindung übertragenes Kommunikationssignal, übermittelt werden, und die Ausführungsformen umfassen in geeigneter Weise dasselbe.
Es wird geschätzt, dass verschiedene Änderungen und Modifikationen an der vorliegenden Erfindung vorgenommen werden können, ohne vom Anwendungsbereich der vorliegenden Anmeldung abzuweichen.

Claims

Steuerungssystem zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs, wobei das Steuerungssystem eine oder mehrere Steuerungen umfasst, die konfiguriert sind, um: einen oder mehrere Fahrzeugparameter zu empfangen; Bilddaten von einer Bildgebungsvorrichtung zu empfangen, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfassen; Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter; Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs; wobei das Steuerungssystem so konfiguriert ist, dass es den Trajektorienindikator von einer ersten Position in einem ersten Bildrahmen der zusammengesetzten Bildsequenz zu einer zweiten Position in einem zweiten Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt, die das Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild erfasst wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild erfasst wird, zurücklegt, so dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs liegen.
Steuerungssystem nach Anspruch 1, wobei die eine oder die mehreren Steuerungen zusammen Folgendes umfassen: mindestens einen elektronischen Prozessor mit einem oder mehreren elektrischen Eingängen zum Empfangen des einen oder der mehreren Fahrzeugparameter und/oder der Bilddaten; und mindestens eine elektronische Speichervorrichtung, die operativ mit dem mindestens einen elektronischen Prozessor gekoppelt ist und in der Anweisungen gespeichert sind; wobei der mindestens eine elektronische Prozessor so konfiguriert ist, dass er auf die mindestens eine Speichervorrichtung zugreift und die darin gespeicherten Befehle ausführt, um die zusammengesetzte Bildsequenz zu bestimmen.
Steuerungssystem nach Anspruch 1 oder Anspruch 2, wobei die erste Position und die zweite Position innerhalb der zusammengesetzten Bildsequenz durch einen Abstand getrennt sind, der direkt proportional zu der Strecke ist, die das Fahrzeug zwischen dem Zeitpunkt, zu dem das dem ersten Bildrahmen zugeordnete Bild aufgenommen wird, und dem Zeitpunkt, zu dem das dem zweiten Bildrahmen zugeordnete Bild aufgenommen wird, zurückgelegt hat.
Steuerungssystem nach einem der vorhergehenden Ansprüche, wobei der Trajektorienindikator eine Vielzahl von Indikatorabschnitten umfasst.
Steuerungssystem nach Anspruch 4, das so konfiguriert ist, dass es jeden der Indikatorabschnitte von jeweiligen ersten Positionen innerhalb des ersten Bildrahmens der zusammengesetzten Bildsequenz zu jeweiligen zweiten Positionen innerhalb des zweiten Bildrahmens der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung bewegt, die das Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und dem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurücklegt, so dass jeder Indikatorabschnitt in der Fahrtrichtung des Fahrzeugs innerhalb der zusammengesetzten Bildsequenz in Bezug auf das eine oder die mehreren Bildobjekte im Wesentlichen stationär erscheint.
Ein System, das das Steuerungssystem nach einem der Ansprüche 1 bis 5 und eine Abbildungsvorrichtung umfasst, die konfiguriert ist, um ein oder mehrere Bilder einer Umgebung außerhalb des Fahrzeugs aufzunehmen.
Ein Fahrzeug, das das Steuerungssystem nach einem der Ansprüche 1 bis 5 oder ein System nach Anspruch 6 umfasst.
Ein Verfahren zum Bereitstellen von Unterstützung für einen Insassen eines Fahrzeugs, wobei das Verfahren umfasst Empfangen eines oder mehrerer Fahrzeugparameter; Empfangen von Bilddaten, die erfasste Bilder einer Umgebung außerhalb des Fahrzeugs umfassen; Bestimmen einer Fahrzeugtrajektorie in Abhängigkeit von dem oder jedem Parameter; Bestimmen einer zusammengesetzten Bildsequenz, die eine Sequenz von Bildrahmen umfasst, wobei jeder Bildrahmen ein erfasstes Bild und einen Trajektorienindikator umfasst, der die bestimmte Fahrzeugtrajektorie anzeigt; und Ausgeben eines Signals, das die zusammengesetzte Bildsequenz anzeigt, an eine Anzeige zum Anzeigen der zusammengesetzten Bildsequenz für den Insassen des Fahrzeugs; wobei das Verfahren das Bewegen des Trajektorienindikators von einer ersten Position in einem ersten Bildrahmen der zusammengesetzten Bildsequenz zu einer zweiten Position in einem zweiten Bildrahmen der zusammengesetzten Bildsequenz in Abhängigkeit von einer Entfernung, die von dem Fahrzeug zwischen dem Zeitpunkt, zu dem ein dem ersten Bildrahmen zugeordnetes Bild aufgenommen wird, und einem Zeitpunkt, zu dem ein dem zweiten Bildrahmen zugeordnetes Bild aufgenommen wird, zurückgelegt wird, umfasst, so dass der Trajektorienindikator in einer Fahrtrichtung des Fahrzeugs in Bezug auf ein oder mehrere Bildobjekte innerhalb der zusammengesetzten Bildsequenz im Wesentlichen stationär erscheint, wobei das eine oder die mehreren Bildobjekte außerhalb des Fahrzeugs sind.
Nicht-transitorisches computerlesbares Medium mit darin gespeicherten Anweisungen, die, wenn sie von einem oder mehreren elektronischen Prozessoren ausgeführt werden, den einen oder die mehreren elektronischen Prozessoren veranlassen, das Verfahren nach Anspruch 8 durchzuführen.
Computersoftware, die, wenn sie von einem oder mehreren Prozessoren ausgeführt wird, die Durchführung des Verfahrens nach Anspruch 8 bewirkt.