DE102017117195A1

DE102017117195A1 - Fahrzeugaussenüberwachung

Info

Publication number: DE102017117195A1
Application number: DE102017117195.9A
Authority: DE
Inventors: Steven Frank; Steve William Gallagher; Bruno M. Barthelemy
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-08-01
Filing date: 2017-07-28
Publication date: 2018-02-01
Also published as: US20180032822A1; CN107672522A; MX2017009592A; GB2555185A; RU2017127164A; GB201712255D0

Abstract

Eine Fahrzeugbaugruppe beinhaltet ein Seitenspiegelgehäuse, das an einen Fahrzeugaußenraum montierbar ist. Ein erster LIDAR-Sensor ist in dem Seitenspiegelgehäuse angeordnet, weist ein erstes Blickfeld auf und ist in eine erste Richtung gerichtet. Ein zweiter LIDAR-Sensor ist in dem Seitenspiegelgehäuse angeordnet, weist ein zweites Blickfeld auf und ist in eine zweite Richtung gegenüber der ersten Richtung gerichtet. Eine Kamera ist auch in dem Seitenspiegelgehäuse angeordnet und die Kamera ist vom zweiten LIDAR-Sensor beabstandet. Die Kamera weist ein drittes Blickfeld auf und ist in die zweite Richtung gerichtet.

Description

ALLGEMEINER STAND DER TECHNIK
Autonome Fahrzeuge sind auf unterschiedliche Sensoren angewiesen, um zu überwachen und Informationen zu Objekten in einem das Fahrzeug umgebenden Bereich bereitzustellen. Die Sensoren helfen dem autonomen Fahrzeug, andere Fahrzeuge, Fußgänger, Verkehrssignale etc. zu identifizieren. Ferner weisen autonome Fahrzeuge, die manuell betrieben werden können (d. h. in einem nichtautonomen Modus), noch herkömmliche Fahrzeugkomponenten auf, wie zum Beispiel ein Lenkrad, Seitenspiegel, Rückspiegel etc.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht ein Beispielfahrzeug mit Seitenspiegelgehäusen, die LIDAR-Sensoren und eine Kamera aufweisen.
2A veranschaulicht eine Perspektive eines Beispielseitenspiegelgehäuses des Fahrzeugs von 1.
2B veranschaulicht eine andere perspektivische Ansicht des Beispielseitenspiegelgehäuses von 2A.
3 veranschaulicht beispielhafte Komponenten einer Fahrzeugbaugruppe, die in das Fahrzeug von 1 integriert sind.
4 ist ein Beispielverfahren, das durch einen Prozessor in der Fahrzeugbaugruppe ausgeführt werden kann.
5 ist ein anderes Verfahren, das durch einen Prozessor im Fahrzeug ausgeführt werden kann.
DETAILLIERTE BESCHREIBUNG
Autonome Fahrzeuge erfordern nicht viele der Komponenten, die normalerweise in nichtautonomen Fahrzeugen zu finden sind. Zum Beispiel bedürfen voll autonome Fahrzeuge nicht eines Lenkrades, Seitenspiegeln, eines Rückspiegels, eines Gaspedals, eines Bremspedals etc. Viele dieser Komponenten sind in autonomen Fahrzeugen integriert für den Fall, dass der Besitzer wünscht, das Fahrzeug manuell zu betreiben, wodurch wenig Raum für Sensoren für autonome Fahrzeuge bleibt. Daher kann sich das Integrieren von Sensoren für autonome Fahrzeuge in bestehende Fahrzeugplattformen als schwierig erweisen. Zum Beispiel kann es problematisch sein zu versuchen, zusätzliche Sensoren in bestehende Fahrzeugplattformen zu platzieren. Das Platzieren von LIDAR-Sensoren auf dem Fahrzeugdach könnte den Luftwiderstand erhöhen, was zu einem erhöhten Lärmpegel und Kraftstoffverbrauch etc. führen könnte. Zusätzlich könnte das Platzieren von LIDAR-Sensoren auf dem Fahrzeugdach das Fahrzeug zu hoch machen, z. B. um in die Garage des Besitzers zu passen. Während das Platzieren von Sensoren für autonome Fahrzeuge auf den Säulen der Fahrzeugkarosserie möglicherweise die Probleme vermeidet, die das Platzieren der Sensoren auf dem Fahrzeugdach erzeugt, könnte ein solches Handeln komplizierte und teure Strukturveränderungen an der Fahrzeugkarosserie erfordern.
Anstatt die Fahrzeugplattform vollständig neu zu konstruieren, um die Sensoren für autonomes Fahren unterzubringen, können die Sensoren in das Seitenspiegelgehäuse eingebettet werden. Daher beinhaltet eine Lösung ein Seitenspiegelgehäuse, das an einen Fahrzeugaußenraum montierbar ist. Ein erster LIDAR-Sensor ist in dem Seitenspiegelgehäuse angeordnet, weist ein erstes Blickfeld auf und ist in eine erste Richtung gerichtet. Ein zweiter LIDAR-Sensor ist in dem Seitenspiegelgehäuse angeordnet, weist ein zweites Blickfeld auf und ist in eine zweite Richtung gegenüber der ersten Richtung gerichtet. Eine Kamera ist auch in dem Seitenspiegelgehäuse angeordnet und die Kamera ist vom zweiten LIDAR-Sensor beabstandet. Die Kamera weist ein anderes Blickfeld auf und ist auch in die zweite Richtung gerichtet.
Von ihren Positionen im Seitenspiegelgehäuse können die LIDAR-Sensoren Daten zu dem das Fahrzeug umgebenden Bereich bereitstellen. Und da Seitenspiegelbaugruppen schon für Aerodynamik konstruiert sind, wird das integrieren von LIDAR-Sensoren in das Seitenspiegelgehäuse nicht den Luftwiderstand relativ zu nichtautonomen Fahrzeugen erhöhen. Ferner können die von der Kamera aufgenommenen Bilddaten an einen Anzeigebildschirm innerhalb des Fahrzeugs übermittelt werden. Somit kann mit der Kamera auf die Spiegel im Seitenspiegelgehäuse verzichtet werden und ein menschlicher Fahrzeugführer wird immer noch in der Lage sein, in den toten Winkel des Fahrzeugs zu sehen, obwohl es keine Spiegel gibt.
Die gezeigten Elemente können viele unterschiedliche Formen annehmen und mehrere und/oder alternative Komponenten und Ausstattungen beinhalten. Die veranschaulichten beispielhaften Komponenten sollen nicht einschränkend sein. Tatsächlich können zusätzliche oder alternative Komponenten und/oder Umsetzungen verwendet werden. Ferner sind die gezeigten Elemente nicht zwingend maßstabsgetreu gezeichnet, es sei denn, dies ist ausdrücklich angegeben.
1 veranschaulicht ein Fahrzeug 100 mit mehreren LIDAR-Sensoren 105 und mindestens einer Kamera 110, die in das Seitenspiegelgehäuse 115 integriert sind. Obwohl es als Limousine veranschaulicht ist, kann das Fahrzeug 100 jedes beliebiges Passagier- oder Nutzfahrzeug, wie zum Beispiel ein Auto, einen Lastwagen, einen Geländewagen, ein Crossover-Fahrzeug, einen Van, einen Minivan, ein Taxi, einen Bus usw. beinhalten. In einigen möglichen Ansätzen ist das Fahrzeug 100 ein autonomes Fahrzeug, das in einem autonomen (z. B. fahrerlosen) Modus, einem teilweise autonomen Modus und/oder einem nichtautonomen Modus betrieben werden kann.
Das Seitenspiegelgehäuse 115 ist an einen Fahrzeugaußenraum montierbar 120. Ein erster LIDAR-Sensor 105a ist in dem Seitenspiegelgehäuse 115 angeordnet und weist ein erstes Blickfeld 125 auf und ist in eine erste Richtung gerichtet. Ein zweiter LIDAR-Sensor 105b ist auch in dem Seitenspiegelgehäuse 115 angeordnet. Der zweite LIDAR-Sensor 105b weist ein zweites Blickfeld 130 auf und ist in eine zweite Richtung gegenüber der ersten Richtung gerichtet. Ferner ist eine Kamera 110 in dem Seitenspiegelgehäuse 115 angeordnet. Die Kamera 110 ist zum zweiten LIDAR-Sensor 105b beabstandet und die Kamera 110 weist ein drittes Blickfeld 135 auf und ist in die zweite Richtung gerichtet.
Als ein Beispiel weist ist die erste Richtung mindestens zum Teil in eine Vorwärtsrichtung (d. h. nach vorn) des Fahrzeugs 100, die zweite Richtung weist mindestens zum Teil in eine Rückwärtsrichtung (d. h. nach hinten) des Fahrzeugs 100 und die ersten und zweiten Blickfelder 125, 130 überschneiden sich nicht. Der dritte Blickfeld 135 überschneidet sich mit dem zweiten Blickfeld 130 des zweiten LIDAR-Sensors 105b. Alternativ können das erste und zweite Blickfeld 125, 130 sich überschneiden.
Da die LIDAR-Sensoren 105 in das Seitenspiegelgehäuse 115 integriert werden können, kann auf die Spiegel, die normalerweise in einem Seitenspiegel zu finden sind, möglicherweise verzichtet werden. Die Bilddaten, die von der Kamera 110 aufgenommen wurden, können auf einem Anzeigebildschirm 140 innerhalb des Fahrzeugs 100 angezeigt werden oder sie können in das Seitenspiegelgehäuse 115 integriert werden, um dem menschlichen Fahrzeugführer zu ermöglichen, in den toten Winkel des Fahrzeugs 100 zu sehen.
2A–2B veranschaulicht ein Seitenspiegelgehäuse 115, das an das Fahrzeug 100 montiert ist. Obwohl nur ein Seitenspiegelgehäuse 115 gezeigt ist, können zusätzliche Seitenspiegelgehäuse 115 an das Fahrzeug 100 (z. B. auf der gegenüberliegenden Seite des Fahrzeugs 100) montiert sein. 2A ist eine Vorderansicht des Seitenspiegelgehäuses 115. Wie in 2A gezeigt, ist der erste LIDAR-Sensor 105a im Seitenspiegelgehäuse 115 angeordnet und ist der Fahrtrichtung des Fahrzeugs 100 zugewandt. 2B veranschaulicht einen zweiten LIDAR-Sensor 105b und die Kamera 110, die in dem Seitenspiegelgehäuse 115 angeordnet sind. Sowohl der zweite LIDAR-Sensor 105b als auch die Kamera 110 können der Rückwärtsrichtung des Fahrzeugs 100 zugewandt sein.
Wie in den 2A und 2B gezeigt, kann das Seitenspiegelgehäuse 115 eine erste Außenfläche 145 (z. B. nach vorn gerichtete Seite) und eine zweite Außenfläche 150 (z. B. nach hinten gerichtete Seite) beinhalten. Als ein Beispiel kann der erste LIDAR-Sensor 105a bündig mit der ersten Außenfläche 145 sein, um den Luftwiderstand des Seitenspiegelgehäuses 115 zu verringern oder aus ästhetischen Gründen. Die Kamera 110, der zweite LIDAR-Sensor 105b oder beide können bündig mit der zweiten Außenfläche 150 sein, wieder, um den Luftwiderstand zu verringern oder aus ästhetischen Gründen.
Das Blickfeld der Kamera 110 (d. h. das dritte Blickfeld 135) kann relativ zum Seitenspiegelgehäuse 115 einstellbar sein. Zum Beispiel ist ein Kameraaktor 155, der einen Schrittmotor, einen Linearaktor oder dergleichen beinhalten kann, im Seitenspiegelgehäuse 115 angeordnet und kann die Kamera 110 auf die zweite Außenfläche 150 zu oder von ihr weg bewegen, um das dritte Blickfeld 135 einzustellen. Andere Arten, um das dritte Blickfeld 135 einzustellen, können das Schwenken der Kamera 110 relativ zum Seitenspiegelgehäuse 115, Bewegen der Linse der Kamera 110 relativ zum Bildsensor der Kamera 110 (d. h. Einstellen eines Brennpunktes) etc. beinhalten. Somit kann das Einstellen des dritten Blickfeldes 135 die Bilddaten verändern, die dem menschlichen Fahrzeugführer auf dem Anzeigebildschirm 140 im Fahrzeug 100 angezeigt werden. Das erste und das zweite Blickfeld 125, 130 des ersten und zweiten LIDAR-Sensors 105a, 105b können unabhängig von Einstellungen des dritten Blickfelds 135 sein. Das heißt, das Einstellen des dritten Blickfeldes 135 ändert möglicherweise nicht das erste Blickfeld 125, das zweite Blickfeld 130 oder beide.
Das Einstellen des dritten Blickfelds 135 kann durch eine Benutzereingabe initiiert werden. Zum Beispiel kann die Benutzereingabe in der Fahrgastzelle als Reaktion auf das Drücken einer Taste durch den Benutzer empfangen werden, der eine Kamerablickfeldeinstellanforderung zum Bewegen der Kamera 110 sendet, z. B. Änderung einer Stellung der Kamera relativ zum Seitenspiegelgehäuse. Der Benutzer kann ein im Wesentlichen Echtzeitbild auf dem Anzeigebildschirm 140 sehen, d. h. ein Bild, dass auf dem Anzeigebildschirm 140 angezeigt wird, wurde möglicherweise von der Kamera 110 weniger als 200 ms vor dem Anzeigen aufgenommen, so dass der Benutzer weiß, wann er das Einstellen des dritten Blickwinkels 135 beenden kann.
Nun unter Bezugnahme auf 3, kann eine Fahrzeugbaugruppe 160, die in das Fahrzeug 100 integriert ist, Fahrzeugsensoren 165, Fahrzeugaktoren 170, den Anzeigebildschirm 140, eine Benutzerschnittstelle 175, die Kamera 110, den Kameraaktor 155, den ersten und zweiten LIDAR-Sensor 105a, 105b und einen Prozessor 180 beinhalten.
Die Fahrzeugsensoren 165 sind über Schaltungen, Chips oder andere elektronische Komponenten umgesetzt, die Daten sammeln und Signale ausgeben können, welche die gesammelten Daten darstellen. Beispiele von Fahrzeugsensoren 165 können einen Motorsensor wie zum Beispiel einen Massenluftstromsensor oder Klimasteuerungssensoren, wie zum Beispiel einen Innentemperatursensor, beinhalten. Die Fahrzeugsensoren 165 können Signale an unterschiedliche Komponenten des Fahrzeugs 100, wie zum Beispiel den Prozessor 180, ausgeben.
Die Fahrzeugaktoren 170 sind über Schaltungen, Chips oder andere elektronische Komponenten umgesetzt, die unterschiedliche Fahrzeugteilsysteme gemäß geeigneten Steuersignalen betätigen können. Zum Beispiel können die Fahrzeugaktoren 170 über einen oder mehrere Relais, Stellmotoren etc. umgesetzt sein. Die Fahrzeugaktoren 170 können somit verwendet werden, um Bremsen, Beschleunigen und Lenken des Fahrzeugs 100 zu steuern. Die Steuersignale, die verwendet werden, um die Fahrzeugsensoren 170 zu steuern, können durch unterschiedliche Komponenten des Fahrzeugs 100, wie zum Beispiel durch den Prozessor 180, erzeugt werden.
Der Anzeigebildschirm 140 kann in einen Innenrückspiegel, ein Display, dass in einem Instrumentencluster beinhaltet ist, dem Seitenspiegelgehäuse 115 oder jeder anderen Anzeigeeinheit, die dem Fahrzeug 100 zugeordnet ist, integriert sein. Der Anzeigebildschirm 140 kann Bilddaten empfangen, die von der Kamera 110 aufgenommen wurden, und ein Bild auf dem Anzeigebildschirm 140 anzeigen, das den empfangenen Bilddaten entspricht. Das auf dem Anzeigebildschirm 140 angezeigte Bild kann einstellbar sein. Zum Beispiel kann die Ansicht über eine Benutzereingabe, z. B. die Kamerablickfeldeinstellanforderung, eingestellt werden. Alternativ oder zusätzlich kann die Benutzereingabe eine Auswahl eines Interessenbereiches im Bild beinhalten. Als Reaktion auf diese Benutzereingabe, kann der Anzeigebildschirm 140 programmiert sein, die Ausgabe des Bildes anzupassen, um nur einen Abschnitt der von der Kamera 110 empfangenen Bilddaten anzuzeigen. Zum Beispiel kann das dritte Blickfeld 135 der Kamera 110 eine breite Ansicht des das Fahrzeug 100 umgebenden Bereiches beinhalten und die Benutzereingabe kann nur einen Totwinkelbereich kennzeichnen, der auf der Anzeige gezeigt wird. Als Reaktion kann der Anzeigebildschirm 140 nur den Totwinkelbereich statt des vollständigen durch die Bilddaten dargestellten Bildes ausgeben.
Die Kamera 110 kann ein Gehäuse, eine Linse, eine Leiterplatte und einen Bildsensor beinhalten. Die Linse kann ein transparentes Substrat beinhalten, dass Licht auf den Bildsensor richtet und am Gehäuse montiert ist. Die Leiterplatte kann im Gehäuse montiert sein. Die Leiterplatte empfängt die aufgenommenen Bildsignale vom Bildsensor und sendet Signale, die sich auf die empfangenen Bilder beziehen, an eine oder mehrere Komponenten des Fahrzeug-100-systems, wie zum Beispiel den Anzeigebildschirm 140. Die Leiterplatte kann eine Schnittstelle wie zum Beispiel Ethernet oder differenzielle Niederspannungssignalisierung (LVDS) zum Übertragen von Bilddaten beinhalten. Der Bildsensor kann direkt auf die Leiterplatte montiert sein und kann sich an einem Ort befinden, an dem er Licht einfangen kann, das sich durch die Linse bewegt. Eine Hauptachse der Linse kann im Wesentlichen rechtwinklig zur Bildsensorfläche sein. Um das dritte Blickfeld 135 der Kamera 110 zu ändern, kann eine Richtung der Hauptachse der Linse wie nachfolgend erläutert geändert werden. Als ein weiteres Beispiel, kann die Linse relativ zum Bildsensor bewegbar sein und ein Brennpunkt der Linse kann durch Bewegen der Linse relativ zum Bildsensor wie nachfolgend erläutert geändert werden.
Der Kameraaktor 155 beinhaltet Komponenten, die elektronische Signale in mechanische Bewegung umwandeln, wie zum Beispiel einen Motor oder einen Linearaktor. Der Kameraaktor 155 kann in dem Seitenspiegelgehäuse 115 angeordnet sein und stützt mindestens zum Teil die Kamera 110. Der Kameraaktor 155 kann durch das Seitenspiegelgehäuse 115 gestützt sein, z. B. angebracht an eine Innenfläche davon. In einem möglichen Ansatz empfängt der Kameraaktor 155 ein Signal vom Eingabeelement, dem Anzeigebildschirm 140 oder jeder anderen Komponente des Fahrzeug-100-Systems und ändert das dritte Blickfeld 135 der Kamera 110 gemäß dem empfangenen Signal. In einem Beispiel kann der Kameraaktor 155 das dritte Blickfeld 135 durch Bewegen der Richtung der Hauptachse der Kameralinse verändern. In einem anderen Beispiel sind das Kameragehäuse, die Leiterplatte und der Bildsensor relativ zueinander und zum Seitenspiegelgehäuse 115 befestigt und der Kameraaktor 155 bewegt die Kameralinse relativ zum Bildsensor, was verursacht, dass sich der Brennpunkt der Linse verändert. Derartige Änderungen des Brennpunktes kann eine Änderung des dritten Blickfeldes 135 hervorrufen, wie zum Beispiel Verkleinern oder Vergrößern des dritten Blickfelds 135.
Jeder von dem ersten und dem zweiten (Light Detection and Ranging) LIDAR-Sensoren 105a, 105b kann einen Lichtsender und einen Lichtempfänger beinhalten. Der Lichtsender gibt Laserlicht oder einen Lichtstrahl in anderen Spektralbereichen wie nahem Infrarot ab. Vom Lichtsender übertragene Wellenlängen können je nach Anwendung variieren. Zum Beispiel können Mittelinfrarotlichtstrahlen für Kraftfahrzeuganwendungen geeigneter sein. Der Lichtempfänger empfängt die Reflexion der auf Bildobjekte und Flächen übertragenen Strahlung. Typischerweise kann ein LIDAR-Sensor Daten zum Zuordnen von physischen Merkmalen erfasster Objekte mit einer sehr hohen Auflösung bereitstellen und kann eine große Auswahl von Materialien anvisieren, einschließlich nichtmetallischer Objekte, Steine, Regentropfen, chemische Verbindungen etc.
Der Prozessor 180 ist über Schaltungen, Chips und andere elektronische Komponenten umgesetzt, die programmiert sein können, LIDAR-Sensordaten zu empfangen, die das erste und zweite Blickfeld 125, 130 darstellen und ein dreidimensionales Modell einiger oder aller von dem ersten und zweiten Blickfeld 125, 130 erzeugen. Mit anderen Worten ist der Prozessor 180 programmiert, Objekte zu identifizieren, die sich im ersten und zweiten Blickfeld 125, 130 befinden. Zum Beispiel kann die dreidimensionale Karte des das Fahrzeug 100 umgebenden Bereiches Daten beinhalten, die Entfernung, Größe, Höhe naher Objekte angeben, die andere Fahrzeuge, Straßenstrukturen, Fußgänger etc. beinhalten können. Ein Blickfeld des dreidimensionalen Modells kann durch einen das Fahrzeug 100 umgebenden Bereich definiert sein, der sowohl zum ersten als auch zum zweiten Blickfeld 125, 130 gehört. Das Blickfeld des dreidimensionalen Modells hängt mindestens zum Teil vom ersten Blickfeld 125, dem zweiten Blickfeld 130 und einem Ausmaß an Überschneidung zwischen dem ersten und dem zweiten Blickfeld 125, 130 ab. Als ein Beispiel kann das Blickfeld des Modells 180 Grad übersteigen, z. B. wenn ein horizontaler Blickwinkel (d. h. ein Winkel, parallel zur Bodenfläche) des ersten Blickfeldes oder zweiten Blickfeldes 125, 130 90 Grad übersteigt.
Ferner kann der Prozessor 180 programmiert sein, Daten von den LIDAR-Sensoren und anderen Fahrzeugsensoren 165 zu kombinieren, um ein dreidimensionales Modell des das Fahrzeug 100 umgebenden Bereichs auszugeben. Zum Beispiel können LIDAR-Sensordaten mit Daten von einer Kamera hinter der Windschutzscheibe, die vom Fahrzeug 100 weg weist (d. h. in eine Fahrtrichtung gerichtet), einer hinteren Kamera, die an einen hinteren Stoßfänger montiert ist, der vom Fahrzeug 100 weg weist (d. h. in eine Rückwärtsrichtung gerichtet) etc. kombiniert werden. Diese oder andere Datenfusionstechniken können die Objekterfassung und Verlässlichkeit der hergestellten Daten verbessern.
Unter Verwendung empfangener Daten von den Fahrzeugsensoren 165 und der dreidimensionalen Karte des das Fahrzeug 100 umgebenden Bereiches, die auf Grundlage von LIDAR-Sensordaten erzeugt wurde, kann der Prozessor 180 das Fahrzeug 100 in einem autonomen Modus betreiben. Das Betreiben des Fahrzeugs 100 in einem autonomen Modus kann das Erstellen unterschiedlicher Bestimmungen und Steuern unterschiedlicher Fahrzeugkomponenten und -operationen beinhalten, die normalerweise von einem menschlichen Fahrer gehandhabt werden würden. Zum Beispiel kann der Prozessor 180 programmiert sein, Fahrzeugbetriebsverhalten wie Geschwindigkeit, Beschleunigung, Verlangsamung, Lenken etc. sowie taktisches Verhalten wie eine Entfernung zwischen Fahrzeugen, Minimalabstand zwischen Fahrzeugen für Spurwechsel, minimaler Linksabbiegeweg, Zeit bis zur Ankunft an einem bestimmten Ort, minimale Zeit bis zur Ankunft an einer Kreuzung (ohne Ampel), um die Kreuzung zu überqueren etc. zu regeln. Der Prozessor 180 kann ferner programmiert sein, bestimmte halbautonome Operationen zu unterstützen. Beispiele halbautonomer Operationen können Fahrzeugoperationen beinhalten, bei denen etwas Überwachung durch den Fahrer oder seine Beteiligung enthalten ist, wie zum Beispiel Steuerung der adaptiven Geschwindigkeitskontrolle, wobei der Prozessor 180 die Fahrzeug-100-Geschwindigkeit steuert und ein menschlicher Fahrer das Fahrzeug 100 lenkt.
Der Prozessor 180 kann ferner programmiert sein, bestimmte Benutzereingaben zu verarbeiten, die während des autonomen, halbautonomen oder nichtautonomen Betriebs des Fahrzeugs 100 empfangen wurden. Als ein Beispiel kann der Benutzer das Bild, das von der Kamera 110 aufgenommen wurde, auf dem Anzeigebildschirm 140 betrachten, während er das Fahrzeug 100 manuell lenkt, während das Fahrzeug 100 im halbautonomen oder nichtautonomen Modus betrieben wird. Zum Beispiel kann sich der Benutzer auf das Bild stützen, um einen hinteren toten Winkel zu überwachen. Ferner kann der Prozessor 180 Benutzereingaben verarbeiten, die das dritte Blickfeld 135 der Kamera 110 einstellen und Steuersignale an den Kameraaktor 155 oder den Anzeigebildschirm 140 ausgeben, die gewünschte Ansicht des das Fahrzeug 100 umgebenden Bereiches anzuzeigen.
4 ist ein Ablaufdiagramm eines Beispielverfahrens 400 zum Betreiben des Fahrzeugs 100 in einem autonomen oder halbautonomen Modus. Das Verfahren 400 kann durch den Prozessor 180 ausgeführt werden. Das Verfahren 400 kann zu jeder Zeit initiiert werden, zu welcher der Prozessor 180 betrieben wird (z. B. während das Fahrzeug 100 läuft). In einigen Fällen kann der Prozessor 180 weiter betrieben werden, bis das Fahrzeug 100 ausgeschaltet ist.
In Block 405 empfängt der Prozessor 180 Daten vom ersten LIDAR-Sensor 105a. Wie vorstehend erläutert, befindet sich der erste LIDAR-Sensor 105a in einem Seitenspiegelgehäuse 115. Die vom ersten LIDAR-Sensor 105a empfangenen Daten können das erste Blickfeld 125 des das Fahrzeug 100 umgebenden Bereiches darstellen. Die Daten können vom Prozessor 180 über ein Fahrzeugkommunikationsnetzwerk wie zum Beispiel Ethernet empfangen werden.
In Block 410 empfängt der Prozessor 180 vom zweiten LIDAR-Sensor 105b. Die Daten vom zweiten LIDAR-Sensor 105b können das zweite Blickfeld 130 darstellen und können über das Fahrzeug-100-Kommunikationsnetzwerk wie zum Beispiel Ethernet empfangen werden. In einigen möglichen Ansätzen kann der Prozessor 180 Daten von anderen LIDAR-Sensoren im Fahrzeug 100 bei Block 405 oder 410 empfangen. Zum Beispiel kann das Fahrzeug 100, wie in 1 gezeigt, ein anderes Seitenspiegelgehäuse 115 mit zwei anderen LIDAR-Sensoren 105 beinhalten. Somit kann der Prozessor 180 in diesem Beispiel zusätzliche Daten von einem dritten und einem vierten LIDAR-Sensor 105 empfangen, die sich im einem zweiten Seitenspiegelgehäuse 115 befinden, das sich auf einer anderen Seite des Fahrzeugs 100 befindet.
Bei Block 415 erzeugt der Prozessor 180 ein dreidimensionales Modell eines das Fahrzeug 100 umgebenden Bereiches aus Daten, die er in den Blöcken 405 und 410 empfangen hat. Der Prozessor 180 kann Datenfusionstechniken wie zum Beispiel Zusammenfügen verwenden, um das dreidimensionale Modell zu erzeugen, wenn die empfangenen Daten von mehr als einem LIDAR-Sensor 105 stammen. Der Prozessor 180 kann ferner Algorithmen industrieller Bildverarbeitung ausführen, um Objekte, wie zum Beispiel andere Fahrzeuge, Fußgänger, Straßenschilder, Verkehrssteuervorrichtungen etc., die durch das dreidimensionale Modell dargestellt sind, zu erfassen.
Bei Block 420 führt der Prozessor 180 eine Handlung auf Grundlage des dreidimensionalen Modells durch. Konkret kann der Prozessor 180 eine Handlung gemäß den in Block 415 erkannten Objekten durchführen. Das Durchführen einer Handlung kann beinhalten, dass der Prozessor 180 bestimmt, ob er das Fahrzeug 100 bremst, beschleunigt oder lenkt. Das Durchführen der Handlung kann ferner beinhalten, dass der Prozessor 180 Steuersignale über das Fahrzeugkommunikationsnetzwerk an unterschiedliche Aktoren 170 sendet, welche die Handlung ausführen können. Das Verfahren kann nach Block 420 enden oder zu Block 405 zurückkehren, wenn zusätzliche Sensordaten berücksichtigt werden können.
5 ist ein Ablaufdiagramm eines Beispielverfahrens 500 zum Betreiben der Kamera 110 mit dem dritten Blickwinkel 135, das in das Seitenspiegelgehäuse 115 integriert ist. Das Verfahren 500 kann durch den Prozessor 180 ausgeführt werden. Das Verfahren 500 kann zu jeder Zeit initiiert werden, zu welcher der Prozessor 180 betrieben wird, wie zum Beispiel während das Fahrzeug 100 läuft. Der Prozessor 180 kann weiter betrieben werden, bis zum Beispiel das Fahrzeug 100 ausgeschaltet ist.
Bei Block 505 empfängt der Prozessor 180 eine Kamerablickfeldeinstellanforderung von der Benutzerschnittstelle 175, dem Anzeigebildschirm 140 etc. Zum Beispiel kann die Kamerablickfeldeinstellanforderung verschiedene diskrete Signalwerte beinhalten, wie zum Beispiel hoch bewegen, nach unten bewegen, nach rechts drehen, nach links drehen, anhalten. Die Anforderung kann über das Fahrzeugkommunikationsnetzwerk empfangen werden.
Bei Block 510 kann der Prozessor 180 ein Signal an den Kameraaktoren 155 auf Grundlage der empfangenen Kamerablickfeldeinstellanforderung senden. Zum Beispiel kann der Kameraaktor 155 vier Drähte aufweisen, die mit dem Prozessor 180 verbunden sind. Jeder Draht kann einer speziellen Bewegungsrichtung, z. B. „rechts“, „links“, „oben“ und „unten“ zum Bewegen in eine rechte, linke, obere bzw. untere Richtung gewidmet sein. Wenn der Prozessor 180 ein Signal zum nach oben bewegen des dritten Blickfelds 135 der Kamera 110 überträgt, kann der Prozessor 180 ein „AN“-Signal an den „oben“-Draht senden, während er ein „AUS“-Signal an die „rechts“-, „links-“ und „unten“-Drähte sendet. Alternativ kann der Kameraaktor 155 ein linear verschiebender Aktor für eine Brennpunkteinstellung wie mit Bezug auf 3 erläutert sein. Der Prozessor 180 kann ein vorwärts-, rückwärts- und Stopp-Signal an den linear verschiebenden Kameraaktor 155 senden, um das dritte Blickfeld 135 der Kamera 110 einzustellen.
Bei Schritt 515 empfängt der Prozessor 180 Bilddaten von der Kamera 110. Die Bilddaten können über den Fahrzeug-100-Kommunikationsbus empfangen werden. Zum Beispiel können die Bilddaten gemäß einer Ethernet- oder einer dedizierten differenziellen Niederspannungssignalisierungs-(LVDS)-Schnittstelle empfangen werden.
Bei Block 520 gibt der Prozessor 180 mindestens einen Teil der Bilddaten, die er von der Kamera 110 erhalten hat, an den Anzeigebildschirm 140 aus. Die Bilddaten können gemäß den empfangenen Bilddaten und einer Einstellung im Anzeigebildschirm 140 dargestellt sein. Die Einstellung kann gemäß einer Benutzereingabe vorgenommen sein. Zum Beispiel kann der Prozessor 180 einen Teil der empfangenen Daten ausschneiden, so dass nur eine Teilgruppe des Bildes auf dem Anzeigebildschirm 140 angezeigt wird. Das Verfahren 500 kann nach Block 520 enden oder zu Block 505 zurückkehren, so dass zusätzliche Kameradaten empfangen und verarbeitet werden können.
Im Allgemeinen können die beschriebenen Rechnersysteme und/oder -vorrichtungen ein beliebiges aus einer Reihe von Rechnerbetriebssystemen einsetzen, einschließlich unter anderem Versionen und/oder Varianten der Sync^®-Anwendung von Ford, AppLink/Smart Device Link Middleware, der Betriebssysteme Microsoft^® Automotive, Microsoft Windows^®, Unix (z. B. das Betriebssystem Solaris^®, vertrieben durch die Oracle Corporation in Redwood Shores, Kalifornien), AIX UNIX, vertrieben durch International Business Machines in Armonk, New York, Linux, Mac OSX und iOS, vertrieben durch die Apple Inc. in Cupertino, Kalifornien, BlackBerry OS, vertrieben durch Blackberry, Ltd. in Waterloo, Kanada, und Android, entwickelt von Google, Inc. und der Open Handset Alliance, oder der Plattform QNX^® CAR für Infotainment, angeboten von QNX Software Systems. Beispielen für Rechnervorrichtungen beinhalten unter anderem einen im Fahrzeug integrierten Rechner, einen Arbeitsplatzcomputer, einen Server, einen Schreibtisch-, einen Notebook-, einen Laptop- oder Handcomputer oder ein anderes Rechnersystem und/oder eine andere Rechnervorrichtung.
Rechnervorrichtungen beinhalten im Allgemeinen computerausführbare Anweisungen, wobei die Anweisungen durch eine oder mehrere Rechnervorrichtungen ausgeführt werden können, wie etwa durch die vorstehend aufgeführten. Computerausführbare Anweisungen können von Computerprogrammen zusammengestellt oder ausgewertet werden, welcher unter Verwendung einer Vielzahl von Programmiersprachen und/oder -technologien erstellt wurden, einschließlich unter anderem und entweder für sich oder in Kombination Java^TM, C, C++, Visual Basic, Java Script, Perl usw. Einige dieser Anwendungen können auf einer virtuellen Maschine zusammengestellt und ausgeführt werden, wie beispielsweise die Java Virtual Machine, die Dalvik Virtual Machine oder dergleichen. Im Allgemeinen empfängt ein Prozessor (z. B. ein Mikroprozessor) Anweisungen, z. B. von einem Speicher, einem computerlesbaren Medium etc., und führt diese Anweisungen aus, wodurch er einen oder mehrere Prozesse durchführt, darunter einen oder mehrere der hier beschriebenen Prozesse. Derartige Anweisungen und andere Daten können unter Verwendung einer Vielzahl computerlesbarer Medien gespeichert und übertragen werden.
Ein computerlesbares Medium (auch als vom Prozessor lesbares Medium bezeichnet) umfasst ein beliebiges nichtflüchtiges (z. B. materielles) Medium, das an der Bereitstellung von Daten (z. B. Anweisungen) beteiligt ist, die von einem Computer (z. B. von einem Prozessor eines Computers) gelesen werden können. Ein derartiges Medium kann viele annehmen, einschließlich unter anderem nichtflüchtige Medien und flüchtige Medien. Zu nichtflüchtigen Medien können zum Beispiel Bild- und Magnetplatten und sonstige dauerhafte Speicher gehören. Flüchtige Medien können zum Beispiel einen dynamischen Direktzugriffsspeicher (Dynamic Random Access Memory – DRAM) beinhalten, der in der Regel einen Hauptspeicher darstellt. Derartige Anweisungen können durch ein oder mehrere Übertragungsmedien übertragen werden, einschließlich Koaxialkabel, Kupferdraht und Glasfaser, einschließlich der Drähte, die einen mit einem Prozessor eines Computers verbundenen Systembus umfassen. Gängige Formen computerlesbarer Medien beinhalten zum Beispiel eine Diskette, eine Folienspeicherplatte, eine Festplatte, ein Magnetband, ein beliebiges anderes magnetisches Medium, eine CD-ROM, eine DVD, ein beliebiges anderes optisches Medium, Lochkarten, Lochstreifen, ein beliebiges anderes physikalisches Medium mit Lochmustern, ein RAM, ein PROM, ein EPROM, ein FLASH-EEPROM, einen beliebigen anderen Speicherchip oder eine beliebige andere Speicherkassette oder ein beliebiges anderes Medium, das von einem Computer gelesen werden kann.
Datenbanken, Datenbestände oder sonstige Datenspeicher, welche hierin beschrieben sind, können verschiedene Arten von Mechanismen zum Speichern von, Zugreifen auf und Abrufen von verschiedenen Arten von Daten beinhalten, einschließlich einer hierarchischen Datenbank, einer Gruppe von Dateien in einem Dateisystem, einer Anwendungsdatenbank in einem proprietären Format, einem relationalen Datenbankverwaltungssystem (Relational Database Management System – RDBMS) usw. Jeder dieser Datenspeicher ist im Allgemeinen in einer Rechenvorrichtung enthalten, welche ein Computerbetriebssystem, wie beispielsweise eines der vorstehend aufgeführten, verwendet, und es wird auf eine oder mehrere mögliche Weisen über ein Netzwerk darauf zugegriffen. Auf ein Dateisystem kann von einem Computerbetriebssystem zugegriffen werden und es kann in verschiedenen Formaten gespeicherte Dateien enthalten. Ein RDBMS verwendet im Allgemeinen die strukturierte Abfragesprache (Structured Query Language – SQL) zusätzlich zu einer Sprache zum Erstellen, Speichern, Bearbeiten und Ausführen gespeicherter Vorgänge, wie etwa die vorstehend aufgeführte PL/SQL-Sprache.
In einigen Beispielen können Systemelemente als computerlesbare Anweisungen (z. B. Software) auf einer oder mehreren Rechnervorrichtungen (z. B. Servern, PCs etc.) umgesetzt sein, die auf computerlesbaren Speichermedien in Zusammenhang damit gespeichert sind (z. B. Platten, Speicher etc.). Ein Computerprogrammprodukt kann derartige Anweisungen umfassen, die zum Ausführen der hier beschriebenen Funktionen auf computerlesbaren Medien gespeichert sind.
Hinsichtlich der hier beschriebenen Prozesse, Systeme, Verfahren, Heuristiken etc. versteht es sich, dass die Schritte solcher Prozesse usw. zwar als gemäß einer bestimmten Reihenfolge erfolgend beschrieben worden sind, derartige Verfahren jedoch durchgeführt werden könnten, wobei die beschriebenen Schritte in einer Reihenfolge durchgeführt werden, die von der hier beschriebenen Reihenfolge abweicht. Es versteht sich zudem, dass bestimmte Schritte gleichzeitig durchgeführt, andere Schritte hinzugefügt oder bestimmte hier beschriebene Schritte weggelassen werden könnten. Anders gesagt dienen hier die Beschreibungen von Prozessen dem Zwecke der Veranschaulichung bestimmter Ausführungsformen und sie sollten keinesfalls dahingehend ausgelegt werden, dass sie die Ansprüche einschränken.
Dementsprechend versteht es sich, dass die vorstehende Beschreibung veranschaulichend und nicht einschränkend sein soll. Viele Ausführungsformen und Anwendungen, bei denen es sich nicht um die vorgestellten Beispiele handelt, würden beim Lesen der vorstehenden Beschreibung ersichtlich. Der Umfang sollte nicht unter Bezugnahme auf die vorstehende Beschreibung ermittelt werden, sondern stattdessen unter Bezugnahme auf die beigefügten Ansprüche gemeinsam mit dem vollständigen Umfang von Äquivalenten, zu denen derartige Ansprüche berechtigt sind. Es wird erwartet und beabsichtigt, dass es hinsichtlich der hier erläuterten Technologien künftige Entwicklungen geben wird und dass die offenbarten Systeme und Verfahren in derartige künftige Ausführungsformen aufgenommen werden. Insgesamt versteht es sich, dass die Anmeldung modifiziert und variiert werden kann.
Allen in den Ansprüchen verwendeten Ausdrücken soll deren allgemeine Bedeutung zugeordnet werden, wie sie Fachleuten auf dem Gebiet der hier beschriebenen Technologien bekannt ist, sofern hier kein ausdrücklicher Hinweis auf das Gegenteil erfolgt. Insbesondere ist die Verwendung der Singularartikel wie etwa „ein“, „einer“, „eine“, „der“, „die“, „das“ etc. dahingehend auszulegen, dass ein oder mehrere der aufgeführten Element genannt werden, sofern ein Anspruch nicht eine ausdrückliche gegenteilige Einschränkung enthält.
Die Zusammenfassung wird bereitgestellt, um dem Leser einen schnellen Überblick über den Charakter der technischen Offenbarung zu ermöglichen. Sie wird in der Auffassung eingereicht, dass sie nicht dazu verwendet wird, den Umfang oder die Bedeutung der Ansprüche auszulegen oder einzuschränken. Zusätzlich geht aus der vorstehenden detaillierten Beschreibung hervor, dass verschiedene Merkmale in verschiedenen Ausführungsformen zum Zwecke der Vereinfachung der Offenbarung zusammengefasst sind. Dieses Offenbarungsverfahren soll nicht dahingehend ausgelegt werden, dass es eine Absicht widerspiegelt, dass die beanspruchten Ausführungsformen mehr Merkmale als ausdrücklich in jedem Anspruch genannt erfordern. Stattdessen liegt der Gegenstand der Erfindung in weniger als allen Merkmalen einer einzelnen offenbarten Ausführungsform, wie die folgenden Ansprüche widerspiegeln. Somit werden die folgenden Ansprüche hiermit in die detaillierte Beschreibung einbezogen, wobei jeder Anspruch für sich als separat beanspruchter Gegenstand steht.

Claims

Fahrzeugbaugruppe, umfassend: ein Seitenspiegelgehäuse, das an einen Fahrzeugaußenraum montierbar ist; einen ersten LIDAR-Sensor, der in dem Seitenspiegelgehäuse angeordnet ist, wobei der erste LIDAR-Sensor ein erstes Blickfeld aufweist und in eine erste Richtung gerichtet ist; einen zweiten LIDAR-Sensor, der in dem Seitenspiegelgehäuse angeordnet ist, wobei der zweite LIDAR-Sensor ein zweites Blickfeld aufweist und in eine zweite Richtung gegenüber der ersten Richtung gerichtet ist; und eine Kamera, die in dem Seitenspiegelgehäuse angeordnet ist, wobei sie vom zweiten LIDAR-Sensor beabstandet ist, wobei die Kamera ein drittes Blickfeld aufweist und in die zweite Richtung gerichtet ist.
Fahrzeugbaugruppe nach Anspruch 1, wobei das Seitenspiegelgehäuse eine nach vorn gerichtete Seite und eine nach hinten gerichtete Seite beinhaltet und wobei der erste LIDAR-Sensor an der nach vorn gerichteten Seite angeordnet ist und wobei der zweite LIDAR-Sensor und die Kamera an der nach hinten gerichteten Seite angeordnet sind.
Fahrzeugbaugruppe nach Anspruch 1 oder 2, wobei sich das dritte Blickfeld der Kamera mindestens zum Teil mit dem zweiten Blickfeld des zweiten LIDAR-Sensors überschneidet und sich nicht mit dem ersten Blickfeld des ersten LIDAR-Sensors überschneidet.
Fahrzeugbaugruppe nach Anspruch 1 oder 2, ferner umfassend einen Anzeigebildschirm und einen Prozessor, der programmiert ist, Bilddaten von der Kamera zu empfangen, und mindestens einen Teil der empfangenen Bilddaten an den Anzeigebildschirm auszugeben.
Fahrzeugbaugruppe nach Anspruch 1, wobei das dritte Blickfeld der Kamera relativ zum Seitenspiegelgehäuse einstellbar ist.
Fahrzeugbaugruppe nach Anspruch 5, ferner umfassend einen Prozessor, der programmiert ist, eine Blickfeldeinstellungsanforderung zu empfangen und das dritte Blickfeld gemäß der empfangenen Blickfeldeinstellungsanforderung einzustellen.
Fahrzeugbaugruppe nach Anspruch 6, wobei das Einstellen des dritten Blickfeldes gemäß der empfangenen Einstellungsanforderung das Einstellen einer Kamerastellung relativ zum Seitenspiegelgehäuse beinhaltet.
Fahrzeugbaugruppe nach Anspruch 7, wobei das Einstellen der Kamerastellung relativ zum Seitenspiegelgehäuse lineares Bewegen der Kamera in eine von der ersten Richtung und der zweiten Richtung beinhaltet.
Fahrzeugbaugruppe nach Anspruch 6, 7 oder 8, wobei der erste LIDAR-Sensor und der zweite LIDAR-Sensor relativ zum Seitenspiegelgehäuse befestigt sind.
Fahrzeugbaugruppe nach Anspruch 1, ferner umfassend einen Prozessor, der zu Folgendem programmiert ist: Empfangen von Daten vom ersten und zweiten LIDAR-Sensor; und Erzeugen eines dreidimensionalen Modells eines das Seitenspiegelgehäuse umgebenden Bereiches gemäß dem ersten Blickfeld und dem zweiten Blickfeld.
Fahrzeugbaugruppe nach Anspruch 1, wobei das Seitenspiegelgehäuse ferner mindestens eine Außenfläche beinhaltet und wobei mindestens einer von dem ersten LIDAR-Sensor, dem zweiten LIDAR-Sensor und der Kamera mit der mindestens einen Außenfläche des Seitenspiegelgehäuses bündig ist.
Verfahren, umfassend: Empfangen von Daten von einem ersten LIDAR-Sensor, der in einem Seitenspiegelgehäuse eines autonomen Fahrzeugs angeordnet ist, wobei der erste LIDAR-Sensor ein erstes Blickfeld aufweist und in eine erste Richtung gerichtet ist; Empfangen von Daten von einem zweiten LIDAR-Sensor, der in dem Seitenspiegelgehäuse angeordnet ist, wobei der zweite LIDAR-Sensor ein zweites Blickfeld aufweist und in eine zweite Richtung gegenüber der ersten Richtung gerichtet ist; Erzeugen eines dreidimensionalen Modells eines das Seitenspiegelgehäuse umgebenden Bereiches gemäß dem ersten Blickfeld und dem zweiten Blickfeld; und Steuern des autonomen Fahrzeugs gemäß des erzeugten dreidimensionalen Modells.
Verfahren nach Anspruch 12, wobei das dreidimensionale Modell einen Blickwinkel von mehr als 180 Grad aufweist.
Verfahren nach Anspruch 12 oder 13, wobei sich das erste Blickfeld und das zweite Blickfeld überschneiden.
Verfahren nach Anspruch 12 oder 13, ferner umfassend: Empfangen einer Blickfeldeinstellungsanforderung; und Einstellen eines dritten Blickfelds einer Kamera, die im Seitenspiegelgehäuse angeordnet ist, gemäß der empfangenen Blickfeldeinstellungsanforderung, wobei das Einstellen des dritten Blickfelds der Kamera das Ausgeben eines Signals an einen Kameraaktor beinhaltet.