DE102018115262A1

DE102018115262A1 - Verfahren zur verwendung von fahrzeuginformationen und sensoren zur aufzeichnung von fotografie und video

Info

Publication number: DE102018115262A1
Application number: DE102018115262.0A
Authority: DE
Inventors: Shiv G. Patel; Grant L. Meade; Ephraim C. Yuen; Michael A. Wuergler
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-06-27
Filing date: 2018-06-25
Publication date: 2018-12-27
Also published as: CN109151380A; US20180376054A1; US10491807B2

Abstract

Ein Kamerasteuersystem eines Fahrzeugs umfasst eine Vielzahl von Sensoren, die konfiguriert sind, um Fahrzeugdaten zu bestimmen, und ein Kamerasteuermodul, das konfiguriert ist, um die Fahrzeugdaten von der Vielzahl von Sensoren zu empfangen. Das Kamerasteuermodul ist weiterhin auf eines der folgenden konfiguriert: i) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Fahrzeugbewegungsdaten; oder ii) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Helligkeitsdaten.

Description

EINLEITUNG
Die Informationen in diesem Abschnitt dienen der allgemeinen Darstellung des Kontextes der Offenbarung. Die Arbeit der gegenwärtig genannten Erfinder in dem in diesem Abschnitt beschriebenen Umfang, sowie Aspekte der Beschreibung, die zum Zeitpunkt der Anmeldung ansonsten nicht als Stand der Technik gelten, gelten gegenüber der vorliegenden Offenbarung weder ausdrücklich noch implizit als Stand der Technik.
Die vorliegende Offenbarung betrifft Fahrzeugsysteme und insbesondere Systeme und Verfahren für die Steuerung einer oder mehrerer Kameras eines Fahrzeugs.
Fahrzeuge beinhalten eine oder mehrere Drehmomenterzeugungsvorrichtungen, wie etwa einen Verbrennungsmotor und/oder einen Elektromotor. Ein Beifahrer eines Fahrzeugs fährt innerhalb der Fahrgastzelle (oder des Fahrgastraums) des Fahrzeugs.
Ein Infotainmentsystem eines Fahrzeugs bietet verschiedene Funktionen, wie beispielsweise Navigation, Zuordnung, Radio, Anrufe, Messaging, mobile Geräteanbindung und andere Funktionen. Infotainmentsysteme von Fahrzeugen können als Infotainment (IVI)-Systeme im Fahrzeug und als Entertainment (IVE)-Systeme im Fahrzeug bezeichnet werden. Ein Infotainmentsystem beinhaltet eine Anzeige, die verschiedene infotainmentbezogene Informationen anzeigt. Einige Infotainmentsysteme verfügen über Touchscreen-Displays, die auch Benutzereingaben per Touchscreen empfangen.
Die Anzeige eines Infotainmentsystems kann verwendet werden, um Standbilder oder Videobilder anzuzeigen, die von einer oder mehreren Kameras des Fahrzeugs aufgenommen wurden. Die Standbilder oder Videobilder können durch einen automatisierten Prozess oder als Reaktion auf Benutzereingabebefehle an die Anzeige gesendet werden.
KURZDARSTELLUNG
Ein Kamerasteuersystem eines Fahrzeugs umfasst eine Vielzahl von Sensoren, die konfiguriert sind, um Fahrzeugdaten zu bestimmen, und ein Kamerasteuermodul, das konfiguriert ist, um die Fahrzeugdaten von der Vielzahl von Sensoren zu empfangen. Das Kamerasteuermodul ist weiterhin auf eines der folgenden konfiguriert: i) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Fahrzeugbewegungsdaten; oder ii) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Helligkeitsdaten.
In weiteren Merkmalen umfasst der mindestens eine Betriebsparameter einen ISO-Parameter der Kamera. In weiteren Merkmalen umfasst der mindestens eine Betriebsparameter einen F-Stopp-Parameter der Kamera. In weiteren Merkmalen umfasst der mindestens eine Betriebsparameter einen Verschlusszeitenparameter der Kamera. In weiteren Merkmalen umfasst der mindestens eine Betriebsparameter einen Fokusparameter der Kamera. In weiteren Merkmalen umfasst der mindestens eine Betriebsparameter einen Bildfrequenzparameter der Kamera.
In weiteren Merkmalen umfassen die Fahrzeugbewegungsdaten Straßenvorschaudaten, die einer Straße vor dem Fahrzeug zugeordnet sind. In weiteren Merkmalen umfassen die Fahrzeugbewegungsdaten mindestens eine aus Fahrzeuggeschwindigkeit, Fahrzeugbeschleunigung, Fahrzeugrollen, Fahrzeugneigung und Fahrzeughebebewegung.
In weiteren Merkmalen umfassen die Helligkeitsdaten Umgebungslichtdaten. In weiteren Merkmalen umfassen die Helligkeitsdaten mindestens eine der GPS-Standortdaten, Richtungsdaten, Azimut der Sonnendaten, Statusdaten des Beleuchtungssystems und Gangwahldaten.
In weiteren Merkmalen umfasst ein Kamerasteuersystem eines Fahrzeugs eine Vielzahl von Sensoren, die konfiguriert sind, um Fahrzeugdaten zu bestimmen, und ein Kamerasteuermodul, das konfiguriert ist, um die Fahrzeugdaten von der Vielzahl von Sensoren zu empfangen. Das Kamerasteuermodul ist weiterhin konfiguriert zum: i) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Fahrzeugbewegungsdaten; und ii) Einstellen mindestens eines Betriebsparameters der Kamera basierend auf von der Vielzahl von Sensoren empfangenen Helligkeitsdaten. Das Kamerasteuermodul kann i) den mindestens einen Betriebsparameter der Kamera basierend auf Fahrzeugbewegungsdaten und ii) mindestens einen Betriebsparameter der Kamera basierend auf Helligkeitsdaten parallel oder in Reihe zueinander einstellen.
Weitere Anwendungsbereiche der vorliegenden Offenbarung ergeben sich aus der ausführlichen Beschreibung, den Ansprüchen und den Zeichnungen. Die ausführliche Beschreibung und die spezifischen Beispiele dienen lediglich der Veranschaulichung und schränken den Umfang der Offenbarung nicht ein.
Figurenliste
Die vorliegende Offenbarung wird verständlicher unter Zuhilfenahme der ausführlichen Beschreibung und der zugehörigen Zeichnungen, worin gilt:

1 ist ein Funktionsblockdiagramm eines exemplarischen Fahrzeugsystems;
2 ist ein Funktionsblockdiagramm eines Fahrzeugs mit verschiedenen Kameras;
3 ist ein Funktionsblockdiagramm des Kamerasteuermoduls von 1;
4 ist ein Flussdiagramm, das ein exemplarisches Verfahren mit Lichtkompensation zum Ändern von Kamerabetriebsparametern darstellt; und
5 ist ein Flussdiagramm, das ein exemplarisches Verfahren der Bildstabilisierung zum Ändern von Kamerabetriebsparametern darstellt.

In den Zeichnungen werden dieselben Bezugszeichen für ähnliche und/oder identische Elemente verwendet.
AUSFÜHRLICHE BESCHREIBUNG
Das hierin offenbarte Fahrzeugkamera-Steuermodul verbessert die Bildqualität für Fahrzeugbetrachtungsanwendungen (z. B. Leistungskamera, Rückfahrkamera, 360-Grad-Rundumsicht, Rückspiegel und dergleichen). Durch die Nutzung und Wiederverwendung von Fahrzeuginformationen und den Daten von Fahrzeugsensoren (z. B. Umgebungslicht, Fahrzeuggeschwindigkeit, Wischerinformationen) und zusätzlichen Informationen von Vorwärtskameras, die für aktive Sicherheitsfunktionen verwendet werden (z. B. niedrige/hohe Sonneneinstrahlung, Windschutzscheibenverschmutzungen/-verschmierungen, Straßenvorschauinformationen), kann das offenbare Kamerasteuermodul konfiguriert werden, um die Betriebsparameter einer oder mehrerer Fahrzeugkameras zur Verbesserung der Bildqualität sowohl von Standbildern als auch von Videoströmen anzupassen. Die Betriebsparameter der Kamera(s) können angepasst werden, um beispielsweise eine verbesserte Lichtkompensation und Bildstabilisierung zu erreichen.
Durch die Integration der nach vorne gerichteten Sensoren zum Bestimmen eines bevorstehenden Straßenprofils verbessert das Kamerasteuermodul die Bildstabilisierung. Unter Verwendung anderer Fahrzeuginformationen kann das Kamerasteuermodul Kamerabetriebsparameter (oder Einstellungen) wie ISO, Verschlusszeit, Blende, Bildrate und Bildstabilisierung basierend auf den Fahrbedingungen anpassen, um die Bildqualität für die Anzeigefunktionen zu verbessern.
Aufnahmen mit geringer Verschlusszeit sind bei schlechten Lichtverhältnissen und für Aufnahmen mit höherer Qualität wünschenswert. Verwacklungen verhindern jedoch, dass die Kamera bei niedrigeren Bildraten läuft. Ist jedoch das Straßenprofil vor dem Fahrzeug bekannt, kann das Straßenprofil als Eingang in das Kamera-Bildstabilisierungssteuermodul verwendet werden. In einigen Ausführungsformen kann ein Referenzfahrzeugmodell verwendet werden, um die Fahrzeugreaktion über ein bevorstehendes Straßenprofil oder Ereignis zu bestimmen.
Fahrzeuginformationen können Körperbewegungsgrößen beinhalten, wie beispielsweise: i) Rollen, Neigen, Heben; ii) Rollen, Neigen und Heben (Raten); iii) Rollen, Heben, Neigen (Beschleunigung); iv) Federweg; v) Federungsgeschwindigkeit und vi) Federungsbeschleunigung. Die Fahrzeuginformationen können an das Kamera-Bildstabilisierungssteuermodul gesendet werden. Die Fahrzeuginformationen können auch die Belichtungszeit begrenzen, wenn ein Straßenereignis die Bildqualität beeinträchtigen kann. Dies ist eine kostengünstige Lösung zur Bildstabilisierung, da aktuelle Fahrzeugkameras keinen Beschleunigungssensor zur Bildstabilisierung aufweisen.
Das offenbarte Kamerasteuermodul kann unter Verwendung von Fahrzeuginformationen und Sensoren ein optimales Bild erzeugen, das eine typische Kamera nicht vorweisen könnte. Dies kann durch kontinuierliches (oder periodisches) Aktualisieren der Kameraparameter erreicht werden, d. h. durch automatisches Anpassen von ISO, Verschlusszeit, Bildfrequenz und F-Stopp basierend auf Fahrzeuginformationen und Sensoren (Fahrzeuggeschwindigkeit, Beschleunigungsmesser, GPS, Regensensor). Das Kamerasteuermodul kann ein Verfahren ausführen, das den Azimut der Sonne (bestimmt durch GPS und Tageszeit) berücksichtigt, um ISO- und/oder F-Stopp-Einstellungen zu steuern, um den Fokus zu optimieren oder einen besseren Winkel für die Aufnahme eines Bildes oder einen Standort für dieselbe Ansicht vorzuschlagen.
Unter Bezugnahme auf 1 wird ein Funktionsblockdiagramm eines exemplarischen Fahrzeugsystems präsentiert. Während ein Fahrzeugsystem für ein Hybridfahrzeug gezeigt und beschrieben wird, ist die vorliegende Offenbarung auch auf Nicht-Hybridfahrzeuge, Elektrofahrzeuge, Brennstoffzellenfahrzeuge, autonome Fahrzeuge und andere Arten von Fahrzeugen anwendbar. Obwohl das Beispiel eines Fahrzeugs vorgesehen ist, ist die vorliegende Anwendung auch auf Implementierungen außerhalb des Fahrzeugs anwendbar.
Ein Motor 102 verbrennt ein Luft-Kraftstoff-Gemisch, um Antriebsdrehmoment zu erzeugen. Ein Motorsteuergerät (ECM) 106 steuert den Motor 102 basierend auf einem oder mehreren Fahrereingaben. So steuert beispielsweise das ECM 106 die Betätigung diverser Motorstellelemente, u. a. Drosselklappe, Zündkerze(n), Kraftstoff-Einspritzdüse(n), Ventilantriebe, Nockenwellenversteller, Abgasrückführungsventil (AGR) und Dampfräder.
Der Motor 102 kann Drehmoment auf ein Getriebe 110 ausgeben. Ein Getriebesteuergerät (TCM) 114 steuert den Betrieb des Getriebes 110. So kann beispielsweise das TCM 114 die Gangwahl innerhalb des Getriebes 110 und eine oder mehr Drehmomentübertragungsvorrichtungen (z. B. einen Drehmomentwandler, eine oder mehrere Kupplungen usw.) steuern.
Das Fahrzeugsystem kann einen oder mehrere Elektromotoren beinhalten. Zum Beispiel kann ein Elektromotor 118 im Getriebe 110 implementiert sein, wie im Beispiel von 1 gezeigt. Ein Elektromotor kann zu einer gegebenen Zeit entweder als ein Generator oder als ein Motor arbeiten. Wenn er als Generator arbeitet, wandelt ein Elektromotor mechanische Energie in elektrische Energie um. Die elektrische Energie kann beispielsweise zum Laden einer Batterie 126 über eine Stromsteuervorrichtung (PCD) 130 verwendet werden. Wenn er als Motor arbeitet, erzeugt ein Elektromotor ein Drehmoment, das beispielsweise zum Ergänzen oder Ersetzen von Drehmomentausgabe durch den Motor 102 verwendet werden kann. Während das Beispiel eines Elektromotors vorgesehen ist, kann das Fahrzeug keinen oder mehr als einen Elektromotor enthalten.
Ein Wechselrichter-Steuermodul (PIM) 134 kann den Elektromotor 118 und die PCD 130 steuern. Die PCD 130 legt (z. B. Gleichstrom) Energie von der Batterie 126 an den (z. B. Wechselstrom) Elektromotor 118 basierend auf Signalen von dem PIM 134 an, und die PCD 130 stellt eine von dem Elektromotor 118 ausgegebene Leistung bereit, z. B. an die Batterie 126. Das PIM 134 kann in verschiedenen Implementierungen als ein Wechselrichtermodul (PIM) bezeichnet werden.
Ein Lenksteuermodul 140 steuert zum Beispiel das Lenken/Drehen von Rädern des Fahrzeugs basierend auf dem Fahrer, der ein Lenkrad in dem Fahrzeug dreht, und/oder basierend auf Lenkbefehlen von einem oder mehreren Fahrzeugsteuermodulen. Ein Lenkradwinkelsensor (SWA) überwacht die Drehposition des Lenkrads und erzeugt einen SWA 142 basierend auf der Position des Lenkrads. Als ein Beispiel kann das Lenksteuermodul 140 die Fahrzeuglenkung über einen EPS-Motor 144 basierend auf dem SWA 142 steuern. Das Fahrzeug kann jedoch eine andere Art von Lenksystem enthalten. Ein elektronisches Brems-Steuermodul (EBCM) 150 kann Bremsen 154 des Fahrzeugs selektiv steuern.
Module des Fahrzeugs können Parameter über ein Controller Area Network (CAN) 162 teilen. Der CAN 162 kann auch als ein „Car Area Network“ bezeichnet werden. Zum Beispiel kann das CAN 162 einen oder mehrere Datenbusse beinhalten. Verschiedene Parameter können über ein gegebenes Steuermodul anderen Steuermodulen über den CAN 162 zur Verfügung gestellt werden.
Die Fahrereingaben können beispielsweise eine Gaspedalposition (APP) 166 beinhalten, die dem ESM 106 bereitgestellt werden kann. Eine Bremspedalposition (BPP) 170 kann für das EBCM 150 vorgesehen sein. Eine Position 174 eines Park-Rückwärts-Neutral-Vorwärts-Hebels (PRNDL) kann dem TCM 114 bereitgestellt werden. Ein Zündungszustand 178 kann einem Body Control Module (BCM) 180 bereitgestellt werden. Zum Beispiel kann der Zündungszustand 178 von einem Fahrer über einen Zündschlüssel, eine Taste oder einen Schalter eingegeben werden. Zu einem bestimmten Zeitpunkt kann der Zündungszustand 178 einer von Aus, Zubehör, An oder Kurbeln sein.
Das Fahrzeugsystem beinhaltet auch ein Infotainment-Modul 182. Ein Infotainment-Modul 182 steuert, was auf der Anzeige 184 angezeigt wird. In verschiedenen Implementierungen kann die Anzeige 184 eine Touchscreen-Anzeige sein und Signale, die auf Benutzereingaben an die Anzeige 184 hinweisen, an das Infotainment-Modul 182 übertragen. Infotainment-Modul 182 kann zusätzlich oder alternativ Signale empfangen, die auf Benutzereingaben von einer oder mehreren anderen Benutzereingabevorrichtungen 185, wie beispielsweise einem oder mehreren Schaltern, Tasten, Knöpfen usw., hinweisen.
Infotainment-Modul 182 kann eine Eingabe von einer Vielzahl von externen Sensoren und Kameras empfangen, die allgemein durch 186 in 1 dargestellt sind. So kann beispielsweise das Infotainment-Modul 182 über die Eingabe von den externen Sensoren und Kameras 186 ein Video, verschiedene Ansichten und/oder Alarme auf der Anzeige 184 anzeigen. Externe Sensoren und Kameras 186 können die nachstehend in 2 beschriebenen Kameras beinhalten. Externe Sensoren und Kameras 186 können auch Fahrzeugsensoren beinhalten, einschließlich Umgebungslichtsensor 194 (separat dargestellt), GPS-Empfänger 196 (separat dargestellt), Tachometer, Beschleunigungsmesser, Gyros, Kompass, Radar- und/oder LiDAR-Systeme, Regen-/Wischersensoren, neben anderen Sensoren. Diese externen Sensoren und Kameras 186 erfassen oder bestimmen Umgebungslicht, Fahrzeuggeschwindigkeit, Fahrzeugbeschleunigung, Fahrzeugrollen, Fahrzeugneigung, Fahrzeugheben, Regenstatus, GPS-Positions- und Höhendaten sowie Straßenprofilinformationen. Zumindest einige der externen Sensor- und Kamerainformationen können über das Controller Area Network (CAN) 162 an das Infotainment-Modul 182 übertragen werden.
Infotainment-Modul 182 kann auch über eine oder mehrere andere Vorrichtungen ausgegeben werden. So kann beispielsweise das Infotainment-Modul 182 den Ton über einen oder mehrere Lautsprecher 190 des Fahrzeugs ausgeben. Das Fahrzeug kann ein oder mehrere zusätzliche Steuermodule aufweisen, die nicht dargestellt sind, z. B. ein Gehäusesteuermodul, ein Batterie-Pack-Steuermodul usw. Das Fahrzeug kann eines oder mehrere der gezeigten und erörterten Steuermodule weglassen.
Das Fahrzeugsystem beinhaltet auch ein Kamerasteuermodul 192, das die Betriebsparameter der Kameras des Fahrzeugs über Lichtkompensations- und Bildstabilisierungsfunktionen steuert. Das Kamerasteuermodul 192 verbessert die Bildqualität für Fahrzeugbetrachtungsanwendungen und verwendet Fahrzeuginformationen und Daten von Fahrzeugsensoren (z. B. Umgebungslicht, Fahrzeuggeschwindigkeit, Wischerinformationen, niedrige/hohe Sonne, Windschutzscheibenverschmutzung, Straßenvorschauinformationen). Das Kamerasteuermodul 192 kann konfiguriert werden, um die Betriebsparameter einer oder mehrerer Fahrzeugkameras zur Verbesserung der Bildqualität sowohl von Standbildern als auch von Videoströmen anzupassen. Die Betriebsparameter der Kamera(s) können beispielsweise ISO, Verschlusszeit, Blende, Bildfrequenz, Bildstabilisierung und Bildausschnitt, basierend auf den Fahrbedingungen, beinhalten.
In 2 ist das Kamerasteuermodul 192 als eigenständiges, an den CAN 162 gekoppeltes Modul dargestellt, das Fahrzeuginformationen und Sensordaten vom CAN 162 empfängt und Kamerabetriebsparameter über den CAN 162 sendet und empfängt. Dies ist jedoch lediglich eine exemplarische Ausführungsform. In einer alternativen Ausführungsform kann das Kamerasteuermodul 192 als Submodul in das Infotainment-Modul 182 implementiert werden. Diese Konfiguration ist effizient und komfortabel, da die Standbilder und Videobilder der Kameras höchstwahrscheinlich auf der Anzeige 184 angezeigt werden, die dem Fahrzeug-Infotainment-Modul 182 zugeordnet ist. Diese Konfiguration ist jedoch keineswegs erforderlich. In einer weiteren Konfiguration kann das Kamerasteuermodul 192 in eine Fahrzeugkamera integriert werden und eine Anwendungsprogrammierschnittstelle (API) für die Schnittstelle zwischen dem Kamerasteuermodul 192 und den Fahrzeugsensordaten bereitgestellt werden.
Im Allgemeinen kann jedes Steuermodul im Fahrzeug, einschließlich eines eigenständigen Spezialmoduls, als Kamerasteuermodul 192 konfiguriert werden, welches den Aktualisierungs- und Einstellvorgang der Betriebsparameter einer oder mehrerer Fahrzeugkameras durchführt. Der Einfachheit halber ist jedoch bei der Erläuterung der offenbarten Ausführungsformen davon auszugehen, dass das Kamerasteuermodul 192 als eigenständiges, an den CAN 162 gekoppeltes Modul implementiert ist.
Unter Bezugnahme auf 2 wird ein Funktionsblockdiagramm eines Fahrzeugsystems mit Beispielen für externe Sensoren und Kameras präsentiert. Die externen Sensoren und Kameras 186 beinhalten verschiedene Kameras, die positioniert sind, um Bilder und Videosignale außerhalb (extern des Fahrzeugs) aufzunehmen, und verschiedene Arten von Sensoren, die Parameter außerhalb (extern des Fahrzeugs) messen. So erfasst beispielsweise eine vorwärts gerichtete Kamera 204 Bilder und ein Video von Bildern innerhalb eines vorbestimmten Sichtfelds (Field of View, FOV) 206 vor dem Fahrzeug.
Eine Frontkamera 208 kann auch Bilder und Video innerhalb eines vorbestimmten FOV 210 vor dem Fahrzeug erfassen. Die Frontkamera 208 kann Bilder und ein Video innerhalb einer vorbestimmten Entfernung von der Vorderseite des Fahrzeugs aufnehmen und kann sich an der Vorderseite des Fahrzeugs befinden (z. B. in einer Frontverkleidung, einem Kühlergrill oder einem Stoßfänger). Die nach vorn gerichtete Kamera 204 kann weiter hinten angeordnet sein, wie beispielsweise mit einem Rückspiegel an einer Windschutzscheibe des Fahrzeugs. Die nach vorn gerichtete Kamera 204 kann möglicherweise nicht in der Lage sein, Bilder und Video von Gegenständen in dem gesamten oder zumindest einem Bereich des vorbestimmten FOV der Frontkamera 208 zu erfassen und kann Bilder und Videos in einer Entfernung aufnehmen, die größer als die vorbestimmte Entfernung von der Vorderseite des Fahrzeugs ist. In verschiedenen Implementierungen kann nur eine der nach vorn gerichteten Kamera 204 und der Frontkamera 208 enthalten sein.
Eine hintere Kamera 212 nimmt Bilder und Video innerhalb eines vorbestimmten FOV 214 hinter dem Fahrzeug auf. Die hintere Kamera 212 kann Bilder und Video in einem vorbestimmten Abstand hinter dem Fahrzeug erfassen und kann sich an der Rückseite des Fahrzeugs befinden, beispielsweise in der Nähe eines hinteren Nummernschilds. Eine rechte Kamera 216 nimmt Bilder und Video innerhalb eines vorbestimmten FOV 218 rechts vom Fahrzeug auf. Die rechte Kamera 216 kann Bilder und Video innerhalb einer vorbestimmten Entfernung zu der rechten Seite des Fahrzeugs erfassen und kann sich beispielsweise unter einem rechten Rückspiegel befinden. In verschiedenen Implementierungen kann der rechte Rückspiegel weggelassen werden, und die rechte Kamera 216 kann in der Nähe der Stelle angeordnet sein, an der sich normalerweise der rechte Rückspiegel befindend würde. Eine linke Kamera 220 nimmt Bilder und Video innerhalb eines vorbestimmten FOV 222 auf der linken Seite des Fahrzeugs auf. Die linke Kamera 220 kann Bilder und Video innerhalb einer vorbestimmten Entfernung zu der linken Seite des Fahrzeugs aufnehmen und kann beispielsweise unter einem linken Rückspiegel angeordnet sein. In verschiedenen Implementierungen kann der linke Rückspiegel weggelassen werden, und die linke Kamera 220 kann in der Nähe der Stelle angeordnet sein, an der sich normalerweise der rechte Rückspiegel befindend würde. Während die exemplarischen FOVs zu Veranschaulichungszwecken gezeigt sind, können sich die FOVs zum Beispiel überlappen, um ein genaueres und/oder inklusives Zusammenfügen zu ermöglichen.
Die externen Sensoren und Kameras 186 beinhalten auch verschiedene andere Arten von Sensoren, wie z. B. Ultraschallsensoren (z. B. Radarsensoren). So kann beispielsweise das Fahrzeug einen oder mehrere nach vorn gerichtete Ultraschallsensoren, wie z. B. nach vorn gerichtete Ultraschallsensoren 226 und 230, einen oder mehrere nach hinten gerichtete Ultraschallsensoren, wie z. B. nach hinten gerichtete Ultraschallsensoren 234 und 238, beinhalten. Das Fahrzeug kann auch einen oder mehrere rechtsseitige Ultraschallsensoren, wie zum Beispiel den rechten Ultraschallsensor 242 und einen oder mehrere linke Ultraschallsensoren, beispielsweise den linken Ultraschallsensor 246, enthalten. Die Positionen der Kameras und Ultraschallsensoren sind nur als Beispiele vorgesehen, und es können verschiedene Positionen verwendet werden. Ultraschallsensoren geben Ultraschallsignale um das Fahrzeug herum aus. Das Infotainment-Modul 182 erfasst Objekte in der Umgebung des Fahrzeugs basierend auf Signalen von den Ultraschallsensoren, die auf der Grundlage von Signalen erzeugt werden, die von Objekten um das Fahrzeug herum reflektiert werden.
Unter bestimmten Umständen, wie sie weiter unten erörtert werden, kann das Infotainment-Modul 182 Video von der Frontkamera 208 (und/oder der nach vorn gerichteten Kamera 204), der Rückkamera 212, der rechten Kamera 216 und der linken Kamera 220 zusammenfügen, um ein Rundumansichtsvideo zu erzeugen und das Rundumansichtsvideo auf der Anzeige 184 anzuzeigen. Das Rundumansichtsvideo beinhaltet ein Video von oberhalb des Fahrzeugs (eine Draufsicht) und enthält ein Bild des Fahrzeugs und der Objekte um das Fahrzeug herum, wie etwa Fahrzeuge, Markierungen auf der Straße (z. B. Linien, Bordsteine, Parkblöcke usw.), Personen (z. B. Fußgänger, Radfahrer usw.) und andere Objekte in der Nähe des Fahrzeugs. Die Rundumansicht kann auch andere Informationen enthalten, beispielsweise einen oder mehrere Indikatoren der Fahrzeugtrajektorie.
3 ist ein Funktionsblockschaltbild, welches das Kamerasteuermodul 192 in 1 detaillierter veranschaulicht. Das Kamerasteuermodul 192 umfasst das Lichtkompensationsmodul 310, das Bildstabilisierungsmodul 320, die Kalibriertabellen 330 und das Betriebsparameter-Steuermodul 340. Das Betriebsparameter-Steuermodul 340 kommuniziert über den CAN 162 mit anderen Modulen, Kameras und Sensoren im Fahrzeug. Das Betriebsparameter-Steuermodul 340 empfängt erste (oder aktuelle) Kamerabetriebsparameter und Fahrzeugsensordaten vom CAN 162 und verteilt die Kamerabetriebsparameter und Fahrzeugsensordaten auf das Lichtkompensationsmodul 310 und das Bildstabilisierungsmodul 320. Das Betriebsparameter-Steuermodul 340 kann auch Kalibriertabellendaten für die Fahrzeugkameras empfangen und die Kalibriertabellendaten in den Kalibriertabellen 330 speichern.
Das Lichtkompensationsmodul 310 führt ein Lichtkompensationsverfahren aus, um aktualisierte (oder neue) Kamerabetriebsparameter zu bestimmen, wie nachfolgend in 4 beschrieben. Das Bildstabilisierungsmodul 320 führt ein Bildstabilisierungsverfahren aus, um aktualisierte (oder neue) Kamerabetriebsparameter zu bestimmen, wie nachfolgend in 5 beschrieben. Die aktualisierten Kamerabetriebsparameter werden dann an das Betriebsparameter-Steuermodul 340 übertragen.
Wenn das Lichtkompensationsverfahren und das Bildstabilisierungsverfahren gleichzeitig ausgeführt werden und ein Konflikt zwischen den aktualisierten Kamerabetriebsparametern des Lichtkompensationsmoduls 310 und des Bildstabilisierungsmoduls 320 vorliegt, wird der Konflikt durch das Betriebsparameter-Steuermodul 340 gemäß den Prioritätskriterien des Betriebsparameter-Steuermoduls 340 gelöst. Die Prioritätskriterien können standardmäßig in den Betriebsparametern des Steuermoduls 340 festgelegt oder von einer Anwendung, welche die Fahrzeugkameras verwendet, eingestellt (oder initialisiert) werden. Die endgültigen aktualisierten Kamerabetriebsparameter werden dann über den CAN 162 an eine oder mehrere Fahrzeugkameras übertragen.
4 ist ein Flussdiagramm, das einen exemplarischen Prozess mit Lichtkompensation zum Ändern von Kamerabetriebsparametern darstellt. 5 ist ein Flussdiagramm, das einen exemplarischen Prozess der Bildstabilisierung zum Ändern von Kamerabetriebsparametern darstellt. Das Kamerasteuermodul 192 ist konfiguriert, um einen oder beide der Lichtkompensationsprozesse in 4 und den Bildstabilisierungsprozess in 5 durchzuführen, um erste Kameraparameter, die mindestens einer Fahrzeugkamera zugeordnet sind, anzupassen oder zu modifizieren, um dadurch aktualisierte Kameraparameter zu erzeugen. Der Lichtkompensationsprozess und der Bildstabilisierungsprozess können als parallele Prozesse oder als serienmäßige Prozesse ausgeführt werden.
In 401 empfängt das Lichtkompensationsmodul 310 die ersten Kameraparameter 401. In 410 empfängt das Lichtkompensationsmodul 310 auch Fahrzeugdaten von Fahrzeugsensoren (z. B. Azimut der Sonne, GPS-Standort, Zeit und Höhe, Kurs/Richtung, Umgebungslichtdaten, Status der Vorwärtsbeleuchtung, Gangwahl usw.). Scheinwerfer können eine zusätzliche Kompensation für vorwärts gerichtete Kameras (204 und 208) und Rückfahrscheinwerfer (angezeigt durch die Gangwahl) können eine zusätzliche Kompensation für rückwärts gerichtete Kameras (212) verursachen. Bei 420 bestimmt das Lichtkompensationsmodul 310 den Lichtpegel aus ein oder mehreren dieser Daten. Anschließend bestimmt das Lichtkompensationsmodul 310 in 430 die aktualisierten (oder neuen) Kamerabetriebsparameter (z. B. F-Stopp, ISO, Verschlusszeit, usw.) mindestens einer Fahrzeugkamera unter Verwendung der Kalibriertabellen 330 und der empfangenen Fahrzeugdaten. Das Lichtkompensationsmodul 310 kann beispielsweise die F-Stopp-, ISO- und Verschlusszeiten-Parameter anpassen, um Änderungen der Lichtverhältnisse zu kompensieren, z. B. wenn das Fahrzeug in einen Tunnel einfährt. In einer exemplarischen Ausführungsform kann das Lichtkompensationsmodul 310 die Kalibriertabellen 330 zum Einstellen von Blende, ISO, Verschlusszeit und anderen Parametern in einer iterativen Schleife verwenden. Abschließend werden die aktualisierten Kameraparameter 499 an das Kameraparameter-Steuermodul 340 übertragen.
In 501 empfängt das Bildstabilisierungsmodul 320 die ersten Kameraparameter 501. In 510 empfängt das Bildstabilisierungsmodul 320 auch Fahrzeugbewegungsdaten von Fahrzeugsensoren (z. B. Straßenvorschaudaten, Trägheitsmesseinheit (IMU), Fahrzeuggeschwindigkeit usw.). Anschließend bestimmt das Bildstabilisierungsmodul 320 in 520 aktualisierte (oder neue) Parameter (z. B. FPS, Verschlusszeit, Fokus, usw.) von mindestens einer Fahrzeugkamera unter Verwendung der Kalibriertabellen 330 und der Fahrzeugbewegungsdaten. Das Bildstabilisierungsmodul 320 kann beispielsweise die Bildfrequenz (d. h. Bilder pro Sekunde (FPS)), die Verschlusszeit und den Fokus anpassen, um Änderungen in der erwarteten Fahrzeugbewegung auszugleichen. Die Straßenvorschaudaten können beispielsweise die Fahrbahnkontur (z. B. Unebenheiten) vor dem Fahrzeug oder eine Kurve im Straßenverlauf vor dem Fahrzeug anzeigen. In 530 kann das Bildstabilisierungsmodul 320 die Fahrzeugbewegungsdaten verwenden, um einen Bildausschnitt auszuführen, der ein zugeschnittenes Einzelbild erzeugt. Abschließend werden die aktualisierten Kameraparameter 599 an das Kameraparameter-Steuermodul 340 übertragen.
Wie vorstehend erwähnt, löst das Betriebsparameter-Steuermodul 340 Konflikte zwischen den aktualisierten Kameraparametern 499 und 599 gemäß den Prioritätskriterien im Betriebsparameter-Steuermodul 340 auf.
Die vorhergehende Beschreibung ist rein illustrativ und soll die vorliegende Offenbarung sowie ihre Ausführungen oder Verwendungen keineswegs einschränken. Die umfassenden Lehren der Offenbarung können in zahlreichen Formen umgesetzt werden. Obwohl die vorliegende Offenbarung also bestimmte Beispiele beinhaltet, ist der eigentliche Umfang der Offenbarung hierdurch in keiner Weise eingeschränkt und weitere Modifikationen gehen aus dem Studium der Zeichnungen, der Beschreibung und den folgenden Patentansprüchen hervor. Es sei darauf hingewiesen, dass einer oder mehrere Schritte innerhalb eines Verfahrens in anderer Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu verändern. Ferner, obwohl jede der Ausführungsformen oben dahingehend beschrieben ist, dass sie bestimmte Merkmale aufweist, kann/können eines oder mehrere dieser Funktionen, die in Bezug auf jede Ausführungsform der Offenbarung beschrieben sind, in jeder der anderen Ausführungsformen implementiert und/oder kombiniert werden, selbst wenn diese Kombination nicht explizit beschrieben wird. Mit anderen Worten ausgedrückt, schließen sich die beschriebenen Ausführungsformen nicht gegenseitig aus, und Permutationen von einer oder mehreren Ausführungsformen gegeneinander bleiben innerhalb des Schutzumfangs dieser Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltkreiselementen, Halbleiterschichten usw.) werden unter Verwendung von verschiedenen Begriffen beschrieben, einschließlich „verbunden“, „eingerastet“, „gekoppelt“, „benachbart“, „neben“, „oben auf“, „über“, „unter“ und „angeordnet“. Sofern nicht ausdrücklich als „direkt“ beschrieben, kann eine Beziehung eine direkte Beziehung sein, wenn eine Beziehung zwischen einem ersten und zweiten Element in der oben genannten Offenbarung beschrieben wird, wenn keine anderen intervenierenden Elemente zwischen dem ersten und zweiten Element vorhanden sind, kann jedoch auch eine indirekte Beziehung sein, wenn ein oder mehrere intervenierende(s) Element(e) (entweder räumlich oder funktional) zwischen dem ersten und zweiten Element vorhanden ist/sind. Wie hierin verwendet, sollte der Satz „zumindest eines von A, B und C“ so zu verstehen sein, dass damit eine Logik gemeint ist (A ODER B ODER C), unter Verwendung eines nicht ausschließlichen logischen ODER, und sollte nicht dahingehend zu verstehen sein, dass gemeint ist „zumindest eines von A, zumindest eines von B und zumindest eines von C.“
In den Figuren bezeichnen die Pfeilrichtungen, wie angezeigt, durch die Pfeilspitze im Allgemeinen den Fluss von Informationen (wie Daten oder Befehlen), die im Kontext der Darstellung relevant sind. Wenn beispielsweise Element A und Element B eine Vielzahl von Informationen austauschen, aber die Informationen, die von Element A nach Element B übertragen werden, für die Darstellung relevant sind, kann der Pfeil von Element A nach Element B zeigen. Diese unidirektionalen Pfeile implizieren nicht, dass keine anderen Informationen von Element B nach Element A übertragen werden. Zudem kann Element B im Zusammenhang mit Informationen, die von Element A nach Element B gesendet werden, Anforderungen oder Bestätigungen dieser Informationen zu Element A senden.
In dieser Anwendung kann einschließlich der folgenden Definitionen der Begriff „Modul“ oder der Begriff „Steuerung“ ggf. durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann auf Folgendes verweisen bzw. Teil von Folgendem sein oder Folgendes beinhalten: einen anwendungsspezifischen integrierten Schaltkreis (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine kombinatorische Logikschaltung; ein feldprogrammierbares Gate-Array (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Memory-Schaltung (gemeinsam genutzt, dediziert oder Gruppe), die einen von der Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardware-Komponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination von einigen oder allen der oben genannten, wie zum Beispiel in einem System-on-Chip.
Das Modul kann eine oder mehrere Schnittstellenschaltungen beinhalten. In einigen Beispielen können die Schnittstellenschaltungen kabelgebundene oder -lose Schnittstellen beinhalten, die mit einem lokalen Netzwerk (LAN), dem Internet, einem Weitverkehrsnetz (WAN) oder Kombinationen hier aus verbunden sind. Die Funktionalität der in vorliegender Offenbarung genannten Module kann auf mehrere Module verteilt werden, die über Schnittstellenschaltungen verbunden sind. So können zum Beispiel mehrere Module einen Lastenausgleich zulassen. In einem anderen Beispiel können von einem Servermodul (z. B. Remote-Server oder Cloud) ermittelte Funktionen eines Client-Moduls übernommen werden.
Der Ausdruck „Code“, wie oben verwendet, kann Software, Firmware und/oder Mikrocode beinhalten, und auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte verweisen. Der Begriff „gemeinsame Prozessorschaltung“ bezieht sich auf eine einzelne Prozessorschaltung, die ermittelten oder vollständigen Code von mehreren Modulen ausführt. Der Ausdruck „gruppierter Prozessor-Schaltkreis“ bezieht sich auf einen Prozessor-Schaltkreis, der in Kombination mit zusätzlichen Prozessor-Schaltkreisen bestimmten oder vollständigen Code von ggf. mehreren Modulen ausführt. Verweise auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Matrizen, mehrere Prozessorschaltungen auf einer einzelnen Scheibe, mehrere Kerne auf einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der oben genannten. Der Begriff „gemeinsame Memory-Schaltung“ bezieht sich auf eine einzelne Memory-Schaltung, die ermittelten oder vollständigen Code von mehreren Modulen speichert. Der Ausdruck „gruppierte Memory-Schaltung“ bezieht sich auf eine Memory-Schaltung, die in Kombination mit zusätzlichem Speicher ermittelte oder vollständige Codes von ggf. mehreren Modulen speichert.
Der Begriff „Memory-Schaltung“ ist dem Begriff „computerlesbares Medium“ untergeordnet. Der Begriff „computerlesbares Medium“, wie er hier verwendet wird, bezieht sich nicht auf flüchtige elektrische oder elektromagnetische Signale, die sich in einem Medium ausbreiten (z. B. im Falle einer Trägerwelle); der Ausdruck „computerlesbares Medium“ ist daher als konkret und nichtflüchtig zu verstehen. Nicht einschränkende Beispiele eines nichtflüchtigen konkreten computerlesbaren Mediums sind nichtflüchtige Memory-Schaltungen (z. B. Flash-Memory-Schaltungen, löschbare programmierbare ROM-Schaltungen oder Masken-ROM-Schaltungen), flüchtige Memory-Schaltungen (z. B. statische oder dynamische RAM-Schaltungen), magnetische Speichermedien (z. B. analoge oder digitale Magnetbänder oder ein Festplattenlaufwerk) und optische Speichermedien (z. B. CD, DVD oder Blu-ray).
Die im Rahmen dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig mit einem speziellen Computer, der für die Ausführung ermittelter Computerprogrammfunktionen konfiguriert ist, implementiert werden. Die Funktionsblöcke, Flussdiagramm-Komponenten und weiter oben beschriebenen Elemente dienen als Softwarespezifikationen, die von entsprechend geschulten Technikern oder Programmierern in Computerprogramme umgesetzt werden können.
Die Computerprogramme beinhalten prozessorausführbare Anweisungen, die auf zumindest einem nicht-flüchtigen, konkreten, computerlesbaren Medium gespeichert sind. Die Computerprogramme können ebenfalls gespeicherte Daten enthalten oder auf gespeicherten Daten basieren. Die Computerprogramme können ein Basic-Input-Output-System (BIOS) umfassen, das mit der Hardware des speziellen Computers zusammenwirkt, Vorrichtungstreiber, die mit ermittelten Vorrichtungen des speziellen Computers, einem oder mehreren Betriebssystemen, Benutzeranwendungen, Hintergrunddiensten, im Hintergrund laufenden Anwendungen usw. zusammenwirken.
Die Computerprogramme können Folgendes beinhalten: (i) beschreibenden Text, der gegliedert wird, wie z. B. HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assembler Code, (iii) Objektcode, der von einem Quellcode durch einen Compiler erzeugt wurde, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Kompilierung und zur Ausführung durch einen Just-in-Time-Compiler usw. Nur exemplarisch kann der Quellcode mittels der Syntax der Sprachen, einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language 5. Version), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext Preprocessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python®, geschrieben werden.
Keines der in den Ansprüchen genannten Elemente ist als Mittel für eine Funktion (sog. „means plus function“) nach 35 U.S.C. §112(f) zu verstehen, es sei denn, ein Element wird ausdrücklich unter Verwendung des Begriffes „means for“ (Mittel für) beschrieben oder falls in einem Verfahrensanspruch die Begriffe „Vorgang für“ oder „Schritt für“ verwendet werden.

Claims

Kamerasteuersystem eines Fahrzeugs, umfassend: eine Vielzahl von Sensoren, die zum Bestimmen von Fahrzeugdaten konfiguriert sind; und ein Kamerasteuermodul, das konfiguriert ist, um die Fahrzeugdaten von der Vielzahl von Sensoren zu empfangen, worin das Kamerasteuermodul weiterhin konfiguriert ist zum: Einstellen mindestens eines Betriebsparameters der Kamera basierend auf den von der Vielzahl von Sensoren empfangenen Fahrzeugbewegungsdaten; und Einstellen mindestens eines Betriebsparameters der Kamera basierend auf den von der Vielzahl von Sensoren empfangenen Helligkeitsdaten, worin das Kamerasteuermodul i) den mindestens einen Betriebsparameter der Kamera basierend auf Fahrzeugbewegungsdaten und ii) mindestens einen Betriebsparameter der Kamera basierend auf Helligkeitsdaten parallel oder in Reihe zueinander einstellen kann.
Kamerasteuersystem nach Anspruch 1, worin der mindestens eine Betriebsparameter einen ISO-Parameter der Kamera umfasst.
Kamerasteuersystem nach Anspruch 1, worin der mindestens eine Betriebsparameter einen F-Stopp-Parameter der Kamera umfasst.
Kamerasteuersystem nach Anspruch 1, worin der mindestens eine Betriebsparameter einen Verschlusszeitparameter der Kamera umfasst.
Kamerasteuersystem nach Anspruch 1, worin der mindestens eine Betriebsparameter einen Fokusparameter der Kamera umfasst.
Kamerasteuersystem nach Anspruch 1, worin der mindestens eine Betriebsparameter einen Bildfrequenz-Parameter der Kamera umfasst.
Kamerasteuersystem nach Anspruch 1, worin die Fahrzeugbewegungsdaten Straßenvorschaudaten umfassen, die einer Straße vor dem Fahrzeug zugeordnet sind.
Kamerasteuersystem nach Anspruch 1, worin die Fahrzeugbewegungsdaten mindestens eine aus Fahrzeuggeschwindigkeit, Fahrzeugbeschleunigung, Fahrzeugrollen, Fahrzeugneigung und Fahrzeugheben umfassen.
Kamerasteuersystem nach Anspruch 1, worin die Helligkeitsdaten Umgebungslichtdaten umfassen.
Kamerasteuersystem nach Anspruch 1, worin die Helligkeitsdaten mindestens eine von GPS-Positionsdaten, Richtungsdaten, Azimut der Sonnendaten, Zustandsdaten des Vorwärts-Beleuchtungssystems und Gangwahldaten umfassen.