DE102019109673A1

DE102019109673A1 - System und verfahren zum identifizieren von beeinträchtigungen der sicht einer backup-kamera

Info

Publication number: DE102019109673A1
Application number: DE102019109673.1A
Authority: DE
Inventors: Kunal Jaggi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-04-24
Filing date: 2019-04-11
Publication date: 2019-10-24
Also published as: US20190327391A1; CN110399769A; US10721376B2

Abstract

System zum Identifizieren einer Beeinträchtigung des Sichtsensors, wobei das System Folgendes umfasst: einen Speicher mit einer oder mehreren ausführbaren Anweisungen; eine Steuerung zum Ausführen der ausführbaren Anweisungen; einen Sichtsensor, der sich an einem Fahrzeugs befindet, um mindestens ein Bild von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung aufzunehmen; wobei die ausführbaren Anweisungen die Steuerung zu folgendem befähigen: Empfangen einer von einer mobilen Computervorrichtung übermittelten Anforderung; als Reaktion auf die Anforderung, Übermitteln eines Aktivierungssignals an den Sichtsensor, das Aktivierungssignal zum Aktivieren des Sichtsensors zum Erfassen eines Bildes der das Fahrzeug umgebenden Umgebung; Empfangen des erfassten Bildes vom Sichtsensor; Bestimmen, ob die Ansicht des erfassten Bildes eine im Wesentlichen beeinträchtigende wetterbedingte Ablagerung beinhaltet; und basierend auf diesem Bestimmen, Erzeugen einer Benachrichtigung und Übermitteln der Benachrichtigung an die mobile Computervorrichtung.

Description

EINLEITUNG
Eine Backup-Kamera (Rückfahrkamera) ist eine Videokamera, die am Heck eines Fahrzeugs angebracht ist, um das Zurücksetzen zu erleichtern und den hinteren toten Winkel des Fahrzeugs zu verringern. Dadurch tragen Rückfahrkameras dazu bei, eine Rückwärtskollision zu vermeiden. Die Unterstützung wird jedoch eingeschränkt, wenn sich wetterbedingte Ablagerungen und Straßenschmutz zufällig auf dem Objektiv der Kamera ansammeln. Es ist daher wünschenswert, ein System und Verfahren vorzusehen, das den Fahrzeugführer darüber informiert, vor dem Betrieb seines Fahrzeugs Ablagerungen vom Objektiv der Rückfahrkamera zu entfernen, damit die Rückfahrkamera ordnungsgemäß funktionieren kann und so eine Kollision vermieden wird.
KURZDARSTELLUNG
Ein System mit einem oder mehreren Computern kann konfiguriert werden, um bestimmte Vorgänge oder Aktionen durch die Installation von Software, Firmware, Hardware oder einer Kombination derselben auf dem System auszuführen, die im Betrieb das System dazu veranlasst oder bewirkt, die Aktionen auszuführen. Ein oder mehrere Computerprogramme können so konfiguriert werden, dass diese bestimmte Operationen oder Aktionen ausführen, indem diese Anweisungen enthalten, die, wenn diese von der Datenverarbeitungsvorrichtung ausgeführt werden, bewirken, dass die Vorrichtung die Aktionen ausführt. Ein allgemeiner Aspekt beinhaltet ein System zum Identifizieren einer Beeinträchtigung des Sichtsensors, wobei das System Folgendes umfasst: einen Speicher, der konfiguriert ist, um eine oder mehrere ausführbare Anweisungen aufzunehmen; eine Steuerung, die konfiguriert ist, um die ausführbaren Anweisungen auszuführen; einen Sichtsensor, der sich an einer Außenseite eines Fahrzeugs befindet, wobei der Sichtsensor konfiguriert ist, um mindestens ein Bild von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung aufzunehmen; wobei die ausführbaren Anweisungen die Steuerung zu folgendem befähigen: Empfangen einer Anforderung, die von einer mobilen Computervorrichtung übermittelt wird; als Reaktion auf die Anforderung Übermitteln eines Aktivierungssignals an den Sichtsensor, wobei das Aktivierungssignal konfiguriert ist, um den Sichtsensor zum Erfassen mindestens eines Bildes von mindestens einem Teil der das Fahrzeug umgebenden Umgebung zu aktivieren; Empfangen des mindestens einen erfassten Bildes vom Sichtsensor; Bestimmen, ob die Ansicht des mindestens einen erfassten Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet; und basierend auf dem Bestimmen, ob die Ansicht des mindestens einen erfassten Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet; Erzeugen einer Benachrichtigung und Übermitteln der Benachrichtigung an die mobile Computervorrichtung. Andere Ausführungsformen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einer oder mehreren Computerspeichervorrichtungen aufgezeichnet sind, die jeweils zum Ausführen der Aktionen des Verfahrens ausgelegt sind.
Implementierungen können eines oder mehrere der folgenden Merkmale beinhalten. Das System, bei dem die ausführbaren Anweisungen der Steuerung ferner ermöglichen, als Reaktion auf die Anforderung ein Fernstartsignal an das Fahrzeug zu übermitteln, wobei das Fernstartsignal zum Einschalten des Fahrzeugs konfiguriert ist. Das System, bei dem der Sichtsensor eine Kamera ist und die Benachrichtigung konfiguriert ist, um eine Warnung zum Entfernen des mindestens einen wesentlich beeinträchtigenden wetterbedingten Ablagerungsobjekt von dem Objektiv der Kamera vorzusehen. Das System, bei dem die Benachrichtigung ferner zum Anzeigen über eine auf der mobilen Computervorrichtung installierte Fahrzeuganwendung konfiguriert ist. Das System, bei dem das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer in einem Datenzentrum durchgeführten Objekterkennungstechnik basiert. Das System, bei dem das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer bei einem Sichtsensor durchgeführten Objekterkennungstechnik basiert. Das System, bei dem sich der Speicher und die Steuerung in einem Datenzentrum befinden. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder einen Prozess oder Computersoftware auf einem computerzugänglichen Medium beinhalten.
Ein allgemeiner Aspekt beinhaltet Ein Verfahren zum Identifizieren einer Beeinträchtigung des Sichtsensors, wobei das Verfahren Folgendes beinhaltet: Bereitstellen eines Speichers, der konfiguriert ist, um eine oder mehrere ausführbare Anweisungen zu beinhalten; Bereitstellen einer Steuerung, die konfiguriert ist, um die ausführbaren Anweisungen auszuführen; Bereitstellen eines Visionssensors, der sich auf der Außenseite eines Fahrzeugs befindet, wobei der Visionssensor konfiguriert ist, um mindestens ein Bild von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung aufzunehmen; Empfangen (über die Steuerung) einer Anforderung, die von einer mobilen Computervorrichtung übermittelt wird; als Reaktion auf die Anforderung, Senden (über die Steuerung) eines Aktivierungssignals an den Sichtsensor, wobei das Aktivierungssignal konfiguriert ist, um den Sichtsensor zu aktivieren, um mindestens ein Bild von mindestens einem Teil der das Fahrzeug umgebenden Umgebung aufzunehmen; Empfangen (über die Steuerung) des mindestens einen erfassten Bildes vom Sichtsensor; Bestimmen (über die Steuerung), ob die Ansicht des mindestens einen erfassten Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet; und basierend auf dem Bestimmungsschritt, Erzeugen und Übertragen (über die Steuerung) einer Benachrichtigung an die mobile Computervorrichtung. Andere Ausführungsformen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einer oder mehreren Computerspeichervorrichtungen aufgezeichnet sind, die jeweils zum Ausführen der Aktionen des Verfahrens ausgelegt sind.
Implementierungen können eines oder mehrere der folgenden Merkmale beinhalten. Das Verfahren beinhaltet ferner als Reaktion auf die Anforderung das Übermitteln (über die Steuerung) eines Fernstartsignals an das Fahrzeug, wobei das Fernstartsignal zum Einschalten des Fahrzeugs konfiguriert ist. Das Verfahren, bei dem der Sichtsensor eine Kamera ist und die Benachrichtigung konfiguriert ist, um eine Warnung zum Entfernen des mindestens einen wesentlich beeinträchtigenden wetterbedingten Ablagerungsobjekt von dem Objektiv der Kamera vorzusehen. Das Verfahren, bei dem die Benachrichtigung ferner zum Anzeigen über eine auf der mobilen Computervorrichtung installierte Fahrzeuganwendung konfiguriert ist. Das Verfahren, bei dem das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer in einem Datenzentrum durchgeführten Objekterkennungstechnik basiert. Das Verfahren, bei dem das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer bei einem Sichtsensor durchgeführten Objekterkennungstechnik basiert. Das Verfahren, bei dem der Speicher und die Steuerung in einem Datenzentrum untergebracht sind. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder Prozess oder Computersoftware auf einem computerzugänglichen Medium beinhalten.
Ein allgemeiner Aspekt beinhaltet ein nichtflüchtiges und maschinenlesbares Medium, auf dem ausführbare Anweisungen gespeichert sind, die zum Identifizieren von Beeinträchtigungen des Sichtsensors geeignet sind, die, wenn sie einer Steuerung zur Verfügung gestellt und durch diese ausgeführt werden, die Steuerung zu Folgendem veranlassen: Empfangen einer von einer mobilen Computervorrichtung übermittelten Anforderung; als Reaktion auf die Anforderung übermitteln eines Aktivierungssignals an einen Sichtsensor, wobei sich der Sichtsensor an der Außenseite eines Fahrzeugs befindet und wobei das Aktivierungssignal konfiguriert ist, um den Sichtsensor zum Aufnehmen mindestens eines Bildes von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung zu aktivieren; Empfangen des mindestens einen erfassten Bildes vom Sichtsensor; Bestimmen, ob die Ansicht des mindestens einen erfassten Bildes mindestens ein im Wesentlichen beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet; basierend auf dem Bestimmen, ob die Ansicht des mindestens einen erfassten Bildes mindestens ein im Wesentlichen beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, Erzeugen und Übermitteln einer Benachrichtigung an die mobile Computervorrichtung. Andere Ausführungsformen dieses Aspekts beinhalten entsprechende Computersysteme, Vorrichtungen und Computerprogramme, die auf einer oder mehreren Computerspeichervorrichtungen aufgezeichnet sind, die jeweils zum Ausführen der Aktionen des Verfahrens ausgelegt sind.
Implementierungen können eines oder mehrere der folgenden Merkmale beinhalten. Der nichtflüchtige und maschinenlesbare Speicher beinhaltet ferner, als Reaktion auf die Anforderung, das Übermitteln eines Fernstartsignals an das Fahrzeug, wobei das Fernstartsignal zum Einschalten des Fahrzeugs konfiguriert ist. Nichtflüchtiger und maschinenlesbarer Speicher, wobei der Sichtsensor eine Kamera ist und die Benachrichtigung konfiguriert ist, um eine Warnung zum Entfernen des mindestens einen im Wesentlichen beeinträchtigenden wetterbedingten Ablagerungsobjekt vom Objektiv der Kamera vorzusehen. Nichtflüchtiger und maschinenlesbarer Speicher, wobei die Benachrichtigung ferner zum Anzeigen über eine auf der mobilen Computervorrichtung installierte Fahrzeuganwendung konfiguriert ist. Nichtflüchtiger und maschinenlesbarer Speicher, wobei die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer in einem Datenzentrum durchgeführten Objekterkennungstechnik basiert. Nichtflüchtiger und maschinenlesbarer Speicher, wobei die Ansicht des mindestens einen aufgenommenen Bildes mindestens ein wesentlich beeinträchtigendes wetterbedingtes Ablagerungsobjekt beinhaltet, ferner auf einem Ergebnis von mindestens einer an einem Sichtsensor durchgeführten Objekterkennungstechnik basiert. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren oder Prozess oder Computersoftware auf einem computerzugänglichen Medium beinhalten.
Figurenliste
Die vorliegende Offenbarung wird im Folgenden in Verbindung mit den nachstehenden Zeichnungsfiguren beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen und worin:

1 ist ein Blockdiagramm, das eine exemplarische Ausführungsform eines Kommunikationssystems darstellt, das in der Lage ist, das hierin offenbarte System und Verfahren zu nutzen;
2 ist ein Flussdiagramm für eine exemplarische Methodik zum Identifizieren von Sichteinschränkungen der Rückfahrkamera;
3 ist eine perspektivische Ansicht der Rückseite eines Fahrzeugs, die Aspekte des Systems und des hierin offenbarten Verfahrens veranschaulicht;
4 ist eine perspektivische Ansicht eines Bildes des Bereichs hinter dem Fahrzeug, das Aspekte des Systems und des darin offenbarten Verfahrens veranschaulicht; und
5 ist eine Draufsicht einer Benachrichtigung über die Beeinträchtigung einer Rückfahrkamera, die Aspekte des Systems und des hierin offenbarten Verfahrens veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Ausführungsformen der vorliegenden Offenbarung sind hierin beschrieben. Es versteht sich jedoch, dass die offenbarten Ausführungsformen lediglich Beispiele sind und andere Ausführungsformen verschiedene und alternative Formen annehmen können. Die Figuren sind nicht unbedingt maßstabsgerecht; einige Merkmale können größer oder kleiner dargestellt sein, um die Einzelheiten bestimmter Komponenten zu veranschaulichen. Folglich sind die hierin offenbarten aufbau- und funktionsspezifischen Details nicht als einschränkend zu verstehen, sondern lediglich als repräsentative Grundlage, um den Fachleuten die verschiedenen Arten und Weisen der Nutzung des vorliegenden Systems und/oder Verfahrens zu vermitteln. Wie Fachleute verstehen, können verschiedene Merkmale, die mit Bezug auf beliebige der Figuren dargestellt und beschrieben werden, mit Merkmalen kombiniert werden, die in einer oder mehreren anderen Figuren dargestellt sind, um Ausführungsformen zu erzeugen, die nicht explizit dargestellt oder beschrieben sind. Die dargestellten Kombinationen von Merkmalen stellen repräsentative Ausführungsformen für typische Anwendungen bereit. Verschiedene Kombinationen und Modifikationen der Merkmale, die mit den Lehren dieser Offenbarung übereinstimmen, könnten jedoch für bestimmte Anwendungen und Implementierungen erwünscht sein.
Mit Bezug auf 1 ist eine Betriebsumgebung dargestellt, die u. a. ein mobiles Fahrzeugkommunikationssystem 10 umfasst, das verwendet werden kann, um das hierin offenbarte Verfahren zu implementieren. Das Kommunikationssystem 10 beinhaltet im Allgemeinen ein Fahrzeug 12, ein oder mehrere Drahtlosträgersysteme 14, ein Festnetz 16, einen Computer 18 und ein Datenzentrum 20. Es versteht sich, dass das offenbarte Verfahren mit einer beliebigen Anzahl an unterschiedlichen Systemen verwendet werden kann und nicht speziell auf die hier gezeigte Betriebsumgebung eingeschränkt ist. Auch die Architektur, Konstruktion, Konfiguration und der Betrieb des Systems 10 und seiner einzelnen Komponenten sind in der Technik allgemein bekannt. Somit stellen die folgenden Absätze lediglich einen kurzen Überblick über ein solches Kommunikationssystem 10 bereit; aber auch andere, hier nicht dargestellte Systeme könnten die offenbarten Verfahren einsetzen.
Das Fahrzeug 12 ist in der veranschaulichten Ausführungsform als ein Personenkraftwagen dargestellt, aber es sollte erkannt werden, dass irgendein anderes Fahrzeug einschließlich, aber nicht beschränkt auf Motorräder, Lastwagen, Busse, Sport Utility Vehicles (SUVs), Freizeitfahrzeuge (RVs), Baufahrzeuge (z. B. Bulldozer), Züge, Wagen, Wasserfahrzeuge (z. B. Boote), Flugzeuge, Hubschrauber, Vergnügungsparkfahrzeuge, landwirtschaftliche Geräte, Golfwagen, Straßenbahnen usw. ebenfalls verwendet werden kann. Ein Teil der Fahrzeugelektronik 28 wird im Allgemeinen in 1 dargestellt und beinhaltet eine Telematikeinheit 30, ein Mikrofon 32, eine oder mehrere Tasten oder andere Steuereingänge 34, ein Audiosystem 36, eine optische Anzeige 38, einen Sichtsensor 11 und ein GPS-Modul 40 sowie eine Anzahl von Fahrzeugsystemmodulen (VSMs) 42. Einige dieser Vorrichtungen können direkt mit der Telematikeinheit 30, wie z. B. dem Mikrofon 32 und der/den Taste(n) 34, verbunden sein, während andere indirekt unter Verwendung einer oder mehrerer Netzwerkverbindungen, wie einem Kommunikationsbus 44 oder einem Entertainmentbus 46, verbunden sind. Beispiele geeigneter Netzwerkverbindungen umfassen einen CAN-Bus (CAN - Controller Area Network), einen medienorientierten Systemtransfer (MOST - Media Oriented System Transfer), ein lokales Kopplungsstrukturnetzwerk (LIN - Local Interconnection Network), ein lokales Netzwerk (LAN - Local Area Network) und andere geeignete Verbindungen, wie z. B. Ethernet, oder andere, die u. a. den bekannten ISO-, SAE- und IEEE-Standards und - Spezifikationen entsprechen.
Die Telematikeinheit 30 kann eine OEM-installierte (eingebettete) oder eine Nachrüstmarkt-Sende-/Empfangsvorrichtung sein, die in dem Fahrzeug installiert ist und drahtlose Sprach- und/oder Datenkommunikation über das Drahtlosträgersystem 14 und über drahtlose Vernetzung ermöglicht. Dies ermöglicht dem Fahrzeug die Kommunikation mit dem Rechenzentrum 20, anderen telematikfähigen Fahrzeugen oder anderen Einheiten und Geräten. Die Telematikeinheit 30 verwendet bevorzugt Funkübertragungen, um einen Kommunikationskanal (einen Sprachkanal und/oder einen Datenkanal) mit dem Mobilfunkanbietersystem 14 herzustellen, sodass Sprach- und/oder Datenübertragungen über den Kanal gesendet und erhalten werden können. Durch Bereitstellen von sowohl Sprach- als auch Datenkommunikation ermöglicht die Telematikeinheit 30, dass das Fahrzeug eine Anzahl an unterschiedlichen Diensten anbieten kann, die diejenigen beinhalten, die mit Navigation, Fernsprechen, Nothilfe, Diagnose, Infotainment usw., verbunden sind. Daten können entweder über eine Datenverbindung, wie Paketdatenübertragung über einen Datenkanal oder über einen Sprachkanal, unter Verwendung von auf dem Fachgebiet bekannten Techniken gesendet werden. Für kombinierte Dienste, die sowohl Sprachkommunikation (z. B. mit einem Live-Berater 86 oder einer Sprachausgabeeinheit im Rechenzentrum 20) als auch Datenkommunikation (z. B. um GPS-Ortsdaten oder Fahrzeugdiagnosedaten an das Rechenzentrum 20 bereitzustellen) einschließen, kann das System einen einzelnen Anruf über einen Sprachkanal verwenden und nach Bedarf zwischen Sprach- und Datenübertragung über den Sprachkanal umschalten, und dies kann unter Verwendung von Techniken erfolgen, die dem Fachmann im Stand der Technik bekannt sind.
Gemäß einer Ausführungsform verwendet die Telematikeinheit 30 eine Mobilfunkkommunikation gemäß Standards, wie beispielsweise LTE oder 5G und beinhaltet daher einen Mobilfunkstandardchipsatz 50 für die Sprachkommunikation, wie Freisprechen, ein drahtloses Modem für die Datenübertragung (d. h. Empfänger), eine elektronische Verarbeitungsvorrichtung 52, mindestens eine digitale Speichervorrichtung 54 und ein Antennensystem 56. Es versteht sich, dass das Modem entweder durch Software implementiert sein kann, die in der Telematikeinheit gespeichert und durch den Prozessor 52 ausgeführt wird, oder es kann eine separate Hardwarekomponente sein, die sich innerhalb oder außerhalb der Telematikeinheit 30 befinden kann. Das Modem kann unter Verwendung einer beliebigen Anzahl an verschiedenen Normen oder Protokollen arbeiten, wie WCDMA, LTE und 5G, ist aber nicht darauf beschränkt. Die drahtlose Vernetzung zwischen Fahrzeug 12 und den anderen vernetzten Vorrichtungen kann auch unter Verwendung der Telematikeinheit 30 erfolgen. Für diesen Zweck kann die Telematikeinheit 30 konfiguriert sein, gemäß einem oder mehreren Protokollen drahtlos zu kommunizieren, wie beispielsweise einem der IEEE 802.11-Protokolle, WiMAX oder Bluetooth. Wenn die Telematikeinheit für paketvermittelte Datenkommunikation, wie TCP/IP, verwendet wird, kann sie mit einer statischen IP-Adresse dazu konfiguriert oder eingerichtet sein, automatisch eine zugewiesene IP-Adresse von einer anderen Vorrichtung am Netzwerk, wie einem Router oder einem Netzwerkadressenserver, zu erhalten.
Eine der vernetzten Vorrichtungen, die mit der Telematikeinheit 30 kommunizieren können, ist eine mobile Computervorrichtung 57, wie beispielsweise ein Smartphone, ein persönlicher Laptop-Computer, eine tragbare Vorrichtung oder ein Tablet-Computer mit Zwei-Wege-Kommunikationsfähigkeiten, einem Netbook-Computer oder beliebigen geeigneten Kombinationen davon. Die mobile Computervorrichtung 57 kann Computerverarbeitungsfähigkeiten und Speicher (nicht dargestellt) beinhalten, einen Empfänger der zur Kommunikation mit dem Drahtlosträgersystem 14 in der Lage ist, eine Benutzeroberfläche 59 und/oder ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. Die Benutzeroberfläche 59 kann als eine grafische Oberfläche des Touchscreens verkörpert sein, die sowohl für die Benutzerinteraktion als auch zur Anzeige von Informationen geeignet ist, die über grafische Benutzeroberflächen (GUIs) erfolgen kann. Zu den Beispielen für die mobile Computervorrichtung 57 gehören das iPhone™, hergestellt von Apple und das Droid™, das von Motorola Inc. gefertigt wird, sowie andere. Obwohl die Computervorrichtung 57 die Fähigkeit zum Kommunizieren über drahtlose Verbindungen unter Verwendung des Drahtlosträgersystems 14 besitzt, ist dies nicht immer der Fall. So stellt beispielsweise Apple Geräte her, wie die verschiedenen Modelle des iPad™ und iPod Touch™, die Verarbeitungsfähigkeit, die Benutzeroberfläche 59 und die Fähigkeit über Nachbereichs-Drahtloskommunikationsverbindungen wie beispielsweise WIFI und Bluetooth zu kommunizieren, umfassen, ohne darauf beschränkt zu sein. Jedoch haben die iPod Touch™ und einige iPads™ keine Mobilfunk-Kommunikationsfähigkeiten. Auch können diese und ähnliche Geräte für die Zwecke der hier beschriebenen Verfahren als eine Art Mobilgerät angesehen und verwendet werden, wie die hierin beschriebene mobile Vorrichtung 57.
Die mobile Vorrichtung 57 kann innerhalb oder außerhalb des Fahrzeugs 12 verwendet werden und kann mit dem Fahrzeug drahtgebunden oder drahtlos verbunden werden. Die mobile Vorrichtung kann auch so konfiguriert werden, dass sie Dienste gemäß einer Abonnementvereinbarung mit einem Drittanbieter oder einem Mobilfunk-/Telefon-Dienstleistungsanbieter bereitstellt. Es sollte erkannt werden, dass verschiedene Dienstleistungsanbieter das Drahtlosträgersystem 14 nutzen können und dass der Dienstleistungsanbieter der Telematikeinheit 30 nicht notwendigerweise derselbe sein muss, wie der Dienstleistungsanbieter der mobilen Vorrichtungen 57.
Bei Verwendung eines (SRWC)-Protokolls (z. B. Bluetooth/Bluetooth Low Energy oder Wi-Fi) können sich die mobile Computervorrichtung 57 und die Telematikeinheit 30 in einem drahtlosen Bereich (z. B. vor einer Unterbrechung der Verbindung zum Wireless-Netzwerk) miteinander verbinden oder verlinken. Zum Koppeln können die mobile Computervorrichtung 57 und die Telematikvorrichtung 30 in einem BEACON- oder ERKENNBAREN MODUS mit einer allgemeinen Identifikation (ID) fungieren; die SRWC-Kopplung ist Fachleuten im Stand der Technik bekannt. Die allgemeine Kennung (ID) kann z. B. den Gerätenamen, eindeutige Kennung (z. B. Seriennummer), Klasse, verfügbare Dienste und andere geeignete technische Informationen beinhalten. Die mobile Computervorrichtung 57 die Telematikeinheit 30 können auch über einen Non-Beacon-Modus koppeln. In diesen Fällen kann das Call-Center 20 an der Verbindung der mobilen Computervorrichtung 57 und der Telematikeinheit 30 teilnehmen. So kann beispielsweise das Call-Center 20 den Abfragevorgang zwischen der Telematikeinheit 30 und der mobilen Computervorrichtung 57 einleiten. Und das Call-Center 20 kann die mobile Computervorrichtung 57 als zu dem Benutzer des Fahrzeugs 12 gehörig identifizieren und empfängt dann von der mobilen Computervorrichtung 57 ihre eindeutige Mobilgerätekennung und autorisiert die Telematikeinheit 30 über das drahtlose Kommunikationssystem 14, um mit dieser bestimmten ID zu koppeln.
Nachdem SRWC aufgebaut ist, können die Vorrichtungen als miteinander verbunden betrachtet werden, wie Fachleute einsehen werden (d. h. sie können sich gegenseitig erkennen und/oder sich automatisch verbinden, wenn sie sich in einer vorbestimmten Nähe oder Reichweite voneinander befinden). Mit anderen Worten - sie können zumindest vorübergehend Netzteilnehmer werden). Das Call-Center 20 kann SRWC auch individuell vor der Beendigung autorisieren.
Die mobile Computervorrichtung 57 weist zusätzlich eine fahrzeugbezogene Softwareanwendung 61 (z. B. RemoteLink™ von OnStar, myChevrolet™ von General Motors, usw.) auf, die sich im Speicher befinden. Diese Fahrzeuganwendung 61 kann heruntergeladen werden (z. B. von einem Online-Anwendungs-Store oder Marktplatz) und im elektronischen Speicher der Vorrichtung gespeichert werden. Wenn die Fahrzeuganwendung 61 auf der mobilen Computervorrichtung 57 in einer oder mehreren Ausführungsformen installiert ist, kann dem Benutzer die Möglichkeit eingeräumt werden, einen urheberrechtlich geschützten Nachrichtendienst (z. B. Apples Push Notification Services (APNS) Service oder Firebase Cloud Messaging (FCM) Service) zu aktivieren.
In den hierin offenbarten Beispielen ermöglicht die Fahrzeuganwendung 61 dem Benutzer der mobilen Computervorrichtung die Verwaltung von Fernstartversuchen von der mobilen Computervorrichtung 57. Insbesondere ermöglicht die Fahrzeuganwendung 61 dem Benutzer, sich für einen Fernstartdienst anzumelden und ein oder mehrere spezifische Fahrzeuge 12 beim Fernstartdienst zu registrieren. Diese Informationen können im Speicher der mobilen Computervorrichtung 57 gespeichert und von der Fahrzeuganwendung 61 abgerufen werden, die über die Benutzeroberfläche 59 eine oder mehrere GUIs implementieren kann. Diese Informationen können auch von der Fahrzeuganwendung 61 an ein entfernt gelegenes mobiles Integrations-Gateway 92 (siehe nachstehend) übertragen werden, um diese im Benutzerkonto des Benutzers in der Datenbank 84 zu speichern.
Die Fahrzeuganwendung 61 ermöglicht es dem Benutzer auch, einen Fernstartversuch von der mobilen Computervorrichtung 57 aus zu starten. Nach dem Empfangen einer Benutzereingabe, die anzeigt, dass der Benutzer einen Fernstart einleiten möchte, erzeugt die Fahrzeuganwendung 61 eine Nachricht über einen Fernstartversuch, die an das mobile Integrations-Gateway 92 gesendet wird (siehe nachstehend). In einigen Beispielen ist die Fahrzeuganwendung 61 dahingehend programmiert, zu kennen, welche Fahrzeugkennung in die Nachricht über den Fernstartversuch aufgenommen werden soll, da der Benutzer sein(e) Fahrzeug(e) 12 mit dem Fernstartdienst registriert hat. Die Fahrzeuganwendung 61 kann es dem Benutzer auch ermöglichen, einen Versuch zur Reinigung des Objektivs einzuleiten (siehe nachstehend) oder dieser Versuch kann automatisch mit dem Fernstartversuch gestartet werden. Der eingeleitete Versuch zur Reinigung des Objektivs kann bewirken, dass die Fahrzeuganwendung 61 eine Nachricht zur Reinigung des Objektivs erzeugt und an das mobile Integrations-Gateway 92 (nachfolgend erläutert) sendet.
Die Telematiksteuerung 52 (Prozessor) kann jede Vorrichtungsart sein, die fähig ist, elektronische Befehle zu verarbeiten, einschließlich Mikroprozessoren, Mikrocontrollern, Hostprozessoren, Steuerungen, Fahrzeugkommunikationsprozessoren und anwendungsspezifische integrierte Schaltungen (ASICs). Er kann ein speziell dafür vorgesehener Prozessor sein, der nur für die Telematikeinheit 30 verwendet wird, oder er kann mit anderen Fahrzeugsystemen geteilt werden. Die Telematiksteuerung 52 führt verschiedene Arten von digital gespeicherten Anweisungen aus, wie beispielsweise Software oder Firmwareprogramme, die im Speicher 54 gespeichert sind, welche der Telematikeinheit ermöglichen, eine große Vielfalt von Diensten bereitzustellen. Zum Beispiel kann die Steuerung 52 Programme ausführen oder Daten verarbeiten, um mindestens einen Teil des Verfahrens auszuführen, das hierin beschrieben ist.
Die Telematikeinheit 30 kann verwendet werden, um eine vielfältige Palette von Fahrzeugdiensten bereitzustellen, die drahtlose Kommunikation zu und/oder vom Fahrzeug beinhalten. Derartige Dienste beinhalten: Wegbeschreibungen und andere navigationsbezogene Dienste, die in Verbindung mit dem GPS-basierten Fahrzeugnavigationsmodul 40 bereitgestellt sind; Airbagauslösungsbenachrichtigung und andere mit Notruf oder Pannendienst verbundene Dienste, die in Verbindung mit einem oder mehreren Fahrzeugsystemmodulen 42 (VSM) bereitgestellt werden; Diagnosemeldungen unter Verwendung von einem oder mehreren Diagnosemodulen; und mit Infotainment verbundene Dienste, wobei Musik, Internetseiten, Filme, Fernsehprogramme, Videospiele und/oder andere Informationen durch ein Infotainmentmodul (nicht dargestellt) heruntergeladen und für die aktuelle oder spätere Wiedergabe gespeichert werden. Die vorstehend aufgelisteten Dienste sind keineswegs eine vollständige Liste aller Fähigkeiten der Telematikeinheit 30, sondern sie sind einfach eine Aufzählung von einigen der Dienste, die die Telematikeinheit 30 anbieten kann. Des Weiteren versteht es sich, dass mindestens einige der vorstehend genannten Module in der Form von Softwarebefehlen implementiert sein könnten, die innerhalb oder außerhalb der Telematikeinheit 30 gespeichert sind, sie könnten Hardwarekomponenten sein, die sich innerhalb oder außerhalb der Telematikeinheit 30 befinden, oder sie könnten integriert sein und/oder miteinander oder mit anderen Systemen geteilt zu sein, die sich im Fahrzeug befinden, um nur einige Möglichkeiten zu nennen. Für den Fall, dass die Module als VSM 42 implementiert sind, die sich außerhalb der Telematikeinheit 30 befinden, könnten sie den Fahrzeugbus 44 verwenden, um Daten und Befehle mit der Telematikeinheit auszutauschen.
Das GPS-Modul 40 empfängt Funksignale von einer Konstellation 60 von GPS-Satelliten. Von diesen Signalen kann das Modul 40 die Fahrzeugposition ermitteln, die verwendet wird, um Navigation und andere mit der Position verbundene Dienste an den Fahrzeugführer bereitzustellen. Navigationsinformationen können auf der Anzeige 38 (oder einer anderen Anzeige innerhalb des Fahrzeugs) dargestellt oder in verbaler Form präsentiert werden, wie es beispielsweise bei der Wegbeschreibungsnavigation der Fall ist. Die Navigationsdienste können unter Verwendung von einem zugehörigen Fahrzeugnavigationsmodul (das Teil des GPS-Moduls 40 sein kann) bereitgestellt werden, oder einige oder alle Navigationsdienste können über die Telematikeinheit 30 erfolgen, wobei die Positionsinformationen zum Zweck des Ausstattens des Fahrzeugs mit Navigationskarten, Kartenanmerkungen (Sehenswürdigkeiten, Restaurants usw.), Routenberechnungen und dergleichen zu einem entfernten Standort gesendet werden. Die Positionsinformationen können auch für andere Zwecke, wie beispielsweise das Fuhrparkmanagement, an das Rechenzentrum 20 oder ein anderes entferntes Computersystem, wie beispielsweise an den Computer 18, übermittelt werden. Außerdem können neue oder aktualisierte Kartendaten zum GPS-Modul 40 vom Rechenzentrum 20 über die Telematikeinheit 30 heruntergeladen werden.
Abgesehen vom Audiosystem 36 und dem GPS-Modul 40 kann das Fahrzeug 12 andere VSMs 42 in der Form von elektronischen Hardwarekomponenten beinhalten, die sich im Fahrzeug befinden und typischerweise eine Eingabe von einem oder mehreren Sensoren erhalten und die erfassten Eingaben verwenden, um Diagnose, Überwachung, Steuerung, Berichterstattung und/oder andere Funktionen auszuführen. Jedes der VSMs 42 ist vorzugsweise durch den Kommunikationsbus 44 mit den anderen VSM sowie der Telematikeinheit 30 verbunden und kann darauf programmiert sein, Fahrzeugsystem- und Subsystemdiagnosetests auszuführen.
So kann beispielsweise ein VSM 42 ein Motorsteuergerät (ECM) sein, das verschiedene Aspekte des Motorbetriebs, wie z. B. Kraftstoffzündung und Zündzeitpunkt steuert, ein weiteres VSM 42 kann ein Antriebsstrangsteuermodul (PCM) sein, das den Betrieb von einer oder mehreren Komponenten des Fahrzeugantriebsstrangs reguliert, und ein weiteres VSM 42 kann ein Karosseriesteuermodul (BCM) sein, das verschiedene im Fahrzeug befindliche elektrische Komponente, wie beispielsweise die Zentralverriegelung des Fahrzeugs und die Scheinwerfer, verwaltet. Gemäß einer Ausführungsform ist das ECM 42 mit integrierten Diagnose-(OBD)-Merkmalen ausgestattet, die unzählige Echtzeitdaten bereitstellen wie diejenigen, die von verschiedenen Sensoren einschließlich Fahrzeugemissionssensoren empfangen werden, und stellt eine standardisierte Reihe von Diagnosefehlercodes (DTC) bereit, die einem Techniker ermöglichen, Fehlfunktionen innerhalb des Fahrzeugs schnell zu identifizieren und zu beheben. Fachleute auf dem Fachgebiet werden erkennen, dass es sich bei den vorgenannten VSMs nur um Beispiele von einigen der Module handelt, die im Fahrzeug 12 verwendet werden können, zahlreiche andere Module jedoch ebenfalls möglich sind.
Die Fahrzeugelektronik 28 beinhaltet auch eine Anzahl an Fahrzeugbenutzeroberflächen, die Fahrzeuginsassen mit einem Mittel zum Bereitstellen und/oder das Erhalten von Informationen ausstattet, einschließlich Mikrofon 32, Taste(n) 34, Audiosystem 36, und optischer Anzeige 38. Wie hier verwendet, beinhaltet der Begriff „Fahrzeugbenutzeroberfläche“ weitgehend jede geeignete Form von elektronischer Vorrichtung, die sowohl die im Fahrzeug befindlichen Hardware- als auch Softwarekomponenten beinhaltet und einem Fahrzeugbenutzer ermöglicht, mit einer oder durch eine Komponente des Fahrzeugs zu kommunizieren. Das Mikrofon 32 stellt eine Audioeingabe an die Telematikeinheit bereit, um dem Fahrer oder anderen Insassen zu ermöglichen, Sprachsteuerungen bereitzustellen und Freisprechen über das Drahtlosträgersystem 14 auszuführen. Für diesen Zweck kann es mit einer integrierten automatischen Sprachverarbeitungseinheit verbunden sein, welche die unter Fachleuten auf dem Gebiet bekannte Mensch-Maschinen-Schnittstellen (HMI)-Technologie verwendet.
Die Taste(n) 34 ermöglichen eine manuelle Benutzereingabe in die Telematikeinheit 30, um drahtlose Telefonanrufe zu initiieren und andere Daten, Antworten oder eine Steuereingabe bereitzustellen. Separate Tasten können zum Einleiten von Notrufen gegenüber regulären Dienstunterstützungsanrufen beim Rechenzentrum 20 verwendet werden. Das Audiosystem 36 stellt eine Audioausgabe an einen Fahrzeuginsassen bereit und kann ein zugehöriges selbstständiges System oder Teil des primären Fahrzeugaudiosystems sein. Gemäß der bestimmten Ausführungsform, die hier gezeigt wird, ist das Audiosystem 36 operativ sowohl mit dem Fahrzeugbus 44 als auch mit dem Entertainmentbus 46 gekoppelt und kann AM-, FM, Media-Streaming-Dienste (z. B. PANDORA RADIO™, SPOTIFY™ usw.), Satellitenradio, CD-, DVD- und andere Multimediafunktionalität bereitstellen. Diese Funktionalität kann in Verbindung mit dem vorstehend beschriebenen Infotainmentmodul oder davon unabhängig bereitgestellt werden. Die optische Anzeige 38 ist vorzugsweise eine Grafikanzeige, wie z. B. ein Berührungsbildschirm am Armaturenbrett oder eine Warnanzeige, die von der Frontscheibe reflektiert wird, und verwendet werden kann, um eine Vielzahl von Eingabe- und Ausgabefunktionen bereitzustellen (d. h. zur GUI-Implementierung in der Lage). Das Audiosystem 36 kann auch mindestens eine Audio-Benachrichtigung erzeugen, um bekannt zu geben, dass diese Kontaktinformationen auf der Anzeige 38 angezeigt werden und/oder eine Audio-Benachrichtigung erzeugen können, die unabhängig die Kontaktinformationen des Drittanbieters melden. Verschiedene andere Fahrzeugbenutzeroberflächen können ebenfalls verwendet werden, denn die Schnittstellen von 1 dienen lediglich als Beispiel für eine bestimmte Implementierung.
Der Sichtsensor 11 kann jede Art von Sensor sein, der visuelle Informationen bezüglich eines Bereichs innerhalb oder im Umfeld des Fahrzeugs 12 erhält. So kann beispielsweise der Sichtsensor 11 eine Kamera (z. B. eine Fahrzeug-Rückfahrkamera) oder der Sensor 11 ein anderer Sensor sein, der bei der Rückwärtsfahrt des Fahrzeugs hilft, wie beispielsweise Lidar, Sonar, Ultraschall und elektromagnetische Sensoren. Die vom Sichtsensor 11 erhaltenen Daten können auch über den Kommunikationsbus 44 an eine andere Fahrzeugkomponente, wie beispielsweise die Telematikeinheit 30, die Antenne 56 und/oder das BCM 42 gesendet werden. In einer Ausführungsform beinhaltet der Sichtsensor 11 eine elektronische Digitalkamera, die durch die Verwendung einer Fahrzeugbatterie (nicht dargestellt) betrieben wird. Die elektronische Digitalkamera kann eine Speichervorrichtung und eine Verarbeitungsvorrichtung zum Speichern und/oder Verarbeiten von Daten beinhalten, die von dieser erfasst oder anderweitig erhalten werden, und kann jeder geeignete Kameratyp (z. B. ladungsgekoppelte Vorrichtung (CCD), komplementärer Metalloxidhalbleiter (CMOS), usw.) mit jedem geeigneten Objektiv 13 (3) sein.
In einer Ausführungsform kann der Sichtsensor 11 verwendet werden, um Fotos, Videos und/oder andere Informationen in Bezug auf das Licht aufzunehmen, das hierin zusammengefasst als Visionsdaten bezeichnet wird. In einer Ausführungsform können die Visionsdaten Bilddaten sein, d. h. Visionsdaten, die in einer Pixelanordnung dargestellt werden können und mittels Zeilensprung- oder progressiver Abtasttechniken erfasst werden. Die Bilddaten können mit einer festgelegten oder vorkonfigurierten Abtastfrequenz erfasst und konfiguriert werden, um Bilddaten mit einer bestimmten Auflösung zu erhalten. Nachdem die Bilddaten durch den Sichtsensor 11 erhalten wurden, können die Sichtdaten (oder Bilddaten) verarbeitet und dann an eine oder mehrere andere Fahrzeugkomponenten, einschließlich der Telematikeinheit 30 und/oder Antenne 56 und/oder das BCM 42, gesendet werden. Der Sichtsensor 11 kann Verarbeitungsfunktionen über seinen integrierten Prozessor beinhalten, die es ermöglichen, Bildverarbeitungstechniken, einschließlich Objekterkennungstechniken, am Sichtsensor 11 durchzuführen. In einer oder mehreren anderen Ausführungsformen kann der Sichtsensor 11 rohe oder formatierte Bilddaten an eine andere Fahrzeugkomponente, wie beispielsweise die Telematikeinheit 30 (d. h. die elektronische Verarbeitungsvorrichtung 52) oder einen anderen zentralen Fahrzeugcomputer, senden, der dann die Bildverarbeitungstechniken und Objekterkennungstechniken durchführen kann. In einer oder mehreren alternativen Ausführungsformen kann der Sichtsensor 11 rohe oder formatierte Bilddaten an einen entfernten Ort (über die Antenne 56) wie das Datenzentrum 20 oder den Computer 18 senden, der dann die Bildverarbeitungstechniken und Objekterkennungstechniken durchführen kann.
Die Objekterkennungstechniken (anderweitig als Bilderkennungstechniken bezeichnet) können ein oder mehrere (oder eine Kombination derselben) allgemein bekannte Prozesse sein, wie beispielsweise, aber nicht beschränkt auf, kaskadierende Klassifizierungstechniken, maximale stabile Extremalbereichs-(MSER)-Techniken und optische Zeichenerkennungs-(OCR)-Techniken zur Unterstützung der Objekterkennung und können über Software auf einem Speicher eingerichtet werden. Während der Verarbeitung können die Objekterkennungstechniken auch mit einer Bilddatenbank korrespondieren, die Beispiele von Objekten (z. B. Bilder von wetterbedingten Aspekten in der Fahrzeugumgebung, wie beispielsweise Schnee, Matsch, Niederschlag oder Schneemischung, oder Bilder von Objekten in der Umgebung, wie zum Beispiel Fahrzeuge, Häuser oder Blätter usw.) aufweist, um ein oder mehrere mit Bilddaten gekennzeichnete Objekte abzugleichen. Fachlich versierte Techniker werden erkennen, dass jede dieser Techniken zur Objekterkennung sequentiell eingesetzt werden kann, um zu ermitteln, ob ein oder mehrere Objekte in den visuellen Daten vorhanden sind. So kann beispielsweise ein Objekterkennungsalgorithmus ein kaskadierendes Klassifizierungsmodul vor einem MSER-Modul, die beide vor einem OCR-Modul liegen, durchführen, während er gleichzeitig mit einer Bilddatenbank kommuniziert, um die Ausführung eines oder mehrerer dieser Module zu unterstützen.
Das Drahtlosträgersystem 14 ist vorzugsweise ein Mobilfunksystem, das eine Vielzahl von Mobilfunkmasten 70 (nur einer dargestellt), eine oder mehrere Mobilfunknetzwerkinfrastrukturen (Cellular Network Infrastructures - CNI) 72 beinhaltet, sowie andere zur Verbindung von Drahtlosträgersystem 14 mit dem Festnetz 16 erforderliche Netzwerkkomponenten. Jeder Mobilfunkmast 70 beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen von unterschiedlichen Mobilfunkmasten mit der CNI 72 entweder direkt oder über zwischengeschaltete Vorrichtungen, wie z. B. eine Basisstationssteuereinheit, verbunden sind. Das Mobiltelefonsystem 14 kann jede geeignete Kommunikationstechnik implementieren, einschließlich beispielsweise analoger Technologien, wie AMPS oder die neueren Digitaltechnologien, wie beispielsweise 4G LTE und 5G. Wie von Fachleuten erkannt wird, sind verschiedene Mobilfunkmast/Basisstation/MSC-Anordnungen möglich und könnten mit dem drahtlosen System 14 verwendet werden. So könnten sich beispielsweise Basisstation und Mobilfunktürme an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen und verschiedene Mobilfunktürme könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Drahtlosträgersystems 14 kann ein unterschiedliches Drahtlosträgersystem in der Form von Satellitenkommunikation verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem Fahrzeug bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Fernmeldesatelliten 62 und einer aufwärtsgerichteten Sendestation 64 erfolgen. Bei der unidirektionalen Kommunikation kann es sich beispielsweise um Satellitenradiodienste handeln, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation 64 erhalten werden, für das Hochladen gepackt und anschließend zum Satelliten 62 gesendet werden, der die Programmierung an die Teilnehmer sendet. Bidirektionale Kommunikation kann beispielsweise Satellitentelefoniedienste unter Verwendung der Satelliten 62 sein, um Telefonkommunikationen zwischen dem Fahrzeug 12 und der Station 64 weiterzugeben. Bei Verwendung kann dieses Satellitenfernsprechen entweder zusätzlich zum oder anstatt des Drahtlosträgersystems 14 verwendet werden.
Das Festnetz 16 kann ein konventionelles landgebundenes Telekommunikationsnetzwerk sein, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 14 mit dem Rechenzentrum 20 verbindet. So kann beispielsweise das Festnetz 16 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur (d. h. ein Netz von miteinander verbundenen Knotenpunkten für Computergeräte) bereitzustellen. Ein oder mehrere Segmente des Festnetzes 16 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon, implementiert sein. Des Weiteren muss das Rechenzentrum 20 nicht über das Festnetz 16 verbunden sein, sondern könnte Funktelefonieausrüstung beinhalten, sodass er direkt mit einem drahtlosen Netzwerk, wie dem Drahtlosträgersystem 14, kommunizieren kann.
Der Computer 18 kann einer von einer Anzahl an Computern sein, die über ein privates oder öffentliches Netzwerk, wie das Internet, zugänglich sind. Jeder dieser Computer 18 kann für einen oder mehrere Zwecke, wie einen Webserver verwendet werden, der vom Fahrzeug über die Telematikeinheit 30 und das Drahtlosträgersystem 14 zugänglich ist. Andere derartige zugängliche Computer 18 können beispielsweise sein: ein Kundendienstzentrumcomputer (z. B. ein SIP Präsenz-Server), wobei Diagnoseinformationen und andere Fahrzeugdaten vom Fahrzeug über die Telematikeinheit 30 hochgeladen werden können; ein Clientcomputer, der vom Fahrzeugbesitzer oder einem anderen Teilnehmer für derartige Zwecke, wie das Zugreifen auf oder das Erhalten von Fahrzeugdaten oder zum Einstellen oder Konfigurieren von Teilnehmerpräferenzen oder Steuern von Fahrzeugfunktionen, verwendet wird; oder ein Drittparteispeicherort, zu dem oder von dem Fahrzeugdaten oder andere Informationen entweder durch Kommunizieren mit dem Fahrzeug 12 oder dem Rechenzentrum 20 oder beiden bereitgestellt werden. Ein Computer 18 kann auch für das Bereitstellen von Internetkonnektivität, wie DNS-Dienste oder als ein Netzwerkadressenserver, verwendet werden, der DHCP oder ein anderes geeignetes Protokoll verwendet, um dem Fahrzeug 12 eine IP-Adresse zuzuweisen.
Das Rechenzentrum 20 ist konzipiert, die Fahrzeugelektronik 28 mit einer Anzahl an unterschiedlichen System-Back-End-Funktionen bereitzustellen, und beinhaltet nach der hier gezeigten beispielhaften Ausführungsform im Allgemeinen einen oder mehrere Switches 80, Server 82, Datenbanken 84, Live-Berater 86 sowie ein automatisiertes Sprachausgabesystem (VRS) 88, die alle im Stand der Technik bekannt sind. Diese verschiedenen Komponenten des Rechenzentrums sind bevorzugt miteinander über ein verdrahtetes oder drahtloses lokales Netzwerk 90 gekoppelt. Der Schalter 80, der ein Nebenstellenanlagen (PBX)-Schalter sein kann, leitet eingehende Signale weiter, sodass Sprachübertragungen gewöhnlich entweder zum Live-Berater 86 über das reguläre Telefon, den Backend-Computer 87 oder das automatisierte Sprachausgabesystem 88 unter Verwendung von VoIP gesendet werden. Der Server 82 kann eine Datensteuerung 81 enthalten, die im Wesentlichen den Betrieb des Servers 82 steuert. Der Server 82 kann Dateninformationen steuern und als Empfänger fungieren, um die Dateninformationen (d. h. Datenübertragungen) von einer oder mehreren der Datenbanken 84, der Telematikeinheit 30 und der mobilen Computervorrichtung 57 zu senden und/oder zu empfangen.
Die Steuerung 81 ist in der Lage, ausführbare Anweisungen, die auf einem nichtflüchtigen maschinenlesbaren Medium gespeichert sind, zu lesen und kann einen oder mehrere aus einem Prozessor, einem Mikroprozessor, einer zentralen Verarbeitungseinheit (CPU), einem Grafikprozessor, anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate-Arrays (FPGAs), Zustandsmaschinen und eine Kombination von Hardware-, Software- und Firmware-Komponenten beinhalten. Das Live-Berater-Telefon kann auch VoIP verwenden, wie durch die gestrichelte Linie in 1 angezeigt. VoIP und andere Datenkommunikation durch den Switch 80 ist über ein Modem (d. h. einen Sender-Empfänger) implementiert, das das Landkommunikationsnetzwerk 16 und das lokale Netzwerk 90 verbindet.
Datenübertragungen werden über das Modem an den Server 82 und/oder die Datenbank 84 weitergegeben. Die Datenbank 84 kann Kontoinformationen speichern, wie beispielsweise Fahrzeugdynamikinformationen und andere entsprechende Teilnehmerinformationen. Datenübertragungen können zudem durch drahtlose Systeme, wie z. B. 802.11x, GPRS und dergleichen, erfolgen. Obwohl die veranschaulichte Ausführungsform beschrieben wurde, als ob sie in Verbindung mit einem bemannten Rechenzentrum 20 verwendet werden würde, das den Live-Berater 86 einsetzt, ist es offensichtlich, dass das Rechenzentrum stattdessen VRS 88 als einen automatisierten Berater verwenden kann, oder eine Kombination von VRS 88 und dem Live-Berater 86 verwendet werden kann.
Die Datenbank 84 könnte auch so konzipiert sein, dass sie Informationen in Form von ausführbaren Anweisungen speichert, wie beispielsweise, jedoch nicht beschränkt auf, zahlreiche Anwendungsprogrammierschnittstellen-(APIs)-Suites, auf die über den Server 82 zugegriffen wird und die ausgeführt und/oder von diesem gesteuert werden. Darüber hinaus können diese API-Suiten in bestimmten Ausführungsformen für den Systembenutzer, das Datenzentrum 20 oder einen oder mehrere Dritte zugänglich sein. Als Beispiele kann eine API-Suite das mobile Integrations-Gateway (MIG) 92 sein. In einigen Fällen ist MIG 92 ein Gateway, das die Bearbeitung von Anforderungen der auf der mobilen Computervorrichtung 57 gespeicherten Fahrzeuganwendung 61 erleichtert. So kann beispielsweise das MIG 92 ein Knoten sein, der für die Anbindung an die mobile Computervorrichtung 57 und deren Nachrichtendienst (der Teil eines anderen Netzwerks sein kann) eingerichtet ist.
MIG 92 kann auch zum Ausführen von Dienstanforderungen aus der Fahrzeuganwendung 61 eingerichtet sein. So kann beispielsweise das MIG 92 das Erkennen eines Fahrzeug-Femstartversuchs und/oder eines Objektivreinigungsversuchs erleichtern, der von der entfernten mobilen Computervorrichtung 57 ausgelöst wird. Als Reaktion darauf kann MIG 92 benutzerdefinierte Nachrichten erstellen, die an die mobile Computervorrichtung 57 übertragen werden sollen, um einen Benutzer der Vorrichtung 57 über den Status des Fernstartversuchs und/oder darüber zu informieren, ob das Objektiv des Sichtsensors 11 gereinigt werden soll. Ebenso ermöglicht das MIG 92 als Reaktion auf das Empfangen der Fernstartanforderung und/oder der Objektivreinigungsanforderung das Übermitteln der einen oder mehreren Aktivierungssignale an die Telematikeinheit 30 (z. B. ein Fernstartsignal, ein Objektivreinigungssignal, usw.). Nach dem Empfangen an der Telematikeinheit 30 kann die Telematikeinheit 30 ein entsprechendes Signal senden, welches das BCM 42 (oder ein anderes geeignetes VSM) veranlasst, das Fahrzeug einzuschalten (z. B. Starten der Zündung, Einschalten, usw.). Darüber hinaus kann die Telematikeinheit 30 ein separates entsprechendes Signal senden, welches das BCM 42 (oder ein anderes geeignetes VSM) dazu veranlasst, den Sichtsensor 11 zu aktivieren, um ein oder mehrere Bilder der Fahrzeugumgebung aufzunehmen (der auch den Sichtsensor 11 aktivieren kann, um eine oder mehrere Bildverarbeitungstechniken durchzuführen).
Wenn das Fahrzeug eingeschaltet wird oder nicht einschaltet, überträgt die Telematikeinheit 30 eine Meldung an das MIG 92, die anzeigt, dass das Fahrzeug 12 erfolgreich gestartet wurde oder nicht gestartet wurde. Das MIG 92 wiederum erzeugt eine Erfolgs-/Fehlermeldung, die an die mobile Computervorrichtung 57 gesendet wird. Diese Nachricht kann eine Popup- oder Push-Benachrichtigung sein, die den Benutzer der mobilen Computervorrichtung 57 darüber informiert, dass das Fahrzeug 12 gestartet wurde oder nicht gestartet werden konnte.
Darüber hinaus überträgt die Telematikeinheit 30, wenn der Sichtsensor 11 beispielsweise ein oder mehrere Fotos erfasst, auch die Sichtdaten an das MIG 92. Das MIG 92 kann wiederum Bildverarbeitungstechniken durchführen, um zu bewerten, ob eine beträchtliche Menge an wetterbedingten Ablagerungen auf dem Objektiv des Sichtsensors 11 vorhanden ist, oder alternativ die Ergebnisse der Bildverarbeitungstechniken des Sichtsensors 11/der Telematikeinheit 30 analysieren. Wenn das Ergebnis dieser Bildverarbeitungstechniken zeigt, dass eine beträchtliche Menge an wetterbedingten Ablagerungen auf dem Objektiv des Sichtsensors 11 vorhanden ist, erzeugt das MIG 92 zudem eine Reinigungswarnmeldung, die an die mobile Computervorrichtung 57 gesendet wird. Daher kann diese Warnung, wenn sie erzeugt und gesendet wird, eine Popup- oder Push-Benachrichtigung sein, die den Benutzer über die mobile Computervorrichtung 57 informiert und die Reinigung des Objektivs des Sichtsensors 11 sollte vor dem Fahrzeugbetrieb erfolgen. Wie vorstehend erwähnt, ist zu beachten, dass der Versuch zum Reinigen des Objektivs automatisch mit einem Fernstartversuch des Fahrzeugs eingeleitet werden kann oder dass der Versuch zum Reinigen des Objektivs unabhängig von der mobilen Computervorrichtung 57 eingeleitet werden kann. Es sollte auch verstanden werden, dass die Bildverarbeitungstechniken (z. B. Objekterkennungstechniken) ansonsten am Sichtsensor 11 oder an einem entfernten Ort (z. B. am Computer 18) auftreten können.
VERFAHREN
Mit Bezug nun auf 2 wird eine Ausführungsform eines Verfahrens 200 zum Identifizieren von Sensorproblemen eines Sichtsensors 11 für das Fahrzeug 12 dargestellt. Ein oder mehrere Aspekte des Identifizierungsverfahrens 200 können durch das MIG 92 ergänzt werden, das vom Server 82 des Datenzentrums 20 implementiert wird, der eine oder mehrere ausführbare Anweisungen enthalten kann, die in die Datenbank 81 integriert sind. Ein oder mehrere Aspekte des Verfahrens 200 können ansonsten beispielsweise durch die Fahrzeugtelematikeinheit 30, den Sichtsensor 11 und die mobile Computervorrichtung 57 (welche die Fahrzeuganwendung 61 beinhalten kann) ergänzt werden. Qualifizierte Fachleute werden außerdem erkennen, dass die Telematikeinheit 30, das Datenzentrum 20, den Sichtsensor 11 und die mobile Computervorrichtung 57 entfernt voneinander platziert werden können.
Das Verfahren 200 wird durch die Telematikeinheit 30 unterstützt, die konfiguriert ist, um eine fahrzeuginterne Kommunikation mit dem Sichtsensor 11 und dem Datenzentrum 20 herzustellen. Diese Konfiguration kann durch den Fahrzeughersteller in oder nahe der Zeit der Montage oder des Nachrüstens der Telematikeinheit oder als Aftermarket-Element erfolgen (z. B. über Fahrzeug-Download mittels des oben dargestellten Kommunikationssystems 10 oder während einer Fahrzeugwartung, um nur einige Beispiele zu nennen). In mindestens einer Implementierung werden eine oder mehrere Anweisungen an die Telematikeinheit 30 bereitgestellt und auf einem nichtflüchtigen computerlesbaren Medium (z. B. auf der Speichervorrichtung 54) gespeichert. Das Verfahren 200 wird weiterhin durch die Vorkonfiguration des Datenzentrums 20 unterstützt, um das MIG 92 sowie eine oder mehrere API in der Datenbank 84 zu speichern, auf die jeweils über den Server 82 zugegriffen werden kann. Das Verfahren 200 wird ferner noch durch die Vorkonfiguration der mobilen Computervorrichtung 57 zum Speichern der Fahrzeuganwendung 61 sowie einer oder mehrerer anderer Softwareanwendungen in ihrem elektronischen Speicher unterstützt und ist vorkonfiguriert, um eine oder mehrere Aufforderungen zur Benutzereingabe über die Benutzeroberfläche 59 zu empfangen.
Das Verfahren 200 beginnt bei 201 mit dem Aktivieren und Betreiben der Fahrzeuganwendung 61 durch einen Benutzer auf seiner mobilen Computervorrichtung 57. In Schritt 210 leitet der Benutzer die Anforderung für den Fernstartversuch und/oder die Anforderung für den Versuch zur Reinigung des Objektivs von der mobilen Computervorrichtung 57 ein. Darüber hinaus kann in diesem Schritt der Objektivreinigungsversuch automatisch mit dem Fernstartversuch (d. h. als nicht offenbarter Aspekt des Fernstartversuchs), mit einer anderen Art von Versuchsanforderung (z. B. Verriegeln/Entriegeln oder Hup- und Lichtversuchsanforderung) durchgeführt werden, oder der Objektivreinigungsversuch kann vom Benutzer als unabhängiger Versuch getrennt vom Fernstartversuch durchgeführt werden. Es sollte auch verstanden werden, dass einer oder beide dieser Versuche über die Benutzeroberfläche 59 und über eine oder mehrere GUIs der Fahrzeuganwendung 61 erfolgen können.
In Schritt 220 wird die Fernstartanforderung und/oder die Anforderung zum Versuch zur Reinigung des Objektivs empfangen und vom MIG 92 über den Server 82 verarbeitet. In Schritt 230 erzeugt und sendet das MIG 92 ein Aktivierungssignal an die Telematikeinheit 30. Mit zusätzlichem Bezug auf 3 kann das Aktivierungssignal konfiguriert werden, um zu veranlassen, dass die Telematikeinheit 30 ein entsprechendes Signal sendet, welches das BCM 42 (oder ein anderes geeignetes VSM) veranlasst, die Rückfahrkamera 11 des Fahrzeugs (d. h. den Sichtsensor) zu aktivieren, um ein oder mehrere Bilder des Bereichs hinter dem Fahrzeug 15 (d. h. mindestens einen Teil der Umgebung um das Fahrzeug herum) aufzunehmen. Je nachdem, ob die Fernstartanforderung in Verbindung mit der Anforderung zum Reinigen des Objektivs erfolgt ist, kann die Telematikeinheit 30 in einer oder mehreren Ausführungsformen auch ein separates entsprechendes Signal senden, welches das BCM 42 veranlasst, eines oder mehrere der Systeme des Fahrzeugs 12 einzuschalten.
Mit zusätzlichem Bezug auf 4, wird in Schritt 240 mindestens ein Bild 17 des Bereichs hinter dem Fahrzeug 15 von der Rückfahrkamera 11 aufgenommen. Rückfahrkameras 11 sind allgemein dafür bekannt, Bilder/Aufzeichnungen des Bereichs hinter dem Fahrzeug 15 aufzunehmen, um den Fahrzeugführer beim Rückwärtsfahren seines Fahrzeugs 12 zu unterstützen (z. B. beim Herausfahren aus einem Parkplatz).
In Schritt 250 wird mindestens eine Objekterkennungstechnik zum Erkennen des Vorhandenseins einer beeinträchtigenden Menge an wetterbedingten Ablagerungen 19 in der in Bild 17 dargestellten Ansicht der Fahrzeugumgebung durchgeführt und somit, ob das Kameraobjektiv 13 (siehe 3) von einer beeinträchtigenden Menge an wetterbedingten Ablagerungen überdeckt ist. So können beispielsweise die Objekterkennungstechniken die Objekte 19, wie beispielsweise Niederschlag (z. B. Regen, Schnee, Graupel, Hagel usw.), Streusalz und Schmutz oder eine Kombination derselben erkennen, die sich auf dem Objektiv 13 angesiedelt haben und Unschärfe, Nebligkeit oder eine andere erhebliche Beeinträchtigung der Bildansicht 17 verursacht haben. Die Objekterkennungstechniken können auch die Lage der Objekte 19 in der Fahrzeugumgebungsansicht des Bildes 17 erkennen.
Wie zu verstehen ist, handelt es sich bei einer erheblichen Beeinträchtigung des Bildes 17 darum, dass das Bild 17 den Fahrzeugführer beim Versuch, sein Fahrzeug 12 zurückzufahren, nicht mehr wirksam unterstützt. Fachleute werden beispielsweise verstehen, dass, wenn beispielsweise mindestens 20 % der Fahrzeugumgebungsansicht des Bildes 17 verdeckt ist, die wetterbedingten Ablagerungen das Bild 17 erheblich beeinträchtigt haben. Fachleute werden auch verstehen, dass eine erhebliche Beeinträchtigung auftreten kann, wenn sich eine wetterbedingte Ablagerung an einer zentralen Stelle in der Fahrzeugumgebungsansicht des Bildes 17 befindet. Wenn beispielsweise eine oder mehrere der Überlagerungslinien 21 (oder die Positionen zwischen diesen Linien) des Lenkungsprädikators in der Fahrzeugumgebungsansicht blockiert wurden, wird das Bild 17 durch die wetterbedingten Ablagerungen erheblich beeinträchtigt (siehe Objekt 19'). Nach Beendigung der Objekterkennungstechnik(en) kann ein Ergebnis erzeugt werden - dieses Ergebnis kann binärer Natur sein (d. h. 1 = eine erhebliche beeinträchtigende Menge an vorhandenen Ablagerungen; 0 = keine Beeinträchtigung) oder als Konfidenzniveau (z. B. ein Konfidenzniveau über 50 % = eine erhebliche beeinträchtigende Menge an vorhandenen Ablagerungen; weniger als 50 % = keine Beeinträchtigung).
Wie vorstehend erläutert, kann/können die Objekterkennungstechnik(en) an der Rückfahrkamera 11 oder der Telematikeinheit 30 durchgeführt werden. In derartigen Ausführungsformen kann das Ergebnis über die Telematikeinheit 30 an das MIG 92 im Datenzentrum 20 übertragen werden. Die Objekterkennungstechnik(en) können ansonsten auf dem MIG 92 installiert und über die API im Datenzentrum 20 ausgeführt werden. In diesen Ausführungsformen wird das von der Rückfahrkamera 11 aufgenommene Bild als Visionsdaten über die Telematikeinheit 30 an das Datenzentrum 20 gesendet.
Darüber hinaus analysiert das MIG 92 in diesem Schritt die Ergebnisse der Objekterkennungstechnik(en). Wenn die Ergebnisse der Objekterkennungstechnik(en) widerspiegeln, dass eine beeinträchtigende Menge an wetterbedingten Ablagerungen 19 vorhanden ist, geht das Verfahren 200 zu Schritt 260 über; andernfalls geht das Verfahren 200 zur Beendigung 202 über.
Unter zusätzlicher Bezugnahme auf 5 erzeugt das MIG 92 in Schritt 260 eine Benachrichtigung 63, die über die Benutzeroberfläche 59 auf der Fahrzeuganwendung 61 angezeigt werden kann. Nach dem Erzeugen überträgt das MIG 92 die Benachrichtigung an die mobile Computervorrichtung 57. Wie dargestellt, ist die Benachrichtigung 63 konfiguriert, um eine Warnung für den Benutzer der mobilen Computervorrichtung 57 bereitzustellen, um das Objektiv 13 der Rückfahrkamera 11 zu reinigen, um mindestens einen Teil der erkannten wetterbedingten Ablagerungen zu entfernen. Somit dient diese Benachrichtigung als Erinnerung, dass die Ansicht der Bilder/Aufzeichnungen der Rückfahrkamera 11 den Fahrzeugführer nicht ausreichend beim Rückwärtsfahren seines Fahrzeugs unterstützt. Diese Benachrichtigung kann eine Pop-up- oder Push-Benachrichtigung sein. Nach Schritt 260 fährt das Verfahren 200 mit der Fertigstellung 202 fort.
Die hierin offenbarten Prozesse, Verfahren oder Algorithmen können von einer Verarbeitungsvorrichtung, einer Steuerung oder einem Computer, der jedes vorhandene programmierbare elektronische Steuergerät oder ein dediziertes elektronisches Steuergerät beinhalten kann, bereitgestellt und/oder implementiert werden. Desgleichen können die Prozesse, Verfahren oder Algorithmen als Daten oder ausführbare Anweisungen durch eine Steuerung oder einen Computer in vielfältiger Weise gespeichert werden, darunter ohne Einschränkung die dauerhafte Speicherung auf nicht beschreibbaren Speichermedien, wie einem ROM, und als änderbare Information auf beschreibbaren Speichermedien wie Disketten, Magnetbändern, CDs, RAM sowie anderen magnetischen und optischen Medien. Die Prozesse, Verfahren oder Algorithmen können auch in einem softwareausführbaren Objekt implementiert werden. Alternativ können die Prozesse, Verfahren oder Algorithmen ganz oder teilweise mit geeigneten Hardwarekomponenten, wie beispielsweise anwendungsspezifischen integrierten Schaltungen (ASICs), feldprogrammierbaren Gate Arrays (FPGAs), Zustandsmaschinen, Steuerungen oder anderen Hardwarekomponenten oder Vorrichtungen oder einer Kombination von Hardware, Software und Firmwarekomponenten verkörpert werden.
Während exemplarische Ausführungsformen vorstehend beschrieben sind, ist es nicht beabsichtigt, dass diese Ausführungsformen alle möglichen Formen beschreiben, die von den Ansprüchen beinhaltet sind. Vielmehr dienen die in der Spezifikation verwendeten Worte der Beschreibung und nicht der Beschränkung und es versteht sich, dass verschiedene Änderungen vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Wie zuvor beschrieben, können die Merkmale verschiedener Ausführungsformen kombiniert werden, um weitere Ausführungsformen des Systems oder des Verfahrens zu bilden, die nicht explizit beschrieben oder veranschaulicht werden. Während verschiedene Ausführungsformen beschrieben worden sein könnten, um Vorteile zu bieten oder gegenüber anderen Ausführungsformen oder Implementierungen des Standes der Technik in Bezug auf eine oder mehrere gewünschte Merkmale bevorzugt zu sein, werden Fachleute auf dem Gebiet erkennen, dass ein oder mehrere oder Eigenschaften beeinträchtigt werden können, um gewünschte Gesamtsystemattribute zu erreichen, die von der spezifischen Anwendung und Implementierung abhängen. Diese Attribute können Kosten, Festigkeit, Haltbarkeit, Lebenszykluskosten, Marktfähigkeit, Aussehen, Verpackung, Größe, Gebrauchstauglichkeit, Gewicht, Herstellbarkeit, Leichtigkeit der Montage usw. beinhalten, sind aber nicht darauf beschränkt. Daher sind Ausführungsformen, die nach dem Stand der Technik, in Bezug auf eine oder mehrere Eigenschaften als weniger wünschenswert als andere Ausführungsformen oder Implementierungen beschrieben sind, nicht außerhalb des Schutzumfangs der Offenbarung und können für bestimmte Anwendungen wünschenswert sein.
Raumbezogene Begriffe, wie „innere“, „äußere“, „unterhalb“, „unter“, „untere“, „über“, „obere“ und dergleichen, können hierin zur besseren Beschreibung der Beziehung von einem Element oder einer Ausrüstung zu anderen Elementen oder Eigenschaften, wie in den Figuren dargestellt, verwendet werden. Räumlich relative Begriffe können bezwecken, unterschiedliche Ausrichtungen der Vorrichtung im Gebrauch oder Betrieb neben der in den Figuren dargestellten Orientierung zu umspannen. Wird beispielsweise die Vorrichtung in den Figuren umgedreht, würden Elemente, die als „unterhalb“ von oder „unter“ anderen Elementen oder Eigenschaften beschrieben werden, dann „oberhalb“ anderer Elemente oder Eigenschaften ausgerichtet sein. Daher kann der Beispielbegriff „unterhalb“ sowohl eine Orientierung von oberhalb als auch von unterhalb enthalten. Die Vorrichtung kann anderweitig ausgerichtet werden (um 90 Grad gedreht oder in andere Richtungen) und die hierin verwendeten räumlich bezogenen Schlagworte können dementsprechend interpretiert werden.
Keines der in den Ansprüchen genannten Elemente ist als Mittel für eine Funktion (sog. „means plus function“) nach 35 U.S.C. §112(f) zu verstehen, es sei denn, ein Element wird ausdrücklich unter Verwendung des Begriffes „means for“ (Mittel für) beschrieben oder falls in einem Verfahrensanspruch die Begriffe „Vorgang für“ oder „Schritt für“ in den Patentansprüchen verwendet werden.

Claims

System zum Identifizieren von Beeinträchtigungen des Sichtsensors, wobei das System Folgendes umfasst: einen Speicher, der so konfiguriert ist, dass er eine oder mehrere ausführbare Anweisungen umfasst; eine Steuerung, die so konfiguriert ist, dass sie die ausführbaren Anweisungen ausführt; ein Sichtsensor, der sich an einem Außenbereich eines Fahrzeugs befindet, wobei der Sichtsensor so konfiguriert ist, dass er mindestens ein Bild von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung aufnimmt; und worin die ausführbaren Anweisungen es der Steuerung ermöglichen: eine von einer mobilen Computervorrichtung übermittelte Anforderung zu empfangen; als Reaktion auf die Anforderung ein Aktivierungssignal an den Sichtsensor zu übermitteln, wobei das Aktivierungssignal zum Aktivieren des Sichtsensors konfiguriert ist, um mindestens ein Bild von mindestens einem Teil der Umgebung um das Fahrzeug herum aufzunehmen; Empfangen des mindestens eines erfassten Bildes vom Sichtsensor; Bestimmen, ob die Ansicht des mindestens einen erfassten Bildes mindestens eine im Wesentlichen beeinträchtigende Ablagerung umfasst; und basierend auf dem Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens eine im Wesentlichen beeinträchtigende Ablagerung umfasst, Erzeugen einer Benachrichtigung und Übermitteln der Benachrichtigung an die mobile Computervorrichtung.
System nach Anspruch 1, worin die ausführbaren Anweisungen der Steuerung ferner ermöglichen, als Reaktion auf die Anforderung ein Fernstartsignal an das Fahrzeug zu übermitteln, wobei das Fernstartsignal zum Einschalten des Fahrzeugs konfiguriert ist.
System nach Anspruch 1, worin der Sichtsensor eine Kamera ist und die Benachrichtigung konfiguriert ist, um eine Warnung zum Entfernen des mindestens einen wesentlich beeinträchtigenden Ablagerungsobjektes vom Objektiv der Kamera bereitzustellen.
System nach Anspruch 1, worin das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens eine im Wesentlichen beeinträchtigende Ablagerung umfasst, ferner auf einem Ergebnis von mindestens einer Objekterkennungstechnik basiert, die in einem Datenzentrum durchgeführt wird.
System nach Anspruch 1, worin das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens eine im Wesentlichen beeinträchtigende Ablagerung umfasst, ferner auf einem Ergebnis von mindestens einer Objekterkennungstechnik basiert, die bei einem Sichtsensor durchgeführt wird.
Verfahren zum Identifizieren einer Beeinträchtigung des Visionssensors, wobei das Verfahren Folgendes umfasst: Bereitstellen eines Speichers, der so konfiguriert ist, dass er eine oder mehrere ausführbare Anweisungen umfasst; Bereitstellen einer Steuerung, die so konfiguriert ist, dass sie die ausführbaren Anweisungen ausführt; Bereitstellen eines Sichtsensors, der sich an einer Fahrzeugaußenseite befindet, wobei der Sichtsensor zum Aufnehmen mindestens eines Bildes von mindestens einem Teil einer das Fahrzeug umgebenden Umgebung konfiguriert ist; Empfangen (über die Steuerung) einer Anforderung, die von einer mobilen Computervorrichtung übermittelt wird; als Reaktion auf die Anforderung, Übermitteln (über die Steuerung) eines Aktivierungssignals an den Sichtsensor, wobei das Aktivierungssignal zum Aktivieren des Sichtsensors konfiguriert ist, um mindestens ein Bild von mindestens einem Teil der Umgebung um das Fahrzeug herum aufzunehmen; Empfangen (über die Steuerung) des mindestens einen erfassten Bildes vom Sichtsensor; Bestimmen (über die Steuerung), ob die Ansicht des mindestens einen erfassten Bildes mindestens eine im Wesentlichen beeinträchtigende Ablagerung umfasst; und basierend auf dem Bestimmungsschritt, das Erzeugen und Übermitteln (über die Steuerung) einer Benachrichtigung an die mobile Computervorrichtung.
Verfahren nach Anspruch 6, ferner umfassend, als Reaktion auf die Anforderung, das Übermitteln (über die Steuerung) eines Fernstartsignals an das Fahrzeug, wobei das Fernstartsignal zum Einschalten des Fahrzeugs konfiguriert ist.
Verfahren nach Anspruch 6, worin der Sichtsensor eine Kamera ist und die Benachrichtigung konfiguriert ist, um eine Warnung zum Entfernen des mindestens einer im Wesentlichen beeinträchtigenden wetterbedingten Ablagerung vom Objektiv der Kamera bereitzustellen.
Verfahren nach Anspruch 6, worin das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens eine im Wesentlichen beeinträchtigende wetterbedingte Ablagerung umfasst, ferner auf einem Ergebnis von mindestens einer Objekterkennungstechnik basiert, die in einem Datenzentrum durchgeführt wird.
Verfahren nach Anspruch 6, worin das Bestimmen, ob die Ansicht des mindestens einen aufgenommenen Bildes mindestens eine im Wesentlichen beeinträchtigende wetterbedingte Ablagerung umfasst, ferner auf einem Ergebnis von mindestens einer Objekterkennungstechnik basiert, die an einem Sichtsensor durchgeführt wird.