-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Diese Erfindung bezieht sich im Allgemeinen auf Fahrzeugelektroniksysteme und insbesondere auf die Integration einer mit Kamera ausgestatteten in der Hand gehaltenen mobilen Vorrichtung in elektronische Systeme eines Fahrzeugs, so dass die Abbildungsfähigkeiten der mobilen Vorrichtung vom Fahrzeug genutzt werden können und eine Fahrzeugdynamik und andere Informationen von den Systemen des Fahrzeugs durch die mobile Vorrichtung genutzt werden können.
-
2. Erörterung des Standes der Technik
-
Viele moderne Fahrzeuge enthalten anspruchsvolle elektronische Systeme, die Sicherheits-, Navigations-, Kommunikations-, Informations- und Unterhaltungssysteme umfassen. Die Kosten der Verarbeitungseinheiten, die diese Systeme beherbergen, haben drastisch abgenommen und die Anwendungssoftware selbst kann in vielen Modellen eines Fahrzeugherstellers mit wenig Zusatzkosten aufgenommen werden, sobald die Anwendung entwickelt ist. Um die Fahrzeugkosten niedrig zu halten, kann jedoch ein Hersteller in kostengünstigere Fahrzeugmodelle keine Kamera aufnehmen. Oder einige Fahrzeugmodelle können nur eine Rückfahrkamera, die von einem Rückfahrunterstützungssystem verwendet wird, aber keine nach vorn blickende Kamera für andere Anwendungen aufweisen. Und einige der vorstehend erwähnten Fahrzeugsysteme können nicht alle ihrer Funktionen ohne Bildeingabe von einer Kamera durchführen oder könnten mehr Merkmale oder Funktionen mit einer Bildeingabe von einer zusätzlichen Kamera bereitstellen.
-
Gleichzeitig wurden persönliche mobile elektronische Vorrichtungen, die mit Kameras ausgestattet sind, sehr alltäglich. Diese Vorrichtungen umfassen gewöhnliche Mobiltelefone, von denen die meisten neuen Modelle eine Kamera sowie zusätzlich zu Kamera- und Mobiltelefonfähigkeiten anspruchsvollere Anwenderproduktivitätsvorrichtungen, die sich durch Hunderte von Anwendungen wie z. B. Navigationsanwendungen und Anwendungen mit erweiterter Realität auszeichnen können, aufweisen. Die meisten mit Kamera ausgestatteten mobilen Vorrichtungen umfassen sowohl Video- als auch Standbildaufnahmefähigkeit. Da die Lebensdauer von mobilen elektronischen Vorrichtungen viel kurzer ist als die Lebensdauer von Fahrzeugen und die Kosten von mobilen elektronischen Vorrichtungen viel niedriger sind als die Kosten von Fahrzeugen, haben viele Leute eine fortschrittlichere Abbildungsfähigkeit in ihrem Telefon oder ihrer mobilen Vorrichtung als in ihrem Fahrzeug.
-
Es besteht eine Gelegenheit, die latenten Fähigkeiten, die in den mobilen elektronischen Vorrichtungen von vielen Leuten existieren, zu nutzen, indem sie mit elektronischen Systemen eines Fahrzeugs integriert werden. Diese Integration würde Fahrzeugfahrer mit den besten Fähigkeiten sowohl der mobilen Vorrichtung als auch des Fahrzeugs versehen, während sie ermöglicht, dass Kunden ihre Investition in die neueste Mobilvorrichtungstechnologie durch die Verwendung der mobilen Vorrichtung im Fahrzeug zu Nutze machen.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Gemäß den Lehren der vorliegenden Erfindung werden ein Verfahren und ein System für die Integration einer mit Kamera ausgestatteten in der Hand gehaltenen mobilen Vorrichtung in elektronische Systeme eines Fahrzeugs geschaffen, so dass die Abbildungsfähigkeiten der mobilen Vorrichtung vom Fahrzeug genutzt werden können und Informationen von den Systemen des Fahrzeugs durch die mobile Vorrichtung genutzt werden können. Die mobile Vorrichtung wird in einer Montagevorrichtung, vorzugsweise am Armaturenbrett des Fahrzeugs, angeordnet. Die Montagevorrichtung kann Leistung zur mobilen Vorrichtung liefern und kann so ausgelegt sein, dass sie die Kamera der mobilen Vorrichtung auf der Basis von Fahrbedingungen dynamisch ausrichtet. Die mobile Vorrichtung kann mit den Bordsystemen des Fahrzeugs entweder drahtlos oder über eine verdrahtete Verbindung, die über die Montagevorrichtung geschaffen wird, kommunizieren. Video- und/oder Standbilder von der Kamera der mobilen Vorrichtung werden zu einem Prozessor an Bord des Fahrzeugs geliefert und diese Bilder können vom Fahrzeug verwendet werden, um entweder Bilder von einer Bordfahrzeugkamera zu ergänzen oder dass stattdessen eine Bordfahrzeugkamera vorhanden ist. Die mobile Vorrichtung kann auch Informationen wie z. B. Fahrzeugdynamikdaten vom Fahrzeug empfangen und die Informationen in Anwendungen in der mobilen Vorrichtung verwenden. Die Rechenarbeitslast kann zwischen dem Prozessor an Bord des Fahrzeugs und dem Prozessor in der mobilen Vorrichtung geteilt werden.
-
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen ersichtlich.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
1 ist eine teilweise Innenansicht eines Fahrzeugs, die Elemente eines Systems zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung mit dem Fahrzeug zeigt;
-
2 ist ein Ablaufplandiagramm eines ersten Prozesses zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung mit elektronischen Systemen eines Fahrzeugs; und
-
3 ist ein Ablaufplandiagramm eines zweiten Prozesses zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung mit elektronischen Systemen eines Fahrzeugs.
-
AUSFÜHRLICHE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Die folgende Erörterung der Ausführungsformen der Erfindung, die sich auf ein Verfahren und ein System zum Integrieren einer mit Kamera ausgestatteten in der Hand gehaltenen mobilen Vorrichtung mit elektronischen Systemen eines Fahrzeugs richtet, ist dem Wesen nach lediglich beispielhaft und soll die Erfindung oder ihre Anwendungen oder Verwendungen keineswegs begrenzen.
-
Viele Systeme wurden für Fahrzeuge entwickelt, die verbesserte Sicherheit oder verbesserten Komfort für den Fahrer schaffen, indem sie eine Bildeingabe von einer Bordkamera verwenden. Tatsächlich umfassen viele Fahrzeuge nun Systeme, die eine Eingabe von zwei oder mehr Kameras erfordern, damit sie arbeiten. Eine nach vorn blickende Kamera kann beispielsweise für die Kollisionsvermeidung und Fahrspurabweichungswarnung verwendet werden, eine nach hinten blickende Kamera kann für eine Rückfahrunterstützung verwendet werden, und eine auf den Fahrer fokussierte Kamera kann für die Fahreraufmerksamkeitsüberwachung verwendet werden. Diese Systeme könnten, sobald sie entwickelt sind, über viele Modelle eines Fahrzeugherstellers mit geringen Mehrkosten abgesehen von den Kosten der Kameras eingesetzt werden. Folglich umfassen viele Fahrzeugmodelle, insbesondere kostengünstigere Modelle, nicht die Kameras, die erforderlich sind, um einige der existierenden Sicherheits- und Komfortsysteme zu unterstützen. Die Ausführungsformen der vorliegenden Erfindung wenden sich dieser Situation durch Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung mit elektronischen Systemen eines Fahrzeugs zu, was folglich ermöglicht, dass Bilder von der mobilen Vorrichtung von den Systemen des Fahrzeugs genutzt werden.
-
1 ist eine teilweise Innenansicht eines Fahrzeugs 10, die Elemente eines Systems 12 zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung 14 mit den anderen Systemen des Fahrzeugs zeigt. Die mobile Vorrichtung 14 kann eine beliebige Vorrichtung sein, die mit einer Kamera ausgestattet ist und mit anderen Vorrichtungen kommunizieren kann. Die mobile Vorrichtung 14 wäre am üblichsten ein Mobiltelefon, das sich vom einfachsten mit Kamera ausgestatteten Mobiltelefon bis zur anspruchsvollsten mit Anwendungen beladenen Anwenderproduktivitätsvorrichtung erstrecken könnte. Die mobile Vorrichtung 14 wird in einer Montagevorrichtung 16 angeordnet, die zumindest die mobile Vorrichtung 14 an einem festen Ort hält. Zusätzliche Merkmale können durch das System 12 bereitgestellt werden, wenn die Montagevorrichtung 16 die Fähigkeit hat, sich um eine oder mehrere Achsen zu drehen, um die Kamera in der mobilen Vorrichtung 14 in einer bevorzugten Richtung auf der Basis der Fahrsituation auszurichten und das Ziel der Kamera einzustellen, um die Fahrzeugbewegung zu kompensieren. Dies wird nachstehend im Einzelnen erörtert. Die Montagevorrichtung 16 kann auch Leistung zur mobilen Vorrichtung 14 durch einen integrierten Draht und Stecker liefern, so dass die Vorrichtung 14 nicht allein mit Batterieleistung laufen muss, wenn sie im Fahrzeug 10 verwendet wird.
-
Ein Prozessor 18 im Fahrzeug 10 führt mehrere Funktionen durch, einschließlich der Kommunikation mit der mobilen Vorrichtung 14 über eine Kommunikationsverbindung 20, die nachstehend beschrieben wird. Eine spezifische Funktion des Prozessors 18 besteht darin, den Betrieb der Kamera in der mobilen Vorrichtung 14 zu steuern. Dies kann das Steuern der Zielrichtung der mobilen Vorrichtung 14 durch Drehen der Montagevorrichtung 16 umfassen. Der Prozessor 18 kann auch Befehle an die mobile Vorrichtung 14 hinsichtlich des Betriebs der Kamera ausgeben, wie z. B. einen Hineinzoom- oder Herauszoombefehl, einen Befehl zum Erfassen und Übertragen von einem oder mehreren Standbildern oder einen Befehl zum Streamen von Videobildern.
-
Der Prozessor 18 kann auch Daten zur mobilen Vorrichtung 14 liefern, die die Vorrichtung 14 in ihren Anwendungen verwenden kann. Daten, die vom Prozessor 18 zur mobilen Vorrichtung 14 geliefert werden könnten, umfassen beliebige Daten, die auf dem Fahrzeugbus existieren, wie z. B. Fahrzeuggeschwindigkeit, Getriebeauswahl (vorwärts oder rückwärts), Fahrzeugfahrtrichtung und so weiter. Der Prozessor 18 kann auch irgendeinen Parameter- oder Datenwert, der dem Prozessor 18 bekannt ist, von irgendeinem vom Prozessor 18 oder einem anderen Prozessor an Bord des Fahrzeugs 10 beherbergten System zur mobilen Vorrichtung 14 liefern. Viele verschiedene Typen von Parameter- und Datenwerten vom Fahrzeug 10 könnten von der mobilen Vorrichtung 14 verwendet werden, um die Robustheit von Anwendungen, die auf der mobilen Vorrichtung 14 laufen, zu verbessern.
-
Zusätzlich zur Kommunikation mit der mobilen Vorrichtung 14 kann der Prozessor 18 auch andere Fahrzeugsysteme beherbergen, wie z. B. Sicherheitssysteme, Navigationssysteme, Kommunikationssysteme und Informations- und Unterhaltungssysteme. Diese anderen Fahrzeugsysteme könnten auch in anderen Prozessoren (nicht dargestellt) an Bord des Fahrzeugs 10 beherbergt sein, wobei der Prozessor 18 mit den anderen Prozessoren in einer Zweiwegkommunikation steht. Die erwähnten Fahrzeugsysteme, ob sie im Prozessor 18 oder in anderen Prozessoren beherbergt sind, können vom Empfang der Kamerabilddaten von der mobilen Vorrichtung 14 profitieren. Durch seine Beherbergung von oder Kopplung mit zahlreichen Bordfahrzeugsystemen über eine Schnittstelle kann der Prozessor 18 auch verschiedene Warnungen und Alarme aktivieren, wie z. B. jene, die von einem Fahrspurabweichungswarnsystem oder einem Fahrerschläfrigkeitsdetektionssystem ausgegeben werden würden. Der Prozessor 18 kann auch die Anzeige von Informationen und Bildern auf einer nachstehend beschriebenen Anzeigeeinheit 22 steuern. Zusammengefasst beherbergt der Prozessor 18 zahlreiche Fahrzeugsysteme oder koppelt mit ihnen über eine Schnittstelle und steuert ihre Wechselwirkung mit der mobilen Vorrichtung 14 und ihrer Kamera.
-
Die Kommunikationsverbindung 20 ermöglicht eine Zweiwegkommunikation zwischen der mobilen Vorrichtung 14 und dem Prozessor 18. Die Kommunikationsverbindung 20 kann entweder als drahtloser Kanal oder als festverdrahtete Verbindung verkörpert sein. Im Fall einer festverdrahteten Verbindung kann die Kommunikationsverbindung 20 sich typischerweise denselben Draht und Stecker, die zum Liefern von Leistung durch die Montagevorrichtung 16 zur mobilen Vorrichtung 14 verwendet werden, teilen. Wenn die Kommunikationsverbindung 20 als drahtloser Kanal verkörpert werden soll, können zweckmäßigerweise Standardprotokolle wie z. B. Bluetooth und Wi-Fi verwendet werden, da sie üblicherweise durch sowohl die Fahrzeughersteller als auch die Hersteller von drahtlosen Vorrichtungen unterstützt werden. Die Details einer Bluetooth-Implementierung werden nachstehend erörtert.
-
Bluetooth ist ein offenes, sicheres Protokoll zum drahtlosen Austauschen von Daten über kurze Distanzen von festen und mobilen Vorrichtungen. Bluetooth verwendet die Hochfrequenztechnologie (HF-Technologie) mit 2,4 Gigahertz oder GHz (2,4 × 109 Zyklen/s), um drahtlos zwischen zwei oder mehr Vorrichtungen mit einer Bruttodatenrate von bis zu 1 Megabit pro Sekunde (Mb/s) zu kommunizieren. Bluetooth schafft eine Möglichkeit zum Verbinden von und Austauschen von Informationen zwischen Vorrichtungen, wie z. B. Mobiltelefonen, Computern, Fahrzeugkommunikations- und Fahrzeugunterhaltungssystemen, Druckern, Empfängern eines globalen Positionsbestimmungssystems (GPS), Digitalkameras und Videospielkonsolen. Wenn gesagt wird, dass eine Vorrichtung Bluetooth-fähig ist, bedeutet es, dass diese Vorrichtung einen kleinen Computerchip umfasst, der den Bluetooth-Funk und die Bluetooth-Software enthält, die ermöglichen, dass diese Vorrichtung drahtlos unter Verwendung der Bluetooth-Technologie mit anderen Vorrichtungen verbindet.
-
In dem Fall, in dem die Kommunikationsverbindung 20 Bluetooth verwendet, kann die mobile Vorrichtung 14 leicht mit dem Fahrzeug 10 gepaart werden, was bedeutet, dass eine sichere drahtlose Kommunikation zwischen den beiden aufgebaut wurde. Diese Paarung muss nur einmal zwischen irgendeiner speziellen mobilen Vorrichtung und irgendeinem speziellen Fahrzeug durchgeführt werden. Danach werden jedes Mal, wenn die mobile Vorrichtung 14 in das Fahrzeug 10 gebracht wird, Bluetooth-Kommunikationen automatisch aufgebaut.
-
Verschiedene Bluetooth-Profile stehen zum Steuern von Standbild- und Videoabbildungsvorrichtungen und zum Teilen der Bilder über einen drahtlosen Bluetooth-Kanal zur Verfügung. Das Bluetooth-Basisabbildungsprofil (BIF) schafft ein Protokoll, um einer Vorrichtung wie z. B. dem Prozessor 18 zu ermöglichen, einer anderen Vorrichtung wie z. B. der mobilen Vorrichtung 14 zu befehlen, ein Standbild aufzunehmen und das Bild zum Prozessor 18 zurück zu senden. Andere Kamerasteueroperationen werden im Basisabbildungsprofil auch unterstützt. Das Bluetooth-Videoverteilungsprofil (VDP) ist ein Protokoll, das ebenso für die Aufnahme und Übertragung von Videobildern zwischen der mobilen Vorrichtung 14 und dem Prozessor 18 verwendet werden kann.
-
Die Anzeigeeinheit 22 in Kombination mit dem Prozessor 18 liefert eine visuelle Anzeige von Bildern, Nachrichten oder Daten, wie durch den Prozessor 18 angewiesen. Die Anzeigeeinheit 22 könnte beispielsweise ein Rückfahrkamerabild, wenn das Fahrzeug 10 rückwärts fährt, ein Bild im Stil erweiterter Realität, einschließlich Navigationsdaten und Daten eines interessierenden Punkts, wenn das Fahrzeug 10 vorwärts fährt, und Statusmeldungen zu irgendeinem Zeitpunkt anzeigen. Dies geschieht zusätzlich zu den Typen von Anzeigefunktionen, die normalerweise durch eine typische Anzeige bearbeitet werden, wie z. B. der Anzeigeeinheit 22 im Fahrzeug 10, einschließlich DVD-Videoausgang und Audiosystemsteuerungen und Informationen. Die Anzeigeeinheit 22 kann auch als Mensch-Maschine-Schnittstelle (HMI) dienen, indem sie sich durch Berührungsbildschirmfähigkeit auszeichnet, so dass ein Benutzer Menüauswahlen durchführen kann, um den Betrieb des Systems 12 oder von beliebigen anderen Bordsystemen zu steuern.
-
2 ist ein Ablaufplandiagramm 40 eines ersten Prozesses zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung wie z. B. der mobilen Vorrichtung 14 mit elektronischen Systemen eines Fahrzeugs. Im Kasten 42 wird eine Zweiwegkommunikation zwischen der mobilen Vorrichtung 14 und dem Fahrzeug 10, insbesondere dem Prozessor 18, aufgebaut. Die Kommunikationsverbindung 20, ob festverdrahtetet oder drahtlos, wird im Kasten 42 verwendet, um eine Kommunikation aufzubauen. Von nun an werden im Prozess Bilder und andere Daten kontinuierlich zwischen der mobilen Vorrichtung 14 und dem Prozessor 18 übertragen. Im Kasten 44 bewertet der Prozessor 18 das gegenwärtige Fahrszenario auf der Basis von Bildern und Daten von der mobilen Vorrichtung 14 und Daten von allen anderen Sensoren und Systemen, die im Fahrzeug 10 zur Verfügung stehen. Die Getriebeauswahl kann beispielsweise bewertet werden, um festzustellen, ob das Fahrzeug 10 vorwärts oder rückwärts fährt. Wenn das Getriebe sich in einem Vorwärtsgang befindet, dann können die Fahrzeuggeschwindigkeit, der Lenkradwinkel, der Bremszustand und andere Parameter verwendet werden, um festzustellen, ob sich das Fahrzeug in einer Manövrierumgebung mit niedriger Geschwindigkeit oder einer Autobahnfahrumgebung mit hoher Geschwindigkeit oder anderswo befindet. Viele verschiedene Typen von Fahrszenarios können definiert und im Kasten 44 auf der Basis von verfügbaren Daten über das Fahrzeug 10 und seine Umgebungen bewertet werden.
-
Im Kasten 46 bestimmt der Prozessor 18 die Priorität von zu verwendenden Systemmerkmalen auf der Basis des gegenwärtigen Fahrszenarios vom Kasten 44. Es kann eine lange Liste von Sicherheits- und Komfortsystemmerkmalen geben, die zu irgendeinem Zeitpunkt im Fahrzyklus des Fahrzeugs 10 verwendet werden können, aber nur eine kleine Anzahl von ihnen kann zu irgendeiner speziellen Zeit unter irgendeinem speziellen Fahrszenario relevant sein. Verfügbare Systemmerkmale können beispielsweise umfassen: Fahrspurabweichungswarnung (LDW), Vorwärtskollisionsvermeidung (FCA), Fahreraufmerksamkeitsalarm, Navigationsunterstützung, Verkehrsampelzustandsbestimmung und andere. Im Kasten 46 stellt der Prozessor 18 fest, welches der verfügbaren Systemmerkmale aktiv sein sollte und bestimmt auch die Priorität, die jedem aktiven Merkmal zugewiesen werden sollte, auf der Basis des gegenwärtigen Fahrszenarios. Wenn beispielsweise das Fahrzeug 10 rückwärts fährt, kann das Rückfahrunterstützungs- und Warnsystem das einzige sein, das aktiv ist, und es würde natürlich die höchste Priorität erhalten. Wenn andererseits das Fahrzeug 10 mit Autobahngeschwindigkeit fährt, können mehrere Systeme aktiv sein, wie z. B. die Fahrspurabweichungswarnung, die Vorwärtskollisionsvermeidung, der Fahreraufmerksamkeitsalarm und die Navigationsunterstützung. In einer Situation wie dieser ist es hilfreich, dass jedem aktiven Systemmerkmal eine Priorität zugewiesen wird, so dass die Verarbeitungsleistung und andere Ressourcen optimal gemanagt werden können.
-
Kriterien können zum Zuweisen von Merkmalspriorität definiert werden und der Prozessor 18 kann dazu konfiguriert sein, diese Kriterien zu verwenden. Die Kriterien könnten beispielsweise festlegen, dass mit der Sicherheit in Beziehung stehende Systemmerkmale immer eine höhere Priorität erhalten als Komfortsysteme. Im Kasten 46 wird auch das Konzept einer Vorrangabbildung eingeführt, wobei die Vorrangabbildung verwendet wird, um die Merkmalspriorität zu bestimmen. Die Vorrangabbildung bestimmt die relevantesten oder signifikantesten Faktoren in der gegenwärtigen Betriebsumgebung des Fahrzeugs 10 und weist auf der Basis dessen eine Merkmalspriorität zu. In dem Beispiel, in dem das Fahrzeug 10 mit Autobahngeschwindigkeit fährt, können die Fahrspurabweichungswarnung und die Vorwärtskollisionsvermeidung die höchste Priorität auf der Basis von vorprogrammierten Kriterien aufweisen. Die Vorrangabbildung könnte jedoch verwendet werden, um der Vorwärtskollisionsvermeidung oberste Priorität zu geben, wenn beispielsweise ein potentielles Hindernis im Weg des Fahrzeugs 10 detektiert wird. In dieser Weise kann der Prozessor 18 im Kasten 46 dynamisch eine Merkmalspriorität zuweisen.
-
Im Kasten 48 wird die Verarbeitung auf der Basis der im Kasten 46 zugewiesenen Merkmalspriorität optimiert. Das Optimieren der Verarbeitung im Kasten 48 umfasst sowohl das Bestimmen, was zu berechnen ist, wie durch die im Kasten 46 definierte Merkmalspriorität bestimmt, als auch, wie Berechnungen zwischen dem Prozessor 18 und dem internen Prozessor in der mobilen Vorrichtung 14 auszugleichen sind. Viele moderne Mobiltelefone und Anwenderproduktivitätsvorrichtungen umfassen einen internen Prozessor mit ziemlich hoher Leistung. Es ist möglich, dass der Prozessor 18 des Fahrzeugs weiß, welche Art von Prozessor in der mobilen Vorrichtung 14 zur Verfügung steht, und auch weiß, welche Anwendungen in der mobilen Vorrichtung 14 zur Verfügung stehen. Mit diesen Informationen kann der Prozessor 18 bestimmen, welche Rechenaufgaben vom Prozessor 18 und von der mobilen Vorrichtung 14 übernommen werden sollten, und welche Priorität jeder Aufgabe zugewiesen werden sollte. Wenn die mobile Vorrichtung 14 beispielsweise eine Anwenderproduktivitätsvorrichtung der oberen Preisklasse ist, kann sie eine fortschrittliche Navigationsunterstützungsanwendung und sogar eine Fahrspurabweichungswarnung umfassen. In Kenntnis dessen kann der Prozessor 18 die mobile Vorrichtung 14 anweisen, dem Fahrbahnabweichungswarnmerkmal eine hohe Rechenpriorität zu geben und der Navigationsunterstützungsanwendung eine mittlere Priorität zu geben, während der Prozessor 18 selbst der Vorwärtskollisionsvermeidung höchste Priorität gibt. Dies ist nur ein einfaches Beispiel dessen, wie die Rechenverarbeitung im Kasten 48 ausgeglichen und optimiert werden kann.
-
Es ist auch möglich, im Kasten 48 Rechenaufgaben von der mobilen Vorrichtung 14 an den Prozessor 18 abzuladen oder zu verteilen. Zu gewissen Zeiten können die Anwendungen, die sich im Prozessor 18 befinden, nicht sehr viel Rechenlast erzeugen. Zu diesen Zeiten kann der Prozessor 18 die Rechenarbeitslast von der mobilen Vorrichtung 14 übernehmen. Das Umgekehrte gilt auch – das heißt, die mobile Vorrichtung 14 kann Rechenaufgaben vom Prozessor 18 unter bestimmten Umständen übernehmen können. Dieser Ausgleich und diese Verteilung der Rechenlast wird alles im Kasten 48 gehandhabt.
-
Im Kasten 50 werden die Ausgaben der aktiven Systemmerkmale bereitgestellt. Dies umfasst akustische und visuelle Alarme, die durch mit der Sicherheit in Beziehung stehende Systeme ausgegeben werden müssen, Informationen, die auf der Anzeigeeinheit 22 oder der mobilen Vorrichtung 14 angezeigt werden, und sogar Fahrzeugeingriffe wie z. B. Bremsen oder Lenken, um eine Kollision zu vermeiden. In der Realität läuft der im Ablaufplandiagramm 40 gezeigte Prozess mit einer sehr hohen Geschwindigkeit in einer Schleife, so dass die Alarme und Anzeigen im Kasten 50 im Wesentlichen in Echtzeit, das heißt mindestens mehrere Male pro Sekunde, aktualisiert werden.
-
Im Kasten 52 wird das Fahrszenario, das anfänglich im Kasten 44 bewertet wurde, auf der Basis der letzten Informationen aktualisiert. Der Prozess läuft dann in einer Schleife zum Kasten 46 zurück, in dem die Priorität von Systemmerkmalen erneut bestimmt wird, und so weiter.
-
3 ist ein Ablaufplandiagramm 60 eines zweiten Prozesses zum Integrieren einer mit Kamera ausgestatteten mobilen Vorrichtung wie z. B. der mobilen Vorrichtung 14 mit elektronischen Systemen eines Fahrzeugs. Der Prozess beginnt mit dem Aufbauen von Kommunikationen im Kasten 62, dem Auswerten des Fahrszenarios im Kasten 64 und dem Bestimmen der Merkmalspriorität im Kasten 66. Diese Schritte sind dieselben wie in den Kästen 42, 44 bzw. 46 des Ablaufplandiagramms 40 beschrieben.
-
Im Kasten 68 wird die Verarbeitung auf der Basis der im Kasten 66 zugewiesenen Merkmalspriorität optimiert. Diese Aktivität ist dieselbe wie für den Kasten 48 des Ablaufplandiagramms 40 beschrieben. Im Kasten 70 wird die Erfassung von Bildern und anderen Daten auch auf der Basis der im Kasten 66 zugewiesenen Merkmalspriorität optimiert. Wie vorher beschrieben, wird angenommen, dass die mobile Vorrichtung 14 eine Kamera zum Erfassen von Stand- und/oder Videobildern umfasst. Das Fahrzeug 10 kann auch eine Kamera aufweisen oder nicht und kann tatsächlich mehr als eine Kamera aufweisen, wie z. B. eine nach vorn blickende Kamera, eine nach hinten blickende Kamera und/oder eine auf den Fahrer fokussierte Kamera. Im Kasten 70 werden das Kamerablickfeld (Ziel und Zoom), der Brennpunkt, die Kalibrierung und andere Parameter alle eingestellt, um die Bildaufnahme zu optimieren.
-
Im Kasten 70 kann der Prozessor 18 mit den Informationen darüber, welche Kameras an Bord sind, und der Merkmalspriorität vom Kasten 66 bestimmen, welche Bilder von jeder Kamera aufgenommen werden sollten und wie die Bilder in Merkmalsberechnungen zu verwenden sind, die gegenwärtig durchgeführt werden. Außerdem kann der Prozessor 18 der Montagevorrichtung 16 befehlen, sich zu drehen, um die Kamera in der mobilen Vorrichtung 14 in eine spezielle Richtung auszurichten. In einer Situation, in der das Fahrzeug 10 keine eigenen Kameras umfasst, kann der Prozessor 18 beispielsweise im Kasten 70 bestimmen, dass die Kamera in der mobilen Vorrichtung 14 für normales Fahren nach vorn gerichtet werden sollte, mit geringfügigen Drehungen nach links oder rechts, um bessere Bilder von potentiellen Hindernissen oder anderen Objekten zu erhalten. Wenn das Fahrzeug 10 eine nach vorn blickende Kamera umfasst, dann kann der Prozessor 18 alternativ im Kasten 70 bestimmen, dass die Kamera in der mobilen Vorrichtung 14 während Autobahnfahren auf den Fahrer gerichtet werden sollte, wobei somit eine Quelle zur Bildeingabe für die Fahreraufmerksamkeitsbewertung geschaffen wird.
-
Viele verschiedene Abbildungsszenarios sind in Abhängigkeit von der Anzahl und vom Typ von Kameras an Bord und der Priorität von Systemmerkmalen, die gegenwärtig aktiv sind, möglich. In einer Situation, in der das Fahrzeug 10 eine oder mehrere eigene Kameras aufweist, kann bestimmt werden, dass die Kamera in der mobilen Vorrichtung 14 Bilder aufnehmen sollte, die ein ähnliches Blickfeld zu einer Fahrzeugkamera enthalten. In dieser Situation könnten die zwei ähnlichen Bilder in einem Bildfusionsalgorithmus verarbeitet werden, um eine Bilddatenanalyse mit höherer Qualität bereitzustellen oder von den stereoskopischen Eigenschaften von zwei Bildern, die von geringfügig verschiedenen Orten aufgenommen werden, zu profitieren.
-
Das Optimieren der Aufnahme im Kasten 70 kann auch mehr als nur die Kameras an Bord des Fahrzeugs 10 und innerhalb der mobilen Vorrichtung 14 umfassen. Andere Datenquellen könnten auch auf der Basis der gegenwärtigen Merkmalspriorität aktiviert oder deaktiviert werden, einschließlich einer GPS-Einheit in der mobilen Vorrichtung 14 und einer Radareinheit an Bord des Fahrzeugs 10, falls es so ausgestattet ist. Nach der Optimierung der Verarbeitung und Aufnahme in den Kästen 68 und 70 werden im Kasten 72 Alarme geliefert und Anzeigen werden aktualisiert und das Fahrszenario wird im Kasten 74 aktualisiert, in derselben Weise wie diese Schritte in den Kästen 50 bzw. 52 des Ablaufplandiagramms 40 durchgeführt wurden.
-
In einer anderen Ausführungsform der vorliegenden Erfindung können die Kästen 68 und 70 umgekehrt sein – das heißt das Optimieren der Aufnahme kann vor dem Optimieren der Verarbeitung durchgeführt werden. Hier läuft der Prozess wieder sehr schnell ab, so dass eine sehr geringe Zeitverzögerung zwischen der Aufnahme im Kasten 70 einer Schleife des Prozesses und der Verarbeitung im Kasten 68 der nächsten Schleife bestehen würde. Trotzdem kann es in einigen Implementierungen vorteilhaft sein, den Aufnahmeoptimierungsschritt vor dem Verarbeitungsoptimierungsschritt und in anderen Implementierungen umgekehrt anzuordnen.
-
Andere Wechselwirkungen können zwischen der mobilen Vorrichtung 14 und dem Prozessor 18 während der vorstehend beschriebenen Prozesse stattfinden. Die mobile Vorrichtung 14 könnte beispielsweise mit dem Fahrzeug in Beziehung stehende Anwendungen bieten, wie z. B. Fahrspurabweichungswarnung, selbst wenn das Fahrzeug 10 dies nicht tut. In einer Situation wie dieser wäre es besonders hilfreich, dynamische Fahrzeugzustandsdaten und andere Daten wie z. B. Gierrate und Lenkradwinkel vom Prozessor 18 zur mobilen Vorrichtung 14 zu liefern. Außerdem könnten andere Typen von Daten neben Bilddaten durch die mobile Vorrichtung 14 zum Prozessor 18 geliefert werden. Dies könnte beispielsweise Daten von einem GPS-Empfänger in der mobilen Vorrichtung 14 umfassen. Die mobile Vorrichtung 14 könnte sogar die graphische Ausgabe von irgendeiner ihrer Anwendungen zum Prozessor 18 zur Anzeige auf der Anzeigeeinheit 22 liefern. Die mobile Vorrichtung 14 könnte auch ihre eingebaute Telefonfähigkeit verwenden, um über einen Mobiltelefonanruf mit einer Datenquelle wie z. B. einem Navigationsdienst zu verbinden und die Daten von der Datenquelle zum Prozessor 18 zu liefern.
-
Die vorstehend beschriebenen Ausführungsformen bieten eine Anzahl von Vorteilen für den Fahrzeughersteller und für den Verbraucher. Die Fähigkeit, die Rechenlast zwischen dem Prozessor 18 und der mobilen Vorrichtung 14 zu teilen, ermöglicht, dass beide Vorrichtungen effektiver arbeiten, und schafft schließlich mehr nützliche Informationen für den Fahrer des Fahrzeugs 10. Die Fähigkeit, mehrere Kamerabilder gleichzeitig aufzunehmen, wie z. B. vorwärts blickendes Video für erweiterte Realität zusammen mit einem auf den Fahrer fokussierten Bild für Fahreraufmerksamkeit, bietet die beste von sowohl Sicherheits- als auch Komfortanwendungen. Diese Merkmale können mit minimalen Zusatzkosten geschaffen werden, da viele Leute bereits mit einer Kamera ausgestattete mobile Vorrichtungen besitzen, wie z. B. die mobile Vorrichtung 14, die integriert werden können. Im Gegensatz zu elektronischen Systemen, die in eine Infrastruktur eines Fahrzeugs eingebaut sind, macht es die vorliegende Erfindung schließlich leicht, die mobile Vorrichtung 14 auf ein neueres und fähigeres Modell zu aktualisieren, da die Bedürfnisse des Verbraucherelektronikmarkts diese Vorrichtungen weiterhin leistungsstärker und erschwinglicher machen.
-
Die vorangehende Erörterung offenbart und beschreibt lediglich beispielhafte Ausführungsformen der vorliegenden Erfindung. Ein Fachmann auf dem Gebiet erkennt aus einer solchen Erörterung und aus den begleitenden Zeichnungen und Ansprüchen leicht, dass verschiedene Änderungen, Modifikationen und Variationen darin durchgeführt werden können, ohne vom Gedanken und Schutzbereich der Erfindung, wie in den folgenden Ansprüchen definiert, abzuweichen.
