-
GEBIET
-
Die vorliegende Erfindung bezieht sich allgemein auf Verbesserungen für Fahrzeuge mit Modi eines automatisierten Fahrens und insbesondere auf Verfahren und Systeme, die ein Fahrerlebnis eines Modus eines automatisierten Fahrens über die Verwendung von Straßenniveaubildern, wie beispielsweisejenen, die durch stationäre Verkehrskameras bereitgestellt werden, verbessem.
-
HINTERGRUND
-
Es ist bekannt, Host-Fahrzeuge mit Objektdetektionsfähigkeiten, wie beispielsweise Kameras, Laser, Ultraschall und Sensoren, die am Fahrzeug angebracht sind, auszustatten. Diese Typen von Einrichtungen weisen ein Sichtfeld auf, das sich typischerweise eine bestimmte Distanz vor dem Host-Fahrzeug erstreckt, und können das Vorhandensein von Zielfahrzeugen und anderen Objekten sowie bestimmte Merkmale bei bevorstehenden Straßensegmenten detektieren. Der Ausgang, der durch diese am Fahrzeug angebrachten Einrichtungen bereitgestellt wird, kann eine Information bezüglich potentieller bevorstehender Gefahren oder Probleme bereitstellen, diese Information ist jedoch für gewöhnlich auf das Sichtfeld, die Reichweite der Einrichtung oder den geschätzten Horizont einer digitalen Karte beschränkt oder begrenzt.
-
Es kann erwünscht sein, unter bestimmten Umständen, wie jene, denen während der Verwendung von Modi eines automatisierten oder autonomen Fahrens begegnet wird, eine Information über Straßensegmente zu erhalten, die jenseits des Sichtfelds von am Fahrzeug angebrachten Einrichtungen liegen (d. h. weit vorausblickende Erfassung). Ein Zugriff auf eine derartige Information kann einem Fahrzeug, das in einem Modus eines automatisierten Fahrens betrieben wird, eine erweiterte Warnung hinsichtlich einer Gefahr oder eines Problems bereitstellen, so dass eine oder mehrere Abhilfemaßnahmen getroffen werden können.
-
ZUSAMMENFASSUNG
-
Gemäß einer Ausführungsform umfasst ein Verfahren zum Verbessern eines Modus eines automatisierten Fahrens eines Host-Fahrzeugs die Schritte, dass: ein Host-Fahrzeugort mit einer geographischen Zone, die in einem Problemprofil gespeichert ist, verglichen wird, wobei der Host-Fahrzeugort einem aktuellen Ort des Host-Fahrzeugs oder einem erwarteten zukünftigen Ort des Host-Fahrzeugs entspricht und das Problemprofil auf Straßenniveaubildern basiert, die von mehreren Bildquellen erfasst werden; ein potentielles Problem in Ansprechen auf den Vergleich des Host-Fahrzeugorts mit der gespeicherten geographischen Zone identifiziert wird, wobei das potentielle Problem der geographischen Zone in dem Problemprofil zugehörig ist; und in Ansprechen auf die Identifikation des potentiellen Problems eine Abhilfemaßnahme durchgeführt wird, wobei die Abhilfemaßnahme durchgeführt wird, bevor das Host-Fahrzeug auf das potentielle Problem trifft, und die Abhilfemaßnahme den Modus eines automatisierten Fahrens des Host-Fahrzeugs beeinflusst.
-
Gemäß einer anderen Ausführungsform wird ein Verfahren zum Verbessern eines Modus eines automatisierten Fahrens eines Host-Fahrzeugs bereitgestellt, das die Schritte umfasst, dass: Straßenniveaubilder von einer oder mehreren Bildquellen erfasst werden, wobei die Straßenniveaubilder von einem bestimmten Straßensegment stammen, das sich jenseits der Reichweite von Sensoren befindet, die an dem Host-Fahrzeug angebracht sind; ein erstes und ein zweites Element aus den Straßenniveaubildern identifiziert werden, die ein potentielles Problem hinsichtlich des bestimmten Straßensegments betreffen; das erste und das zweite Element aus den Straßenniveaubildern bewertet werden und das potentielle Problem untermauert wird, indem ermittelt wird, ob sowohl das erste als auch das zweite Element das Vorhandensein des potentiellen Problems verifizieren; und das potentielle Problem in einer Datensammlung gespeichert wird, die in einem elektronischen Speicher gespeichert ist, so dass das Host-Fahrzeug später auf die Datensammlung zugreifen und ermitteln kann, ob es irgendwelche potentiellen Probleme gibt, die das Host-Fahrzeug beeinflussen können, wenn es in dem Modus eines automatisierten Fahrens gefahren wird.
-
ZEICHNUNGEN
-
Bevorzugte beispielhafte Ausführungsformen werden hierin nachfolgend in Verbindung mit den beigefügten Zeichnungen beschrieben, in denen gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei:
-
1 eine schematische Ansicht mehrerer Straßen ist, auf denen ein Host-Fahrzeug und eine Anzahl von Zielfahrzeugen fahren, wobei das Host-Fahrzeug mit Komponenten einer beispielhaften Ausführungsform des Fahrverbesserungssystems in Interaktion steht;
-
2 ein Flussdiagramm ist, das eine beispielhafte Ausführungsform des Fahrverbesserungsverfahrens zeigt und mit einem Host-Fahrzeug, wie beispielsweise dem von 1, verwendet werden kann; und
-
3 eine bildliche Darstellung einer oder mehrerer potentieller geographischer Zonen ist, die gemäß dem Fahrverbesserungssystem und -verfahren, wie jene, die in 1 und 2 gezeigt sind, verwendet werden können.
-
BESCHREIBUNG
-
Das System und das Verfahren, die hierin beschrieben sind, können ein Fahrerlebnis eines Fahrzeugs in einem Modus eines automatisierten Fahrens über die Verwendung von Straßenniveaubildern, wie beispielsweise jene, die durch Verkehrskameras, Sensoren oder andere Einrichtungen, die stationär sind oder sich am Straßenrand befinden, bereitgestellt werden, verbessern. Viele stationäre Verkehrskameras besitzen jetzt Fähigkeiten mit hoher Auflösung oder hochauflösende Fähigkeiten, die es ihnen ermöglichen, Standbilder oder Video mit höherer Qualität, die mehr Informationen enthalten, bereitzustellen. Die zusätzliche Information, die aus den Straßenniveaubildern extrahiert wird, ermöglicht dem vorliegenden System und dem vorliegenden Verfahren, verschiedene Gefahren oder Probleme hinsichtlich bevorstehender Straßensegmente besser zu erkennen, zu identifizieren, zu klassifizieren und/oder zu bewerten, wobei jene umfasst sind, die sich weit vor dem und jenseits des Sichtfelds von am Fahrzeug angebrachten Einrichtungen befinden. In Abhängigkeit von Typ und Schwere der Gefahr oder des Problems können das vorliegende System und Verfahren Abhilfemaßnahmen entwickeln, wie beispielsweise das Anpassen eines Betriebsparameters des Modus eines automatisierten Fahrens, das Deaktivieren des Modus eines automatisierten Fahrens oder einfach das Alarmieren des Fahrers hinsichtlich des Problems. Ferner kann die zusätzliche Information, die aus den Straßenniveaubildern zusammengetragen wird, eine bessere Redundanz oder Untermauerung ermöglichen, um das Vorhandensein und die Natur der Gefahr oder des Problems zu verifizieren, bevor die Abhilfemaßnahmen realisiert werden.
-
Das System und das Verfahren, die hierin beschrieben werden, können insbesondere für Fahrzeuge gut geeignet sein, die einen Typ von Modus eines automatisierten, automatisierten oder selbständigen Fahrens einsetzen. Die Begriffe ”automatisiert”, ”automatisiertes Fahren” und ”Modus eines automatisierten Fahrens” umfassen, wie sie hierin verwendet werden, breit jeden Modus oder Zustand eines vollständig-, semi- oder teilweise automatisierten, automatisierten oder selbständigen Fahrens, in dem das Fahrzeug einen oder mehrere Aspekte des Fahrens auf der Grundlage einer erfassten Rückmeldung und ohne Eingabe von dem Fahrer automatisch steuert. Die National Highway Transportation Safety Administration (NHTSA) hat kürzlich automatisiert oder automatisiertes Fahren auf der Grundlage von Funktionalität und Grad an Autonomie in die folgenden Level klassifiziert: Level 0 (keine Automatisierung) – der Fahrer steuert die primären Fahrzeugsteuerungen (Bremsung, Lenkung, Drosselung und Antrieb) zu jedem Zeitpunkt vollständig und alleinig; Level 1 (funktionsspezifische Automatisierung) – die Automatisierung auf diesem Level umfasst eine spezifische Steuerfunktion (z. B. elektronische Stabilitätssteuerung oder vorgeladene Bremsen), wobei das Fahrzeug automatisch eine der primären Fahrzeugsteuerungen unterstützt, um dem Fahrer zu ermöglichen, die Kontrolle wieder zu erlangen oder schneller zu agieren als es möglich wäre, wenn der Fahrer allein agieren würde; Level 2 (kombinierte Funktionsautomatisierung) – dieses Level umfasst die Automatisierung von zumindest zwei der primären Fahrzeugsteuerungen, die gemeinsam arbeiten, so dass der Fahrer von der Steuerung dieser Funktionen entlastet wird (z. B. adaptiver Tempomat (ACC von adaptive cruise control), automatisierte Spurführung, automatisiertes Spurhalten, automatisierter Spurwechsel); Level 3 (eingeschränkte Selbstfahrautomatisierung) – die Automatisierung bei diesem Level ermöglicht dem Fahrer, die komplette Steuerung aller sicherheitskritischen Funktionen unter bestimmten Verkehrs- oder Umgebungsbedingungen abzugeben und sich stark darauf zu verlassen, dass das Fahrzeug Änderungen jener Bedingungen überwacht, die einen Übergang zurück zu der Fahrersteuerung erfordern würden (z. B. ist das Google-Auto ein eingeschränkt selbst fahrendes Fahrzeug, das erwartet, dass der Fahrer für eine gelegentliche Steuerung verfügbar ist); Level 4 (vollständig selbst fahrende Automatisierung) – bei diesem Level ist das Fahrzeug entworfen, um alle sicherheitskritischen Funktionen durchzuführen und die Straßenbedingungen für eine vollständige Fahrt zu überwachen, und der Entwurf erwartet, dass der Fahrer eine Ziel- und Navigationseingabe liefert, ansonsten jedoch für die Steuerung während der Fahrt nicht zur Verfügung steht (z. B. dies umfasst sowohl besetzte als auch nicht besetzte Fahrzeuge). Das vorliegende System und Verfahren können bei einem Fahrzeug, das auf jedem der zuvor genannten automatisierten ”Level” sowie mit Modi eines manuellen oder nicht automatisierten Fahrens betrieben wird, verwendet werden.
-
Bezug nehmend auf 1 ist eine schematische Ansicht einer beispielhaften Ausführungsform eines Fahrverbesserungssystems 10 gezeigt, das einen ersten Satz von stationären Verkehrskameras 12–30, die entlang einer ersten Straße R1 installiert sind, und einen zweiten Satz von stationären Verkehrskameras 36–50, die entlang einer zweiten Straße R2 installiert sind, eine Backend-Einrichtung 52 und ein Host-Fahrzeug 54 umfasst. Bei diesem bestimmten Beispiel führt die erste Straße R1 über die zweite Straße R2 über eine Brücke oder Überführung B. Es sei jedoch angemerkt, dass das vorliegende System und Verfahren mit jeder Anzahl von verschiedenen Straßen, Straßennetzen oder Schnellstraßensystemen verwendet werden können, die jene umfassen, die Schnellstraßen, Landstraßen, gebührenpflichtige Straßen, städtische oder ländliche Straßen, Überführungen oder Unterführungen, Auffahrten oder Abfahrten, Tunnel, Brücken, Kreuzungen, Ampeln, Stoppschilder etc. aufweisen, und dass die bestimmte Straßenausgestaltung in 1 nur ein mögliches Beispiel ist.
-
Die stationären Verkehrskameras 12–30 und 36–50 stellen dem System 10 Standbilder, Video- und/oder andere Informationen bezüglich verschiedener Segmente der Straßen R1 bzw. R2 bereit, so dass eine relevante Information durch das vorliegende Verfahren extrahiert und verwendet werden kann, um das Fahrerlebnis zu verbessern. In vielen Fällen sind die vollständigen Netze von stationären Verkehrskameras bereits vorhanden und stellen sie eine Verkehrsinformation in Echtzeit oder nahezu in Echtzeit für verschiedene öffentliche oder staatliche Entitäten (z. B. Verkehrsministerium) und private Entitäten (z. B. Betreiber gebührenpflichtiger Straßen, Verkehrsnachrichtenstellen und Anbieter drahtloser Dienste) bereit, welche diese Information wiederum verwenden, um aktuelle verkehrsbezogene Dienste bereitzustellen. Das vorliegende System und Verfahren versuchen, wenn möglich, Verkehrskameras und Verkehrskameranetze zu verwenden, die bereits vorhanden sind, und die Ausgänge derartiger Einrichtungen an der Backend-Einrichtung 52 zu empfangen. In der Vergangenheit konnte die Verwendung bereits existierender Verkehrskameranetze in gewisser Weise durch die relativ schlechte Bildauflösung jener Kameras behindert werden, wobei heutzutage jedoch mehr und mehr stationäre Verkehrskameras mit Fähigkeiten einer hohen Auflösung und/oder hoch auflösenden Fähigkeiten ausgestattet sind. Die genauen Definitionen oder Spezifikationen für die Begriffe ”mit hoher Auflösung bzw. high-resolution” und ”hochauflösend bzw. high-definition” können in Abhängigkeit von ihrer bestimmten Anwendung variieren, im vorliegenden Fall beziehen sich diese Begriffe jedoch allgemein auf jedes Standbild, Video- und/oder andere Daten, die durch stationäre Verkehrskameras bereitgestellt werden, wobei ausreichend Information zur Verfügung steht, um zu ermöglichen, spezifische Gefahren oder Probleme (z. B. Blendung auf der Fahrbahn, der Zustand von Scheibenwischern bei vorbeifahrenden Autos, das Vorhandensein von Sperrungen eines Fahrstreifens etc.) zu identifizieren und diese durch das vorliegende Verfahren zu verwenden. Bei der vorliegenden Anwendung wird der Begriff ”hochauflösend” austauschbar mit ”mit hoher Auflösung” verwendet und betrifft er Standbilder, Video oder beides, wie es oben definiert ist.
-
Im Allgemeinen zeichnen Straßensicherheitskameras wie jene, die Geschwindigkeitsbeschränkungen oder Ampeln durchsetzen, Standfotos mit sehr hoher Auflösung in Ansprechen auf ein Trigger-Ereignis auf (z. B. ausreichende Auflösung, um die einzelnen alphanumerischen Zeichen eines Nummernschilds zu erkennen), wohingegen einige Verkehrskameras konsistent Abschnitte einer Straße überwachen und ein Video mit einer etwas niedrigeren Auflösung als die der Straßensicherheitskameras, jedoch immer noch ausreichend Auflösung, um Dinge wie beispielsweise den allgemeinen Zustand einer Fahrbahn zu erkennen (d. h. hochauflösend) aufzeichnen können. Während das Fahrverbesserungsverfahren primär zur Verwendung bei Verkehrskameras entworfen ist, die einen Videoausgang bereitstellen, ist es möglich, dass das Verfahren mit Straßensicherheitskameras, die Standbilder bereitstellen, oder mit Kameras arbeitet, die in Verbindung mit Laser, Radar, Lidar und/oder anderen Sensoren für eine weitere Verarbeitung verwendet werden. Bei verschiedenen möglichen Ausführungsformen kann das Verfahren ein Hochkontrastbild (HDRI von high dynamic range imaging oder HDR), eine Frequenzbandanalyse, hyperspektrale Bildgebung und andere Techniken verwenden, die das Vermögen des Verfahrens, den Ausgang der Kameras am Straßenrand über ein breites Spektrum von Frequenzen zu analysieren, sowohl innerhalb als auch außerhalb des Bereichs von sichtbarem Licht, verbessern.
-
Es sei angemerkt, dass, während die stationären Verkehrskameras 12–30 und 36–50 in 1 als freistehende Kameras am Straßenrand gezeigt sind, dies lediglich Erläuterungszwecken dient. Jene Kameras könnten genauso oberhalb der Straße an einem Arm oder Gerüst angebracht sein, an Masten, die Straßenschilder, Ampeln oder andere Einrichtungen tragen, angebracht sein, an Überführungen, Brücken oder anderen Konstruktionen angebracht sein, auf der Fahrbahn selbst angebracht sein oder gemäß einer anderen geeigneten Ausgestaltung angebracht sein. Die stationären Verkehrskameras 12–30 und 36–50 können zum Drehen, Neigen, Hereinzoomen, Herauszoomen, Schwenken entworfen sein, oder sie könnten einfach unbeweglich oder fest sein. Beispiele für mögliche Kameratypen umfassen Schwenk-Neige-Zoom-Kameras (PTZ-Kameras von pan-tilt-zoom cameras), Überwachungskameras (CCTV-Kameras von closed circuit television Kameras), Internetprotokoll-Kameras (IP-Kameras), Standbildkameras und beleuchtete oder nicht beleuchtete Kameras, nur um einige zu nennen. Bei jenen stationären Verkehrskameras, die sich drehen oder die Richtung ihres Sichtfelds ändern können, können die Kameras einen eingebauten Kompass umfassen und zusammen mit ihrem Standbild oder Videoausgang eine Himmelsrichtung bereitstellen. Die stationären Verkehrskameras 12–30 und 36–50 können Laser-, Radar-, Lidar- oder andere Typen von Sensoren oder Einrichtungen umfassen, die zur Verwendung außerhalb des Bereichs von sichtbarem Licht entworfen sind und Daten und Informationen zusätzlich zu denen, die von den Bildern allein erhalten werden, bereitstellen können. Es ist möglich, dass die stationären Verkehrskameras 12–30 und 36–50 mit der Backend-Einrichtung 52 über eine drahtgebundene Verbindung (z. B. Faseroptik, eine Kabel- oder andere drahtgebundene Verbindung), über eine drahtlose Verbindung verbunden sind, direkt miteinander verbunden sind oder indirekt miteinander über andere Überwachungszentralen oder intelligente Transportsysteme verbunden sind, um einige Möglichkeiten zu nennen. Der bestimmte Typ von Kamera, die bestimmte Anbringungsanordnung der Kamera, der bestimmte Ort der Kamera, die bestimmte Kombination von Sensoren und Einrichtungen, die bestimmte Verbindung zwischen der Kamera und der Backend-Einrichtung etc. sind für das vorliegende Verfahren und System nicht zwingend notwendig, da jede geeignete Anordnung verwendet werden kann.
-
Gemäß einer anderen Möglichkeit kann auch jede Anzahl von optionalen Bildquellen 60 dem System 10 Standbilder und/oder ein Video der betreffenden Straßensegmente bereitstellen. Beispielsweise können ein oder mehrere Satelliten, nicht mit Personal besetzte Fluggeräte (UAVs von unmanned aerial vehicles) oder Drohnen, Luftfahrzeuge, Helikopter etc. mit einer am Luftfahrzeug angebrachten Standbild- oder Videokamera ausgestattet sein und anstatt der oben erläuterten stationären Verkehrskameras verwendet werden, oder diese optionalen Bildquellen können verwendet werden, um die Bilder einer stationären Verkehrskamera zu ergänzen oder zu verbessern, anstatt sie zu ersetzen. Es sei angemerkt, dass mehr oder weniger Bildquellen sowie andere Typen von Bildquellen verwendet werden können. Bei einem anderen möglichen Beispiel können die zusätzlichen Bildquellen 60 an anderen Fahrzeugen angebrachte Kameras umfassen, die drahtlos mit der Backend-Einrichtung 52 oder einem anderen zentralen System verbunden sind und die diesem System Echtzeitbilder oder Metadaten, die aus den Bildern extrahiert werden, bereitstellen. Es können auch indirekte Bildquellen verwendet werden, wie beispielsweise Internet-Websites, Webcams und Anbieter drahtloser Dienste, die Straßenniveauvideo, Bilder oder Echtzeitkameraaufnahmen anbieten. Es gibt keine spezifische Einschränkung hinsichtlich der Anzahl oder Kombination von Bildquellen, die eingesetzt werden können, einschließlich der stationären Verkehrskameras 12–30 und 36–50, die gezeigt und beschrieben sind.
-
Die Backend-Einrichtung 52 empfängt Standbilder, Video- und/oder andere Informationen von einer oder mehreren stationären Verkehrskameras 12–30 und 36–50, sie verarbeitet diesen Ausgang gemäß dem nachstehend beschriebenen Fahrverbesserungsverfahren und stellt dann entsprechende Anweisungen, Befehle und/oder andere Informationen für ein oder mehrere Host-Fahrzeuge 54 bereit, so dass das jenen Fahrzeugen zugehörige Fahrerlebnis verbessert werden kann. Die Backend-Einrichtung 52 kann jede Kombination von Servern, Computern, Datenbanken, Schaltern, Routern, Datenspeichereinrichtungen und/oder anderen elektronischen Einrichtungen umfassen, die benötigt werden, um das vorliegende Verfahren auszuführen, und sie kann vollständig automatisiert sein oder mit menschlichen Mitarbeitern besetzt sein, um einige Möglichkeiten zu nennen. Während erwartet wird, dass die Backend-Einrichtung 52 drahtlos mit dem einen oder den mehreren Host-Fahrzeugen 54 kommuniziert, ist die bestimmte Art und Weise, auf die diese drahtlose Kommunikation ausgeführt wird, nicht entscheidend. Fachleute werden erkennen, dass einige, die meisten oder sogar alle der elektronischen Anweisungen oder Schritte, die dabei helfen, das hierin beschriebene Fahrverbesserungsverfahren zu bilden, an der Backend-Einrichtung 52 ausgeführt werden können. Die genaue Aufteilung von Tasks oder Verarbeitungsschritten zwischen der Backend-Einrichtung 52 und dem Host-Fahrzeug 54 kann gemäß einem beliebigen geeigneten Verarbeitungsschema erfolgen. Obwohl die Backend-Einrichtung 52 in 1 als freistehendes Gebäude gezeigt ist, sei angemerkt, dass die Backend-Einrichtung beliebige geeignete Verarbeitungsressourcen umfassen könnte und in Verbindung mit einer zugehörigen Website, einer Anwendung (einer sogenannten ”App”) für eine mobile Einrichtung, einem Programm oder einer anderen Software für einen Computer etc. verwendet werden könnte.
-
Das Host-Fahrzeug 54 ist in der dargestellten Ausführungsform als Personenkraftwagen dargestellt, es sei jedoch angemerkt, dass auch jedes andere Fahrzeug einschließlich Motorrädern, Lastkraftwagen, Geländewagen (SUVs von sports utility vehicles) oder Wohnmobilen (RVs von recreational vehicles) verwendet werden kann. Das Host-Fahrzeug 54 kann eine beliebige Anzahl von verschiedenen Hardwarekomponenten und anderen Einrichtungen umfassen, welche verschiedene Typen von Sensoren 70, eine Telematikeinheit 72 und ein Steuermodul 74 umfassen. Die Sensoren 70 können Auslesungen erzeugen, die die Position, Geschwindigkeit, Beschleunigung, Gierrate und/oder eine andere Fahrzeugdynamik des Host-Fahrzeugs 54 darstellen, oder sie können Auslesungen erzeugen, die die Position, Geschwindigkeit, Beschleunigung etc. eines oder mehrerer Objekte oder Zielfahrzeuge in der Nähe darstellen. Es können verschiedene Sensoren und Erfassungstechniken verwendet werden, welche jene umfassen, die die Raddrehzahl, die Grundgeschwindigkeit, die Gaspedalstellung, die Ganghebelauswahl, Beschleunigungsmesser, die Motordrehzahl, den Motorausgang, die Drosselklappenstellung, Radar, Laser, Lidar, Kameras etc. verwenden, nur um einige zu nennen. Es kann auch eine Positionsinformation von einem optional vorgesehenen GPS-Modul erhalten werden. Die Telematikeinheit 72 ermöglicht eine drahtlose Sprach- und/oder Datenkommunikation über ein drahtloses Trägersystem, so dass das Host-Fahrzeug mit der Backend-Einrichtung 52, anderen telematikfähigen Fahrzeugen oder einer anderen Entität oder Einrichtung kommunizieren kann. Es können eine beliebige geeignete Telematikeinheit 72 und ein beliebiges geeignetes Schema einer drahtlosen Kommunikation durch das Fahrverbesserungssystem 10 eingesetzt werden. Das Steuermodul 74 kann mit den Sensoren 70, der Telematikeinheit 72 und/oder beliebigen anderen Komponenten, Einrichtungen, Modulen, Systemen, etc. an dem Host-Fahrzeug 54 kommunizieren und kann verwendet werden, um einige, die meisten der oder sogar alle elektronischen Anweisungen oder Schritte auszuführen, die dabei helfen, das hierin beschriebene Fahrverbesserungsverfahren zu bilden. Das Steuermodul 74 kann ein beliebiger Typ von Einrichtung sein, der elektronische Anweisungen verarbeiten kann, und kann einen oder mehrere Prozessoren, Mikroprozessoren, Mikrocontroller, Host-Prozessoren, Controller, Fahrzeugkommunikationsprozessoren und anwendungsspezifische Schaltkreise (ASICs von application specific integrated circuits) umfassen. Das Steuermodul kann verschiedene Typen von digital gespeicherten Anweisungen, wie beispielsweise in einem Speicher gespeicherte Software- oder Firmwareprogramme, ausführen, die die Steuerung verschiedener Fahrzeugfunktionen ermöglichen.
-
In Abhängigkeit von der bestimmten Ausführungsform können die Telematikeinheit 72 und/oder das Steuermodul 74 ein unabhängiges Fahrzeugelektronikmodul (z. B. ein Sensorcontroller, ein Objektdetektionscontroller, ein Sicherheitscontroller, etc.) sein, können sie in einem anderem Fahrzeugelektronikmodul (z. B. einem Steuermodul eines automatisierten Fahrens, einem Steuermodul einer aktiven Sicherheit, einem Bremssteuermodul, einem Lenksteuermodul, einem Motorsteuermodul etc.) eingeschlossen oder umfasst sein oder können sie Teil eines größeren Netzes oder Systems sein (z. B. eines Systems eines automatisierten Fahrens, eines Systems eines adaptiven Tempomaten, eines Spurverlassenswarnsystems, eines Systems einer aktiven Sicherheit, eines Traktionssteuersystems (TCS von traction control system), eines elektronischen Stabilitätssteuersystems (ESC-Systems von electronic stability control system), eines Antiblockiersystems (ABS von antilock brake system) etc.), um einige Möglichkeiten zu nennen. Dementsprechend sind die Telematikeinheit 72 und/oder das Steuermodul 74 nicht auf eine bestimmte Ausführungsform oder Anordnung beschränkt und können sie durch das vorliegende Verfahren verwendet werden, um einen oder mehrere Aspekte des Fahrzeugbetriebs zu steuern.
-
Nun auf 2 Bezug nehmend ist eine Ausführungsform eines Fahrverbesserungsverfahrens 100 gezeigt, das Straßenniveaubilder verwenden kann, die durch ein Netz von stationären Verkehrskameras bereitgestellt werden, um mögliche Gefahren oder Probleme zu identifizieren, die sich jenseits des Sichtfelds von am Fahrzeug angebrachten Sensoren befinden, und um eine erweiterte Warnung bereitzustellen oder eine andere Abhilfemaßnahme in Ansprechen darauf zu treffen. Wieder sei angemerkt, dass das Verfahren 100 mit einem Host-Fahrzeug verwendet werden kann, das in einem Modus eines automatisierten Fahrens oder einem Modus eines manuellen Fahrens betrieben wird.
-
Beginnend mit Schritt 110 empfängt das Verfahren Straßenniveaubilder mit hoher Auflösung und/oder hoch auflösende Straßenniveaubilder von einer oder mehreren stationären Verkehrskameras. Der Einfachheit halber wird der Begriff ”hochauflösend” im Rest der Anmeldung mit der Bedeutung ”hochauflösend”, ”mit hoher Auflösung” oder beides verwendet, wie es oben definiert ist (es wurde zuvor erklärt, dass diese Begriffe hierin austauschbar verwendet werden). Bei einer beispielhaften Ausführungsform von Schritt 110 werden Straßenniveaubilder der Straße R1 von stationären Verkehrskameras 12–30 empfangen und werden Straßenniveaubilder der Straße R2 von stationären Verkehrskameras 36–50 empfangen. Die Straßenniveaubilder können direkt von den stationären Verkehrskameras 12–30, 36–50 empfangen werden, die mit der Backend-Einrichtung 52 über das Internet oder ein anderes Kommunikationsnetz verbunden sind, oder die Bilder können indirekt über eine Überwachungszentrale oder ein intelligentes Transportsystem (z. B. eine Zentrale oder ein System, die oder das durch ein Verkehrsministerium oder einen Mautgebührenbetreiber verwaltet wird) empfangen werden. Wie oben erläutert, ist es möglich, dass Schritt 110 Bilder und/oder andere Informationen von einer oder mehreren optionalen Bildquellen 60 empfängt.
-
Fachleute werden erkennen, dass Straßenniveaubilder, wie beispielsweise jene, die in Schritt 110 empfangen werden, oftmals von bestimmten Daten oder Informationen begleitet sind, die dabei helfen, das Bild in einen besseren Kontext zu setzen. Beispielsweise kann die Backend-Einrichtung 52 jedes Mal, wenn Schritt 110 durchgeführt wird, von jeder der stationären Verkehrskameras 12–30, 36–50 ein Paket, eine Nachricht, eine Datei und/oder einen anderen Datentransfer empfangen, der ein Bild der Straße zusammen mit einer Kombination von folgenden umfasst: einem Kameraidentifikator, der die bestimmte Kamera identifiziert, die das Bild aufzeichnete, einem Zeitstempel, der dem Zeitpunkt entspricht, zu dem das Bild aufgezeichnet wurde, und/oder einer Kameraposition, die den Ort der Kamera angibt, die das Bild aufzeichnete. Die Backend-Einrichtung 52 kann eine Karte oder Datenbank der verschiedenen überwachten Straßen führen, die alle bekannten stationären Verkehrskameras umfasst, so dass es, wenn ein Bild mit einem bestimmten Kameraidentifikator empfangen wird, unnötig sein kann, auch die Kameraposition zu erfassen. Natürlich sollen die zuvor erwähnten Beispiele von Daten, die das Bild begleiten können, nicht einschränkend sein, da auch andere Daten oder Informationen mit dem Bild bereitgestellt werden können (z. B. Kamerawinkel oder -ausrichtung). Der Kameraidentifikator und/oder die Positionsdaten können durch das vorliegende Verfahren verwendet werden, um die verschiedenen Bilder zu diskreten geographischen Zonen oder Bereichen zu organisieren. Dies kann insbesondere nützlich sein, wenn große Anzahlen von Straßenniveaubildern von Dutzenden, Hunderten oder möglicherweise sogar Tausenden von verschiedenen stationären Verkehrskameras empfangen werden und das vorliegende Verfahren versucht, diese Bilder auf eine effiziente, praktische und nützliche Weise zu organisieren, wie es ausführlicher beschrieben wird.
-
Schritt 110 kann durch das Verfahren 100 mit jeder geeigneten Häufigkeit durchgeführt oder ausgeführt werden und ist nicht auf die in 2 gezeigte Einmal-pro-Verfahren-Darstellung beschränkt. Anders ausgedrückt kann Schritt 110 konstant im Hintergrund laufen, so dass Straßenniveaubilder periodisch gemäß einer geeigneten Häufigkeit von den verschiedenen stationären Verkehrskameras erfasst werden, auch wenn andere Schritte des Verfahrens 100 mit einer anderen Häufigkeit durchgeführt werden. Das Flussdiagramm in 2 schlägt vor, dass Schritt 110 jedes Mal durchgeführt wird, wenn Schritt 120 durchgeführt wird, wobei es jedoch sein kann, dass, wenn einer dieser Schritte prozessor- oder ressourcenintensiver als der andere ist, diese mit einer anderen Häufigkeit durchgeführt wird. Ferner kann Schritt 110 Straßenniveaubilder von bestimmten stationären Verkehrskameras häufiger erfassen (z. B. Kameras, die sich an Straßen mit hohem Verkehrsaufkommen befinden, die sich an Straßen befinden, die bekannten Bauprojekten unterliegen, die weiter von benachbarten Kameras entfernt sind etc.), als eher Bilder von anderen stationären Verkehrskameras erhält. Bei einem anderen möglichen Beispiel stuft Schritt 110 den Bilderfassungsprozess ab oder teilt ihn auf andere Weise auf, so dass er nicht versucht, Straßenniveaubilder von allen stationären Verkehrskameras in einem großen Kameranetz gleichzeitig zu erfassen. Die vorstehenden Beispiele sollen einige der möglichen Wege demonstrieren, auf die Schritt 110 Straßenniveaubilder von den verschiedenen stationären Verkehrskameras empfangen oder auf andere Weise erhalten kann, und sie sollen hervorheben, dass Schritt 110 nicht auf irgendeine bestimmte Ausführungsform beschränkt ist. Sobald die Straßenniveaubilder empfangen wurden, fährt das Verfahren mit Schritt 120 fort.
-
Als Nächstes verarbeitet Schritt 120 die Straßenniveaubilder, die zuvor empfangen wurden, indem ein oder mehrere Elemente in einem bestimmten Straßensegment identifiziert werden und jenes Element/jene Elemente bewertet werden, um eine potentielle Gefahr oder ein potentielles Problem hinsichtlich dieses bestimmten Straßensegments zu identifizieren. Ein Teil von, der größte Teil von oder der gesamte Schritt 120 kann an der Backend-Einrichtung 52 durchgeführt werden; dies ist jedoch nicht verpflichtend, da bestimmte Bildverarbeitungsschritte durchgeführt werden könnten, bevor die Straßenniveaubilder der Einrichtung 52 bereitgestellt werden. Die bestimmten Bildverarbeitungstechniken, die eingesetzt werden, werden durch den Typ, das Format und/oder den Inhalt der verarbeiteten Straßenniveaubilder beeinflusst. Wenn beispielsweise eine stationäre Verkehrskamera oder eine andere Bildquelle ein Echtzeit-Streaming-Video bereitstellt, kann Schritt 120 Standbilder aus dem Video vor der Verarbeitung extrahieren, oder kann er das Streaming-Video selbst verarbeiten. Ferner kann Schritt 120 Techniken einsetzen, bei denen zwei oder mehr Straßenniveaubilder zusammen verarbeitet oder bewertet werden, wie beispielsweise, wenn die Bilder von der gleichen Verkehrskamera (z. B. Bilder, die zu verschiedenen Zeitpunkten erfasst werden) oder von verschiedenen Kameras (z. B. Bilder, die durch benachbarte Kameras mit benachbarten oder überlappenden Sichtfeldern erfasst werden) stammen. Die Verarbeitung mehrerer Bilder kann dem Verfahren einen Grad an Redundanz oder Untermauerung bereitstellen, der insbesondere nützlich ist, wenn das Vorhandensein potentieller Gefahren oder Probleme identifiziert wird und möglicherweise darauf reagiert wird.
-
Um diesen Punkt zu erläutern, werden die Beispiele in Betracht gezogen, bei denen die stationären Verkehrskameras 16, 18 oder die Kameras 14, 18 Straßenniveaubilder eines Abschnitts von Straße R1 zu ungefähr dem gleichen Zeitpunkt aufzeichnen. Schritt 120 kann eine Stereo-Bildgebung oder andere Techniken verwenden, um diese Bilder gemeinsam zu verarbeiten, um ein umfangreicheres detaillierteres Straßenniveaubild oder eine umfangreichere detailliertere Straßenniveauaufnahme dieses bestimmten Straßensegments zu erhalten. Es ist auch möglich, 2D- oder sogar 3D-Modelle auf der Grundlage der verschiedenen Straßenniveaubilder zu entwickeln, wobei die Modelle aktualisiert werden, wenn nachfolgende Straßenniveaubilder empfangen werden. Jenseits des optionalen Abgleichs von Straßenniveaubildern können die Bilder selbst verarbeitet oder behandelt werden, um sie besser für eine nachfolgende Bewertung vorzubereiten. Es kann jede geeignete Bildverarbeitungstechnik verwendet werden, die eine Schwellenwertbildung, eine Kantendetektion, ein Transformieren, in Übereinstimmung bringen, Filtern, eine Segmentierung, Klassifizierungstechniken, eine Objekt- und Merkmalsdetektion, eine Oberflächenreibungsvorhersage, eine Frequenzwellenformanalyse sowie beliebige andere in der Technik bekannte umfasst, jedoch nicht darauf beschränkt ist. Einige Beispiele für eine potentielle Bildverarbeitung und andere Techniken werden in A Survey of Video Processing Techniques for Traffic Applications, Kastrinaki, Zervakis, Kalaitzakis, Image and Vision Computing 21 (2003) 359–381 bereitgestellt, dessen Schutzumfang hierin durch Bezugnahme vollständig mit eingeschlossen ist.
-
An dieser Stelle kann Schritt 120 die in den Straßenniveaubildern identifizierten Elemente bewerten, um jegliche potentiellen Gefahren oder Probleme zu klassifizieren, die das vorliegende Verfahren berücksichtigen möchte. Eine Klassifizierung derartiger Probleme kann auf eine beliebige Anzahl von verschiedenen Arten ausgeführt werden. Beispielsweise können potentielle Probleme, die auf Elementen basieren, die in Schritt 120 aus den Straßenniveaubildern extrahiert werden, in eine oder mehrere vorbestimmte Kategorien oder Gruppen klassifiziert werden, wie beispielsweise: Baustellenprobleme, Verkehrsprobleme und Wetterprobleme, um einige Möglichkeiten zu nennen. Diese Kategorien müssen sich nicht gegenseitig ausschließen, da ein Problem oder Ereignis sowohl als Baustellenproblem als auch als Verkehrsproblem betrachtet werden kann und die jeweilige Kategorisierung von der abweichen kann, die nachstehend in Abhängigkeit von der bestimmten Realisierung des vorliegenden Verfahrens beschrieben wird. Es sei auch angemerkt, dass es möglich ist, ein Problem oder eine Gefahr in mehrere Kategorien zu kategorisieren, und dann mit dem Verfahren fortzufahren. Diese bestimmte Ausführungsform kann Ermittlungen mit geringerem Schweregrad oder überhaupt keine Schweregradermittlung zulassen, wie es nachstehend ausführlicher beschrieben wird.
-
Der Begriff ”Baustellenproblem” umfasst, wie er hierin verwendet wird, breit jedes Objekt, jede Person, jeden Zustand, jedes Ereignis, jedes Zeichen und/oder jedes andere Element von einem Straßenniveaubild, der/die/das das Vorhandensein einer Straßenbaustelle oder Straßenreparatur andeutet. Einige nicht einschränkende Beispiele für potentielle Baustellenprobleme umfassen: Baustellenpylonen, Absperrungen, Sperrungen eines Fahrstreifens, Spurverschiebungen, verdeckte Spurmarkierungen, verschiedene temporäre und permanente Schilder (Umleitungsschilder, Schilder mit blinkenden Pfeilen oder Nachrichten etc.), Baustellengeräte (Bagger, Frontlader, Planierraupen, Fahrzeuge, Generatoren etc.), Straßenarbeiter und Änderungen aus Basisnavigationskarten, nur um einige zu nennen. Jedes Element oder Objekt, das aus einem Straßenniveaubild extrahiert werden kann und das eine Baustelle an einem bestimmten Segment der Straße angibt, kann ein Baustellenproblem bilden. Beispielsweise können Straßenniveaubilder verwendet werden, um die tatsächliche Krümmung oder eine andere Eigenschaft einer bestimmten Spur oder eines bestimmten Straßensegments zu ermitteln, was dann mit Navigations- oder Kartendaten verglichen werden kann, um zu ermitteln, ob eine Abweichung vorliegt, die eine Spurverschiebung oder ein anderes Baustellenereignis angibt. Verschiedene Typen von Baustellenproblemen können unterschiedliche Level von Schweregrad oder Wichtigkeit aufweisen und können, müssen jedoch nicht, dementsprechend gewichtet werden. Beispielsweise kann einer Straßensperrung oder Absperrung ein höheres Schweregrad-Level zugeordnet werden als einer Baustellenpylone. Die Menge oder das Ausmaß der Probleme kann ebenfalls den Schweregrad beeinflussen. Beispielsweise können zehn oder mehr Baustellenpylonen als schweres Problem betrachtet werden, können jedoch weniger als zehn Baustellenpylonen als leichtes Problem betrachtet werden. Der Schweregrad, der einem bestimmten Baustellenproblem zugeordnet oder beigemessen wird, kann die entsprechende Abhilfemaßnahme beeinflussen, die getroffen wird, wie es nachstehend erklärt wird. Bei einem anderen Beispiel können Positionen der Pylonen verwendet werden, um zu ermitteln, ob der Baustellenbereich aktiv ist oder nicht (z. B. wenn sich die Pylonen an der Seite der Straße befinden, kann dies eine inaktive Baustellenzone angeben). Bei einer bestimmten Ausführungsform können die Baustellenprobleme als bidirektionale oder unidirektionale Probleme dargestellt werden. Wenn beispielsweise die Straßenniveaubilder Straßenarbeiter auf den Spuren Richtung Norden einer bestimmten Schnellstraße zeigen, kann ein Baustellenproblem nur den Spuren Richtung Norden und nicht den Spuren Richtung Süden beigemessen werden, auch wenn sie sich in der gleichen geographischen Zone befinden. Ein Baustellenprojekt, das eine vierspurige Straße auf eine zweispurige Straße reduziert, kann als bidirektionales Baustellenproblem betrachtet werden.
-
Der Begriff ”Verkehrsproblem” umfasst, wie er hierin verwendet wird, breit jedes Objekt, jede Person, jeden Zustand, jedes Ereignis, jedes Zeichen und/oder jedes andere Element von einem Straßenniveaubild, der/die/das das Vorhandensein von bestimmten Verkehrszuständen andeutet. Verkehrsprobleme können Verkehrsstaus oder Rückstaus, Verkehrsmuster, stationäre oder sich langsam bewegende Objekte auf der Straße (z. B. ein nicht fahrtaugliches oder kaputtes Fahrzeug), Notfallfahrzeuge, Abschleppwagen, Verschmutzungen auf der Straße (z. B. abgebrochene Zweige, Stromleitungen etc.), Notfallpersonal, das den Verkehr regelt, Pfade sich bewegender Fahrzeuge, die nicht im Einklang mit normalen Verkehrsflüssen stehen etc. umfassen, sind jedoch nicht darauf beschränkt. Wie bei Baustellenproblemen kann Verkehrsproblemen ein Schweregrad-Level zugeordnet werden oder können sie gewichtet werden und können sie auch als bidirektional oder unidirektional betrachtet werden. Bei einem Beispiel verwendet das Verfahren die Straßenniveaubilder von einer oder mehreren stationären Verkehrskameras, um eine Gruppe von Fahrzeugen an einem bestimmten Straßensegment zu identifizieren und zu bewerten. Wenn der durchschnittliche Abstand zwischen den Fahrzeugen unter einem Schwellenwert liegt, oder wenn die durchschnittliche Distanz, die sich ein Fahrzeug zwischen Kamera-Frames bewegt, kleiner als ein Schwellenwert ist, kann das Verfahren ermitteln, dass sich die Fahrzeuge in den Straßenniveaubildern in einem Verkehrsrückstau irgendeines Typs befinden. Natürlich kann auch eine beliebige Anzahl an anderen Techniken verwendet werden, um Verkehrsbedingungen auf der Grundlage von Objekten oder anderen Elementen zu bewerten, die aus Straßenniveaubildern extrahiert werden.
-
Der Begriff ”Wetterproblem” umfasst, wie er hierin verwendet wird, breit jedes Objekt, jede Person, jeden Zustand, jedes Ereignis, jedes Zeichen und/oder jedes andere Element von einem Straßenniveaubild, der/die/das das Vorhandensein von bestimmten Wetterzuständen andeutet. Einige Wetterprobleme umfassen Zustände, die aus den Straßenniveaubildern detektiert werden und direkt das Vorhandensein von bestimmten Wetterzuständen angeben, wie beispielsweise Blendlicht auf der Straße (was Regen, Schnee oder Eis angibt), Schnee auf den Fahrzeugen und getrübte oder verschwommene Bilder, die das Vorhandensein von Nebel, Rauch oder starkem Wind angeben, mit Salz bedeckte Straßen, mit Kies/Sand bedeckte gezeichnete Linien. Andere Wetterprobleme umfassen Zustände, die das Vorhandensein von Wetterzuständen indirekt andeuten, wie beispielsweise aktive Scheibenwischer von vorbeifahrenden Fahrzeugen (was Regen, Schnee oder Eis andeutet), das Vorhandensein von Streufahrzeugen oder Räumfahrzeugen, Spurmarkierungen, die unklar oder verdeckt sind (was andeutet, dass sie von Schnee, Salz oder Eis bedeckt sind), größere durchschnittliche Fahrzeugabstände oder langsamere durchschnittliche Fahrzeuggeschwindigkeiten (was Fahrbahnen mit geringem Reibungskoeffizienten andeutet) etc. Viele Wetterprobleme beziehen sich auf das Vorhandensein von Niederschlag. Wie bei Baustellen- und Verkehrsproblemen kann Wetterproblemen ein quantitatives oder qualitatives Schweregrad-Level zugeordnet werden, können sie gewichtet werden oder können sie als bidirektional oder unidirektional betrachtet werden. Bei dem Beispiel aktiver Scheibenwischer deutet, wenn ein großer Prozentsatz an Fahrzeugen an einem bestimmten Segment der Straße die Scheibenwischer in Betrieb hat, dies das Vorhandensein von Niederschlag oder nassen Fahrbahnen, auf denen vorausfahrende Fahrzeuge spritzen, an. In der Vergangenheit wäre es nicht machbar gewesen, derartige Elemente aus Straßenniveaubildern zu extrahieren, die keine hohe Auflösung besaßen oder nicht hochauflösend waren, da die Bilder möglicherweise nicht deutlich genug waren, um derartige Elemente mit einem hohen Grad an Vertrauen zu unterscheiden.
-
Wie oben erwähnt können die verschiedenen Probleme oder Gefahren, die aus den Straßenniveaubildern detektiert werden, gemäß ihrem potentiellen Schwere grad und Einfluss auf Fahrzeuge, die auf dem betreffenden bestimmten Straßensegment fahren, wie das Host-Fahrzeug 54, beurteilt oder gewichtet werden. Auch wenn das Flussdiagramm von 2 zeigt, dass dieser Schritt in Schritt 120 durchgeführt wird, ist anzumerken, dass er in Schritt 130, Schritt 140 oder einem anderen Schritt oder einer Kombination hiervon ausgeführt werden kann. Es wird das in 1 gezeigte Beispiel in Betracht gezogen, bei dem das Host-Fahrzeug 54 auf der Straße R1 Richtung Norden fährt und die stationären Verkehrskameras 16, 18 Straßenniveaubilder eines Straßensegments erfassen und der Backend-Einrichtung 52 bereitstellen (es sei angemerkt, dass sich die Kameras 16, 18 weit vor dem Host-Fahrzeug 54 und auch jenseits der Reichweite von am Fahrzeug angebrachten Sensoren befinden können). Schritt 120 hat aus Blendlicht in den Straßenniveaubildern etwas identifiziert, das eine Eisplatte 80 auf der Straße (ein Wetterproblem) zu sein scheint. Bevor eine Warnung an das Host-Fahrzeug 54 ausgegeben wird oder eine andere Abhilfemaßnahme getroffen wird, kann das Verfahren zuerst versuchen, das Wetterproblem 80 zu untermauern, indem die Straßenniveaubilder bewertet werden und nach anderen Hinweisen hinsichtlich Eis gesucht wird. In diesem Fall zeigen die Straßenniveaubilder, die durch die Verkehrskameras 16, 18 bereitgestellt werden, dass die Fahrzeuge V1, V2, die sich in dem gleichen Bereich wie die vermutete Eisplatte 80 befinden, ihre Scheibenwischer betreiben, was ein Hinweis für Niederschlag ist, der zu einer Eisplatte führen könnte; das heißt, Untermauerung oder Verifikation. Gemäß diesem Beispiel könnte der Eisplatte 80 eine Beurteilung eines niedrigen Schweregrads zugeordnet werden, bevor sie untermauert ist, eine Beurteilung eines moderaten Schweregrads, sobald sie durch die aktiven Scheibenwischer bestätigt wird, und möglicherweise ein hoher Schweregrad, sobald sie bestätigt wurde und sobald das Verfahren erkennt, dass sich die Eisplatte auf oder in der Nähe einer Brücke B befindet, die anfälliger für Eis ist als andere Fahrbahnen. Wenn die Eisplatte 80 ziemlich groß erscheint oder wenn nicht fahrende Fahrzeuge in der Nähe der Eisplatte vorhanden sind, sind dies beispielsweise Hinweise, die aus den Straßenniveaubildern erlangt werden und das Schweregrad-Level oder die Beurteilung dieses bestimmten Wetterproblems beeinflussen können. Dieses Merkmal ist optional, und die potentiellen Techniken und Verfahren zur Beurteilung, die eingesetzt werden können, sind zahlreich.
-
Schritt 130, der optional und nicht notwendigerweise erforderlich ist, ermittelt, ob ein bestimmtes Problem untermauert oder auf andere Weise verifiziert wurde. Bestimmte Baustellen-, Verkehrs- und/oder Wetterprobleme können naheliegend sein und daher keine Untermauerung erfordern. Wegen der Natur, des Orts, des Schweregrads etc. einiger Baustellen-, Verkehrs- und/oder Wetterprobleme kann es jedoch vorteilhaft sein, einen bestimmten Umfang an Redundanz in das System einzuführen, indem zur Untermauerung andere Elemente betrachtet werden, die aus den Straßenniveaubildern identifiziert werden. Um zu dem obigen Beispiel bezüglich der Eisplatte 80 zurückzukehren, kann Schritt 130 beide Wetterprobleme (d. h. die Platte und die Scheibenwischer) verwenden, um mit höherem Vertrauen abzuleiten, dass tatsächlich eine Eisplatte oder ein anderer Niederschlag an dem Straßensegment in der Nähe der Kameras 16, 18 vorhanden ist. Schritt 130 könnte erfordern, dass eine bestimmte Anzahl oder ein bestimmter Prozentsatz an vorbeifahrenden Fahrzeugen die Scheibenwischer in Betrieb hat, bevor zu dem Schluss gekommen wird, dass die Platte 80 untermauert wurde, oder es könnte stattdessen eine andere Form von Untermauerung eingesetzt werden. Wieder gibt es zahlreiche Untermauerungs- oder Verifikationstechniken, die eingesetzt werden könnten, und das vorliegende Verfahren ist nicht auf das hierin bereitgestellte Beispiel aktiver Scheibenwischer beschränkt. Es ist möglich, Schritt 130 in Schritt 120 oder einen anderen Schritt des vorliegenden Verfahrens einzubeziehen, da er kein separater und unabhängiger Schritt sein muss, wie es in 2 schematisch dargestellt ist.
-
Schritt 130 kann eine Untermauerung einer gleichen Kamera einsetzen (d. h. Bilder von der gleichen Kamera oder den gleichen Kameras werden verwendet, um das Vorhandensein eines bestimmten Problems zu verifizieren, eventuell durch Betrachten der Bilder über eine Zeitdauer), oder er kann eine Untermauerung unterschiedlicher Kameras verwenden (d. h. Bilder von einer benachbarten Kamera oder benachbarten Kameras werden benötigt, um ein bestimmtes Problem zu untermauern). In einigen Fällen kann die Art des Problems selbst eine ausreichende Bestätigung hinsichtlich dessen Vorhandensein bereitstellen, so dass eine Redundanz unnötig ist (z. B. wenn ein Verkehrsrückstau eindeutig durch eine Verkehrskamera erfasst wird und es keine anderen Kameras in der Nähe gibt, kann dies für die Zwecke der Untermauerung ausreichen). Fachleute werden erkennen, dass eine Untermauerung eines bestimmten Baustellen-, Verkehrs- und/oder Wetterproblems, insbesondere, wenn sich dieses Problem weit vor einem Host-Fahrzeug 54 befindet und jenseits der Reichweite von am Fahrzeug angebrachten Sensoren liegt, besonders nützlich sein kann, im Speziellen in dem Kontext von Modi eines automatisierten Fahrens, bei denen ein untermauertes Problem verwendet werden kann, um die Merkmale eines automatisierten Fahrens zu ändern oder sogar zu deaktivieren. Wenn ein bestimmtes Problem angemessen untermauert oder bestätigt wird, kann das Verfahren mit Schritt 140 fortfahren. Wenn das Problem andererseits als nicht untermauert betrachtet wird, kann das Verfahren Schritt 140 umgehen und mit Schritt 150 fortfahren. Dieser optionale Untermauerungsschritt kann auf ähnliche Weise mit Baustellen- und/oder Verkehrsproblemen realisiert werden, da die oben erläuterten Wetterprobleme lediglich Beispiele sein sollten.
-
Schritt 140 führt ein aktuelles Problemprofil der verschiedenen Probleme und Gefahren, die sich in einem gesamten Straßennetz oder -system befinden. Dies kann eine komplexe Aufgabe sein, insbesondere, wenn es Hunderte oder Tausende von umfassten Verkehrskameras gibt, und es gibt viele mögliche Arten, auf die es erreicht werden kann. Gemäß einer Möglichkeit kann ein erster Teil des vorliegenden Verfahrens (z. B. die Schritte 110–140) kontinuierlich im Hintergrund laufen, und zwar unabhängig vom Status oder Ort des Host-Fahrzeugs 54, so dass eine dynamische Datenbank oder eine andere Datensammlung von Problemen hergestellt wird und zur Verwendung zur Verfügung steht. Auf dieses Problemprofil kann dann durch einen zweiten Teil des vorliegenden Verfahrens (z. B. die Schritte 150–180) zugegriffen werden, der den Ort oder den erwarteten Ort eines oder mehrerer Host-Fahrzeuge 54 verwendet, um das Problemprofil zu überprüfen und zu ermitteln, ob es Probleme oder Gefahren in den entsprechenden geographischen Zonen gibt. Es ist möglich, dass eine Entität die Datensammlung (den ersten Teil) aufbaut und führt und diesen dann an andere Entitäten verkauft oder ihnen auf andere Weise einen Zugriff bereitstellt, welche dann auf die Daten zugreifen können und diese verwenden können, um das Fahrerlebnis eines oder mehrerer Host-Fahrzeuge zu verbessern (der zweite Teil). Bei diesem Szenario ist es nicht notwendig, dass eine einzelne Entität alle Schritte des Verfahrens 100 durchführt, obwohl sie dies könnte. Sicherlich sind andere Anordnungen möglich.
-
Die Information bezüglich potentieller Probleme oder Gefahren, die von dem Netz von Verkehrskameras zusammengetragen wird, kann gemäß geographischen Zonen organisiert werden. Eine geographische Zone kann hinsichtlich Bereich (z. B. eine bestimmte Anzahl an Quadratkilometern, durch Radius, durch Postleitzahl, durch Stadt, Stadtteil, Bezirk etc.) oder hinsichtlich der Straße (z. B. eine gesamte Straße oder Schnellstraße oder nur ein Segment oder Teil einer Straße könnten eine geographische Zone bilden) definiert oder beschrieben werden. Mit Bezug auf 3 ist eine Karte 200 des Stadtgebiets von Denver gezeigt, die von dem Verkehrsministerium von Colorado bereitgestellt wird und über die Website des Verkehrsministeriums von Colorado öffentlich verfügbar und zugänglich ist. In der Karte 200 werden Quellen von Straßenniveaubildern entweder als Videokamerasymbole 210–218 oder als Standbildkamerasymbole 220–226 dargestellt. Gemäß verschiedenen Beispielen kann eine geographische Zone das gesamte Stadtgebiet von Denver umfassen, wobei alle verschiedenen Straßen umfasst sind, wie es als Zone 240 gezeigt ist; könnte eine geographische Zone kleinere geographische Bereiche umfassen wie die Stadt oder den Vorort Lakewood und seine verschiedenen Straßen, gezeigt als Zone 242; könnte eine geographische Zone eine oder mehrere einzelne Straßen umfassen, wie beispielsweise I-70 oder I-25; oder könnte eine geographische Zone gemäß einer bevorzugten Ausführungsform ein bestimmtes Segment oder einen bestimmten Teil einer bestimmten Straße umfassen, wie die Segmente 250–254 von I-70. Es kann vorteilhaft sein, die Größe einer geographischen Zone mit der Anzahl an Verkehrskameras in dieser Zone, dem durchschnittlichen Volumen an Verkehr, der durch diese Zone fährt, oder anderen geeigneten Kriterien in Korrelation zu bringen. Geographische Zonen können in städtischen Bereichen wie Denver, in denen ein starker Verkehrsfluss herrscht, kleiner sein, und in ländlichen Bereichen größer sein. Es sei angemerkt, dass die exakte Art und Weise, auf die geographische Zonen festgelegt oder definiert werden, in Abhängigkeit von den bestimmten Bedürfnissen der Anwendung variieren können und nicht auf die oben erwähnten Beispiele beschränkt sind. Die folgende Beschreibung erfolgt im Kontext geographischer Zonen, die als Segmente einer spezifischen Schnellstraße oder Straße definiert sind, wobei dies jedoch nicht notwendig ist. Es sei angemerkt, dass die Karte 200 lediglich zu Erläuterungszwecken bereitgestellt wurde und keineswegs die Art und Weise einschränken oder beschränken soll, auf die die Straßenniveaubilder erfasst, verarbeitet und/oder gespeichert werden können.
-
Wieder auf 2 Bezug nehmend verwendet Schritt 140, wenn ein potentielles Problem oder eine potentielle Gefahr aus einem Straßenniveaubild identifiziert wurde und möglicherweise sogar untermauert wurde, die dem entsprechenden Bild zugehörige Information, um dieses Problem einer spezifischen geographischen Zone zuzuordnen. Es wird das Beispiel betrachtet, bei dem die Verkehrskamera 212 ein hochauflösendes Video eines Segments von I-70 bereitstellt und aus diesem Video Straßenniveaubilder verwendet werden, um die Eisplatte 80 in 1 zu zeigen. Bei einem derartigen Beispiel könnte Schritt 140 den Kameraidentifikator oder die Kamerapositionsinformation, der oder die die Straßenniveaubilder begleitet, verwenden, um dieses Wetterproblem (d. h. die Eisplatte 80) der geographischen Zone 250 zuzuordnen. Es wird in Betracht gezogen, dass eine geographische Zone wie die Zone 250 eine Anzahl von verschiedenen Problemen (Baustelle, Verkehr, Wetter oder andere) aufweisen würde, die dieser zugehörig sind und in dem Problemprofil gespeichert sind, so dass, wenn ein Host-Fahrzeug 54 in Zone 250 gelangt oder erwartet wird, dass es in diese gelangt, das Verfahren alle aktuellen Probleme in dieser bestimmten Zone betrachten könnte und ermitteln könnte, ob irgendwelche für das Host-Fahrzeug relevant wären. Auf diese Weise kann Schritt 140 beim Aufbauen oder Konstruieren eines Problemprofils helfen, das die Form einer Datenbank, eines 2-D-Modells oder sogar eines 3-D-Modells aufweisen kann und an der Backend-Einrichtung 52 oder einer anderen geeigneten Stelle geführt werden kann. Wenn ein Modellerstellungsansatz verwendet wird, um die verschiedenen Probleme chronologisch aufzuzeichnen, kann Schritt 140 das neue Problem verwenden, um die aktuelle Version des Modells zu editieren oder anzupassen. Wenn eine Liste verwendet wird, könnte Schritt 140 lediglich neue Probleme zu der Liste hinzufügen. Auch wenn es an dem Flussdiagramm in 2 nicht gezeigt ist, könnte das Verfahren 100 auch einen oder mehrere Schritte umfassen, um alte Probleme von dem Problemprofil zu entfernen, sobald sie abgeklungen sind oder auf andere Weise nicht mehr vorhanden sind. Wenn diese Sammlung von Informationen verwendet wird, um Warnungen auszugeben oder andere Abhilfemaßnahmen zu initiieren, ist es wichtig, dass sie aktuell ist.
-
Schritt 150 ermittelt, ob ein Trigger-Ereignis aufgetreten ist. Trigger-Ereignisse können das Aktivieren oder Einschalten eines Modus eines automatisierten Fahrens, das Anfordern einer Navigationsroute, das Fahren eines Fahrzeugs in eine neue geographische Zone oder jegliche anderen Ereignisse, die angeben können, dass ein Zugriff auf das Problemprofil, das in den Schritten 110–140 aufgebaut und geführt wird, erforderlich ist, umfassen, sind jedoch nicht darauf beschränkt. Wenn beispielsweise ein Fahrer des Host-Fahrzeugs 54 einen Modus eines automatisierten Fahrens initiiert, könnte die Telematikeinheit 72 eine drahtlose Nachricht an die Backend-Einrichtung 52 senden, in der das Problemprofil geführt wird, was als Trigger-Ereignis fungiert und bewirkt, dass das vorliegende Verfahren die Problemprofile für jede der geographischen Zonen, durch die erwartet wird, dass das Host-Fahrzeug fährt, betrachtet. Bei einem anderen Beispiel kann, wenn ein Fahrzeugbenutzer eine Navigationsroute anfordert (z. B. die Route könnte an dem Host-Fahrzeug oder über eine in Verbindung stehende Website angefordert werden), die Routenanforderung als Trigger-Ereignis dienen und bewirken, dass das Verfahren das Problemprofil hinsichtlich jeder der geographischen Zonen bewertet, die einen Teil der Navigationsroute umfassen. Bei noch einem anderen Beispiel könnte das Begeben in eine neue geographische Zone, während sich das Host-Fahrzeug 54 in einem Modus eines automatisierten Fahrens befindet, ein Trigger-Ereignis bilden, das automatisch bewirkt, dass das Verfahren das entsprechende Problemprofil für diese bestimmte geographische Zone betrachtet. Es gibt viele andere Möglichkeiten dafür, was sich möglicherweise als Trigger-Ereignis eignen könnte. Wenn ein Trigger-Ereignis detektiert wird, fährt das Verfahren mit Schritt 160 fort; wenn kein Trigger-Ereignis detektiert wird, kann das Verfahren in einer Schleife zurückspringen und mit dem Überwachen und Aktualisieren des Problemprofils fortfahren.
-
Schritt 160 vergleicht den Host-Fahrzeugort mit einer oder mehreren relevanten geographischen Zonen. Der ”Host-Fahrzeugort” bezieht sich in diesem Kontext auf entweder den vorliegenden Ort des Host-Fahrzeugs oder einen erwarteten zukünftigen Ort des Host-Fahrzeugs, der beispielsweise auf einer bekannten Navigationsroute oder einer erwarteten Route, extrapoliert aus einer aktuellen Trajektorie, basiert. Anders ausgedrückt vergleicht dieser Schritt einen vorliegenden Ort oder einen erwarteten zukünftigen Ort des Host-Fahrzeugs 54 mit den verschiedenen geographischen Zonen, die in dem Problemprofil geführt werden, um zu ermitteln, ob das Host-Fahrzeug wahrscheinlich irgendwelchen geographischen Zonen begegnet, in denen es entsprechende Probleme oder Gefahren gibt, die der Fahrer kennen sollte. Einige nicht einschränkende Beispiele dafür, wie Schritt 160 ausgeführt werden kann, umfassen: das Vergleichen des vorliegenden Orts des Host-Fahrzeugs 54 mit den verschiedenen geographischen Zonen, die in dem Problemprofil gespeichert sind; das Vergleichen des erwarteten zukünftigen Orts des Host-Fahrzeugs auf der Grundlage einer Navigationsroute, die an das Host-Fahrzeug gesendet wurde, mit den gespeicherten geographischen Zonen; und das Vergleichen des erwarteten zukünftigen Orts des Host-Fahrzeugs auf der Grundlage einer Extrapolierung der aktuellen Fahrtrichtung des Host-Fahrzeugs wie durch die Sensoren 70 oder dergleichen berichtet oder auf der Grundlage eines Modus eines automatisierten Fahrens mit den gespeicherten geographischen Zonen, um einige Beispiele zu nennen. Für einen Fachmann werden andere Wege zum Ausführen dieses Schritts ersichtlich. Dieser Schritt kann an der Backend-Einrichtung 52, an dem Host-Fahrzeug 54 oder an einer Kombination hiervon erfolgen. Beispielsweise kann das Host-Fahrzeug seinen aktuellen oder zukünftigen Ort für einen Vergleich an die Backend-Einrichtung 52 senden, oder die Backend-Einrichtung kann eine Information einer geographischen Zone von dem Problemprofil an das Host-Fahrzeug senden. In jedem Fall ermittelt das Verfahren, ob sich das Host-Fahrzeug bereits in einer spezifischen geographischen Zone befindet oder wahrscheinlich in diese eintreten wird, und dann fährt das Verfahren mit Schritt 170 fort.
-
Schritt 170 ermittelt, ob es ein oder mehrere potentielle Probleme gibt, die der betreffenden geographischen Zone zugehörig sind. Wie zuvor erwähnt, kann das Problemprofil Daten umfassen, die eine Anzahl von verschiedenen geographischen Zonen darstellen, und kann jede von diesen eine Anzahl an verschiedenen potentiellen Problemen umfassen, wie beispielsweise Baustellen-, Verkehrs- oder Wetterprobleme. Wenn dieser Schritt ermittelt, dass es tatsächlich ein oder mehrere potentielle Probleme für die betreffende spezifische geographische Zone gibt, kann das Verfahren dann mit Schritt 180 fortfahren, so dass eine entsprechende Abhilfemaßnahme oder Reaktion entworfen werden kann, um auf das potentielle Problem zu reagieren. Wenn es keine dieser bestimmten geographischen Zone zugehörigen potentiellen Probleme gibt, kann das Verfahren für eine fortgeführte Überwachung etc. in einer Schleife zurückspringen. In einigen Fällen kann dieser Schritt mehrere geographische Zonen betrachten, wie beispielsweise in dem Fall, wenn erwartet wird, dass das Host-Fahrzeug 54 einer bestimmten Navigationsroute folgt, die das Fahrzeug durch mehr als eine geographische Zone führt.
-
In Schritt 180 führt das Verfahren eine oder mehrere Abhilfemaßnahmen in Ansprechen auf zuvor identifizierte potentielle Probleme durch. Abhilfemaßnahmen können das Alarmieren eines Fahrers des Host-Fahrzeugs hinsichtlich bevorstehender potentieller Probleme, das Auffordern eines Fahrers des Host-Fahrzeugs, so dass er auf die Warnung reagieren oder diese bestätigen muss (z. B. durch Anfordern eines Typs von bestätigender Augenbewegung oder Anfordern, dass der Fahrer an das Lenkrad greift), das Ändern oder Anpassen der Parameter eines Modus eines automatisierten Fahrens, das vollständige Deaktivieren eines Modus eines automatisierten Fahrens etc. umfassen, sind jedoch nicht darauf beschränkt. Es ist vorzuziehen, dass, welche Abhilfemaßnahmen auch immer getroffen werden, diese weit genug im Voraus vor den potentiellen Problemen ausgeführt werden, so dass der Fahrer oder der Modus eines automatisierten Fahrens ausreichend Zeit für eine Anpassung an die oder Berücksichtigung der Probleme hat. Wenn beispielsweise das Host-Fahrzeug 54 in einem Modus eines automatisierten Fahrens entlang einer bekannten Navigationsroute betrieben wird und ein oder mehrere Baustellenprobleme für eine geographische Zone identifiziert wurden, in die sich das Fahrzeug gerade begibt, ist vorzuziehen, dass Schritt 180 vorzeitig eine Warnung sendet oder Änderungen an dem Modus eines automatisierten Fahrens vornimmt, so dass eine alternative Route genommen werden kann. Dies ist insbesondere vorteilhaft, wenn sich das abgewandte potentielle Problem weit jenseits der Reichweite von am Fahrzeug angebrachten Einrichtungen befindet und stattdessen über die Verwendung von Straßenniveaubildern identifiziert wird, die durch stationäre Verkehrskameras oder dergleichen bereitgestellt werden. Die Abhilfemaßnahme kann dem Fahrer auf eine Vielzahl von Arten bereitgestellt werden, wie beispielsweise visuell, akustisch, haptisch oder auf andere Weise, bevor sie durch den Modus eines automatisierten Fahrens ausgeführt wird. Ferner kann die Abhilfemaßnahme über eine Telematikeinheit, eine Steuereinheit, eine Mensch-Maschine-Schnittstelle, das Internet oder übertragbare Einrichtungen dargestellt werden.
-
Ferner kann die Abhilfemaßnahme in Abhängigkeit von dem Schweregrad des potentiellen Problems variieren – dies bezieht sich auf die zuvor erwähnte optionale Beurteilung oder Gewichtung. Wenn beispielsweise eine Straße gesperrt ist, was ein ziemlich schwerwiegendes potentielles Problem ist, kann die Abhilfemaßnahme das Deaktivieren eines Modus eines automatisierten Fahrens oder das Ändern des aktuellen Pfads des Host-Fahrzeugs über den Modus eines automatisierten Fahrens umfassen. Wenn sich das potentielle Problem darauf bezieht, dass eine Straße nass oder eisig ist, kann die Abhilfemaßnahme einfach eine Warnung für den Fahrer umfassen und kann sie im Falle eines Modus eines automatisierten Fahrens erfordern, dass der Fahrer seine Hände auf das Lenkrad legt. Nach dem Treffen einer oder mehrerer geeigneter Abhilfemaßnahmen kann das Verfahren in einer Schleife zurück zum Beginn springen.
-
Es ist zu verstehen, dass die vorstehende Beschreibung keine Definition der Erfindung, sondern eine Beschreibung einer oder mehrerer bevorzugter beispielhafter Ausführungsformen der Erfindung ist. Die Erfindung ist nicht auf die bestimmte(n) hierin offenbarte(n) Ausführungsform(en) beschränkt, sondern ist lediglich durch die nachstehenden Ansprüche definiert. Ferner beziehen sich die in der vorstehenden Beschreibung enthaltenen Aussagen auf bestimmte Ausführungsformen und sollen sie nicht als Einschränkungen des Schutzumfangs der Erfindung oder der Definition von Begriffen, die in den Ansprüchen verwendet werden, betrachtet werden, außer, wenn ein Begriff oder eine Phrase oben ausdrücklich definiert wurde. Verschiedene andere Ausführungsformen und verschiedene Änderungen und Abwandlungen der offenbarten Ausführungsform(en) werden für Fachleute ersichtlich werden. Beispielsweise sind die spezifische Kombination und Reihenfolge der Schritte, die in dem Flussdiagramm gezeigt sind, lediglich eine Möglichkeit, da das vorliegende Verfahren eine Kombination von Schritten umfassen kann, die weniger, mehr oder andere Schritte als die hier gezeigten aufweist. Es ist sicherlich möglich, einige der dargestellten Schritte (wie die Schritte 130, 170 etc.) mit anderen zu kombinieren oder auf andere Weise in diese zu integrieren. Alle solche anderen Ausführungsformen, Änderungen und Abwandlungen sollen innerhalb des Schutzumfangs der beigefügten Ansprüche liegen.
-
Wie in dieser Beschreibung und in den Ansprüchen verwendet, sollen die Begriffe ”zum Beispiel”, ”z. B.”, ”beispielsweise”, ”wie beispielsweise” und ”wie” und die Verben ”umfassen”, ”aufweisen”, ”einschließen” und ihre anderen Verbformen, wenn sie in Verbindung mit einer Auflistung einer oder mehrerer Komponenten eines oder mehrerer anderer Elemente verwendet werden, jeweils als ein offenes Ende aufweisend betrachtet werden, was bedeutet, dass die Auflistung nicht als andere, zusätzliche Komponenten oder Elemente ausschließend betrachtet werden soll. Andere Begriffe sollen als ihre breiteste vernünftige Bedeutung umfassend betrachtet werden, wenn sie nicht in einem Kontext verwendet werden, der eine andere Interpretation erfordert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- A Survey of Video Processing Techniques for Traffic Applications, Kastrinaki, Zervakis, Kalaitzakis, Image and Vision Computing 21 (2003) 359–381 [0025]
