-
Die vorliegende Erfindung betrifft eine Vorrichtung zum automatischen Erfassen eines vorbestimmten Zustandes eines Objekts, eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts sowie ein Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Insbesondere betrifft die vorliegende Erfindung eine automatische Detektion von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Objekten, insbesondere von Verkehrszeichen.
-
Stand der Technik
-
Für einen ordnungsgemäßen Ablauf des Straßenverkehrs sind im Verkehrsraum, insbesondere entlang von Kraftfahrstraßen, zahlreiche Verkehrszeichen angeordnet. Diese Verkehrszeichen müssen von allen Verkehrsteilnehmern entsprechend beachtet werden. Hierzu ist es erforderlich, dass die Verkehrszeichen durch alle Verkehrsteilnehmer auch stets gut wahrgenommen werden können.
-
Moderne Kraftfahrzeuge verfügen darüber hinaus in der Regel über Fahrassistenzsysteme (FAS bzw. Advanced Driver Assistance Systems, ADAS), die den Führer eines Kraftfahrzeugs unterstützen sollen. Hierzu müssen die Fahrassistenzsysteme auch die Verkehrszeichen im Straßenverkehr erkennen und korrekt interpretieren können. Auf diese Weise kann das Fahrassistenzsystem beispielsweise Informationen über eine mögliche Geschwindigkeitsbegrenzung oder andere Gebote bzw. Verbote erhalten. Für das Erkennen der Verkehrszeichen durch ein Fahrassistenzsystem in einem Kraftfahrzeug muss das entsprechende Kraftfahrzeug über ein Bildaufzeichnungssystem, wie zum Beispiel eine Kamera, verfügen und anschließend die von diesem Bildaufzeichnungssystem bereitgestellten Bilddaten mittels Objekterkennung detektieren. Hierzu ist es erforderlich, dass die Verkehrszeichen entlang den Straßen sich stets in einem ausreichend guten Zustand befinden, so dass die Verkehrszeichen einerseits von den Fahrassistenzsystemen korrekt interpretiert werden können und andererseits auch der Fahrer eines Fahrzeugs selbst die Verkehrszeichen stets schnell und ohne Schwierigkeiten wahrnehmen kann.
-
Aufgrund des ständig wachsenden Verkehrsnetzes und der großen Anzahl von Verkehrszeichen stellt daher die Instandhaltung und Überwachung aller Verkehrszeichen eine große Herausforderung dar. Eine manuelle Überprüfung und Überwachung aller Verkehrszeichen entlang eines ausgedehnten Verkehrsnetzes erfordert einen großen personellen Einsatz und ist daher mit hohen Kosten verbunden. Aufgrund der großen Bedeutung, die von ordnungsgemäßen, gut wahrnehmbaren Verkehrszeichen ausgeht, ist eine nur stichprobenartige Überprüfung von nur wenigen Verkehrszeichen nicht akzeptabel.
-
Daher besteht ein Bedarf nach einer automatischen Zustandserfassung von Objekten, insbesondere von Verkehrszeichen. Insbesondere besteht ein Bedarf nach einer automatischen Erfassung bzw. Bestimmung von Zuständen von Objekten wie Verkehrszeichen, die kostengünstig und effizient durchgeführt werden kann.
-
Offenbarung der Erfindung
-
Die vorliegende Erfindung schafft gemäß einem ersten Aspekt eine Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts. Die Erfassungsvorrichtung umfasst eine Kamera, eine Detektionsvorrichtung, eine Klassifizierungsvorrichtung und eine Sendevorrichtung. Die Kamera ist dazu ausgelegt, Bilddaten zu erfassen. Die Detektionsvorrichtung ist dazu ausgelegt, in den erfassten Bilddaten ein Objekt zu detektieren. Die Klassifizierungsvorrichtung ist dazu ausgelegt, den Zustand des in den erfassten Bilddaten detektierten Objekts zu klassifizieren. Die Sendevorrichtung ist dazu ausgelegt, Informationen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts an eine Empfangsvorrichtung zu übertragen.
-
Gemäß einem weiteren Aspekt schafft die vorliegende Erfindung eine Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts. Die Auswertevorrichtung umfasst eine Empfangsvorrichtung und eine Analysevorrichtung. Die Empfangsvorrichtung ist dazu ausgelegt, Informationen über einen klassifizierten Zustand eines Objekts zusammen mit einer Positionsangabe des Objekts zu empfangen. Die Analysevorrichtung ist dazu ausgelegt, einen vorbestimmten Zustand des Objekts basierend auf der empfangenen Information über den klassifizierten Zustand des Objekts zu erkennen.
-
Gemäß einem weiteren Aspekt schafft die vorliegende Erfindung ein Verfahren zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts. Das Verfahren umfasst die Schritte des Erfassens von Bilddaten durch eine Kamera in einem Fahrzeug; des Detektierens eines Objekts in den erfassten Bilddaten; des Klassifizierens des Zustands des detektierten Objekts; und des Übertragens von Informationen über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug an eine zentrale Auswertevorrichtung; und des Erkennens eines vorbestimmten Zustands eines Objekts unter Verwendung der von dem Fahrzeug an die zentrale Auswertevorrichtung übertragenen Informationen des klassifizierten Zustands des Objekts.
-
Der vorliegenden Erfindung liegt die Idee zugrunde, Objekte, wie zum Beispiel Verkehrszeichen, während der Fahrt mit einem Fahrzeug kontinuierlich automatisch zu überprüfen und dabei den Zustand der Objekte zu bewerten. Auf diese Weise ist mittels einer Vielzahl von Fahrzeugen eine flächendeckende Überwachung des Zustands der Objekte möglich. Da sich die Fahrzeuge ohnehin entlang der Verkehrswege bewegen, kann bei einer ausreichend großen Anzahl von Fahrzeugen eine sehr gute, flächendeckende Überwachung aller Verkehrszeichen erreicht werden.
-
Aufgrund der Tatsache, dass moderne Fahrzeuge ohnehin über Fahrassistenzsysteme verfügen, die mittels bildgebender Sensorik, wie zum Beispiel einer Kamera, Objekte, insbesondere Verkehrszeichen, detektieren und auswerten, kann das erfindungsgemäßen Erfassen und Klassifizieren der Verkehrszeichen mit einem nur verschwindend geringen zusätzlichen Aufwand realisiert werden. Dies ermöglicht eine besonders kostengünstige und somit effiziente Überwachung der Verkehrszeichen. Auch die Bestimmung der aktuellen Position des Fahrzeugs, an der ein Verkehrszeichen gerade erfasst und klassifiziert worden ist, kann mittels bereits vorhandener Sensorik in einem Kraftfahrzeug, beispielsweise mittels eines Navigationssystems, erfolgen. So können zum Beispiel die GPS-Koordinaten des Navigationssystems herangezogen werden, um die Position eines klassifizierten Objekts zu bestimmen.
-
Auf diese Weise kann eine Vielzahl von Informationen gesammelt werden, die anschließend in einer zentralen Auswertevorrichtung mit einfachen Mitteln gespeichert und ausgewertet werden kann. Insbesondere ist dabei eine Datenanalyse der Informationen über die klassifizierten Zustände eines Verkehrszeichens möglich, wodurch schnell und einfach ein unerwünschter Zustand eines Objekts erkannt werden kann. Bei einem solchen unerwünschten Zustand kann es sich beispielsweise um eine starke Verschmutzung, eine Beschädigung oder ähnliches handeln. Durch die Verwendung von Informationen von mehreren Fahrzeugen, die eine erfindungsgemäße Klassifizierung der Zustände der Verkehrszeichen ausführen, können dabei eine mögliche Störung aufgrund einer Fehlfunktion in einem einzelnen Fahrzeug oder auch witterungsbedingt Einflüsse schnell eliminiert werden.
-
Die automatische Bestimmung von vorbestimmten Zuständen, wie zum Beispiel Verunreinigungen oder Beschädigungen von Verkehrszeichen, kann daher mit niedrigem Aufwand und geringen Kosten zuverlässig realisiert werden.
-
Gemäß einer Ausführungsform überträgt die Sendevorrichtung der Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts zusätzlich weitere Metadaten zusammen mit den Informationen über den klassifizierten Zustand des detektierten Objekts an die Empfangsvorrichtung. Durch die zusätzliche Übertragung von weiteren Metadaten kann dabei die Auswertung und die Detektion von unerwünschten Eigenschaften eines zu überwachenden Objekts zusätzlich verbessert werden.
-
Gemäß einer Ausführungsform umfassen die Metadaten dabei mindestens die erfassten Bilddaten selbst, einen Zeitstempel mit Uhrzeit und/oder Datum, eine Geschwindigkeit bzw. eine Bewegungsrichtung während des automatischen Erfassens des Objekts und/oder Umgebungsbedingungen während des automatischen Erfassens, wie zum Beispiel eine Temperatur, eine Angabe über die Helligkeit während des Erfassens, Informationen über eventuell vorhandenen Niederschlag bzw. eine Intensität des aktuellen Niederschlags sowie weitere Angaben zu Sichtbedingungen, wie zum Beispiel Nebel, etc. Durch die Auswertung solcher zusätzlicher Informationen in den Metadaten kann bei der Auswertung der Klassifizierung eines erfassten Objekts eine mögliche Störung durch äußere Randbedingungen schnell erkannt werden. Somit kann die Wahrscheinlichkeit eines Fehlalarms verringert werden.
-
Gemäß einer weiteren Ausführungsform umfasst die Erfassungsvorrichtung eine Datensammelvorrichtung. Eine solche Datensammeleinrichtung kann dazu ausgelegt sein, weitere Informationen, wie zum Beispiel die oben beschriebenen Metadaten und/oder andere Informationen von zusätzlichen Sensoren zu empfangen, und diese als weitere Informationen, wie beispielsweise als die zusätzlichen Metadaten, für die Weiterverarbeitung bereitzustellen. Insbesondere kann die Datensammelvorrichtung dabei auch die Positionsangaben, bzw. die Geschwindigkeit und/oder die Fahrtrichtung eines Fahrzeugs von einem Fahrassistenzsysteme bzw. einem Navigationssystem empfangen und für die Weiterverarbeitung bereitstellen.
-
Gemäß einer weiteren Ausführungsform empfängt die Empfangsvorrichtung der Auswertevorrichtung eine Mehrzahl von Informationen über einen zu klassifizierenden Zustand eines Objekts von einer Vielzahl von unterschiedlichen Sendevorrichtungen. Die Analysevorrichtung ist dabei dazu ausgelegt, einen vorbestimmten Zustand eines Objekts basierend auf der Mehrzahl von empfangenen Informationen zu erkennen. Durch die Auswertung von einer Mehrzahl von Informationen von unterschiedlichen Systemen, wie zum Beispiel von mehreren Fahrzeugen, kann die Zuverlässigkeit zusätzlich gesteigert werden.
-
Gemäß einer weiteren Ausführungsform ist die Analysevorrichtung der Auswertevorrichtung dazu ausgelegt, einen vorbestimmten Zustand eines Objekts unter Verwendung von weiteren Metadaten zu erkennen. Bei den weiteren Metadaten kann es sich dabei insbesondere um die bereits weiter oben ausgeführten Metadaten handeln.
-
Gemäß einer weiteren Ausführungsform bestimmt die Analysevorrichtung der Auswertevorrichtung basierend auf den Metadaten mindestens eine Umgebungsbedingung des Objekts. Bei dieser Umgebungsbedingung kann es sich beispielsweise um aktuelle Wetterbedingungen oder ähnliches handeln. So kann beispielsweise bei Kenntnis der Position und dem aktuellen Datum sowie der aktuellen Uhrzeit von einem externen Server oder einer internen Datenbank die aktuelle Wetterlage bestimmt werden. Basierend hierauf können insbesondere mögliche Beeinträchtigungen der Sichtbedingungen festgestellt werden, die es ermöglichen, mögliche Falschalarme zu eliminieren.
-
Gemäß einer weiteren Ausführungsform des Verfahrens zur automatischen Bestimmung eines vorbestimmten Zustands eines Objekts umfasst das Verfahren einen Schritt zum Erfassen von weiteren Metadaten in dem Fahrzeug, wobei der Schritt zum Übertragen von Informationen über den klassifizierten Zustand des Objekts auch die erfassten Metadaten von dem Fahrzeug an eine zentrale Auswertevorrichtung überträgt.
-
Gemäß einer weiteren Ausführungsform erfolgt der Schritt zum Erkennen eines vorbestimmten Zustands eines Objekts unter Verwendung einer Mehrzahl von zuvor übertragenen Informationen über den klassifizierten Zustand des Objekts.
-
Gemäß einer besonderen Ausführungsform wird dabei die Mehrzahl von Informationen über den klassifizierten Zustand des Objekts von einer Mehrzahl von verschiedenen Kraftfahrzeugen bereitgestellt.
-
Weitere Vorteile und Ausführungsformen der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezug auf die beigefügten Zeichnungen.
-
Kurze Beschreibung der Zeichnungen
-
Dabei zeigen:
-
1: eine schematische Darstellung eines Verkehrszeichens in einem ersten vorbestimmten Zustand;
-
2: eine schematische Darstellung eines Verkehrszeichens in einem zweiten vorbestimmten Zustand;
-
3: eine schematische Darstellung einer Erfassungsvorrichtung zum automatischen Erfassen eines Zustands eines Objekts gemäß einer Ausführungsform;
-
4: eine schematische Darstellung einer Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands gemäß einer Ausführungsform; und
-
5: eine schematische Darstellung eines Ablaufdiagramms, wie es einem Verfahren zum automatischen Bestimmen eines Zustands eines Objekts zugrunde liegt.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Verkehrszeichens in einem ersten Zustand. In diesem ersten Zustand ist das dargestellte Verkehrszeichen in der Regel ohne Einschränkungen gut wahrnehmbar. Das Verkehrszeichen weist dabei weder Beschädigungen noch Verschmutzungen auf. Daher kann das Verkehrszeichen in diesem Zustand als „in Ordnung“ klassifiziert werden.
-
2 zeigt das Verkehrszeichen aus 1 in einem anderen Zustand. Die Schraffuren in 2 können dabei beispielsweise Verschmutzungen darstellen. Solche Verschmutzungen können zum Beispiel durch aufgewirbelten Staub oder anderen Schmutz verursacht werden. Aufgrund dieser Verschmutzung kann ein solches Verkehrszeichen weder von einem automatischen System, wie zum Beispiel einem Fahrassistenzsystem, noch von einem Benutzer korrekt wahrgenommen werden. Daher kann ein Verkehrszeichen gemäß 2 als „nicht in Ordnung“ klassifiziert werden. In diesem Fall ist zum Beispiel eine Reinigung oder gegebenenfalls auch eine Reparatur des Verkehrszeichens erforderlich, so dass das Verkehrszeichen anschließend von einem Benutzer wieder korrekt wahrgenommen werden kann und auch von einem automatischen System korrekt identifiziert werden kann.
-
Bei dem in 1 und 2 dargestellten Verkehrszeichen handelt es sich dabei um ein relativ einfaches Verkehrszeichen. Die vorliegende Erfindung ist jedoch nicht auf solche einfachen Verkehrszeichen beschränkt. Vielmehr kann die vorliegende Erfindung auf eine nahezu beliebige Art von Objekten angewendet werden. Insbesondere kann die vorliegende Erfindung auf jede Art von Verkehrszeichen, wie statische, nicht beleuchtete Verkehrszeichen, beleuchtete Verkehrszeichen, dynamische Verkehrszeichen, Verkehrszeichen, die durch unterschiedliche Beleuchtung unterschiedliche Informationen anzeigen, und insbesondere auch für Lichtzeichenanlagen wie zum Beispiel Ampeln oder ähnliches angewendet werden.
-
3 zeigt eine schematische Darstellung einer Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 ist in diesem Ausführungsbeispiel in einem Kraftfahrzeug 2 angeordnet. Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 umfasst dabei eine Kamera 10, eine Detektionsvorrichtung 11, eine Klassifizierungsvorrichtung 12, sowie eine Sendevorrichtung 13. Darüber hinaus kann die Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 auch einen Speicher 15, sowie gegebenenfalls noch weitere Komponenten umfassen.
-
Bei der Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 kann es sich dabei beispielsweise um eine bereits in einem Kraftfahrzeug 2 vorhandene Kamera handeln, die in Verbindung mit einem Fahrassistenzsystem des Kraftfahrzeugs 2 bereits eingesetzt wird. Somit kann insbesondere für die Kamera 10 bereits auf ohnehin vorhandene Ressourcen zurückgegriffen werden. Die Kamera 10 der Vorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 blickt dabei vorzugsweise in Fahrtrichtung des Kraftfahrzeugs 2. Dabei kann die Kamera 10 beispielsweise kontinuierlich Bilddaten erfassen. Die Bilddaten können dabei entweder mit einer vorbestimmten festen Bilddatenrate erfasst werden, oder alternativ kann die Bilddatenrate auch in Abhängigkeit von der Geschwindigkeit des Kraftfahrzeugs 2 angepasst werden. Grundsätzlich reicht es jedoch für die nachfolgenden Verarbeitungen auch aus, ein einzelnes Bild durch die Kamera 10 zu erfassen. Nachdem von der Kamera 10 mindestens ein Bild erfasst worden ist, werden die Bilddaten des erfassten Bildes von der Kamera 10 an die Detektionsvorrichtung 11 weitergegeben. Die Detektionsvorrichtung 11 detektiert dabei in den durch die Kamera 10 erfassten Bilddaten zunächst ein Objekt, insbesondere das Objekt 3. Beispielsweise kann die Detektionsvorrichtung 10 dabei die Bilddaten von der Kamera 10 mit einer Vielzahl von in einer Datenbank (hier nicht dargestellt) hinterlegten Objekten, insbesondere von Verkehrszeichen, vergleichen. Wird dabei eine Übereinstimmung mit in einer solchen Datenbank hinterlegten Objekten festgestellt, so kann das entsprechende Objekt in den Bilddaten detektiert werden. Grundsätzlich sind jedoch auch andere Verfahren und andere Algorithmen zur Objektdetektion und zur Erkennung von Verkehrszeichen möglich.
-
Nachdem in den von der Kamera 10 bereitgestellten Bilddaten ein Objekt detektiert worden ist, wird der Zustand dieses detektierten Objekts durch die Klassifizierungsvorrichtung 12 ausgewertet. Die Klassifizierungsvorrichtung 12 bestimmt dabei basierend auf den von der Kamera 10 bereitgestellten Bilddaten und den von der Detektionsvorrichtung 11 gelieferten weiteren Informationen eine Güte. Diese Güte kann zum Beispiel eine Wahrscheinlichkeit darstellen, mit der das in den Bilddaten detektierte Objekt tatsächlich ein vorbestimmtes Objekt ist. Übersteigt diese Wahrscheinlichkeit einen vorbestimmten Wert, so kann der Zustand dieses Objekts als „in Ordnung“ klassifiziert werden. Andernfalls wird der Zustand des Objekts als „nicht in Ordnung“ klassifiziert. Aber auch eine Klassifizierung des Zustands des Objekts in mehr als zwei Stufen ist ebenso möglich. Auch weitere Kriterien zur Klassifizierung des Zustands des Objekts sind ebenso möglich.
-
Parallel zu der Detektion und Klassifizierung des Objekts 3 in den von der Kamera 10 erfassten und bereitgestellten Bilddaten erfolgt auch eine Bestimmung der Position, an der sich das Objekt 3 befindet. Die Bestimmung der Position, an der sich das Objekt 3 befindet, kann dabei beispielsweise mit einer Positionsbestimmungsvorrichtung 14 erfolgen. Beispielsweise kann es sich bei dieser Positionsbestimmungsvorrichtung 14 um einen GPS-Empfänger handeln. Darüber hinaus ist es auch möglich, die Information über den aktuellen Ort aus anderen, bereits in dem Kraftfahrzeug vorhandenen Systemen zu beziehen. Insbesondere kann die aktuelle Position auch von einem Navigationsgerät des Kraftfahrzeugs bereitgestellt und an die Erfassungsvorrichtung 1 zur automatischen Erfassung eines Zustands übertragen werden.
-
Nachdem ein Objekt, wie zum Beispiel ein Verkehrszeichen, durch die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts detektiert worden ist und auch der Zustand des detektierten Objekts klassifiziert wurde, kann die Klassifizierung dieses Objekts gemeinsam mit der Position des Objekts 3 in einem Speicher 15 zunächst abgespeichert werden. Auf diese Weise ist es möglich, eine Vielzahl von Objekten nacheinander zu klassifizieren und diese Klassifizierung zusammen mit der Position der Objekte und gegebenenfalls weiterer Informationen zunächst lokal vorzuhalten.
-
Zur Einsparung von Speicherplatz kann die Speicherung von Klassifizierungen von Objekten auch nur auf solche Objekte beschränkt werden, deren Klassifizierung einen vorbestimmten Zustand, beispielsweise einen fehlerhaften Zustand, also beispielsweise eine Verschmutzung oder Beschädigung eines Verkehrszeichens, ergibt. Objekte, deren Zustand als fehlerfrei klassifiziert worden ist, werden in diesem Fall nicht weiter betrachtet.
-
Die in dem Speicher 15 abgespeicherten Informationen über die Zustände von detektierten Objekten und deren Positionsangaben können daraufhin mittels der Sendevorrichtung 13 zur Weiterverarbeitung ausgegeben werden. Beispielsweise kann es sich bei der Sendevorrichtung 13 um eine drahtlose Übertragungsvorrichtung handeln, die Informationen mittels einer Funkverbindung zu einem Empfänger überträgt. Bei einer solchen drahtlosen Übertragung kann es sich beispielsweise um eine Mobilfunkverbindung (GSM, UMTS, LTE oder ähnliches) handeln. Auch eine drahtlose Netzwerkverbindung (WLAN), eine Bluetooth-Verbindung, eine NFC-Verbindung, eine Datenübertragung mittels infrarotem Licht oder eine weitere drahtlose Übertragung sind dabei möglich. Ferner ist es auch möglich, die Daten von dem Speicher 15 mittels einer kabelgebundenen Verbindung zur Weiterverarbeitung zu übertragen. Alternativ können die Informationen über die Klassifizierung der Objekte und deren Positionsangaben auch in einem entnehmbaren Speicher, wie zum Beispiel einem USB-Stick, oder einer anderen entnehmbaren Speicherkarte abgespeichert werden. In diesem Fall kann der entnehmbare Speicher nach Abschluss der Fahrt des Kraftfahrzeugs 2 entnommen und manuell zur Weiterverarbeitung an einem entsprechenden Lesegerät eingesteckt werden.
-
Die Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objektes 3 kann neben der Klassifizierung eines Objekts 3 und den damit verknüpften Positionsdaten auch noch zusätzlich weitere Daten, so genannte Metadaten erfassen und diese Daten miteinander verknüpfen. Bei diesen zusätzlichen Metadaten kann es sich beispielsweise um das aktuelle Datum bzw. die aktuelle Uhrzeit handeln, zu der ein Objekt 3 detektiert und klassifiziert worden ist. Weiterhin kann auch die Bewegungsrichtung der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands, also die Fahrtrichtung des Kraftfahrzeugs 2, sowie die Geschwindigkeit und gegebenenfalls auch die Fahrspur des Kraftfahrzeugs 2 bestimmt und mit der Klassifizierung des Objekts verknüpft werden. Ferner können auch aktuelle Umweltbedingungen, wie zum Beispiel Temperatur, Luftfeuchtigkeit, Niederschlagsintensität bzw. Schneefall, sowie Angaben über die Helligkeit oder weitere Informationen über Sichtbedingungen, wie zum Beispiel Nebel oder ähnliches durch zusätzliche Sensoren erfasst und mit der Klassifizierung des Objekts 3 verknüpft werden. Ferner ist es auch möglich, dass die von der Kamera 10 bereitgestellten Bilddaten selbst als zusätzliche Information mit der Klassifizierung des Objekts 3 verknüpft und zusammen abgespeichert bzw. übertragen werden.
-
Nachdem durch eine oder auch mehrere Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands eines Objekts 3 das Objekt 3 erfasst und klassifiziert worden ist, können diese Klassifizierungen des Objekts 3 durch eine zentrale Auswertevorrichtung 4 ausgewertet werden. Eine solche zentrale Auswertevorrichtung 4 zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts 3 ist zum Beispiel in 4 dargestellt. Die zentrale Auswertevorrichtung 4 umfasst dabei eine Empfangsvorrichtung 40, sowie eine Analysevorrichtung 42. Ferner kann die Auswertevorrichtung 4 auch einen oder mehrere Speicher 41, sowie eine Anzeigevorrichtung 43 umfassen. Weitere Komponenten, wie zum Beispiel eine Eingabevorrichtung für manuelle Benutzereingaben oder ähnliches sind darüber hinaus ebenso möglich. Die Empfangsvorrichtung 40 empfängt dabei von einer oder mehrerer Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands eines Objekts 3 Informationen über einen klassifizierten Zustand eines Objekts 3. Gemeinsam mit diesen Informationen über den klassifizierten Zustand des Objekts 3 empfängt die Empfangsvorrichtung 40 dabei mindestens auch die Positionsangaben des Objekts 3, sowie gegebenenfalls auch weitere zuvor bereits beschriebene Metadaten.
-
Wie bereits zuvor beschrieben können dabei die Sendevorrichtung 13 der Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts 3 sowie die Empfangsvorrichtung 40 der Auswertevorrichtung 4 über eine drahtlose oder kabelgebundene Verbindung miteinander verbunden werden. Im Falle einer kabelgebundenen Verbindung, oder auch dem manuellen Übertragen eines entnehmbaren Speichers werden dabei die Informationen über die Zustände mehrerer klassifizierter Objekte 3 zunächst in den mobilen Erfassungsvorrichtungen 1 zum automatischen Erfassen gesammelt und anschließend gebündelt an die zentrale Auswertevorrichtung 4 übertragen. Auch im Falle einer drahtlosen Übertragung kann eine solche gebündelte Übertragung von mehreren Klassifizierungen für eine Vielzahl von Objekten 3 erfolgen. Alternativ ist im Falle einer drahtlosen Übertragung jedoch auch eine Übertragung in Echtzeit möglich. In diesem Fall kann unmittelbar nach der Erfassung und Klassifizierung eines Objekts 3 diese Klassifizierung zusammen mit den weiteren Informationen an die Auswertevorrichtung 4 übertragen werden, ohne dass dabei eine Zwischenspeicherung erfolgen muss.
-
Die Auswertevorrichtung 4 und insbesondere die darin integrierte Analysevorrichtung 42 bestimmt daraufhin basierend auf den empfangenen Informationen einen vorbestimmten Zustand eines Objekts 3. Bei diesem vorbestimmten Zustand kann es sich dabei insbesondere um Angaben darüber enthalten, ob das Objekt 3, wie zum Beispiel ein Verkehrszeichen, noch in Ordnung ist, das heißt das Verkehrszeichen durch einen Benutzer oder ein automatisches Fahrassistenzsystem noch ausreichend gut erkennbar ist. Die Analysevorrichtung 42 kann dabei zunächst die von der Erfassungsvorrichtung 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierung auswerten. Gemeinsam mit der Positionsangabe des Objekts 3 kann dabei eine eindeutige Zuordnung des Objekts 3 erfolgen. So können zum Beispiel basierend auf gleichen Positionsangaben auch mehrere von verschiedenen Erfassungsvorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellte Klassifizierungen miteinander verknüpft und verglichen werden. Erfolgt dabei beispielsweise übereinstimmend von mehreren verschiedenen Vorrichtungen 1 eine Klassifizierung, die einen mangelhaften Zustand eines Objekts 3 spezifiziert, so kann mit hoher Wahrscheinlichkeit davon ausgegangen werden, dass es sich bei diesem Objekt 3 tatsächlich um ein Objekt 3 handelt, welches nicht in Ordnung ist. Wird dagegen für eine vorgegebene Position nur einmalig ein Objekt 3 als fehlerhaft klassifiziert, so kann gegebenenfalls darauf geschlossen werden, dass es sich dabei um einen Fehlalarm handelt und in diesem Fall noch keine weiteren Aktionen erforderlich sind.
-
Auch durch die Verknüpfung der Klassifizierung eines Objekts 3 mit weiteren Metadaten kann die Fehlalarmrate weiter gesenkt werden. So können zum Beispiel in Abhängigkeit von der Klassifizierung des Objekts 3 auch die von der Kamera 10 erfassten Bilddaten mit an die zentrale Auswertevorrichtung 4 übertragen werden. In diesem Fall können die erfassten Bilddaten einem Benutzer dargestellt werden, so dass der Benutzer anschließend manuell noch einmal überprüfen kann, ob die automatische Klassifizierung tatsächlich korrekt war.
-
Darüber hinaus können durch die weiteren Metadaten auch Fehlalarme aufgrund von ungünstigen Umweltbedingungen minimiert werden. So können zum Beispiel Informationen über möglichen Niederschlag bzw. Schneefall, sowie Beeinträchtigungen der Sicht durch Nebel oder ähnliches bereits während der Klassifizierung in der Klassifizierungsvorrichtung 12 erfasst und als Metadaten mit der Klassifizierung zusammen übertragen werden. In diesem Fall können Klassifizierungen unter schlechten Randbedingungen eine geringere Bedeutung zugemessen werden. Beispielsweise kann die Analysevorrichtung 42 ein Objekt 3 erst dann als fehlerhaft klassifizieren, wenn unter ungünstigen Umweltbedingungen eine höhere Anzahl (erster Schwellwert) von Klassifizierungen vorhanden ist, während unter günstigen Umweltbedingungen bereits eine geringere Anzahl (zweiter Schwellwert) von Klassifizierungen für eine Signalisierung ausreicht.
-
Zur genaueren Spezifizierung und insbesondere auch zur Unterscheidung von einer Vielzahl von dicht beieinander liegenden Verkehrszeichen können gemeinsam mit der Klassifizierung und der gegebenenfalls sehr groben Positionsangabe des Objekts 3 auch weitere Informationen über Fahrtrichtung, Fahrspur des Fahrzeugs 2 oder ähnliches mit der Klassifizierung verknüpft und gemeinsam übertragen und ausgewertet werden. Auf diese Weise ist eine sehr präzise Zuordnung der empfangenen Klassifizierungen zu einzelnen Verkehrszeichen möglich.
-
Um darüber hinaus die Fehlalarmrate noch weiter abzusenken, kann die Analysevorrichtung 42 auch noch zusätzlich externe Informationen über mögliche Beeinträchtigungen mit in den Analysevorgang einbeziehen. So kann die Analysevorrichtung 42 beispielsweise als Metadaten zusätzlich einen Zeitstempel mit Datum bzw. Uhrzeit empfangen und anschließend basierend auf diesem Zeitstempel aus einer internen oder externen Datenbank die Umweltbedingungen, wie zum Beispiel Witterung oder ähnliches auslesen und mit in den Analysevorgang einbeziehen. Auf diese Weise können auch bereits durch eine geringe übertragene Datenmenge, wie zum Beispiel Klassifizierung zusammen mit Zeitstempel, bereits zuverlässig Fehlalarme aufgrund von schlechten Umweltbedingungen eliminiert werden.
-
Zur Verknüpfung einer Vielzahl von Klassifizierungen für ein Objekt 3 werden dabei in einem Speicher 41 der Auswertevorrichtung 4 zunächst die Klassifizierungen der Objekte 3 gesammelt. Vorzugsweise werden dabei die Klassifizierungen der Objekte 3 von einer Vielzahl von Vorrichtungen 1 zum automatischen Erfassen eines Zustands bereitgestellt. Beispielsweise können dabei solche Vorrichtungen 1 zum automatischen Erfassen eines Zustands in einer Vielzahl von Kraftfahrzeugen integriert werden. So kann es sich dabei beispielsweise um eine gesamte Flotte von Fahrzeugen handeln. Ist beispielsweise eine Kommune oder eine Stadt für die Instandhaltung der Verkehrszeichen verantwortlich, so kann diese Kommune bzw. Stadt einen Teil oder sämtliche Fahrzeuge ihrer Fahrzeugflotte mit entsprechenden Vorrichtungen 1 zum automatischen Erfassen eines Zustandes ausstatten. Alle diese Fahrzeuge können dabei während ihres täglichen Einsatzes automatisch die Zustände der Verkehrszeichen entlang den Fahrbahnen erfassen und analysieren und diese anschließend alle zusammen gemeinsam an eine zentrale Auswertevorrichtung 4 übertragen.
-
Somit kann durch ein System aus mehreren oben beschriebenen Erfassungsvorrichtungen 1, beispielsweise in den Fahrzeugen einer Fahrzeugflotte, und einer zentralen Auswertevorrichtung 4 eine zuverlässige, effiziente und kostengünstige Überwachung von Objekten, wie zum Beispiel Verkehrszeichen, ermöglicht werden.
-
5 zeigt eine schematische Darstellung eines Ablaufdiagramms, wie es einem Verfahren zum automatischen Bestimmen eines Zustands eines Objekts 3 gemäß einer Ausführungsform zugrunde liegt. In einem Schritt S1 werden zunächst Bilddaten durch eine Kamera 10 eines Fahrzeugs 2 erfasst. Anschließend wird in Schritt S2 ein Objekt in den erfassten Bilddaten detektiert und daraufhin in Schritt S3 der Zustand des detektierten Objekts klassifiziert. In Schritt S4 kann daraufhin die Information über den klassifizierten Zustand des detektierten Objekts zusammen mit einer Positionsangabe des detektierten Objekts von dem Fahrzeug 2 an eine zentrale Auswertevorrichtung 4 übertragen werden. In Schritt S5 wird daraufhin ein vorbestimmter Zustand des Objekts unter Verwendung der von dem Fahrzeug 2 an die zentrale Auswertevorrichtung 4 übertragenen Informationen des klassifizierten Zustands des Objekts erkannt.
-
Ergänzend zu der Klassifizierung des Zustands des detektierten Objekts können in einem weiteren Schritt auch noch weitere Metadaten in dem Fahrzeug erfasst werden und diese gemeinsam mit den Informationen über den klassifizierten Zustand ebenfalls von dem Fahrzeug an die zentrale Auswertevorrichtung 4 übertragen werden.
-
Zusammenfassend betrifft die vorliegende Erfindung die automatische Detektion und Bewertung von Objekten wie zum Beispiel Verkehrszeichen, insbesondere durch eine Fahrzeugflotte, sowie eine anschließende zentrale Analyse dieser Klassifizierung. Somit kann auf sehr einfache und kostengünstige Weise der Zustand von Verkehrszeichen entlang eines Verkehrsnetzes überwacht und ausgewertet werden. Verschmutzte und beschädigte Verkehrszeichen können rasch erkannt werden.
