DE102013216892A1

DE102013216892A1 - Standortbestimmung für ein Objekt unter Verwendung von visuellen Daten

Info

Publication number: DE102013216892A1
Application number: DE102013216892.6A
Authority: DE
Inventors: Norman Haas; Ying Li; Charles A. Otto; Sharathchandra Pankanti; Yuichi Fujiji; Hoang Trinh
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2012-09-12
Filing date: 2013-08-26
Publication date: 2014-03-13
Anticipated expiration: 2033-08-27
Also published as: US20140072169A1; CN103675868A; US20140072173A1; US9036865B2; DE102013216892B4; US9047668B2; CN103675868B

Abstract

Eine globale Position eines observierten Objektes wird durch Beziehen einer ersten globalen Position eines observierten Objektes mit wenigstens einer Positionsbestimmungseinheit ermittelt. Es wird ein Ermitteln dahingehend durchgeführt, ob ein Satz an gespeicherten visuellen Eigenschaftsdaten wenigstens eines Wegepunktes mit einem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand von wenigstens einem erfassten Bild bezogen wurde, das eine zu dem observierten Objekten gehörende Szene aufweist. In Reaktion auf den Satz an gespeicherten visuellen Eigenschaftsdaten, der mit dem Satz an bezogenen visuellen Eigenschaftsdaten übereinstimmt, wird eine zweite globale Position des observierten Objektes auf der Grundlage eines Satzes an gespeicherten Standortdaten ermittelt, der zu dem wenigstens einen Wegepunkt und der ersten globalen Position gehört.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft im Allgemeinen Standortbestimmung, und insbesondere betrifft sie Standortbestimmung für Objekte unter Verwendung visueller Daten.
HINTERGRUND DER ERFINDUNG
Das Ermitteln des Objektstandortes für erfasste Objekte wird in verschiedenen Einsatz- und Anwendungsbereichen genutzt, so beispielsweise beim Anlagenmanagement, der Straßeninspektion, der Eisenbahnschieneninspektion usw. Laut der vor kurzem von der staatlichen US-amerikanischen Eisenbahnbehörde (Federal Railroad Administration, FRA) veröffentlichten Sicherheitsstatistiken belief sich der durch sämtliche erfassten Zugentgleisungen verursachte Schaden auf jährlich Hunderte Millionen US-Dollar, von denen mehr als 10% Schienenproblemen zuzuschreiben sind. Aus Gründen der Sicherheit und Leistungseffizienz müssen Eisenbahnschienen regelmäßig auf physische Defekte und Abweichungen inspiziert werden, um den Schienenzustand auf einem hohen Niveau beizubehalten. Die Inspektion von Eisenbahnschienen umfasst im Allgemeinen eine breite Reihe verschiedener Aufgaben, angefangen von dem Lokalisieren und Bewerten des Zustandes unterschiedlicher Eisenbahnschienenkomponenten (Ankerplatten, Verankerungen, Laschen usw.) über das Überwachen der Gleisoberflächen, -ausrichtungen und -krümmungen bis hin zum Erfassen von Spikebildung an mehreren Ankerplatten sowie Normabweichungen der Verankerungen.
ZUSAMMENFASSUNG DER ERFINUNG
In einer Ausführungsform wird ein Verfahren zum Ermitteln einer globalen Position eines observierten Objektes offenbart. Das Verfahren weist Beziehen einer ersten globalen Position eines observierten Objektes mit wenigstens einer Positionsbestimmungseinheit auf. Es wird ein Ermitteln dahingehend durchgeführt, ob ein Satz an gespeicherten visuellen Eigenschaftsdaten wenigstens eines Wegepunktes mit einem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand wenigstens eines aufgenommenen Bildes bezogen wurde, das eine zu dem observierten Objekt gehörende Szene aufweist. In Reaktion auf den Satz an gespeicherten visuellen Eigenschaftsdaten, der mit dem Satz an bezogenen visuellen Eigenschaftsdaten übereinstimmt, wird eine zweite globale Position des observierten Objektes auf der Grundlage eines Satzes an gespeicherten Standortdaten, der zu dem wenigstens einen Wegepunkt gehört, und der ersten globalen Position ermittelt.
In einer weiteren Ausführungsform wird ein Verfahren zum Führen einer Datenbank von zu inspizierenden Zielobjekten offenbart. Das Verfahren weist Analysieren wenigstens eines eine Szene aufweisenden Bildes auf. Das Bild wird von wenigstens einer Bildaufnahmeeinheit aufgenommen, die sich an einem Fahrzeug befindet. Auf der Grundlage des Analysierens wird am erster Satz an visuellen Eigenschaftsdaten, der zu der Szene gehört, identifiziert. Der erste Satz an visuellen Eigenschaftsdaten wird mit einem zweiten Satz an visuellen Eigenschaftsdaten, der zu dem wenigstens einen Zielobjekt gehört, verglichen. Auf der Grundlage des Vergleichens wird von dem ersten Satz an visuellen Eigenschaftsdaten und dem zweiten Satz an Eigenschaftsdaten ermittelt, ob sie innerhalb eines bestimmten Schwellenwertbereiches miteinander übereinstimmen. Es wird ein Satz an Positionierungsdaten, der zu dem Fahrzeug zur Eisenbahnstreckeninspektion gehört, bezogen. Der zweite Satz an visuellen Eigenschaftsdaten wird mit dem Satz an Positionierungsdaten in einem Eintrag einer Datenbank gespeichert, die zu dem wenigstens einen Zielobjekt gehört.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die beigefügten Figuren, bei denen sich in den verschiedenen Ansichten gleiche Bezugszahlen auf identische Elemente oder Elemente mit ähnlichen Funktionen beziehen und die zusammen mit der nachstehenden ausführlichen Beschreibung einen integralen Bestandteil der Patentschrift bilden, dienen der Veranschaulichung verschiedener Ausführungsformen und der Erläuterung verschiedener Prinzipien und Vorteile gemäß der vorliegenden Erfindung, in denen:
1 ein Blockdiagramm ist, das eine detaillierte Ansicht eines Standortbestimmungssystems gemäß einem Beispiel der vorliegenden Erfindung veranschaulicht;
2 ein Blockschaubild ist, das eine detaillierte Ansicht eines Standortbestimmungssystems gemäß einem Beispiel der vorliegenden Erfindung veranschaulicht;
3 ein Beispiel von Umgebungsdaten darstellt, die den visuellen Umgebungsmerkmalen/Objekten gemäß einem Beispiel der vorliegenden Erfindung entsprechen;
4 ein Beispiel von Inspektionsdaten zeigt, die von dem Standortbestimmungssystem von 2 gemäß einem Beispiel der vorliegenden Erfindung aufgenommen/aufgezeichnet werden können;
Die 5 und 6 Funktionsablaufpläne sind, die einen Prozess zum Bestimmen des Standortes eines Objektes unter Verwendung von visuellen Umgebungsmerkmalen/Objekten gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
7 ein weiterer Funktionsablaufplan ist, der einen Prozess zum Bestimmen des Standortes eines Objektes unter Verwendung von visuellen Umgebungsmerkmalen/Objekten gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
8 ein Funktionsablaufplan ist, der einen Prozess zum Bestimmen des Standortes einer beschädigten oder fehlenden Eisenbahngleiskomponente gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
9 ein Blockschaubild ist, das eine detailliertere Ansicht eines Datenverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht;
10 ein Beispiel eines Bildverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht; und
11 ein Beispiel einer geographischen Nähe zum Bereitstellen genauer globaler Positionen von observierten Objekten gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
AUSFÜHRLICHE BESCHREIBUNG
Hierein werden Ausführungsformen der vorliegenden Erfindung offenbart. Dabei sollte beachtet werden, dass die offenbarten Ausführungsformen lediglich Beispiele der Erfindung sind, die in verschiedenen Formen ausgeführt werden können. Dementsprechend sollten bestimmte hierin offenbarte Einzelheiten zum Aufbau nicht im einschränkenden Sinne sondern lediglich als ein Grundlage für die Ansprüche und eine repräsentative Grundlage erachtet werden, um dem Fachmann die verschiedenen Verwendungsmöglichkeiten der vorliegenden Erfindung in praktisch jedem beliebigen geeigneten detaillierten Aufbau und jeder Funktion nahe zu bringen. Des Weiteren sind die hierin verwendeten Begriffe und Formulierungen nicht im einschränkenden Sinne zu erachten; sie stellen vielmehr eine verständliche Beschreibung der Erfindung sicher.
Die Begriffe „ein” oder „eins” definieren in ihrer hierin verwendeten Form eins oder mehr als eins. Der Begriff „Vielzahl” definiert in seiner hierin verwendeten Form zwei oder mehr als zwei. Der Begriff „weiterer” definiert in seiner hierin verwendeten Form wenigstens einen zweiten oder weitere. Die Begriffe „enthalten” und/oder „haben” definieren in ihrer hierin verwendeten Form „aufweisend” (d. h. offene Sprache). Der Begriff „verbunden” definiert in seiner hierin verwendeten Form „angeschlossen”, obgleich nicht notwendigerweise direkt, und nicht notwendigerweise mechanisch.
Betriebsumgebung
1 veranschaulicht einen allgemeinen Überblick einer Betriebsumgebung 100 gemäß einer Ausführungsform der vorliegenden Erfindung. insbesondere zeigt 1 ein Datenverarbeitungssystem 102, das innerhalb einer beweglichen/transportablen Einheit 101 wie beispielsweise einem Fahrzeug (z. B. ein Automobilfahrzeug, ein Motorrad, ein Zug und Ähnliches), einer Aktentasche, einem Rucksack usw. implementiert sein kann. Hierbei sollte beachtet werden, dass innerhalb der vorliegenden Beschreibung ein Fahrzeug als ein nicht einschränkendes Beispiel der beweglichen/transportablen Einheit 101 verwendet wird. Zusätzlich dazu kann das System 102 zu Schulungszwecken über eine Datenübertragung mit einer benutzergestützten Schulungsumgebung verbunden sein. Bei dem System 102 kann es sich entweder um ein physisches System, das jede der nachstehend beschriebenen Komponenten aufweist, oder eine Funktionseinheit handeln, die aus jeder der nachstehend beschriebenen Komponenten gebildet ist. Hierbei sollte beachtet werden, dass, obgleich die nachstehende Beschreibung an der Eisenbahnschieneninspektion ausgerichtet ist, Ausführungsformen der vorliegenden Erfindung auf eine solche Anwendung nicht beschränkt sind. So können beispielsweise eine oder mehrere Ausführungsformen in anderen Anwendungen wie zum Beispiel zur Straßeninspektion, Anlageninspektion, für andere Aufgaben, bei denen es hauptsächlich gar nicht um Inspektion geht, wie beispielsweise Bohrungsfeinbearbeitung oder Farbfeinmarkierung oder in jeder anderen beliebigen Umgebung verwendetet werden, in der genaue Standortdaten gewünscht sind, jedoch nicht darauf beschränkt. Die Eisenbahnschieneninspektion und die Eisenbahnschienenkomponenteninspektion werden lediglich als nicht beschränkende Beispiele verwendet, die auf Ausführungsformen der vorliegenden Erfindung anwendbar sind.
In einer Ausführungsform weist das System 102 ein Standortbestimmungssystem (LDS, location determining system) 104, ein Objektbestimmungssystem (ODS, object determining system) 106, aufweisend Objektdetektoren 136, ein Bildverarbeitungssystem 108, ein Inspektionssystem 110, eine Bilddatenbank 112, aufweisend eine oder mehrere Bilder/Einzelbilder (Frames) 114 (und/oder extrahierte Bereiche von Bildframes), eine Umgebungsdatenbank 116, aufweisend Umgebungsdaten 118 und eine Inspektionsdatenbank 120, aufweisend Inspektionsdaten 122 auf. Das Bildverarbeitungssystem 108 weist eine oder mehrere Bildaufnahmeeinheiten 1002, 1004 (10) wie beispielsweise (jedoch nicht beschränkt auf) eine Kamera, die über eine Datenübertragung mit dem Datenverarbeitungssystem 102 verbunden ist, um ihm Einzelbilder (image frames) 113 bereitzustellen, auf. Ausgewählte Exemplare 114 dieser Einzelbilder 113 werden anschließend in der Bilddatenbank 112 gespeichert. Wenigstens eine der Bildaufnahmeeinheiten 1002 ist nach außen und/oder von dem Fahrzeug 101 weggerichtet ausgerichtet, so dass sich auf dem Boden angeordnete Objekte 1002, die von dem Inspektionssystem 110 inspiziert werden, in dem oder den Sichtfeld/ern 1008 der Bildaufnahmeeinheit(en) 1002 befinden. In einer weiteren Ausführungsform ist wenigstens eine der Bildaufnahmeeinheiten 1004 nach außen von dem Fahrzeug 101 weggerichtet ausgerichtet, so dass sich auf dem Boden angeordnete Objekte 1010 (z. B. Wegepunkte) in dem oder der den Sichtfeld/ern 1012 der Bildaufnahmeeinheit(en) 1004 befinden.
Das System 102 weist des Weiteren verschiedene Sensoreinheiten wie beispielsweise ein oder mehrere GPS-(Global Positioning System)Systeme 124, die GPS-Daten 126 erzeugen, ein oder mehrere Entfernungsmessinstrumente (DMIs, distance measuring instruments) 128, die Entfernungsdaten 130 erzeugen, sowie ein oder mehrere Trägheitsmoment-Messeinheiten (IMUs, inertial measuring units) 132, die Trägheitsmoment-Messdaten 134 erzeugen, auf. Zu den GPS-Daten 126 können Längengraddaten, Breitengraddaten, Höhenangaben, Geschwindigkeitsdaten, Fahrrichtungsdaten, Beschleunigungsdaten usw. gehören, jedoch nicht darauf beschränkt. Zu den Entfernungsdaten 130 können unter anderem die zurückgelegte Entfernung, die berechnete Geschwindigkeit sowie Beschleunigungsdaten usw. gehören, jedoch nicht darauf beschränkt. Zu den Trägheitsmoment-Messdaten (IMU-Daten) 134 können Beschleunigungsdaten, Daten zur Fahrtrichtung usw. gehören, jedoch nicht darauf beschränkt. Hierbei sollte beachtet werden, dass sich eine oder mehrere der in 1 dargestellten Komponenten (unter anderem das Bildverarbeitungssystem 108 und die von ihm erzeugten Einzelbilder 113) außerhalb des Systems 102 angeordnet befinden und mittels Datenübertragung mit dem System 102 verbunden sein können. Es sollte des Weiteren beachtet werden, dass zwei oder mehr der vorstehenden Komponenten (unter anderem das Bildverarbeitungssystem 108 und die von ihm erzeugten Einzelbilder 113) auch in einer einzelnen Komponente kombiniert sein können.
Standortbestimmungssystem
2 zeigt eine detailliertere Ansicht des Standortbestimmungssystems LDS 104. 2 zeigt, dass das LDS 104 in einer Ausführungsform ein Datenbeziehmodul 202, ein Standortvorhersagemodell 204, ein Vergleichsmodul 206 und ein Umgebungsdatenbank-Aktualisierungsmodul 208 aufweist. Nachstehend wird jede dieser Komponenten ausführlicher beschrieben. Unter weiterer Bezugnahme auf 1 stellen die Bilder/Einzelbilder (Frames) 113 in einer Ausführungsform Einzelbilder oder Fragments von Einzelbildern einer Videosequenz (oder einer Standbildfotosequenz) einer Außenumgebung, die von einer oder mehreren Bildaufnahmeeinheiten des Bildverarbeitungssystems 108 aufgenommen/observiert wurden, oder eine Teilmenge solcher Einzelbilder und/oder Fragmente von Einzelbildern dar. In einer Ausführungsform stellen die Bilder/Einzelbilder (oder Fragmente von Einzelbildern) 113 eine observierte Szene oder einen Abschnitt davon dar.
Diese Bilder/Einzelbilder 113 werden von Objektdetektoren 136 in dem Objektbestimmungssystem ODS 106 analysiert, um Zielobjekte in den Bildern/Einzelbildern 113 zu erfassen. In einer Ausführungsform weist ein erster Satz an Zielobjekten verschiedene visuelle Umgebungsmerkmale/Objekte wie beispielsweise Wegepunkte/Denkmäler 1010 (10) auf. Bei einem Wegepunkt kann es sich um Gegenstände, Gebäude, Teile eines Gebäudes (z. B. Türen, Fenster, baukünstlerische Merkmale usw.) Meilenmarkierungen (Meilensteine), Schilder, Eisenbahnsignale, Straßenschilder, Kreuzungen, Bäume, beschädigte und/oder fehlende Eisenbahnschienenkomponenten und Ähnliches handeln, jedoch nicht darauf beschränkt. Zu einem zweiten Satz an Zielobjekten (hierin auch als „Inspektionssystem-Zielobjekte” bezeichnet) gehören Objekte, die für das Inspektionssystem 110 von Interesse sind. So kann es sich bei dem zweiten Satz an Zielobjekten beispielsweise um Komponenten einer Eisenbahnstrecke wie beispielsweise Eisenbahnschwellen, Nägel, Schienenverankerungen, die Schienen selbst usw. handeln, jedoch nicht darauf beschränkt. Das ODS 106 erfasst diese Inspektionssystem-Zielobjekte, und das Inspektionssystem 110 analysiert die Bilder/Einzelbilder, die diese Zielobjekte aufweisen, um irgendwelche Defekte/Schäden an ihnen zu erfassen. So werden beispielsweise Defekte oder beschädigte Bereiche wie zum Beispiel kaputte Eisenbahnschwellen, Bereiche mit fehlenden Eisenbahnschwellen, Bereiche mit fehlenden Nägeln, Bereiche mit fehlenden Verankerungen usw., jedoch nicht darauf beschränkt, von dem Inspektionssystem 110 identifiziert.
In einer Ausführungsform identifiziert das Inspektionssystem 110 Defekte/Schäden an einem identifizierten Zielobjekt unter Verwendung eines Prozesses, der dem ähnelt, der von dem ODS 106 zum Erfassen von Zielobjekten angewendet wird. In einer weiteren Ausführungsform kann das ODS 106 auch Defekte/Schäden an den Zielobjekten erfassen. Hierbei sollte beachtet werden, dass in einer Ausführungsform das Inspektionssystem 110 Teil eines Objekterfassungssystems 106 sein kann oder umgekehrt. Auch können Bereiche mit Defekten und Schäden als ein dritter Satz an Zielobjekten erachtet werden. Die Zielobjekte einer oder mehrerer Ausführungsformen sind jedoch nicht auf Eisenbahnstreckenkomponenten und entsprechende Schäden beschränkt.
Bei dem oder den Objektdetektor(en) 136 handelt es sich in einer Ausführungsform um (einen) merkmalsbasierte(n) Detektor(en), (einen) lernbasierte(n) Maschinendetektor(en) oder Ähnliches. Der Objektdetektor 136 empfängt eine Eingabe (z. B. Bilder/Einzelbilder 113) von dem Bildverarbeitungssystem 108 und führt eine oder mehrere Analyseoperationen daran durch. Auf der Grundlage dieser Operationen können die Objektdetektoren 136 ermitteln, ob die Einzelbilder/Bilder 113 (oder Abschnitte/Fragmente davon) ein Zielobjekt aufweisen. Einzelbilder/Bilder (oder Abschnitte/Fragmente davon), die ein Zielobjekt aufweisen, werden in der Bilddatenbank 112 gespeichert und in 1 als „Bilder/Einzelbilder mit (einem) Zielobjekt(en) 114” identifiziert. In einer Ausführungsform vergleicht der Objektdetektor 136 beispielsweise ein aufgenommenes Bild/Einzelbild 113 mit einem Satz an Referenzbildern (nicht dargestellt), um ein Zielobjekt in einem Bild/Einzelbild 113 zu identifizieren. Alternativ oder zusätzlich dazu kann der Objektdetektor 136 vorher aufgenommene Bilder/Einzelbilder 114 verwenden, in denen ein Zielobjekt identifiziert worden ist, um zu ermitteln, ob ein aktuelles Bild/Einzelbild 113 ein Zielobjekt aufweist. Der Objektdetektor 136 kann in Bezug auf Zielobjekte von Interesse unter Verwendung eines oder mehrerer Trainingsmodelle (nicht dargestellt) auch vorab trainiert werden. Ausgehend von diesem Training ist der Objektdetektor 136 in der Lage, Zielobjekte in den Bildern/Einzelbildern 113 zu erfassen. Eine ausführlichere Beschreibung zu Objekterfassung findet sich in der gemeinsamen und gleichzeitig anhängigen US-Anmeldung mit der Seriennummer 13/085,985 mit dem Titel „Object Recognition Using HAAR Features and Histograms of Oriented Gradients”; der gemeinsamen und gleichzeitig anhängigen US-Anmeldung mit der Seriennummer 13/086,023 mit dem Titel „Detection of Objects in Digital Images”; und der gemeinsamen und gleichzeitig anhängigen US-Anmeldung mit der Seriennummer 13/277,936 mit dem Titel „Optimizing The Detection Of Objects In Images”, die hierin durch Verweis in ihrer Gesamtheit Bestandteil der vorliegenden Patentschrift bilden. Eine ausführlichere Beschreibung zur Bildanalyse bei Eisenbahnschieneninspektionen findet sich in der gemeinsamen und gleichzeitig anhängigen Veröffentlichung mit dem Titel „Component-Based Track Inspection Using Machine-Vision Technology", Li et al., ICMR'11, April 2011, die hierin in ihrer Gesamtheit durch Verweis Bestandteil der vorliegenden Patentschrift bildet.
Zusätzlich zu dem Erfassen von Zielobjekten analysiert das ODS 106 des Weiteren ein erfasstes Zielobjekt in einem Bild/Einzelbild und identifiziert verschiedene visuelle/Erscheinungsbildattribute und dazu gehörende Eigenschaften. So kann das ODS 106 die Farbe/Form, Ausrichtung, Anzahl von Türen/Fenstern und jede beliebige anderen visuellen/Erscheinungsbildattribute und Eigenschaften eines Wegepunktes identifizieren, die zum Identifizieren eines jeweiligen Wegepunktes verwendet werden können. Diese Daten zu visuellen/Erscheinungsbildattributen und Eigenschaften werden zusammen mit einem Zielobjekt gespeichert, wie dies nachstehend ausführlicher beschrieben wird.
Wenn das Objekterfassungssystem 106 ein Wegepunkt-Zielobjekt erfasst hat, ordnet das LDS 104 in einer Ausführungsform diesem Zielobjekt Standortdaten zu. Ein Beispiel zum Zuordnen von Standortdaten zu einem Wegepunkt-Zielobjekt gestaltet sich folgendermaßen. Das LDS 104 ermittelt den aktuellen Standort des Fahrzeuges 101 oder des Systems 102. Das LDS 104 zeichnet diese Standortdaten zusammen mit entweder dem Bild/Einzelbild (oder dem Einzelbildfragment) 114, das das Wegepunkt-Zielobjekt und/oder weitere identifizierenden Daten wie beispielsweise visuelle Attribute/Eigenschaften des Zielobjektes als einen Eintrag zu Inspektionsdaten 122 in der Inspektionsdatenbank 120 auf. Das Datenbeziehmodul 202 des LDS 104 ruft beispielsweise die GPS-Daten 126, welche zu der Position des Fahrzeuges gehören, im Wesentlichen zu dem Zeitpunkt, zu dem die das Zielobjekt aufweisenden Bilder/Einzelbilder 114 aufgenommen wurden, von der GPS-Einheit 124 ab oder empfängt sie davon.
Das Datenbeziehmodul 202 kann auch Daten von anderen Sensoreinheiten wie beispielsweise dem DMI 128 und der IMU 132 abrufen/empfangen. Anschließend kann eine zusätzliche Verarbeitung an diesen Daten durchgeführt werden, um den Standort als eine GPS-Koordinate, eine GPS-Koordinate plus eine zurückgelegte Entfernung (beispielsweise in Fuß oder Metern) und/oder Ähnliches zu ermitteln. Das ODS 106 kann zum Zählen der Anzahl von Eisenbahnschwellen verwendet werden, die von einem Referenzstandort wie beispielsweise einem vorher erfassten Wegepunkt, einem bestimmten Längengrad/Breitengrad usw. erfasst worden sind. Diese Zählung von Eisenbahnschwellen kann von dem LDS 104 als Teil des Standortbestimmungsprozesses verwendet werden. Hierbei sollte beachtet werden, dass in einigen Ausführungsformen GPS-Daten für einen Wegepunkt direkt an dem Standort des Wegepunktes bezogen werden können. Die von dem LDS 104 von den verschiedenen Sensoreinheiten 124, 128, 132 und dem ODS 106 bezogenen Daten werden in der Umgebungsdatenbank 116 als Umgebungsdaten 118 und als eine Komponente der Inspektionsdaten 122 gespeichert. Das LDS 104 oder eine andere Komponente in dem System 102 können auch das/die Bild/Einzelbild(er) 114, die das Zielobjekt aufweisen, selbst bearbeiten, um den Standort des Zielobjektes zu ermitteln. Diese Standortdaten werden dem Zielobjekt zugeordnet und als Umgebungsdaten 118 ebenfalls gespeichert.
Wie nachstehend ausführlicher beschrieben wird, werden die einem Wegepunkt zugeordneten Daten von dem LDS 104 zum Verfeinern und Verbessern der erzielbaren Genauigkeit einer Anfangspositions-Messung eines observierten Objektes (z. B. einer Eisenbahnschienenkomponente, die einen Defekt hat) verwendet. Beispielsweise können die zu einem Wegepunkt gehörenden Standortdaten mit den GPS-Daten 126 (oder anderen Standortdaten) eines observierten Objektes zusammengelegt werden. Dadurch kann das System eine korrigierte Position des observierten Objektes beziehen. Darüber hinaus kann der Tatsache Rechnung getragen werden, dass sich die Position des observierten Objektes von der Position der das Observieren durchführenden Kamera unterscheidet.
Wurde ein Defekt (oder Schaden) an/in einer identifizierten Eisenbahnschienenkomponente erfasst, zeichnet das Inspektionssystem 110 die identifizierte Schiene, die Art des identifizierten Defektes oder Schadens, den Standort der identifizierten Schienenkomponente (gemäß Identifizieren von dem LDS 104) usw. auf. Die von dem Inspektionssystem 110 aufgezeichneten Daten können anschließend als Inspektionsdaten 122 in der Inspektionsdatenbank 102 gespeichert werden.
3 zeigt ein Beispiel von Umgebungsdaten 118, die in der Umgebungsdatenbank 116 gespeichert werden, nachdem ein Wegepunkt von dem ODS 106 erfasst worden ist. Wie vorstehend beschrieben, entsprechen die Umgebungsdaten 118 Wegepunkten/Denkmälern, die in den von dem Bildverarbeitungssystem 108 aufgenommenen Bildern/Einzelbildern 114 erfasst wurden. Jeder/s erfasste Wegepunkt/Denkmal kann einem eindeutigen Kennzeichen, dem Standort/der Position des Fahrzeuges 101 (oder des Systems 102) zu dem Zeitpunkt, zu dem das den Wegepunkt aufweisende Bild/Einzelbild 114 aufgenommen wurde, dem Standort/der Position des Wegepunktes selbst (falls bekannt) dem/den Bild(ern)/Einzelbild(ern), die den Wegepunkt selbst (falls bekannt) aufweisen, dem/den Bild(ern)/Einzelbild(ern), die den Wegepunkt aufweisen, Attributen/Eigenschaften des Wegepunktes usw. zugeordnet werden.
Umgebungsdaten
3 zeigt beispielsweise eine Tabelle 300, die eine Vielzahl von Spalten und Zeilen aufweist, die die Umgebungsdaten 118 in der Umgebungsdatenbank 116 darstellen. In einer Ausführungsform entspricht jede Zeile einer einzelnen Erfassung eines Wegepunktes. Tabelle 300 weist eine erste Spalte 302 mit der Bezeichnung „Wegepunkt-ID”, eine zweite Spalte 304 mit der Bezeichnung „Wegepunkt-Typ”, eine dritte Spalte 306 mit der Bezeichnung „Fahrzeugstandort”, eine vierte Spalte 308 mit der Bezeichnung „Wegepunktstandort”, eine fünfte Spalte 310 mit der Bezeichnung „Bild(er)/Einzelbild(er)”, eine sechste Spalte 312 mit der Bezeichnung „Attribute” und eine siebente Spalte 313 mit der Bezeichnung „Anzahl von Eisenbahnschwellen” auf. Hierbei sollte beachtet werden, dass der Tabelle 300 eine oder mehrere zusätzliche Spalten hinzugefügt und/oder eine oder mehrere der vorstehenden Spalten aus der Tabelle 300 entfernt werden können. Es kann Datenbanktechnologie wie beispielsweise Herstellen von Verknüpfungen in verwandten Datenbanken zum Verringern von Ineffizienz redundanter Daten in mehreren Erfassungen angewendet werden, indem eine zusätzliche Tabelle eingesetzt wird, die nur solche Daten speichert, die in den mehreren Erfassungen variieren.
Die Wegepunkt-ID-Spalte 302 weist Einträge 314 auf, die jeden Wegepunkt eindeutig identifizieren, der erfasst worden ist. Die Wegepunkttyp-Spalte 304 weist Einträge 316 auf, die den Typ von Wegepunkt identifizieren, der erfasst worden ist. Wie dies vorstehend beschrieben wurde, kann es sich bei einem Wegepunkt um Gebäude, Teile eines Gebäudes (z. B. Türen, Fenster, baukünstlerische Merkmale usw.), Meilenmarkierungen, Schilder, Eisenbahnsignale, Straßenschilder, Kreuzungen, Bäume und Ähnliches handeln, jedoch nicht darauf beschränkt. Dementsprechend zeigen die Einträge 316 in der Wegepunkttyp-Spalte 304 beispielsweise an, welcher dieser Typen von Wegepunkt zu einem erfassten Wegepunkt gehört.
Die Fahrzeugstandort-Spalte 306 weist Einträge 318 auf, die den Standort/die Position des Fahrzeuges zu dem Zeitpunkt anzeigen, zu dem der zugehörige Typ von Wegepunkt erfasst wurde. Bei diesen Daten zur Position/zum Standort kann es sich um Längengrad- und Breitengraddaten, die anhand der GPS-Daten 126 erhalten wurden, oder um jeden anderen beliebigen Typ von Positions-/Standortdaten handeln. In einer Ausführungsform leitet das LDS 104 die Positions-/Standortdaten unter Verwendung zweier oder mehr der GPS-Daten 124, der DMI-Daten 130 und/oder der IMU-Daten 134 ab. In einer Ausführungsform kann eine separate Spalte (nicht dargestellt) in die Tabelle 300 für die Daten zur zurückgelegten Strecke eingefügt werden, oder die Spalte „Anzahl von Eisenbahnschwellen” kann zum Angeben der Entfernung verwendet werden, die von einer jeweiligen Koordinate, einem vorherigen Wegepunkt usw. zurückgelegt worden ist.
Die Wegepunktstandort-Spalte 308 weist Einträge 320 auf, die eine Position/einen Standort des erfassten Wegepunktes, insofern bekannt, anzeigen, die dieser Zeile in Tabelle 300 entsprechen. Bei den Positions-/Standortdaten kann es sich um Längengrad- und Breitengraddaten und/oder Daten zur zurückgelegten Entfernung handeln. Das LDS 104 und/oder das ODS 106 können zum Ermitteln der Position/des Standortes des Wegepunktes ein oder mehrere der den Wegepunkt aufweisenden Bilder/Einzelbilder 114 analysieren. So kann beispielsweise das LDS 104 die Position/den Standort des Wegepunktes anhand der von den mehreren Kameras des Bildverarbeitungssystems 108 aufgenommenen Bilder/Einzelbilder und/oder der mehreren Ansichten von derselben Kamera triangulieren, wobei Daten berücksichtigt werden, die von den Sensoreinheiten 124, 128, 132 bezogen werden, wenn sich die Kamera entlang der Schienen oder der Straße bewegt. Die Position/der Standort des Wegepunktes kann auch direkt an den Wegepunkten mit anderen Mechanismen als dem System 102 im Gegensatz zu einer Berechnung anhand von Bildern/Einzelbildern 114 gemessen werden. In einer Ausführungsform kann ein/e einzelne Position/Standort eines Wegepunktes gespeichert werden, oder es können mehrere Positionen gespeichert werden. Wenn es sich bei einem Wegepunkt beispielsweise um ein Gebäude handelt, können die/der Position/Standort verschiedener Merkmale des Gebäudes wie beispielsweise Ecken, Fenster, Türen berechnet und in der Tabelle 300 gespeichert werden.
Die Bild(er)/Einzelbild(er)-Spalte 310 weist Einträge 322 auf, die das/die Bild(er)/Einzelbild(er) identifizieren, in denen der zugehörige Wegepunkt erfasst wurde. So identifiziert beispielsweise ein erster Eintrag 322 Bilder/Einzelbilder „I/F_A1” und „I/F_B1”, die den Wegepunkt ”Wegepunkt_1” aufweisen. Die Kennzeichen „I/F_A1” und „I/F_B1”, zeigen an, dass das Bild/Einzelbild 1, das von Kamera A aufgenommen wurde und das Bild/Einzelbild 1, das von Kamera B aufgenommen wurde, den Wegepunkt_1 aufweisen. Kameras können überlappende Sichtfelder aufweisen. Hierbei sollte beachtet werden, dass, wenn ein System mit mehreren Kameras verwendet wird, möglicherweise nicht jede Kamera immer ein Bild mit einem Wegepunkt aufnimmt. So zeigt beispielsweise ein zweiter Eintrag 324 in der Bild(er)/Einzelbild(er)-Spalte 310, dass lediglich Kamera A ein Bild mit Wegepunkt_2 darin aufgenommen hat. Die Bezeichnung „I/F_A1” usw. kann beispielsweise zu „I/F_A1-10” verallgemeinert werden, um zu ermöglichen, dass eine Auswahl an Bildern (1 bis 10), ebenso wie ein einzelnes Einzelbild (1) in dem Fall dargestellt werden können, in dem ein und derselbe Wegepunkt in einer Reihe von aufeinanderfolgenden Einzelbildern erfasst wird, der in jedem Einzelbild der Auswahl dieselben Attribute aufweist.
Die Attribute-Spalte 312 weist Einträge auf, die verschiedene Attribute wie beispielsweise visuelle Eigenschaften eines erfassten Wegepunktes identifiziert. So kann es sich zum Beispiel bei dem Wegepunkt_1 um eine Meilenmarkierung handeln, wie dies von dem Wegepunkttyp Typ_1 angezeigt wird. Ein erster Eintrag 326, der dem Wegepunkt_1 in der Attribute-Spalte 312 entspricht, zeigt an, dass der Wegepunkt_1 zu den visuellen Eigenschaften gehört, die anzeigen, dass Wegepunkt_1 weiß und geneigt ist. Die Attribute/Eigenschaften eines erfassten Wegepunktes können von dem ODS 106 während des Objekterfassungsprozesses ermittelt werden. Hierbei sollte beachtet werden, dass die in der Fahrzeugstandort-Spalte 308 gespeicherten Standortdaten für ein/e jeweilige/s Attribute/Eigenschaft(en) eines Wegepunktes auch mehrere Standorte anzeigen kann. Bewegt sich das Fahrzeug 101 beispielsweise entlang seiner Strecke (Schiene, Straße usw.), kann derselbe Wegepunkt von mehreren Positionen aus observiert werden, jedoch ändert sich die Position eines/r Attributes/Eigenschaft des Wegepunktes. Dementsprechend kann der Standort des Fahrzeuges, wenn das Merkmal erfasst wird, ebenso wie der Standort des Merkmals in einem jeden Einzelbild in der Umgebungsdatenbank 116 gespeichert werden.
Die Spalte für die Anzahl von Eisenbahnschwellen 313 weist Einträge 328 auf, die die Anzahl von Eisenbahnschwellen anzeigen, die von einem Referenzpunkt so lange gezählt wurden, bis das/die den Wegepunkt aufweisenden Bild(er)/Einzelbild(er) aufgenommen wurden. Beispielsweise zeigt ein erster Eintrag 328 in dieser Spalte, dass 50 Eisenbahnschwellen von einem Referenzpunkt so lange gezählt wurden, bis die Bilder I/F_A1 und I/F_B1 aufgenommen wurden. Bei dem Referenzpunkt kann es sich um einen vorherigen Wegepunkt, einen bekannten Standort oder Ähnliches handeln. Die Spalte für zurückgelegte Entfernung 317 weist Einträge 330 auf, die die von einem jeweiligen Referenzpunkt bis zu dem Standort des identifizierten Wegepunktes zurückgelegte Entfernung anzeigen. Bei dem Referenzpunkt kann es sich um eine bestimmte Längengrad-/Breitengradposition (z. B. eine GPS-Position), eine GPS-Position plus die zurückgelegte Entfernung und/oder einen vorher erfassten Wegepunkt, usw. handeln. Die Daten zur zurückgelegten Strecke können beispielsweise von dem DMI 130 bezogen oder sogar anhand der GPS-Daten 126 berechnet werden.
Die in 3 dargestellten Wegepunktdaten können während eines Dateneinholungsprozesses bezogen werden, der vor und/oder während der Inspektion der Eisenbahnstrecke durchgeführt wird. So kann das Fahrzeug 101 beispielsweise entlang der Eisenbahnstrecke fahren, um Wegepunktdaten einzuholen und entsprechend in die Umgebungsdatenbank 116 einzupflegen. Nach ihrem Speichern können die in der Umgebungsdatenbank 116 gespeicherten Umgebungsdaten 118 dynamisch während des Durchführens des Inspektionsprozesses aktualisiert werden.
Standortbestimmung von observierten Objekten
Es folgt eine ausführlichere Beschreibung zum Bestimmen des Standortes eines observierten Objektes unter Verwendung der vorstehend beschriebenen Umgebungsdaten und Sensordaten. Zu Beginn initialisiert das LDS 104 verschiedene Datenstrukturen und/oder Werte zur Verwendung in dem Standortvorhersagemodell, während das Fahrzeug 101 still steht oder sich entlang der Strecke bewegt. So werden beispielsweise die Werte für Entfernung (Position) s, Geschwindigkeit v und Beschleunigung a auf den Wert Null initialisiert. Das Datenbeziehmodul 202 in dem LDS 104 bezieht GPS-Daten 126 (z. B. Breitengrad und Längengrad) von der/den GPS-Einheit(en) für die aktuelle Position des Fahrzeuges 101. Das LDS 104 bezieht des Weiteren Daten von dem DMI 128 und/oder der IMU 132.
Beispielsweise bezieht das LDS 104 die Odometrie-Position (d. h. zurückgelegte Entfernung) und die Geschwindigkeit des Fahrzeuges 101 anhand der von dem DMI 128 erzeugten DMI-Daten 130. Das DMI 128 empfängt Datenaktualisierungen anhand von elektronischen Signalen, die von einer oder mehreren Komponenten des Fahrzeuges 101 erzeugt werden. Das Fahrzeug 101 kann beispielsweise einen Impuls aus dem Getriebe jedes Mal dann abgeben, wenn sich eine bestimmte Komponente wie beispielsweise eine Welle einmal vollständig oder einen Bruchteil einer vollständigen Drehung herumdreht. Es können jedoch auch andere Mechanismen zum Bereitstellen von Daten an das DMI 128 verwendet werden. In einer Ausführungsform weist das DMI 128 ein Register (z. B. einen Zähler) auf, der die aktuell zurückgelegte Entfernung führt. In einer Ausführungsform wird das Register zu Beginn des Fahrens auf null initialisiert, es kann jedoch auch jeder andere beliebige Anfangswert verwendet werden. In Bezug auf Geschwindigkeit kann das DMI 128 (oder das LDS 104) Geschwindigkeit als entweder die Differenz bei den Werten zur zurückgelegten Entfernung in dem Register von dem Start einer Zeiteinheit bis zum Start der nächsten Zeiteinheit berechnen. Oder die Geschwindigkeit kann anhand einer anderen Ausgabe des Fahrzeuges 101 oder der Sensoreinheiten 124, 128, 132 hergeleitet werden. In Bezug auf Beschleunigung wird, wenn das Fahrzeug aus einem stehenden Start losfährt, die Beschleunigung mit Null ermittelt. Anderenfalls kann die Beschleunigung anhand der Differenz aus zwei Geschwindigkeitsablesungen berechnet werden. Alternativ dazu kann die Beschleunigung aus der IMU 132 bezogen werden, die die Beschleunigung direkt ablesen kann.
Nach initialisieren dieser Werte zum Zeitpunkt i = 0 verwendet das LDS 104 das Standortvorhersagemodul 204 zum Berechnen (Vorhersagen) der i + 1^ten Werte von a, v, und s, um eine vorhergesagte Position s_i+1 im Zeitintervall i + 1 (oder jeglichem anderen Zeitintervall) zu ermitteln. Das LDS 104 kann auch weitere erwartete Daten wie beispielsweise eine erwartete zurückgelegte Entfernung bei s_i+1, eine erwartete Geschwindigkeit bei s_i+1, eine erwartete Beschleunigung bei s_i+1, eine erwartete Fahrtdauer bis s_i+1 usw. berechnen. Sobald die vorhergesagte Position s_i+1 berechnet wurde, analysiert das LDS 104 die Umgebungsdatenbank 116 um zu ermitteln, ob irgendwelche Wegepunkte für diese vorhergesagte Position s_i+1 registriert (d. h. erfasst) worden sind. Wenn es sich beispielsweise bei der vorhergesagten Position s_i+1 um Standort_A handelt, analysiert das LDS 104 die Umgebungsdatenbank 116, um zu ermitteln, ob ein Wegepunkt für Standort_A registriert/gespeichert worden ist. Wie dies anhand von 3 gesehen werden kann, wurde Wegepunkt_1 für Standort_1 registriert. Dementsprechend kann das LDS 104 davon ausgehen, dass Wegepunkt_1 von dem ODS 106 erfasst wird, wenn das Fahrzeug bei Standort_A angelangt.
Bewegt sich das Fahrzeug 101 weiter fort, erreicht es zum Zeitpunkt i + 1 eine reale Position. Anschließend bezieht das LDS 104 die realen Werte v_i+1 und s_i+1. So bezieht das Datenbeziehmodul 202 des LDS 104 beispielsweise GPS-Daten 126, DMI-Daten 130 und/oder IMU-Daten 134 für diese aktuelle Position. Anschließend ermittelt das LDS 104 die reale Position des Fahrzeuges 101 zum Zeitpunkt i + 1. Das ODS 106 analysiert Bilder/Einzelbilder 113, die von dem Bildverarbeitungssystem 108 an dieser aktuellen Position aufgenommen wurden, um irgendwelche Wegepunkte oder das Fehlen von Wegepunkten darin zu erfassen. Darüber hinaus werden Daten in Bezug auf Fehlertoleranzen der Kameras, der Sensoren 124, 132, 130 und der Analytik bezogen, die zum Verarbeiten ihrer Daten verwendet werden. Diese Daten können entweder in der Umgebungsdatenbank 116 und/oder in einen anderen Bereich des Systems 104 gespeichert werden.
Das Vergleichsmodul 206 des LDS 104 vergleicht die vorhergesagte Position s_i+1 mit der realen gemessenen Position für i + 1. Das Vergleichsmodul 206 kann des Weiteren andere Sensordaten wie beispielsweise die erwartete zurückgelegte Stecke, die erwartete Geschwindigkeit und die erwartete Beschleunigung usw. mit den real gemessenen Daten vergleichen. Das Vergleichsmodul 206 vergleicht des Weiteren die erwarteten visuellen Daten (z. B. Auftreten eines Wegepunktes oder Nicht-Auftreten eines Wegepunktes) mit den real von dem ODS 106 erfassten visuellen Daten. Wenn beispielsweise das LDS 106 den Wegepunkt_1 an der Position s_i+1 erwartet hat, analysiert das LDS 104 die ODS-Daten für die aktuelle Position, um zu ermitteln, ob Wegepunkt_1 erfasst wurde. Dieser Vergleichsprozess kann auch die Eigenschaften/Attribute der Wegepunkte berücksichtigen. So vergleicht beispielsweise das ODS 106 visuelle Eigenschaften/Attribute der Wegepunkte, von denen man erwartete hatte, sie an der aktuellen Position zu observieren, mit visuellen Eigenschaften/Attributen, die zu einer observierten Szene in den erfassten Bildern gehören. Liegt eine Übereinstimmung in einem bestimmten Toleranzbereich vor, ermittelt das ODS 106, dass der erwartete Wegepunkt observiert worden (oder nicht observiert worden) ist. Zeigt die Umgebungsdatenbank beispielsweise an, dass es sich bei Wegepunkt_1 um eine Meilenmarkierung handelt, die weiß und geneigt ist, ermittelt das LDS 104, ob das ODS 106 eine Meilenmarkierung erfasst hat, die an der aktuellen Position weiß und geneigt ist.
Es können des Weiteren verschiedene andere Vergleiche ausgeführt werden. Beispielsweise kann eine erwartete an Position s_i+1 zurückgelegte Entfernung mit einer realen zum Zeitpunkt i + 1 zurückgelegten Entfernung verglichen werden. Des Weiteren kann eine erwartete Anzahl von Eisenbahnschwellen für s_i+1 mit einer realen Anzahl von Eisenbahnschwellen, die gezählt worden sind, verglichen werden. Diese zusätzlichen Vergleiche können auch in Kombination mit den Vergleichsprozessen zu den Positions-/Standortdaten und den visuellen/Umgebungsdaten verwendet werden, um einen genaueren und zuverlässigeren Standort gewährleisten zu können. Führen beispielsweise alle Vergleiche zu einer Übereinstimmung oder einer wesentlichen Übereinstimmung (z. B. innerhalb eines bestimmten Toleranzbereiches), weisen der vorhergesagte Standort und der gemessene Standort einen hohen Genauigkeitsgrad auf. Stimmen jedoch ein oder mehrere der Vergleiche nicht überein, ist das System in der Lage, das Standortvorhersagemodell 204 auf der Grundlage des Abweichungsgrades zwischen den vorhergesagten Messungen und den tatsächlichen Messungen einzustellen. Wenn jedoch eine Mehrheit der Vergleiche übereinstimmt, kann das System zwar immer noch einen hohen Grad an Zuverlässigkeit bei der Zuweisung von Standort-/Positionsdaten zu einem Objekt aufweisen, und dennoch gleichzeitig in der Lage sein, das Standortvorhersagemodell 204 so einzustellen, dass es genauere Vorhersagen bereitstellt.
Falls die vorhergesagte Position s_i+1, die erwarteten visuellen/Umgebungsdaten und optional dazu die erwarteten Sensordaten mit den real gemessenen Daten miteinander übereinstimmen (oder innerhalb eines vorgegebenen Toleranzbereiches übereinstimmen), aktualisiert das LDS 104 die aktuelle Position und den Kontext des Fahrzeuges 101 und/oder des inspizierten Objektes wie beispielsweise einer Eisenbahnschwellenkomponente. In einer Ausführungsform bezieht sich „Kontext” auf das Terrain um den bestimmten Geostandort wie beispielswiese Wegepunkte (und ihre Bilder) in der Nähe des Standortes. Das LDS 104 kann kleine Anpassungen an den Werten für a, v, und s in dem Standortvorhersagemodell gegebenenfalls auf der Grundlage des Abweichungsgrades (oder -deltas) zwischen den erwarteten Werten und den real gemessenen Werten vornehmen. Sind keine Sensoren für ein direktes Messen der Beschleunigung oder Geschwindigkeit verfügbar, kann jegliche Abweichung bei Δs in Δv und Δa zurückprojiziert werden. Bei Vorhandensein von Beschleunigungsmessern und/oder direkter Geschwindigkeitserfassung kann der Abweichungsgrad (oder das Abweichungsdelta) für die Korrekturen von Δv, Δa, und Δs berücksichtigt werden. Die nächste Position wird auf der Grundlage der aktualisierten aktuellen Position vorhergesagt, und die Werte von a, v, und s werden in dem Standortvorhersagemodell 204 aktualisiert. Anschließend wird der Prozess wiederholt.
Stimmen die vorhergesagte Position s_i+1 und die real gemessene Position überein (oder stimmen sie innerhalb eines vorgegebenen Toleranzbereiches ein), weicht jedoch die visuelle Erwartung von der real observierten Umgebung um mehr als einen vorgegebenen Toleranzbereich ab, ermittelt das LDS 104, dass sich das Fahrzeug 101 an der erwarteten Stelle befindet, jedoch ein Wegepunkt entweder hinzugefügt, entfernt oder ersetzt worden ist. Wurde ein Wegepunkt hinzugefügt, fügt das Umgebungsdatenbank-Aktualisierungsmodul 208 des LDS 104 den Wegepunkt zu der Umgebungsdatenbank 116 auf ähnliche Weise wie vorstehend beschrieben hinzu. So wird beispielsweise ein Eintrag in die Tabelle 300 hinzugefügt, der den Wegepunkt, seinen Typ, den Systemstandort, den Wegepunktstandort, Bilder/Einzelbilder, die den Wegepunkt aufweisen, Attribute/Eigenschaften des Wegepunktes, Zählung der Eisenbahnschwellen usw. identifiziert. Wurde ein Wegepunkt entfernt, kann das Aktualisierungsmodul 208 die Umgebungsdatenbank 116 durch Entfernen des Eintrages in der Tabelle 300 aktualisieren, der dem entfernten Wegepunkt entspricht. Alternativ dazu kann das Aktualisierungsmodul 208 den entsprechenden Eintrag aktualisieren, um anzuzeigen, dass ein Wegepunkt an dem jeweiligen Standort nicht vorhanden ist. Wurde ein Wegepunkt verändert, kann der dem alten Wegepunkt entsprechende Wegepunkt aktualisiert werden, um einen neuen Wegepunkt und seine relevanten Daten zu identifizieren.
Stimmen die vorhergesagte Position s_i+1 und die real gemessene Position überein (oder stimmen sie innerhalb eines vorgegebenen Toleranzbereiches überein), weicht jedoch die visuelle Erwartung von der real observierten Umgebung um weniger als einen vorgegebenen Toleranzbereich ab, ermittelt das LDS 104, dass sich das Fahrzeug 101 an der erwarteten Stelle befindet, sich der erwartete Wegepunkt jedoch verändert hat (z. B. beschädigt, erneuert, gestrichen, usw. wurde). In diesem Fall kann das Aktualisierungsmodul 208 die Tabelle 300 so aktualisieren, dass sie diese neuen oder veränderten Attribute/Eigenschaften des Wegepunktes anzeigt.
Hierbei sollte beachtet werden, dass, wenn eine vorhergesagte Position nicht zu einer visuellen Umgebungskomponente wie beispielswiese einem Wegepunkt gehört (d. h. es wird ein Nicht-Auftreten eines Wegepunktes erwartet), das LDS 104 die zuletzt bekannte Wegepunktposition und Sensordaten zum Überprüfen der aktuellen Position verwenden kann. Gehört beispielsweise die vorhergesagte Position s_i+1 nicht zu einem Wegepunkt, kann das Standortvorhersagemodell 204 verwendet werden, um vorherzusagen, wie viele Eisenbahnschwellen zwischen dem zuletzt bekannten Wegepunkt und der Position s_i+1 liegen; wie die zwischen dem zuletzt bekannten Wegepunkt und der Position s_i+1 zurückzulegende Entfernung ist; wie die für das Zurücklegen zwischen dem zuletzt bekannten Wegepunkt und der Position s_i+1 erforderliche Zeit ist; usw. Das LDS 104 kann die entsprechenden Daten auf der Grundlage der real gemessenen Position ermitteln, und es kann ein Prozess des Vergleichens der vorhergesagten/erwarteten Daten und der ermittelten entsprechenden Daten durchgeführt werden.
Hierbei sollte beachtet werden, dass eine vorhergesagte Position nicht erforderlich ist. In einer Ausführungsform bezieht das LDS 104 beispielsweise Standort-/Positionsdaten von wenigstens einem der Sensoren 124, 128, 132. Das LDS 104 analysiert anschließend die Umgebungsdatenbank 116, um Wegepunkt-/Denkmalsdaten für die von den Sensoren 124, 128, 132 empfangenen Standortdaten zu identifizieren. Anschließend vergleicht das LDS 104 diese erwarteten Wegepunktdaten mit den aktuell durch das ODS 106 erfassten (oder nicht erfassten) Wegepunkt-/Denkmalsdaten. Stimmen die erwarteten Wegepunkt-/Denkmalsdaten mit den observierten Wegepunkt-/Denkmalsdaten wenigstens innerhalb eines vorgegebenen Schwellenwerttoleranzbereiches überein, sind die von dem wenigstens einen der Sensoren 124, 128, 132 empfangenen Standortdaten genau, und die aktuelle Position des Fahrzeuges 101 wird aktualisiert. Stimmen die erwarteten Wegepunkt-/Denkmalsdaten nicht mit den observierten Wegepunkt-/Denkmalsdaten wenigstens innerhalb des vorgegebenen Schwellenwerttoleranzbereiches überein, kann das System 102 den Benutzer benachrichtigen.
In einer Ausführungsform verwendet das Inspektionssystem 110 das LDS 104, um eine genaue Position/einen genauen Standort einer beschädigten oder fehlenden Eisenbahnschienenkomponente (hierin auch als ein „observiertes Objekt” bezeichnet) zu ermitteln. Beispielsweise überwacht das Inspektionssystem 110 das ODS 106, um zu ermitteln, wenn eine Eisenbahnschienenkomponente erfasst worden ist und ob die Komponente wie vorstehend beschrieben beschädigt wurde. Ermittelt das Inspektionssystem 110, dass eine beschädigte (oder fehlende Komponente) erfasst worden ist, bezieht das LDS 104 110 eine anfängliche globale Position, die zu dem observierten Objekt gehört. Wie dies vorstehend beschrieben wurde, weist die anfängliche globale Position Längengrad- und Breitengradkoordinaten auf, die von dem GPS-System 124 bezogen wurden. Gegenwärtig für Verbraucher im Handel erhältliche GPS-Systeme weisen eine Fehlerrate auf, die zum genauen Ermitteln (pinpointing) des Standortes eines observierten Objektes nicht akzeptabel ist. Dementsprechend verwendet das LDS 104 Daten 118, die in der Umgebungsdatenbank 116 zum Verfeinern und Verbessern der Genauigkeit der für das observierte Objekt bezogenen anfänglichen globalen Position gespeichert wird.
So ermittelt beispielsweise das LDS 104 auf der Grundlage der anfänglichen globalen Position eine geographische Nähe, die zu der erfassten Komponente gehört, wie dies in 11 dargestellt ist. Insbesondere zeigt 11 ein Objekt 1102, das entlang der Strecke 1104 des Fahrzeuges (in 11 nicht dargestellt) observiert wird. 11 zeigt des Weiteren einen unsicheren Bereich 1106, der zu der anfänglichen globalen Position des observierten Objektes 1102 gehört. Des Weiteren wird eine geographische Nähe 1108 dargestellt, die zu dem observierten Objekt 1102 gehört. In einer Ausführungsform handelt es sich bei einer geographischen Nähe 1108 um einen Bereich innerhalb einer bestimmten Entfernung von der anfänglichen globalen Position. Dieser Bereich kann in der Mitte der anfänglichen globalen Position sein, von der anfänglichen globalen Position verschoben sein, an der anfänglichen globalen Position anfangen oder enden, usw. Die geographische Nähe 1108 kann die anfängliche globale Position umgeben oder ein Abschnitt des Bereiches sein, der die anfängliche globale Position umgibt. Das Sichtfeld 1008, 1012 der Bildaufnahmeeinheiten 102, 104 kann innerhalb der Nähe 1108 fixiert und/oder innerhalb der Nähe 1108 variabel sein.
Sobald die geographische Nähe 1108 ermittelt worden ist, die zu dem observierten Objekt 1102 gehört, identifiziert das ODS 106 einen oder mehrere Kandidaten-Wegepunkte 1110, 1112, 1114, von denen erwartet wird, dass sie in der geographischen Nähe 1108 observiert werden können. Bei Wegepunkt 1115 wird aufgrund seines Standortes in Bezug auf den Standort des observierten Objektes 1102 davon ausgegangen, dass er nicht observiert werden kann, und dementsprechend wird die geographische Nähe so definiert, dass sie den Wegepunkt 1115 nicht umfasst. In dieser Ausführungsform analysiert das ODS 106 die Umgebungsdaten 118 in der Umgebungsdatenbank 116, um einen Satz an Wegepunkten zu identifizieren, die zu den Standortdaten innerhalb der geographischen Nähe 1108 gehören. Dieser Satz an Wegepunkten wird durch das ODS 106 als der Satz an Kandidaten-Wegepunkten erachtet.
Wenn die Bilder 113 von dem Bildverarbeitungssystem 108 aufgenommen werden, analysiert das ODS 106 jedes Bild 113, um zu ermitteln, ob ein oder mehrere der Kandidaten-Wegepunkte 1110, 1112, 1114 erfasst worden sind. So vergleicht das ODS 106 beispielsweise einen Satz an visuellen Eigenschaftsdaten, die zu jedem des Satzes aus Kandidaten-Wegepunkten 1110, 1112, 1114 gehören, mit einem Satz an visuellen Eigenschaftsdaten, die anhand eines oder mehrerer aufgenommener Bilder 113 bezogen wurden. Der Satz an visuellen Eigenschaftsdaten, die zu einem Wegepunkt gehören, kann (ein) bestimmtes/e Merkmale des Wegepunktes ebenso wie den Standort des Merkmals innerhalb eines jeden Bildes/Einzelbildes identifizieren, in dem das Merkmal erfasst wurde. Anschließend ermittelt das ODS 106, ob der Satz an visuellen Eigenschaftsdaten, der zu dem wenigstens einen Kandidaten-Wegepunkt gehört, mit dem Satz an visuellen Eigenschaftsdaten von den aufgenommenen Bildern/Bild innerhalb eines bestimmten Schwellenwertbereiches für ein visuelles Erscheinungsbild übereinstimmt. Ist dies der Fall, ermittelt das ODS 106 dass wenigstens einer der Kandidaten-Wegepunkte 1110, 1112, 1114 erfasst worden ist. Anschließend bezieht das LDS 104 die Standortdaten, die zu dem wenigstens einen Kandidaten-Wegepunkt gehört, anhand der Umgebungsdatenbank 116.
Das LDS 104 verwendet die Standortdaten, die zu dem oder den erfassten Wegepunkt(en) gehören und die anfängliche globale Position, um eine neue globale Position zu erstellen, die einen höheren Genauigkeitsgrad als die anfängliche globale Position aufweist. Beispielsweise zeigt 11 einen Kreis 1116, der das observierte Objekt 1102 umgibt, der den Genauigkeitsgrad/die höhere Präzision der neuen globalen Position darstellt. Wie ersichtlich ist, ist der Unsicherheits-/Fehlergrad der neuen globalen Position viel kleiner als der Unsicherheits-/Fehlergrad 1106 der anfänglichen globalen Position. Dementsprechend ist in einer Ausführungsform die neue globale Position viel genauer als die anfängliche globale Position. Hierbei sollte beachtet werden, dass, wenn mehrere Wegepunkte innerhalb der geographischen Nähe 1108 erfasst werden, ein noch höherer Genauigkeitsgrad erzielt werden kann.
Zusätzlich zu dem Erfassen von Defekten/Schäden, die zu einem observierten Objekt gehören, zeichnet das Inspektionssystem 110 auch Inspektionsdaten 122 in der Inspektionsdatenbank 120 auf, die zu dem observierten Objekt gehören. So zeichnet das Inspektionssystem 110 beispielsweise die identifizierte Eisenbahnschienenkomponente, den Typ von identifiziertem Defekt oder Schaden, den Standort der identifizierten Eisenbahnschienenkomponente usw. auf. Wie dies vorstehend beschrieben wurde, wird der Standort einer identifizierten Eisenbahnschienenkomponente von dem DLS 104 durch Beziehen einer anfänglichen globalen Position mit wenigstens einer Positionierungseinheit bezogen. Es wird ein Ermitteln dahingehend durchgeführt, ob ein Satz an gespeicherten visuellen Eigenschaftsdaten wenigstens eines Wegepunktes mit einem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand von wenigstens einem aufgenommenem Bild bezogen wird, das eine zu der Eisenbahnschienenkomponente gehörenden Szene aufweist. In Reaktion auf den Satz an gespeicherten visuellen Eigenschaftsdaten, der mit dem bezogenen Satz an visuellen Eigenschaftsdaten übereinstimmt, wird eine zweite verfeinerte globale Position der Eisenbahnschienenkomponente auf der Grundlage eines Satzes an gespeicherten Standortdaten, der zu dem wenigstens einen Wegepunkt gehören, und der ersten globalen Position ermittelt.
4 stellt eine Tabelle 400 dar, die eine Vielzahl an Spalten und Zeilen aufweist, die Inspektionsdaten 122 in einer Inspektionsdatenbank 120 darstellen. In einer Ausführungsform entspricht jede Zeile einem Inspektionssystem-Zielobjekt wie beispielsweise (jedoch nicht beschränkt auf) einer Eisenbahnschienenkomponente, die fehlt, beschädigt ist oder einen Defekt aufweist, oder einem Wegepunktobjekt, das Erscheinungsbildeigenschaften aufweist und ebenfalls möglicherweise beschädigt ist. Die Tabelle 400 weist eine erste Spalte 402 mit der Bezeichnung „Eisenbahnschienenkomponenten_ID”, eine zweite Spalte 404 mit der Bezeichnung „Komponententyp”, eine dritte Spalte 406 mit der Bezeichnung „Defekt-/Schadenstyp”, eine vierte Spalte 408 mit der Bezeichnung „Standort der Eisenbahnschienenkomponente”, eine fünfte Spalte 410 mit der Bezeichnung „Zurückgelegte Entfernung” und eine sechste Spalte 412 mit der Bezeichnung „Anzahl an Eisenbahnschwellen” auf. Hierbei sollte beachtet werden, dass der Tabelle eine oder mehrere zusätzliche Spalten hinzugefügt werden können und/oder eine oder mehr der vorstehend beschriebenen Spalten von der Tabelle 400 entfernt werden können.
Die Spalte mit der Eisenbahnschienenkomponenten_ID 402 weist Einträge 414 auf, die jede Eisenbahnschienenkomponente eindeutig identifizieren, die erfasst worden ist (oder als fehlend erfasst worden ist). Die Spalte mit dem Komponententyp 404 weist Einträge 416 auf, die den Typ an Eisenbahnschienenkomponente identifiziert, der erfasst worden ist, wie beispielsweise jedoch nicht beschränkt auf, eine Eisenbahnschwelle, einen Eisenbahnschienennagel, eine Verankerung, die Schiene selbst usw. Die Spalte mit dem Defekt-/Schadenstyp 406 weist Einträge 418 auf, die den Typ von Defekt/Schaden identifizieren, der für die jeweilige Eisenbahnschienenkomponente erfasst worden ist. Wie dies vorstehend beschrieben worden ist, kann es sich bei einem Defekt oder einem Schaden um eine kaputte Eisenbahnschwelle, eine fehlende Eisenbahnschwelle, einen fehlenden Eisenbahnschienennagel, eine fehlende Verankerung usw. handeln, jedoch nicht auf die genannten beschränkt. Dementsprechend zeigen Einträge 418 in der Spalte mit dem Defekt-/Schadenstyp 406 beispielsweise an, welche dieser Typen von Defekten/Schäden zu einer erfassten Eisenbahnschienenkomponente gehören. In einer weiteren Ausführungsform kann die Spalte mit dem Defekt-/Schadenstyp 406 des Weiteren Daten aufweisen, die zu dem erfassten Erscheinungsbild der Komponente gehören. Wird beispielsweise erwartet, dass die Farbe einer Komponente schwarz ist, und wird diese dann als weiß erfasst, wird die Farbabweichung als Defekt erachtet und aufgezeichnet. Eigenschafts-Wertepaare wie beispielsweise (jedoch nicht beschränkt auf) „Farbe = weiß”, „Neigung = 10 Grad” usw. können zum Aufzeichnen von Defekten des Erscheinungsbildes verwendet werden.
Die Spalte mit dem Standort der Eisenbahnschienenkomponente 408 weist Einträge 420 auf, die den Standort/die Position der identifizierten Eisenbahnschienenkomponente anzeigen. Diese Position/dieser Standort wird durch den Standortbestimmungsprozess gewonnen, der von dem LDS 104 wie vorstehend beschrieben durchgeführt wird. Bei diesen Daten kann es sich um Längengrad- und Breitengraddaten handeln. Die Spalte mit der zurückgelegten Entfernung 410 weist Einträge 422 auf, die die von einem bestimmten Referenzpunkt bis zum Standort der identifizierten Eisenbahnschienenkomponente zurückgelegten Entfernung angeben. Bei dem Referenzpunkt kann es sich um eine jeweilige Längengrad-/Breitengradposition, einen vorher erfassten Wegepunkt usw. handeln. Die Spalte mit der Anzahl an Eisenbahnschwellen 412 weist Einträge 424 auf, die die Anzahl von Eisenbahnschwellen identifizieren, die ab einem Referenzpunkt bis zu dem Standort, der die identifizierte Eisenbahnschienenkomponente aufweist, gezählt wurden.
Wie dies der vorstehenden Beschreibung entnommen werden kann, ermitteln Ausführungsformen der vorliegenden Erfindung genau eine Position eines Objektes unter Verwendung visueller Daten, die zu einer umliegenden Umgebung gehören, in Kombination mit Sensordaten wie beispielsweise GPS-Daten, DMI-Daten und IMU-Daten. Eine oder mehrere dieser Ausführungsformen können eigenständig und/oder in einem Inspektionssystem implementiert sein, um den Standort eines inspizierten Objektes genau und zuverlässig zu ermitteln.
Funktionsablaufpläne
Die 5 bis 6 sind Funktionsablaufpläne, die ein Beispiel des vorstehend beschriebenen Standortbestimmungsprozesses veranschaulichen. Hierbei sollte auch beachtet werden, dass eine vorhergesagte Position nicht erforderlich ist, wie dies vorstehend beschrieben wurde. Der Funktionsablauf beginnt in Schritt 502 und geht direkt in Schritt 504 über. In Schritt 504 initialisiert das LDS 104 den Systemkontext wie beispielsweise die Werte für die aktuelle Position, Geschwindigkeit, Beschleunigung des Fahrzeuges 101 sowie das Standortbestimmungsmodul 204. In Schritt 506 sagt das LDS 104 die nächste Position des Fahrzeuges 101 zu einem bestimmten zukünftigen Zeitpunkt sowie die dazugehörigen visuellen Umgebungsmerkmale/Objekte oder Daten (z. B. Wegepunkte und ihre visuellen Eigenschaften) vorher, von denen erwartet wird, dass sie an der vorhergesagten Position observiert werden. Tritt der bestimmte Zeitpunkt ein, erwirbt das LDS 104 in Schritt 508 Positions- und andere Sensordaten, um eine(n) gemessene(n) Position/Standort des Fahrzeuges 101 zu beziehen. Zum im Wesentlichen selben Zeitpunkt wie Schritt 508 erwirbt das LDS 104 in Schritt 510 des Weiteren visuelle Umgebungsdaten für die reale Position.
In Schritt 512 vergleicht das LDS 104 die vorhergesagte Position und die erwarteten Umgebungsmerkmale/Daten mit der gemessenen Position und den observierten visuellen Umgebungsmerkmale/Daten. In Schritt 514 ermittelt das LDS 104, ob die vorhergesagte Position und die erwarteten Umgebungsmerkmale/Daten mit der gemessenen Position und den observierten visuellen Umgebungsmerkmalen/Daten übereinstimmen. Ist das Ergebnis dieses Ermittelns positiv, aktualisiert das LDS 104 in Schritt 516 die aktuelle Position des Fahrzeuges (oder anderen Objektes) und aktualisiert des Weiteren den Kontext wie beispielsweise die Geschwindigkeits-/Beschleunigungswerte für das Fahrzeug 101 und das Standortvorhersagemodell 204. Der Steuerfluss kehrt für den nächsten Zyklus in Schritt 506 zurück. Hierbei sollte beachtet werden, dass der Prozess zum Aktualisieren des Fahrzeugstandortes (oder eines anderen Objektes) die Positionen sämtlicher zu diesem Zeitpunkt sichtbaren Wegepunkte berücksichtigt, und dementsprechend eine genauere und zuverlässigere Standortschätzung erstellt.
Ist das Ergebnis des Ermittelns in Schritt 514 negativ, geht die Steuerung zurück zum Eingangspunkt A von 6. In Schritt 601 ermittelt das LDS 104, ob die Abweichung zwischen den erwarteten visuellen Umgebungsmerkmalen/Daten und den observierten visuellen Umgebungsmerkmalen/Daten größer als ein erster Toleranzschwellenwert wie beispielsweise, jedoch nicht darauf beschränkt auf, 0 ist. Ist das Ergebnis dieses Ermittelns negativ, ermittelt das LDS 104 in Schritt 602, dass sich das Erscheinungsbild des Wegepunktes nicht verändert hat. Dementsprechend ist die in Schritt 514 erfasste Abweichung ein Ergebnis einer falschen Schätzung der aktuellen Fahrzeugposition. Anschließend werden die aktuelle Position und der aktuelle Kontext in Schritt 605 auf der Grundlage der Daten 118 in der Umgebungsdatenbank 116 aktualisiert/zurückgesetzt. Die Steuerung geht zurück zu dem Eingangspunkt B in 5, wo der Prozess von Schritt 514 durchgeführt wird. Dieses Mal hat der Test ein positives Ergebnis, und die Steuerung geht bis in Schritt 516 und dann zurück zu Schritt 506 über.
Ist das Ergebnis des Ermittelns in Schritt 601 positiv, ist die in Schritt 514 erfasste Abweichung ein Ergebnis der Veränderungen der visuellen Eigenschaften des Wegepunktes. Die Steuerung wird zu Schritt 603 weitergegeben, in dem das LDS 104 ermittelt, ob die Abweichung zwischen den erwarteten visuellen Umgebungsmerkmalen/Daten und den observierten visuellen Umgebungsmerkmalen/Daten innerhalb eines zweiten Toleranzschwellenwertbereiches liegt. Ist das Ergebnis des Ermittelns positiv, ermittelt das LDS 104 in Schritt 604, dass sich das Erscheinungsbild des erwarteten visuellen Umgebungsmerkmals an der aktuellen Position verändert hat. In Schritt 606 aktualisiert das LDS 104 die Umgebungsdaten 118 in der Umgebungsdatenbank 116 für die aktuelle Position auf der Grundlage der erfassten Änderungen. Anschließend geht die Steuerung zum Eingangspunkt B in 5 zurück, von da aus geht die Steuerung zum Eingangspunkt A (Schritt 601) und anschließend in Schritt 602 über, da die Abweichung des Erscheinungsbildes innerhalb des ersten Schwellenwertbereiches liegt.
Übersteigt die Abweichung in Schritt 603 den vorgegebenen Schwellenwert, ermittelt das LDS 104 in Schritt 608, dass das erwartete visuelle Umgebungsmerkmal an der aktuellen Position ersetzt oder entfernt worden ist. In Schritt 610 aktualisiert das LDS 104 die Umgebungsdaten 118 in der Umgebungsdatenbank 116 für die aktuelle Position auf der Grundlage der erfassten Änderungen. Anschließend geht die Steuerung zum Eingangspunkt B in 5 über, von wo aus sie zum Eingangspunkt A (Schritt 601) und anschließend in Schritt 602 übergeht, da die Erscheinungsbildabweichung innerhalb des ersten Schwellenwertbereiches liegt.
7 ist ein Funktionsablaufplan, der ein weiteres Beispiel des vorstehend beschriebenen Standortbestimmungsprozesses veranschaulicht. Der Funktionsablauf beginnt in Schritt 702 und geht direkt in Schritt 704 über. In Schritt 704 bezieht das LDS 104 eine erste globale Position eines observierten Objektes mit einer ersten Positionierungseinheit 124. Die erste globale Position weist einen ersten Genauigkeitsgrad, der zu einer Position des observierten Objektes gehört, auf. In Schritt 706 ermittelt das LDS 104 auf der Grundlage der ersten globalen Position eine geographische Nähe (1108 in 11), die zu dem observierten Objekt gehört. In einer Ausführungsform handelt es sich bei der Nähe um einen geographischen Bereich, der mittig in der ersten globalen Position liegt und einen Radius aufweist, der groß genug ist, um alle möglichen Wegepunkte zu umfassen, die durch die Kameras des Fahrzeuges deutlich genug gesehen werden könnten, um einen Wegepunkt von einem anderen Wegepunkt zu unterscheiden und zu ermitteln, ob sie oberhalb des zweiten Schwellenwertbereiches beschädigt sind oder nicht. Ein Vorteil einer Nähe besteht darin, den Satz von Wegepunkten in der Datenbank zu begrenzen, der mit den observierten Objekten verglichen wird, so dass der Prozess des Vergleichens auf Übereinstimmung schnell in Echtzeit durchgeführt werden kann, wenn sich das Fahrzeug durch ein Terrain bewegt, das Wegepunkte enthält.
In Schritt 708 identifiziert das LDS 104 aus einer Vielzahl von Wegepunkten einen Satz an Kandidaten-Wegepunkten, die zu der geographischen Nähe des observierten Objektes gehören, auf der Grundlage eines Satzes an Standortdaten, die zu jedem der Vielzahl von Wegepunkten gehören. Von jedem Satz der Kandidaten-Wegepunkte wird erwartet, dass sie in der geographischen Nähe observiert werden können. In Schritt 710 ermittelt das LDS 104, dass ein Satz an visuellen Eigenschaftsdaten wenigstens eines Kandidaten-Wegepunktes in dem Satz an Kandidaten-Wegepunkten mit einem Satz an visuellen Eigenschaftsdaten, der von wenigstens einem aufgenommenen Bild bezogen wurde, das eine zu dem observierten Objekt gehörende Szene aufweist, übereinstimmt. In Schritt 712 ermittelt das LDS 104 eine zweite globale Position des observierten Objektes auf der Grundlage des Satzes an Standortdaten, die zu dem wenigstens einen Kandidaten-Wegepunkt und der ersten globalen Position gehören. Die zweite globale Position weist einen zweiten Genauigkeitsgrad auf, der größer als der erste Genauigkeitsgrad der ersten globalen Position ist (oder von dem dies wenigstens erwartet wird). Anschließend verlässt die Steuerung (das System) in Schritt 714.
8 ist ein Funktionsablaufplan, der ein Beispiel des Zuordnens von Standortdaten einer als fehlend oder beschädigt identifizierten Eisenbahnschienenkomponente veranschaulicht. Der Funktionsablauf beginnt in Schritt 802 und geht direkt in Schritt 804 über. In Schritt 804 nimmt das ODS 106 Bilder/Einzelbilder 113 auf, von denen einige Bilder von Eisenbahnschienenkomponenten sind. In Schritt 806 analysiert das ODS 106 die aufgenommenen Bilder/Einzelbilder von Eisenbahnschienenkomponenten. In Schritt 808 ermittelt das Inspektionssystem 110 auf der Grundlage der ODS-Analyse, ob diese Bilder/Einzelbilder irgendwelche fehlenden oder beschädigten Eisenbahnschienenkomponenten aufweisen, ist das Ergebnis des Ermittelns negativ, kehrt die Steuerung in Schritt 804 zurück. Ist das Ergebnis dieses Ermittelns positiv, bezieht das Inspektionssystem 110 in Schritt 810 den/die aktuelle/n Standort/Position der Eisenbahnschienenkomponente von dem LDS 104. In Schritt 812 aktualisiert das Inspektionssystem 110 die Inspektionsdatenbank 120 mit Daten, die wenigstens die beschädigte/fehlende Eisenbahnschienenkomponente identifizieren und ebenfalls mit den von dem LDS 104 bezogenen Standort-/Positionsdaten. Die Steuerung kehrt zu Schritt 804 zurück.
Datenverarbeitungssystem
9 ist ein Blockschaubild, das ein Datenverarbeitungssystem veranschaulicht, das in Ausführungsformen der vorliegenden Erfindung verwendet werden kann. Das Datenverarbeitungssystem 900 basiert auf einem auf geeignete Weise konfigurierten Verarbeitungssystem, das eingerichtet ist, um eine oder mehrere Ausführungsformen der vorliegenden Erfindung (z. B. das System 102 von 1) zu implementieren. In Ausführungsformen der vorliegenden Erfindung kann jegliches auf geeignete Weise konfigurierte Verarbeitungssystem als Datenverarbeitungssystem 900 verwendet werden. Das Datenverarbeitungssystem 900 weist einen oder mehrere Prozessoren 904 auf, die mit einem Arbeitsspeicher 906, einer Massenspeicherschnittstelle 908 und einer Netzwerkadapter-Hardware 910 verbunden sind. Ein Systembus 912 stellt die Verbindungen zwischen diesen Systemkomponenten her. Obgleich nicht dargestellt, sind Sensor-Peripherieeinheiten wie beispielsweise das Bildverarbeitungssystem 108, das GPS-Modul 124, das/die DMI(s) 128 und das/die IMU(s) kommunikativ mit dem Systembus 912 verbunden.
In dieser Ausführungsform kann der Arbeitsspeicher 906 Anweisungen und Daten aufweisen, die zu dem Standortbestimmungssystem 104 und dem Objekterfassungssystem 106 gehören. Obgleich dies nicht dargestellt ist, kann der Arbeitsspeicher 906 auch wenigstens Abschnitte des Inspektionssystems 110, der Bilddatenbank 112, der Umgebungsdatenbank 116, der Inspektionsdatenbank 120, GPS-Daten 126, DMI-Daten 130, IMU-Daten 134 usw. aufweisen. Die Massenspeicherschnittstelle 908 wird zum Verbinden von Massenspeichereinheiten wie beispielsweise der Massenspeichereinheit 914 mit dem Datenverarbeitungssystem 900 verwendet. Bei einem speziellen Typ von Datenspeichereinheit handelt es sich um ein optisches Laufwerk wie beispielsweise ein CD/DVD-Laufwerk, das zum Speichern von Daten auf und Lesen von Daten von einem computerlesbaren Medium oder einem Speicherprodukt wie beispielsweise (jedoch nicht beschränkt auf) eine CD/DVD 916 verwendet werden kann. Andere Typen von Datenspeichereinheiten sind magnetische Lese/Schreibspeichereinheiten, Halbleiter-Speichereinheiten und/oder Ähnliche.
Bei einem in dem Arbeitsspeicher enthaltenen optionalen Betriebssystem handelt es sich um ein geeignetes Multitasking-Betriebssystem wie beispielsweise Linux, oder UNIX, oder Windows sowie auf Windows-Servern basierende Betriebssysteme. Ausführungsformen der vorliegenden Erfindung können auch jedes andere beliebige geeignete Betriebssystem verwenden. Hierbei sollte beachtet werden, dass andere Ausführungsformen der vorliegenden Erfindung kein Betriebssystem erfordern. Einige Ausführungsformen der vorliegenden Erfindung verwenden Architekturen wie beispielsweise (jedoch nicht beschränkt auf) objektorientierte Frameworks, mit denen Anweisungen der Komponenten von Betriebssystemen auf jedem beliebigen innerhalb des Datenverarbeitungssystems 900 positionierten Prozessor ausgeführt werden können. Die Netzwerkadapter-Hardware 910 wird zum Bereitstellen einer Schnittstelle einem Netzwerk 918 verwendet. Ausführungsformen der vorliegenden Erfindung können so konfiguriert werden, dass sie mit jeden beliebigen Datenübertragungsverbindungen unter anderem analogen und/oder digitalen Verfahren oder über ein zukünftiges Networking-Mechanismus arbeiten können.
Nicht begrenzende Beispiele
Obgleich die beispielhaften Ausführungsformen der vorliegenden Erfindung im Kontext eines voll funktionsfähigen Computersystems beschrieben werden, ist den Fachleuten offensichtlich, dass verschiedene Ausführungsformen auch als ein Programmprodukt mittels einer CD oder einer DVD, einer CD-ROM oder einer anderen Form von beschreibbarem Medium oder über einen anderen beliebigen Typ von elektronischem Datenübertragungsmechanismus verteilt werden kann. Des Weiteren können Aspekte der vorliegenden Erfindung vollständig als Hardware-Ausführungsform, vollständig als Software-Ausführungsform (einschließlich Firmware, residenter Software, Mikro-Code usw.) oder als eine Ausführungsform ausgebildet ein, die Software- und Hardware-Aspekte kombiniert, die hierin allesamt im Allgemeinen als „Schaltung”, „Modul” oder System bezeichnet werden können.
Es kann jede beliebige Kombination aus einem oder mehreren computerlesbaren Medium (Medien) verwendet werden. Bei dem computerlesbaren Medium kann es sich um ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium handeln. Ein computerlesbares Speichermedium kann zum Beispiel ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, solche Vorrichtung oder Einheit oder jede beliebige geeignete Kombination der vorstehend Genannten sein, ohne darauf beschränkt zu sein. Zu konkreteren Beispielen (eine ergänzbare Liste) des computerlesbaren Speichermediums gehören: eine Computerdiskette, eine Festplatte, ein Arbeitsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein elektronisch löschbarer programmierbarer Nur-Lese-Speicher (EPROM oder Flash-Speicher), ein Lichtwellenleiter, ein tragbarer CD-Nur-Lesespeicher (CD-ROM), eine optische Speichereinheit, eine magnetische Speichereinheit oder jede beliebige geeignete Kombination der vorstehend Genannten. Ein computerlesbares Speichermedium kann jegliches materielle Medium sein, das ein Programm zur Verwendung durch ein oder im Zusammenhang mit einem Befehlsausführungssystem, einer solchen Vorrichtung oder Einheit ein Programm enthalten oder speichern kann.
Ein computerlesbares Signalmedium kann ein weitergegebenes Datensignal mit einem darin enthaltenen, computerlesbaren Programmcode, beispielsweise im Basisband oder als Teil einer Trägerwelle sein. Solch ein weitergegebenes Signal kann jede beliebige einer Reihe verschiedener Formen, einschließlich elektromagnetischer, optischer oder jeder beliebigen geeigneten Kombination daraus, jedoch nicht darauf beschränkt, umfassen. Ein computerlesbares Signalmedium kann jegliches computerlesbare Medium sein, das kein computerlesbares Speichermedium ist und das ein Programm zur Verwendung durch oder im Zusammenhang mit einem Befehlsausführungssystem, solcher Vorrichtung oder Einheit ein Programm übertragen, weitergeben oder senden kann.
Der in einem computerlesbaren Medium enthaltene Programmcode kann unter Verwendung eines jeden beliebigen geeigneten Mediums, unter anderem kabellos, kabelbasiert, Lichtwellenleiter, HF usw. oder jeder beliebigen geeigneten Kombination der vorstehend Genannten, jedoch nicht darauf beschränkt, übertragen werden.
Der Computerprogrammcode zum Durchführen der Operationen für Aspekte der vorliegenden Erfindung kann in jeder beliebigen Kombination einer oder mehrerer Programmiersprachen geschrieben sein. Der Programmcode kann vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als ein Stand-Alone-Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem fernen Computer oder vollständig auf dem fernen Computer oder Server ausgeführt werden. In dem letzten Szenarium kann der ferne Computer über jeden beliebigen Typ von Netzwerk, unter anderem einem lokalen Netz (LAN), oder einem Weitverkehrsnetz (WAN) mit dem Computer des Benutzers verbunden sein, oder die Verbindung kann zu einem externen Computer (z. B. über das Internet unter Verwendung eines Internet-Dienstanbieters) hergestellt werden.
Obgleich spezielle Ausführungsformen der Erfindung offenbart worden sind, ist den Fachleuten bekannt, dass Änderungen an den speziellen Ausführungsformen vorgenommen werden können, ohne vom Geist und Schutzumfang der Erfindung abzuweichen. Der Schutzumfang der Erfindung ist dementsprechend nicht auf die speziellen Ausführungsformen beschränkt, und es wird beabsichtigt, dass die angehängten Ansprüche jegliche und alle solche Anwendungen, Modifizierungen und Ausführungsformen innerhalb des Schutzumfangs der vorliegenden Erfindung abdecken.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

„Component-Based Track Inspection Using Machine-Vision Technology”, Li et al., ICMR'11, April 2011 [0024]

Claims

Verfahren zum Bestimmen einer globalen Position eines observierten Objektes, wobei das Verfahren aufweist: Beziehen einer ersten globalen Position eines observierten Objektes mit wenigstens einer Positionsbestimmungseinheit; Ermitteln, ob ein Satz an gespeicherten visuellen Eigenschaftsdaten wenigstens eines Wegepunktes mit einem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand von wenigstens einem aufgenommen Bild bezogen wurde, das eine zu dem observierten Objekt gehörende Szene aufweist; und Ermitteln, in Reaktion darauf, dass der Satz an gespeicherten visuellen Eigenschaftsdaten mit dem bezogenen Satz an visuellen Eigenschaftsdaten übereinstimmt, einer zweiten globalen Position des observierten Objektes auf der Grundlage von gespeicherten Standortdaten, die zu dem wenigstens einen Wegepunkt und der ersten globalen Position gehören.
Verfahren nach Anspruch 1, wobei die erste globale Position einen ersten Genauigkeitsgrad und die zweite globale Position einen zweiten Genauigkeitsgrad aufweist, der größer als der erste Genauigkeitsgrad ist.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Ermitteln einer geographischen Nähe, die zu dem observierten Objekt gehört, auf der Grundlage der ersten globalen Position; und Auswählen des wenigstens einen Wegepunktes aus einer Vielzahl von Wegepunkten auf der Grundlage eines Satzes an Standortdaten, die zu dem wenigstens einen Wegepunkt gehören, der der ermittelten geographischen Nähe entspricht.
Verfahren nach Anspruch 1, wobei die geographische Nähe einen Bereich innerhalb einer bestimmten Entfernung von der ersten globalen Position aufweist.
Verfahren nach Anspruch 1, wobei der zu dem Wegepunkt gehörende Satz an Standortdaten mindestens eines aufweist von: Längengraddaten und Breitengraddaten; die von einem vorgegebenen Referenzpunkt aus zurückgelegte Entfernung; und eine Anzahl von ab einem vorgegebenen Referenzpunkt gezählten Eisenbahnschwellen.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Ermitteln, dass der Satz an gespeicherten visuellen Eigenschaftsdaten des wenigstens einen Wegepunktes nicht mit dem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand des wenigstens einen erfassten Bildes bezogen wurde; Identifizieren wenigstens einer visuellen Eigenschaft des wenigstens einen Wegepunktes, die sich verändert hat, auf der Grundlage des Satzes an visuellen Eigenschaftsdaten des wenigstens einen Wegepunktes und des Satzes an visuellen Eigenschaftsdaten, der anhand des wenigstens einen erfassten Bildes bezogen wurde; und Aktualisieren, auf der Grundlage des Identifizierens, des Satzes an gespeicherten visuellen Eigenschaftsdaten, der zu dem wenigstens einen Wegepunkt gehört, so dass dieser nun die wenigstens eine visuelle Eigenschaft, die sich geändert hat, beinhaltet.
Verfahren nach Anspruch 1, des Weiteren aufweisend: Ermitteln, dass der Satz an gespeicherten visuellen Eigenschaftsdaten des wenigstens einen Wegepunktes nicht mit dem Satz an visuellen Eigenschaftsdaten übereinstimmt, der anhand des wenigstens einen erfassten Bildes bezogen wurde; Ermitteln, auf der Grundlage des Satzes an gespeicherten visuellen Eigenschaftsdaten, der nicht mit dem Satz an visuellen Eigenschaftsdaten übereinstimmt, dass der wenigstens eine Wegepunkt entfernt worden ist; und Aktualisieren wenigstens einer Datenbank, indem der Satz an gespeicherten visuellen Eigenschaftsdaten und der Satz an Standortdaten, die zu dem wenigstens einen Wegepunkt gehören, entfernt werden, um anzuzeigen, dass wenigstens ein Wegepunkt entfernt worden ist.
Verfahren nach Anspruch 1, wobei Ermitteln, ob der Satz an gespeicherten visuellen Eigenschaftsdaten des wenigstens ersten Wegepunktes mit den visuellen Eigenschaftsdaten übereinstimmt, die anhand des wenigstens einen erfassten Bildes bezogen wurden, aufweist: Vergleichen des Satzes an gespeicherten visuellen Eigenschaftsdaten, der zu dem wenigstens einen Wegepunkt gehört, mit dem Satz an visuellen Eigenschaftsdaten, der anhand des wenigstens einen erfassten Bildes bezogen wurde; und Ermitteln, dass der Satz an gespeicherten visuellen Eigenschaftsdaten, der zu dem wenigstens einen Wegepunkt gehört, mit dem Satz an visuellen Eigenschaftsdaten innerhalb eines bestimmten Schwellenwertbereiches für ein visuelles Erscheinungsbild übereinstimmt.
Verfahren nach Anspruch 7, wobei Ermitteln, dass der Satz an gespeicherten visuellen Eigenschaftsdaten mit dem Satz an visuellen Eigenschaftsdaten innerhalb eines bestimmten Schwellenwertbereiches für ein visuelles Erscheinungsbild übereinstimmt, aufweist: Ermitteln, auf der Grundlage des Vergleichens, dass ein Satz an Unterschieden zwischen dem Satz an gespeicherten visuellen Eigenschaftsdaten, der zu dem wenigstens einen Wegepunkt gehört, und dem Satz an visuellen Eigenschaftsdaten, der anhand des wenigstens einen erfassten Bildes bezogen wurde, innerhalb des bestimmten Schwellenwertbereiches für ein visuelles Erscheinungsbild liegt.
Verfahren nach Anspruch 1, wobei die zweite globale Position des Weiteren auf der Grundlage von wenigstens einer Zählung von Eisenbahnschwellen und einer ab einem Bezugspunkt zurückgelegten Entfernung ermittelt wird.
Verfahren nach Anspruch 1, wobei es sich bei dem observierten Objekt um wenigstens eine fehlende Eisenbahnschienenkomponente oder eine beschädigte Eisenbahnschienenkomponente handelt.
Verfahren zum Führen einer Datenbank aus zu inspizierenden Objekten, wobei das Verfahren aufweist: Analysieren wenigstens eines Bildes, das eine Szene aufweist, wobei das Bild von wenigstens einer sich an einem Fahrzeug befindlichen Bildeaufnahmeeinheit aufgenommen wird; Identifizieren, auf der Grundlage des Analysierens, eines ersten Satzes an visuellen Eigenschaftsdaten, die zu der Szene gehören; Vergleichen des ersten Satzes an visuellen Eigenschaftsdaten mit einem zweiten Satz an visuellen Eigenschaftsdaten, der zu dem wenigstens einen Zielobjekt gehört; Ermitteln, auf der Grundlage des Vergleichens, dass der erste Satz an visuellen Eigenschaftsdaten und der zweite Satz an visuellen Eigenschaftsdaten innerhalb eines bestimmten Schwellenwertbereiches miteinander übereinstimmen; Beziehen eines Satzes an Positionierungsdaten, der zu dem Fahrzeug gehört; und Speichern des zweiten Satzes an visuellen Eigenschaftsdaten mit dem Satz an Positionierungsdaten in einem Eintrag einer Datenbank, die zu dem wenigstens einen Zielobjekt gehört.