DE102016214875A1 - Schildbasierte Ortung - Google Patents

Schildbasierte Ortung Download PDF

Info

Publication number
DE102016214875A1
DE102016214875A1 DE102016214875.3A DE102016214875A DE102016214875A1 DE 102016214875 A1 DE102016214875 A1 DE 102016214875A1 DE 102016214875 A DE102016214875 A DE 102016214875A DE 102016214875 A1 DE102016214875 A1 DE 102016214875A1
Authority
DE
Germany
Prior art keywords
component
candidates
candidate
text
line segments
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016214875.3A
Other languages
English (en)
Inventor
Yan Lu
Aniket Murarka
Kikuo Fujimura
Ananth Ranganathan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of DE102016214875A1 publication Critical patent/DE102016214875A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Hierin sind Systeme und Techniken für schildbasierte Ortung vorgesehen. Schildbasierte Ortung kann erzielt werden durch Aufnehmen eines Bildes einer Betriebsumgebung um ein Fahrzeug, Extrahieren eines oder mehrerer Textkandidaten aus dem Bild, Erfassen eines oder mehrerer Liniensegmente im Bild, Definieren eines oder mehrerer Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente, Bestimmen eines oder mehrerer Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten, Vergleichen eines oder mehrerer der Schildkandidaten mit einem oder mehreren Referenzbildern und Bestimmen eines Standortes des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder.

Description

  • ALLGEMEINER STAND DER TECHNIK
  • Typischerweise wird ein globales Positionsbestimmungssystem (GPS) verwendet, um einen Standort eines Fahrzeugs zu bestimmen. Zum Beispiel kann GPS ein weltraumbasiertes Satellitennavigationssystem erfordern, das einen Standort basierend auf mehreren GPS-Satelliten bestimmt. GPS ist häufig funktionsfähig, solange eine ununterbrochene Sichtlinie vom Fahrzeug zu jeweiligen GPS-Satelliten besteht. GPS-Einheiten können aufgrund von Anhäufung oder Ansammlung von Fehlern Abweichungen unterliegen. Da GPS eine ununterbrochene Sichtlinie zu GPS-Satelliten erfordert, stellen zudem schlechtes Wetter, Stadtgebiete, bergiges Gelände oder andere verdeckende Hindernisse häufig Probleme bei der Bestimmung des Standortes oder der Position eines Fahrzeuges oder bei der Implementierung von Fahrzeugortung dar.
  • KURZBESCHREIBUNG
  • Gemäß einem oder mehreren Aspekten kann ein System für schildbasierte Ortung eine Sensorkomponente, die an einem Fahrzeug montiert ist, eine Extrahierungskomponente, eine Kandidatenkomponente, eine Kommunikationskomponente und eine Ortungskomponente beinhalten. Die Sensorkomponente kann ein Bild einer Betriebsumgebung um das Fahrzeug aufnehmen. Die Extrahierungskomponente kann basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente einen oder mehrere Textkandidaten aus dem Bild extrahieren, ein oder mehrere Liniensegmente im Bild erfassen und einen oder mehrere Viereckkandidaten definieren. Die Kandidatenkomponente kann einen oder mehrere Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten bestimmen. Die Kommunikationskomponente kann einen oder mehrere der Schildkandidaten mit einem oder mehreren Referenzbildern einer Ortungsdatenbank vergleichen oder abgleichen. Die Ortungskomponente kann einen Standort des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder bestimmen.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente einen oder mehrere der Textkandidaten basierend auf einer Strichstärkentransformation (Stroke Width Transform, SWT) extrahieren. Die Kandidatenkomponente kann einen oder mehrere der Viereckkandidaten basierend auf einer Bodenebene filtern. Die Extrahierungskomponente kann ein oder mehrere skaleninvariante Merkmalstransformations-(Scale-Invariant Feature Transformation, SIFT)-Merkmale aus einem oder mehreren der Schildkandidaten extrahieren. Die Kandidatenkomponente kann einen oder mehrere der Schildkandidaten basierend auf einer Anzahl von skaleninvarianten Merkmalstransformations-(SIFT)-Merkmalen filtern, die mit jeweiligen Schildkandidaten verknüpft sind. Die Extrahierungskomponente kann ein oder mehrere der Liniensegmente basierend auf einem Liniensegmentlängenkriterium oder einem Grenzwertnähen-Abstand zu einem Textkandidaten filtern. Die Kandidatenkomponente kann ein oder mehrere Liniensegmente basierend auf einem vertikalen Toleranzbereich oder einem horizontalen Toleranzbereich filtern.
  • Die Extrahierungskomponente kann basierend auf zwei oder mehr kollinearen Liniensegmenten, die Endpunkte aufweisen, die sich weniger als eine Grenzwertnähe voneinander entfernt befinden, eine Liniensegmentverknüpfung durchführen. Die Kandidatenkomponente kann einen oder mehrere der Viereckkandidaten basierend auf einem Grenzwertverhältnis eines Textkandidatenbereichs zum Viereckbereich filtern. Die Kandidatenkomponente kann einen oder mehrere der Schildkandidaten basierend auf einer Anzahl von maximal stabilen Extrembereich-(Maximum Stable Extreme Regions, MSER)-Merkmalen filtern, die mit jeweiligen Schildkandidaten verknüpft sind. Die Kommunikationskomponente kann basierend auf putativer skaleninvarianter Merkmalstransformations-(SIFT)-Zuordnung einen oder mehrere der Schildkandidaten mit einem oder mehreren der Referenzbilder vergleichen. Die Kommunikationskomponente kann einen oder mehrere Ausreißer basierend auf einer auf Homographie-basierten Übereinstimmung einer zufälligen Stichprobe (Random based Sample Consensus, RANSAC) aus der Zuordnung ausschließen.
  • Die Ortungskomponente kann den Standort des Fahrzeugs unter Verwendung eines Perspektive-n-Punkt(PnP)-Lösungsmoduls oder einer PnP-Einheit oder -Komponente bestimmen. Das System kann eine Navigationskomponente beinhalten, die basierend auf dem Standort des Fahrzeugs eine oder mehrere Navigationsanweisungen erzeugt.
  • Gemäß einem oder mehreren Aspekten kann ein Verfahren für schildbasierte Ortung Aufnehmen eines Bildes einer Betriebsumgebung um ein Fahrzeug, Extrahieren eines oder mehrerer Textkandidaten vom Bild, Erfassen eines oder mehrerer Liniensegmente im Bild, das Definieren eines oder mehrerer Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente, Bestimmen eines oder mehrerer Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten, Vergleichen eines oder mehrerer der Schildkandidaten mit einem oder mehreren Referenzbildern (z. B. verknüpft mit Ortungsdaten) und Bestimmen eines Standortes des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder beinhalten.
  • Das Verfahren kann Extrahieren eines oder mehrerer Textkandidaten basierend auf einer Strichstärkentransformation beinhalten. Das Verfahren kann Extrahieren eines oder mehrerer skaleninvarianter Merkmalstransformations-(SIFT)-Merkmale von einem oder mehreren der Schildkandidaten oder Filtern einer oder mehrerer der Schildkandidaten basierend auf einer Anzahl an SIFT-Merkmalen, die mit den jeweiligen Schildkandidaten verknüpft sind, beinhalten. Das Verfahren kann außerdem Filtern eines oder mehrerer der Liniensegmente basierend auf einem Liniensegmentlängenkriterium oder einem Grenzwertnähen-Abstand zu einem Textkandidaten beinhalten. Das Verfahren kann Filtern eines oder mehrerer der Schildkandidaten basierend auf einer Anzahl an maximal stabilen Extrembereich-(MSER)-Merkmalen, die mit jeweiligen Schildkandidaten verknüpft sind, beinhalten.
  • Gemäß einem oder mehreren Aspekten kann ein System für schildbasierte Ortung eine Sensorkomponente, die an einem Fahrzeug montiert ist, eine Extrahierungskomponente, eine Kandidatenkomponente, eine Kommunikationskomponente und eine Ortungskomponente beinhalten. Die Sensorkomponente kann ein Bild einer Betriebsumgebung um das Fahrzeug aufnehmen. Die Extrahierungskomponente kann basierend auf einer Strichstärkentransformation (SWT) einen oder mehrere Textkandidaten aus dem Bild extrahieren, ein oder mehrere Liniensegmente im Bild erfassen und einen oder mehrere Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente definieren. Die Kandidatenkomponente kann einen oder mehrere Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten bestimmen. Die Kommunikationskomponente kann einen oder mehrere der Schildkandidaten mit einem oder mehreren Referenzbildern einer Ortungsdatenbank basierend auf putativer skaleninvarianter Merkmalstransformations-(SIFT)-Zuordnung vergleichen oder abgleichen. Die Ortungskomponente kann einen Standort des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder bestimmen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine Darstellung eines Beispielsystems für schildbasierte Ortung, das Ortung durch Referenzieren einer Ortungsdatenbank gemäß einer oder mehreren Ausführungsformen durchführen kann.
  • 2 ist eine Darstellung eines Ablaufdiagrammbeispiels eines Verfahrens für schildbasierte Ortung gemäß einer oder mehreren Ausführungsformen.
  • 3A–B sind Darstellungen eines Textextrahierungsbeispiels aus einem Bild gemäß einer oder mehreren Ausführungsformen.
  • 4A–B sind Darstellungen eines Viereckerfassungsbeispiels von einem Bild gemäß einer oder mehreren Ausführungsformen.
  • 5A–B sind Darstellungen eines Beispiels für Viereckfilterung und -zusammenlegen aus einem Bild gemäß einer oder mehreren Ausführungsformen.
  • 6A ist eine Darstellung von Beispielen für maximal stabile Extrembereich-(MSER)-Merkmale eines Bildes gemäß einer oder mehreren Ausführungsformen.
  • 6B ist eine Darstellung eines Beispiels für das Zuordnen eines aufgenommenen Bildes und eines Referenzbildes gemäß einer oder mehreren Ausführungsformen.
  • 6C ist eine Darstellung eines Beispiels für Ortung basierend auf einem Perspektive-n-Punkt(PnP)-Algorithmus gemäß einer oder mehreren Ausführungsformen.
  • 7 ist eine Darstellung eines Beispiels für ein computerlesbares Medium oder eine computerlesbare Vorrichtung, das/die prozessorausführbare Anweisungen beinhaltet, die konfiguriert sind, um eine oder mehrere der hierin aufgeführten Bestimmungen gemäß einer oder mehreren Ausführungsformen auszuführen.
  • 8 ist eine Darstellung eines Beispiels für eine Computerumgebung, in der eine oder mehrere der hierin aufgeführten Bestimmungen gemäß einer oder mehreren Ausführungsformen implementiert sind.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Die nachfolgende Beschreibung und beigefügten Zeichnungen beschreiben bestimmte veranschaulichende Aspekte und Implementierungen. Diese zeigen nur wenige der verschiedenen Wege, auf die ein oder mehrere Aspekte eingesetzt werden können. Andere Aspekte, Vorteile oder neuartige Merkmale der Offenbarung werden aus der nachfolgenden ausführlichen Beschreibung deutlich, wenn diese in Verbindung mit den beigefügten Zeichnungen betrachtet wird.
  • Die nachfolgenden Begriffe, deren Definitionen hierin bereitgestellt sind, um das Verständnis eines oder mehrerer Aspekte der Offenbarung zu verbessern, werden durch die gesamte Offenbarung hindurch verwendet.
  • Im hierin verwendeten Sinne kann ein Schild ein Wegweiser, eine Werbetafel, ein Straßenschild, andere Arten von Schildern usw. beinhalten. Beispiele derartiger Schilder können Schilder auf Überführungen von Schnellstraßen, Plakatwänden, Sehenswürdigkeiten oder Schilder, die Text enthalten, beinhalten. Ferner können diese Bezeichnungen durch diese Offenbarung hindurch austauschbar verwendet werden.
  • Wie sie hierin verwendet wird, bezieht sich die Bezeichnung „folgern” oder „Folgerung” allgemein auf den Prozess der Schlussfolgerung über oder des Folgerns von Zuständen eines Systems, einer Komponente, einer Umgebung, eines Benutzers von einer oder mehreren Beobachtungen, die durch Ereignisse oder Daten usw. aufgenommen wurden. Folgerungen können eingesetzt werden, um einen Zusammenhang oder eine Handlung zu identifizieren oder können allgemein eingesetzt werden, um zum Beispiel eine Wahrscheinlichkeitsverteilung über Zustände zu erzeugen. Eine Folgerung kann probabilistisch sein. Zum Beispiel kann eine Berechnung einer Wahrscheinlichkeitsverteilung über Zustände von Interesse auf einer Abwägung von Daten oder Ereignissen basieren. Folgerungen können sich außerdem auf Techniken beziehen, die verwendet werden, um Ereignisse einer höheren Ebene aus einem Satz an Ereignissen oder Daten zu erzeugen. Derartige Folgerungen können zur Erzeugung neuer Ereignisse oder neuer Handlungen aus einem Satz beobachteter Ereignisse oder gespeicherter Ereignisdaten führen, gleich ob die Ereignisse in zeitlich nahem Zusammenhang korreliert sind oder nicht und ob die Ereignisse und Daten von einer oder mehreren Ereignis- und Datenquellen stammen.
  • Allgemein gibt es bei Wegweisern, Werbetafeln oder Straßenschildern keine Probleme, die mit anderen Arten von Ortung verbunden sind, wie Verdeckung, Schatten, Erfassung, Veränderungen aufgrund von Wartung oder Reparatur, Abstand, Abweichung usw. In einer oder mehreren Ausführungsformen wird die Ortung oder Bestimmung einer Position oder eines Standortes eines Fahrzeugs basierend auf Texterkennung von Wegweisern vorgesehen. Anders ausgedrückt kann die Ortung für ein Fahrzeug durch Erfassen oder Bestimmen der Existenz von Wegweisern auf einer Schnellstraße durch eine Kamera, eine Bildaufnahmekomponente oder eine Sensorkomponente 110, die an einem Fahrzeug montiert ist, erfolgen. Zum Beispiel kann ein System 100 für schildbasierte Ortung oder Fahrzeugortung einen Wegweiser oder eine Werbetafel erfassen, Text vom Wegweiser oder der Werbetafel extrahieren oder erkennen, falsche positive und falsche negative Daten aus dem extrahierten Text oder den Daten filtern (wodurch Schildkandidaten übrig bleiben, die bewertet werden sollen) und eine Ortungsbestimmung (z. B. unter Verwendung eines Perspektivenalgorithmus) basierend auf dem erfassten Schild und/oder extrahierten Text durch Vergleichen von Bildern oder Merkmalen von Wegweiser- oder Werbetafelkandidaten (z. B. Schildkandidaten) mit Referenzbildern oder Daten in einer Ortungsdatenbank 190 durchführen.
  • 1 ist eine Darstellung eines Beispielsystems 100 für schildbasierte Ortung, das Ortung durch Referenzieren einer Ortungsdatenbank 190 gemäß einer oder mehreren Ausführungsformen durchführen kann. Das System 100 für schildbasierte Ortung kann eine Sensorkomponente 110, eine Extrahierungskomponente 120, eine Kommunikationskomponente 130, eine Kandidatenkomponente 140, eine Ortungskomponente 150 und eine Navigationskomponente 160 beinhalten. In einer oder mehreren Ausführungsformen kann eine Ortungsdatenbank 190 eine Kartenkomponente 192 und eine Datenbankkomponente 194 beinhalten. Das System 100 für schildbasierte Ortung kann aufgenommene Bilder mit Referenzbildern der Ortungsdatenbank 190 oder der Datenbankkomponente 194 vergleichen. In einer oder mehreren Ausführungsformen können sich die Ortungsdatenbank 190 oder die zugehörigen Komponenten, wie die Datenbankkomponente 194, entfernt vom System 100 für schildbasierte Ortung befinden. In anderen Ausführungsformen kann das System 100 für schildbasierte Ortung eine Datenbankkomponente (nicht im System 100 dargestellt) beinhalten, die der Datenbankkomponente 194 der Ortungsdatenbank 190 ähnelt.
  • Allgemein erfasst die Sensorkomponente 110 Bilder, nimmt sie auf oder tastet sie ab, um die Ortung für ein Fahrzeug zu ermöglichen. Die Extrahierungskomponente 120 kann ein oder mehrere Schilder, Wegweiser, Werbetafeln, Straßenschilder usw. erfassen, indem Text aus Bildern extrahiert wird, Liniensegmenterkennung (Line Segment Detection, LSD), Liniensegmentverknüpfung, Viereckerkennung, Viereckfiltern, Viereckgrenzverfeinerung, Filtern maximal stabiler Extrembereiche (MSER), Viereckzusammenlegung usw. durchgeführt wird. Die Kandidatenkomponente 140 kann einen oder mehrere Schildkandidaten basierend auf Vierecken oder Viereckkandidaten bestimmen, die durch die Extrahierungskomponente 120 erfasst wurden, wodurch falsche positive oder falsche negative Schildkandidaten oder andere Daten herausgefiltert werden.
  • Eine Ortungsdatenbank 190 kann eine Kartenkomponente 192 oder eine Datenbankkomponente 194 beinhalten. Die Kartenkomponente 192 kann ein oder mehrere Referenzbilder sammeln und jeweilige Referenzbilder für Schilder, Wegweiser, Werbetafeln, Straßenschilder usw. analysieren. Mit diesen Schildern verknüpfte Informationen, wie Ortungsinformationen, Positionsinformationen, Koordinateninformationen usw., können extrahiert und in der Datenbankkomponente 194 gespeichert werden. Zum Beispiel kann die Datenbankkomponente 194 Koordinaten speichern, die mit einer oder mehreren Ecken eines oder mehrerer Schilder verknüpft sind.
  • Die Kommunikationskomponente 130 kann Vergleichen, Referenzieren oder Datenverknüpfung zwischen einem oder mehreren Schildkandidaten aus einem aufgenommenen Bild mit einem oder mehreren Referenzbildern einer Ortungsdatenbank 190 durchführen, wie zum Beispiel unter Verwendung von putativer skaleninvarianter Merkmalstransformations-(SIFT)-Zuordnung. Die Ortungskomponente 150 kann einen aktuellen Standort oder eine aktuelle Position eines Fahrzeugs basierend auf einer Übereinstimmung, entsprechenden mit einem Referenzbild verknüpften Ortungsinformationen und einem Ortungsalgorithmus, wie einem Perspektive-n-Punkt(PnP)-Algorithmus, bestimmen. Die Navigationskomponente 160 kann dementsprechend eine oder mehrere Navigationsanweisungen bereitstellen.
  • Die Sensorkomponente 110 kann ein oder mehrere Bilder aus einer realen Umgebung oder einer Betriebsumgebung erfassen, durch die sich ein Fahrzeug bewegt. Diese Bilder können ein oder mehrere Schilder, Wegweiser, Werbetafeln, Straßenschilder, andere Fahrzeuge, Straßen, Straßenabschnitte, Hindernisse, Verkehr, Fußgänger, Objekte, Gefahrenquellen usw. beinhalten. In einer oder mehreren Ausführungsformen kann die Sensorkomponente 110 eine monokulare Kamera, Stereokameras oder eine Bildaufnahmekomponente beinhalten. Die Sensorkomponente 110, Kamera oder Bildaufnahmekomponente kann an einem Fahrzeug montiert sein, um Bilder aufzunehmen oder Bilder von Schildern, Wegweisern, Werbetafeln oder Straßenschildern entlang einer Straße oder eines Straßensegments, auf der/dem sich das Fahrzeug bewegt, aufzunehmen. Mit anderen Worten kann eine Funktion der Sensorkomponente 110 darin bestehen, Bildaufnahmefähigkeiten zur Schilderkennung bereitzustellen.
  • Die Sensorkomponente 110 kann eine oder mehrere Bildaufnahmetechniken implementieren, um verschiedene Szenarien zu kompensieren, wie schwach beleuchtetes Szenario oder ein kontrastarmes Szenario. Zum Beispiel kann die Sensorkomponente 110 einen oder mehrere Parameter, die mit einem oder mehreren der Bilder (die z. B. durch die Sensorkomponente 110 aufgenommen wurden) verknüpft sind, wie Kantenerfassungsgrenzwerte, anpassen, die von der Extrahierungskomponente 120 verwendet werden können. Mit anderen Worten kann die Sensorkomponente 110 einen oder mehrere Kantenerfassungsgrenzwerte anpassen, sodass zusätzliche oder mehr Kanten in einem Bild erfasst werden. Wenn zum Beispiel keine oder wenige Schilder in einem Bild erfasst werden oder wenn es sich um ein Szenario mit geringen Lichtverhältnissen oder geringem Kontrast handelt, kann die Sensorkomponente 110 derartige Parameter entsprechend anpassen. Dadurch können mehr tatsächlich positive Kanten erfasst werden, zusammen mit einigen falschen positiven Kanten, die durch die Kandidatenkomponente 140 oder durch die Extrahierungskomponente 120 gefiltert werden können, wie hierin noch beschrieben wird.
  • Wie vorab beschrieben, kann die Extrahierungskomponente 120 ein Schild, einen Wegweiser, eine Werbetafel, ein Straßenschild oder andere Arten von Schildern erfassen. Die Extrahierungskomponente 120 erfasst oder bestimmt angesichts eines Bildes von der Sensorkomponente 110, ob ein Schild, ein Wegweiser oder eine Werbetafel im Bild vorhanden ist. Anders ausgedrückt kann die Extrahierungskomponente 120 ein oder mehrere Schilder aus einem oder mehreren Schildkandidaten (die aus einem oder mehreren Viereckkandidaten bestimmt wurden) basierend auf Merkmalen, die in einem Bild gefunden werden, „extrahieren” oder definieren. Die Extrahierungskomponente 120 kann Textextrahierung, Liniensegmenterkennung (LSD), Liniensegmentverbindung, Viereckerkennung, Viereckfilterung, Viereckgrenzverfeinerung, Filterung maximal stabiler Extrembereiche (MSER), Viereckzusammenlegung usw. als Faktoren oder Hinweise verwenden, um einen oder mehrere Schildkandidaten oder potenzielle Wegweiser zu erfassen.
  • In diesem Sinne kann die Extrahierungskomponente 120 Text aus einem Bild extrahieren, Text aus einem Bild erkennen oder Textbestimmung durchführen, um einen oder mehrere Textkandidaten aus einem Bild zu erzeugen. Zum Beispiel kann die Extrahierungskomponente 120 Text oder Texte aus einem Bild, wie einem durch die Sensorkomponente 110 aufgenommenen Bild, erfassen. Die Kandidatenkomponente 140 kann einen oder mehrere Bereiche von Interesse oder Kandidatenbereiche in einem Bild identifizieren. Diese Bereiche von Interesse oder Kandidatenbereiche können durch Komponenten des Systems 100 zur schildbasierten Ortung weiter analysiert werden. Auf diese Weise kann die Extrahierungskomponente 120 einen Teil eines Bildes als Text oder Nicht-Text kennzeichnen. An dieser Stelle kann die Kandidatenkomponente 140 einen oder mehrere der Abschnitte kennzeichnen, die als Text oder Textkandidat gekennzeichnet wurden.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 eine oder mehrere Textkandidaten basierend auf einer Strichstärkentransformation (SWT) aus einem Bild erfassen. In anderen Ausführungsformen kann die Extrahierungskomponente 120 eine oder mehrere der Textkandidaten basierend auf optischer Zeichenerkennung (Optical Character Recognition, OCR) aus einem Bild erfassen. Demnach kann die Extrahierungskomponente 120 Texterkennung durch eine Vielzahl von Techniken erzielen.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 eine Bodenebene, Horizontebene, Bodenhöhe, Horizonthöhe usw. bestimmen. Die Kandidatenkomponente 140 kann ferner Informationen oder Kandidaten unter der Horizonthöhe filtern oder ausschließen. Im Endeffekt kann die Extrahierungskomponente 120 gemäß einer oder mehreren Ausführungsformen Informationen über dem Boden oder in der Luft in Betracht ziehen (in Bezug auf eine Perspektive eines Fahrers oder Insassen eines Fahrzeugs).
  • Als Beispiel ist mit Verweis auf 3A ersichtlich, dass Text 320A und 322A der Schilder 310A bzw. 312A durch Textextrahierung (die z. B. durch die Extrahierungskomponente 120 durchgeführt wird) identifiziert werden kann. Da die Kandidatenkomponente 140 im Beispiel aus 3A Informationen oder Kandidaten filtert oder ausschließt, die sich unterhalb der Horizonthöhe 340 befinden, wird Text, der mit Nummernschildern von Fahrzeugen verknüpft ist, zum Beispiel nicht als Textkandidaten in Betracht gezogen, wodurch die Textextrahierung verbessert wird. Mit anderen Worten, da eine Ortungsdatenbank 190 Daten beinhalten oder aufweisen kann, die mit Schildern, wie den Schildern 310A oder 312A, verknüpft sind, kann es wünschenswert sein, Text 320A und 322A aus einem Bild zu extrahieren. Dementsprechend kann anderer Text, wie Text von Fahrzeugnummernschildern, Geschwindigkeitsbegrenzungsschildern usw., nicht so nützlich sein wie der Text 320A und 322A der Schilder 310A und 312A. Dies kann daran liegen, dass Geschwindigkeitsbegrenzungsschilder allgemein nicht so „einzigartig” sind wie andere Arten von Straßenschildern, Werbetafeln oder Schildern usw.
  • Ferner kann die Kandidatenkomponente 140 ein oder mehrere falsche positive oder eine oder mehrere falsche negative Kandidaten aus einem oder mehreren der Textkandidaten filtern oder ausschließen. Als ein Beispiel können falsche Negativergebnisse Textkandidaten sein, die mit einer großen Entfernung vom Fahrzeug oder der Sensorkomponente 110 des Systems 100 für schildbasierte Ortung verknüpft sind. Auf diese Weise kann die Kandidatenkomponente 140 Kandidaten als falsche Negativkandidaten ausschließen oder filtern, da Schilder oder Bilder von weit entfernten Objekten allgemein keine genauen Informationen für die Ortung bereitstellen. Die Kandidatenkomponente 140 kann Kandidaten filtern, die keine Grenzwertanzahl skaleninvarianter Merkmalstransformations-(SIFT)-Merkmale aufweisen, da Werbetafeln, die sich weit entfernt befinden, allgemein nicht zu genauen Informationen im Hinblick auf die Ortung beitragen.
  • Die Extrahierungskomponente 120 kann Liniensegmenterfassung (LSD), Liniensegmentverknüpfung usw. durchführen, um ein oder mehrere Liniensegmente aus einem Bild, das durch die Sensorkomponente 110 aufgenommen wurde, zu sammeln oder zu analysieren. In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 ein oder mehrere Liniensegmente aus einem Bild erfassen und entsprechende erfasste Liniensegmente verwenden, um Wegweiser, Werbetafeln, Straßenschilder oder andere Arten von Schildern entlang einer Straße oder eines Straßensegments zu identifizieren. Zusätzlich kann die Extrahierungskomponente 120 kollineare Liniensegmente, die sich nah aneinander befinden, verknüpfen oder verbinden, um fehlerhafte Ablesungen, Artefakte in einem Bild, Verzerrung, geringe Licht- oder geringe Kontrastbedingungen usw. zu korrigieren oder zu kompensieren. Unabhängig davon kann die Extrahierungskomponente 120 ein oder mehrere Liniensegmente aus einem Bild erfassen oder extrahieren.
  • Die Extrahierungskomponente 120 kann ein oder mehrere Liniensegmente filtern oder ein oder mehrere Liniensegmente basierend auf einem oder mehreren Liniensegmentkriterien auswählen. Liniensegmentkriterien können verwendet werden, um Linien einer Werbetafel von Linien anderer Objekte zu unterscheiden. Demnach kann die Extrahierungskomponente 120 Liniensegmenterfassung auf ein Bild anwenden, um einen Satz eines oder mehrerer Liniensegmente zu extrahieren. Die Extrahierungskomponente 120 kann dann ein oder mehrere der Liniensegmentkriterien verwenden, um eine Teilmenge eines oder mehrerer Liniensegmente aus dem Satz eines oder mehrerer Liniensegmente auszuwählen oder zu bestimmen. Auf diese Weise können Liniensegmente basierend auf jeweiligen Liniensegmentkriterien gefiltert oder ausgewählt werden.
  • Zum Beispiel kann die Extrahierungskomponente 120 ein oder mehrere Liniensegmente aus einem Satz an Liniensegmenten basierend auf einer Nähe eines Liniensegmentes zu einem oder mehreren Textkandidaten filtern. Anders ausgedrückt kann die Extrahierungskomponente 120 Liniensegmente basierend auf Liniensegmentkriterien, die mit einem Grenzwertnähen-Abstand zu einem Textkandidaten verknüpft sind, filtern. Als Beispiel kann die Extrahierungskomponente 120 eine Teilmenge eines oder mehrerer Liniensegmente basierend auf Liniensegmentlängenkriterien filtern oder auswählen. In diesem Beispiel kann die Extrahierungskomponente 120 Liniensegmente filtern, die kürzer als eine Grenzwertlänge (z. B. Liniensegmentlängenkriterien) sind. Auf diese Weise kann die Extrahierungskomponente 120 eine Teilmenge eines oder mehrerer Liniensegmente, die die Liniensegmentlängenkriterien erfüllen, auswählen oder erzeugen.
  • Andere Beispiele von Liniensegmentkriterien können k-d-Baumgrenzwertnähen, Liniensegmentlänge usw. beinhalten. Zum Beispiel kann die Kandidatenkomponente 140 eine Teilmenge eines oder mehrerer Liniensegmente basierend auf einem Kriterium einer Nähe eines Liniensegments zu einem Text filtern oder auswählen. In diesem Beispiel kann die Extrahierungskomponente 120 eine oder mehrere Pixelpositionen, die mit Text (z. B. von einem oder mehreren der Textkandidaten) verknüpft sind, oder eine oder mehrere Pixelpositionen, die mit einem oder mehreren der Liniensegmente in einem k-d-Baum verknüpft sind, speichern oder definieren. Ein k-d-Baum ist eine Struktur oder Datenstruktur zum Organisieren einer oder mehrerer Positionen in einem k-dimensionalen Raum. Anders ausgedrückt ist ein k-d-Baum ein Baum, in dem Knoten des Baums k-dimensionale Punkte darstellen.
  • In einer oder mehreren Ausführungsformen bestimmt die Extrahierungskomponente 120 einen Mittelpunkt und Endpunkte für ein jeweiliges Liniensegment des einen oder der mehreren Liniensegmente. Demnach können entsprechende Liniensegmente mit drei Punkten oder Pixelpositionen verknüpft sein, einschließlich eines ersten Endpunktes, eines zweiten Endpunktes und eines Mittelpunktes. Gemäß einem oder mehreren Aspekten bestimmt die Kandidatenkomponente 140, dass ein Kriterium einer Nähe eines Liniensegments zu einem Textkandidaten erfüllt ist, wenn sich zwei oder mehr Punkte eines Liniensegmentes in einem Grenzwertnähen-Abstand zu einem Textkandidaten befinden. Anders ausgedrückt kann die Kandidatenkomponente 140 eine Teilmenge aus einem oder mehreren Liniensegmenten basierend auf der Nähe von zwei oder mehr Punkten oder Pixelstandorten eines Liniensegmentes zu einem oder mehreren Textkandidaten oder zugehörigen Pixelstandorten filtern, erzeugen oder auswählen.
  • Ausführlicher anhand eines Beispiels beschrieben, angenommen, dass der Grenzwertnähen-Abstand zu einem Textkandidaten 30 Pixel beträgt; wenn ein Liniensegment mit einem ersten Endpunkt, einem zweiten Endpunkt und einem Mittelpunkt vorliegt, die sich 20 Pixel, 35 Pixel bzw. 25 Pixel von einem ersten Textkandidaten entfernt befinden, könnte die Kandidatenkomponente 140 das Liniensegment dieses Beispiels derart auswählen, dass es in der Teilmenge an Liniensegmenten enthalten ist, die mit Liniensegmenterfassung (LSD) verknüpft sind, oder dass es als ein Liniensegmentkandidat angesehen wird (z. B. da der erste Endpunkt und der Mittelpunkt geringer sind als der Grenzwertnähen-Abstand zu einem Textkandidaten). Auf diese Weise können relevante Liniensegmente (z. B. eine Teilmenge) aus einer Reihe von einem oder mehreren Liniensegmenten eines Bildes ausgewählt werden (z. B. Liniensegmentfiltern).
  • In anderen Ausführungsformen kann eine andere Anzahl an Punkten für einen Vergleich mit dem Grenzwertnähen-Abstand zu einem Textkandidaten in Betracht gezogen werden. Zusätzlich kann der Grenzwertnähen-Abstand zu einem Textkandidaten ebenfalls für verschiedene Szenarios angepasst werden. Die Kandidatenkomponente 140 kann demnach ein oder mehrere Liniensegmente basierend auf der Nähe zu Textkandidaten filtern. In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 eine oder mehrere Funktionen der Extrahierungskomponente 120 durchführen. In anderen Ausführungsformen kann die Extrahierungskomponente 120 eine oder mehrere Funktionen der Kandidatenkomponente 140 ausführen.
  • Die Extrahierungskomponente 120 kann Viereckerfassung durchführen oder ein oder mehrere Vierecke für die Kandidatenkomponente 140 erfassen, um sie als Viereckkandidaten zu bewerten. Zum Beispiel kann die Extrahierungskomponente 120 ein oder mehr Vierecke erfassen oder „definieren”, die durch ein oder mehrere der Liniensegmente gebildet werden, die während der Liniensegmenterfassung gefunden oder erfasst wurden. In diesem Beispiel kann die Extrahierungskomponente 120 Vierecke basierend auf Liniensegmenten einer Teilmenge an Liniensegmenten basierend auf Liniensegmentfilterung erfassen. Da Wegweiser, Werbetafeln und Straßenschilder allgemein klare Liniensegmente als Grenzen aufweisen, kann die Extrahierungskomponente 120 Vierecke erfassen, die derart in einem Bild auftreten, und diese Vierecke als Bereiche von Interesse oder als Viereckkandidaten für die Kandidatenkomponente 140 markieren.
  • In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 Liniensegmente, die nicht im Wesentlichen vertikal oder im Wesentlichen horizontal sind, filtern oder ausschließen. Wenn ein Liniensegment zum Beispiel horizontal abgewinkelt, oder parallel zur Horizontebene ist, kann dies als Null Grad definiert werden, während ein Liniensegment, das vertikal ist, als 90 Grad definiert werden kann. Die Kandidatenkomponente 140 kann Liniensegmentkandidaten ausschließen oder filtern, die sich außerhalb eines Toleranzbereichs, wie eines vertikalen Toleranzbereichs oder horizontalen Toleranzbereichs, befinden. In einer oder mehreren Ausführungsformen können verschiedene Toleranzbereiche durch die Kandidatenkomponente 140 zur vertikalen Liniensegmentfilterung und horizontalen Liniensegmentfilterung verwendet werden.
  • Zum Beispiel kann ein vertikaler Toleranzbereich 10 Grad betragen. In diesem Beispiel kann die Kandidatenkomponente 140 Liniensegmente filtern, die sich nicht im Bereich von 80 Grad bis 100 Grad befinden. Als weiteres Beispiel kann ein horizontaler Toleranzbereich 20 Grad betragen. Hier kann die Kandidatenkomponente 140 Liniensegmente filtern, die sich nicht im Bereich von –20 Grad bis 20 Grad befinden. Auf diese Weise kann ein horizontaler Toleranzbereich verwendet werden, der größer ist als ein vertikaler Toleranzbereich. Gemäß einem oder mehreren Aspekten kann die Kandidatenkomponente 140 demnach zum Beispiel aufgrund engerer vertikaler Toleranzbereiche bei vertikalen Liniensegmenten wählerischer sein.
  • Auf diese Weise kann die Kandidatenkomponente 140 der Extrahierungskomponente 120 eine Teilmenge an Liniensegmenten bereitstellen, die zusammengebaut und als Viereckkandidaten angesehen werden können, indem eine Teilmenge an im Wesentlichen vertikalen oder im Wesentlichen horizontalen Liniensegmenten gefiltert oder ausgewählt werden, die verwendet werden können, um Viereckkandidaten zu bilden oder nach ihnen zu suchen.
  • Die Extrahierungskomponente 120 kann einen oder mehrere Schnittpunkte zwischen einem oder mehreren vertikalen Liniensegmenten und einem oder mehreren horizontalen Liniensegmenten bestimmen oder berechnen. Zum Beispiel kann die Extrahierungskomponente 120 auf eine oder mehrere Pixelpositionen verweisen, die mit Punkten der Liniensegmente vom k-d-Baum verknüpft sind, wie einem ersten Endpunkt, einem zweiten Endpunkt oder einem Mittelpunkt eines Liniensegmentes. Die Extrahierungskomponente 120 kann einen Schnittpunkt bestimmen, wenn sich ein Endpunkt eines ersten Liniensegmentes innerhalb einer Grenzwertnähe eines Endpunktes eines zweiten Liniensegmentes befindet. Als Beispiel kann diese Grenzwertnähe 10 Pixel betragen. Wenn ein erstes Liniensegment einen Endpunkt aufweist, der sich 5 Pixel von einem Endpunkt eines zweiten Liniensegmentes weg befindet, könnte die Extrahierungskomponente 120 bestimmen, dass ein Schnittpunkt zwischen den zwei Liniensegmenten vorliegt oder dass ein Schnittpunkt zwischen dem ersten Liniensegment und dem zweiten Liniensegment vorliegt. Ferner kann die Extrahierungskomponente 120 die Koordinaten oder Positionen, die mit diesem Schnittpunkt verknüpft sind, und Informationen über entsprechende Liniensegmente speichern oder selbige an die Kommunikationskomponente 130 kommunizieren.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 einen oder mehrere Schnittpunkte basierend darauf bestimmen, dass ein erstes Liniensegment ein im Wesentlichen vertikales Liniensegment ist und es zwei Endpunkte aufweist, dass ein zweites Liniensegment ein im Wesentlichen horizontales Liniensegment ist und zwei Endpunkte aufweist und dass sich ein Endpunkt des ersten Liniensegmentes weniger als eine Grenzwertnähe von einem Endpunkt des zweiten Liniensegmentes entfernt befindet. Auf diese Weise kann die Extrahierungskomponente 120 einen Schnittpunkt zwischen einem ersten Liniensegment und einem zweiten Liniensegment bestimmen, wenn die jeweiligen Liniensegmente im Wesentlichen lotrecht (z. B. innerhalb eines vertikalen Toleranzbereichs und/oder eines horizontalen Toleranzbereichs) sind und sich Endpunkte der jeweiligen Liniensegmente „berühren”.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 eine Liniensegmentverknüpfung oder „Linienverknüpfung” implementieren, um ein längeres Liniensegment aus zwei oder mehr kollinearen, kürzeren Liniensegmenten zu bestimmen oder zu bilden. Zum Beispiel kann die Sensorkomponente 110 ein Bild aufnehmen, in dem ein Liniensegment in zwei oder mehr Liniensegmente oder Liniensegmente, die eine falsche „Lücke” zwischen sich aufweisen, aufgeteilt ist. Aufgrund der falschen „Lücke” kann die Viereckerkennung, die durch die Extrahierungskomponente 120 implementiert wird, Vierecke zurückgeben, die durch kurze Liniensegmente gebildet werden. Um derartige Vierecke zu kompensieren oder zu mindern, denen falsche „Lücken” zugeordnet sind, kann die Extrahierungskomponente 120 eine Liniensegmentverknüpfung durchführen, wie durch Verknüpfen nah aneinander befindlicher, kollinearer oder paralleler Liniensegmente, um längere Liniensegmente zu bilden oder wiederherzustellen, wodurch eine genaue Liniensegmenterfassung, Viereckerfassung, Kandidatenauswahl und Werbetafel- oder Schilderfassung ermöglicht wird.
  • In diesem Sinne kann die Extrahierungskomponente 120 zwei oder mehr Liniensegmente basierend darauf verknüpfen, dass ein erstes Liniensegment zwei Endpunkte und eine erste Ausrichtung aufweist, ein zweites Liniensegment zwei Endpunkte und eine im Wesentlichen ähnliche Ausrichtung (z. B. innerhalb eines Toleranzbereichs eines Ausrichtungswinkels des ersten Liniensegmentes) aufweist und sich ein Endpunkt des ersten Liniensegmentes näher als eine Grenzwertnähe von einem Endpunkt des zweiten Liniensegmentes befindet, gemäß einem oder mehreren Aspekten. Auf diese Weise kann die Extrahierungskomponente 120 ein erstes Liniensegment und ein zweites Liniensegment „verknüpfen”, wenn jeweilige Liniensegmente im Wesentlichen kollinear oder parallel (z. B. innerhalb eines Toleranzbereichs voneinander) sind und sich Endpunkte jeweiliger Liniensegmente „berühren”. Dies kann für vertikale Liniensegmente, horizontale Liniensegmente usw. vorgenommen werden.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 nach zusätzlichen Schnittpunkten (z. B. „Geo-Ecken”) mit einem oder mehreren Liniensegmenten (z. B. anderen als dem ersten Liniensegment und dem zweiten Liniensegment) suchen. Anders ausgedrückt können, sobald ein Schnittpunkt zwischen einem ersten Liniensegment und einem zweiten Liniensegment durch die Extrahierungskomponente 120 bestimmt oder erfasst wurde, zusätzliche Schnittpunkte tangential zum ersten Liniensegment oder dem zweiten Liniensegment gesucht werden. Wenn ein erster Schnittpunkt, der mit einem ersten Liniensegment und einem zweiten Liniensegment verknüpft ist, bekannt ist, können demnach jeweilige Liniensegmente als zwei Seiten eines Vierecks angesehen werden. Hier kann die Extrahierungskomponente 120 nach einer dritten Seite des Vierecks suchen, indem ein drittes Liniensegment gefunden wird, das einen Schnittpunkt mit dem ersten Liniensegment oder dem zweiten Liniensegment aufweist. Auf diese Weise kann die Extrahierungskomponente 120 eine Vierecksuche oder Viereckerfassung durchführen.
  • In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 ein Viereck als einen Viereckkandidaten basierend auf einem ersten Liniensegment, einem zweiten Liniensegment und einem dritten Liniensegment definieren, wobei das erste Liniensegment einen Schnittpunkt mit dem zweiten Liniensegment aufweist und der zweite Schnittpunkt einen Schnittpunkt mit dem dritten Liniensegment aufweist, und wobei das erste Liniensegment im Wesentlichen lotrecht zum zweiten Liniensegment ist und das zweite Liniensegment im Wesentlichen lotrecht zum dritten Liniensegment ist. Auf ähnliche Weise kann das erste Liniensegment in dieser Konfigurierung im Wesentlichen parallel zum dritten Liniensegment sein.
  • Auf diese Weise kann die Kandidatenkomponente 140 Viereckkandidaten unter Verwendung von drei Seiten oder drei Liniensegmenten, die zwei (oder mehr) Schnittpunkte aufweisen, definieren. In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 ein Begrenzungsrechteck um Endpunkte jeweiliger Liniensegmente erzeugen, um einen Viereckkandidaten zu definieren oder anzunähern. In anderen Ausführungsformen kann die Extrahierungskomponente 120 nach einer vierten Seite oder einem vierten Liniensegment suchen, um ein Viereck zu vervollständigen. Es können jedoch auch nur drei Seiten oder drei Liniensegmente für die Viereckkandidatenauswahl verwendet werden. Dadurch, dass die Kandidatenkomponente 140 Viereckkandidaten unter Verwendung von drei Seiten oder drei Liniensegmenten definiert, wird die Kandidatenauswahl in einer oder mehreren Ausführungsformen robuster, da fehlende vierte Liniensegmente, fehlende Liniensegmente oder fehlende Grenzliniensegmente (z. B. möglicherweise nicht durch die Sensorkomponente 110 erfasst usw.) nicht erforderlich sind, wodurch eine „Folgerung” von Viereckkandidaten durch die Kandidatenkomponente 140 ermöglicht wird.
  • In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 einen oder mehrere Viereckkandidaten filtern, um falsche positive Kandidaten aus einem oder mehreren der Viereckkandidaten auszuschließen oder zu filtern. Falsche positive Viereckkandidaten können Vierecke beinhalten, die ein Begrenzungsrechteck aufweisen, das größer ist als eine entsprechende Werbetafel oder ein Schild. Hier kann die Kandidatenkomponente 140 einen Viereckkandidaten als ein Begrenzungsrechteck behandeln und untersuchen, ob ein Viereck Text enthält. Wenn ein Viereckkandidat zum Beispiel keinen Text oder Null Textkandidaten enthält, kann die Kandidatenkomponente 140 diesen Viereckkandidaten aus der Betrachtung entfernen oder die Markierung dieses Vierecks als Kandidat ausschließen. Zum Beispiel kann dies unter Verwendung von maximal stabiler Extrembereichs-(MSER)-Filterung erzielt werden.
  • In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 eine Anzahl an maximal stabilen Extrembereichs-(MSER)-Merkmalen von einem oder mehreren Viereckkandidaten erfassen oder extrahieren und die Kandidatenkomponente 140 jeweilige Kandidaten entsprechend filtern lassen (z. B. basierend auf einer Anzahl an MSER-Merkmalen, die in entsprechenden Vierecken oder Viereckkandidaten erfasst wurden). Zum Beispiel kann die Kandidatenkomponente 140 Viereckkandidaten aus der Betrachtung filtern oder ausschließen, welche weniger als eine Grenzwertanzahl an MSER-Merkmalen aufweisen. Gemäß einem oder mehreren Aspekten kann die Kandidatenkomponente 140 Viereckkandidaten verwerfen, die weniger als zehn MSER-Merkmale aufweisen (z. B. wäre die Grenzwertanzahl an MSER-Merkmalen in diesem Beispiel zehn). Auf diese Weise kann die Kandidatenkomponente 140 effektiv falsche positive Viereckkandidaten ausschließen (z. B. Vierecke ausschließen, die nicht genug Text enthalten), ohne falsche negative Viereckkandidaten einzuführen. Diese MSER-Merkmale können an die Kommunikationskomponente 130 weitergegeben werden, um die Suche oder Zuordnung zu erleichtern.
  • Wenn ein Viereckkandidat hingegen zu viel Text enthält oder ein Verhältnis eines mit einem Textkandidaten verknüpften Bereiches zu einem Viereckbereich größer als ein Grenzwert ist, kann die Kandidatenkomponente 140 das Viereck auf ähnliche Weise ausschließen oder verwerfen. Ein Beispiel eines Grenzwertes für ein Verhältnis eines Textkandidatenbereiches mit einem Viereckbereich kann 0,8 betragen. Wenn der Text mehr als 80% eines Vierecks bedeckt, kann das Viereck verworfen werden, sodass das Viereck kein Kandidat ist. In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 140 einen Viereckkandidaten basierend auf einem Grenzwertverhältnis von einem Textkandidatenbereich zu einem Viereckbereich und dem Vorhandensein eines weiteren Vierecks, das einen Textkandidaten enthält, verwerfen, wodurch sichergestellt wird, dass der Textkandidat nicht vollständig verworfen wird. Auf diese Weise kann die Kandidatenkomponente 140 falsche positive Texterkennung mindern. Anders ausgedrückt kann die Kandidatenkomponente 140 Viereckkandidaten basierend auf einem Bereich oder einer Textmenge in einem Viereckkandidaten filtern. Demnach kann die Kandidatenkomponente 140 oder die Extrahierungskomponente 120 ein oder mehrere Vierecke filtern oder eine Viereckfilterung an einem oder mehreren Viereckkandidaten durchführen.
  • Die Extrahierungskomponente 120 kann eine oder mehrere Grenzen einer oder mehrerer der Viereckkandidaten oder einer oder mehrerer Vierecke verfeinern. Zum Beispiel kann die Extrahierungskomponente 120 einen oder mehrere Viereckkandidaten unter Verwendung eines oder mehrerer Begrenzungsrechtecke definieren, die mit einem oder mehreren Liniensegmenten oder verknüpften Endpunkten verknüpft sind. In einer oder mehreren Ausführungsformen kann die Extrahierungskomponente 120 eine Viereckgrenzverfeinerung einer oder mehrerer Viereckkandidaten oder zugehöriger Liniensegmente durchführen. Wenn zum Beispiel ein Begrenzungsrechteck um Liniensegmentendpunkte platziert wird, um ein Viereck oder einen Viereckkandidaten anzunähern oder zu definieren, kann dies zu Begrenzungsrechtecken führen, die im Vergleich zur entsprechenden Werbetafel oder zum entsprechenden Wegweiser zu groß sind, da ein oder mehrere Liniensegmente mit einer größeren Länge als der realen Länge verknüpft sind. Dementsprechend kann die Extrahierungskomponente 120 zum Beispiel ein Begrenzungsrechteck um Schnittpunkte von Liniensegmenten platzieren. Anders ausgedrückt kann die Extrahierungskomponente 120 ein oder mehrere Vierecke extrahieren, indem ein Begrenzungsrechteck um drei oder mehr Liniensegmente und zwei oder mehr Schnittpunkte platziert wird. In jedem Fall kann die Extrahierungskomponente 120 iterativ Begrenzungsrechtecke, die Viereckkandidaten definieren, auf übergroße Merkmale, wie nicht übereinstimmende Liniensegmentlängen usw., überprüfen und Begrenzungsrechtecke entsprechend anpassen.
  • Die Extrahierungskomponente 120 kann eine Viereckzusammenlegung oder -filterung durchführen, wenn Viereckkandidaten ineinander liegen, überlappen, teilweise überlappen, aneinander angrenzen, innerhalb eines Nähegrenzwertes fast aneinander angrenzen usw. Demnach können Vierecke, die zu dicht aneinander liegen (z. B. innerhalb des Nähegrenzwertes) in ein einziges (z. B. möglicherweise größeres) Viereck kombiniert werden. Wenn Vierecke ineinander liegen, kann die Extrahierungskomponente 120 Vierecke verknüpfen oder lediglich das äußere Viereck auswählen, während die inneren Vierecke als ein Viereckkandidat verworfen werden.
  • Wie vorab beschrieben, kann die Kandidatenkomponente 140 einen oder mehrere unterschiedliche Kandidaten bestimmen. Zum Beispiel kann die Kandidatenkomponente 140 ein Bestimmen von Textkandidaten, Liniensegmentkandidaten, Viereckkandidaten, Schildkandidaten usw. ermöglichen. Die Kandidatenkomponente 140 kann einen oder mehrere Schildkandidaten aus einem oder mehreren der Viereckkandidaten bestimmen, die eine Grenzwertanzahl an Textmerkmalen aufweisen (z. B. wie durch die Extrahierung des maximal stabilen Extrembereich-Merkmals bestimmt). Auf diese Weise kann die Kandidatenkomponente 140 einen oder mehrere Schildkandidaten bestimmen, die mit einer oder mehreren Viereckkandidaten verknüpft sind, und einen oder mehrere Textkandidaten, die in entsprechenden Viereckkandidaten enthalten sind. Ferner kann die Kandidatenkomponente 140 falsche Positiv- oder falsche Negativ-Schildkandidaten filtern, um einen Satz eines oder mehrerer Schildkandidaten bereitzustellen oder zu erzeugen.
  • Eine Ortungsdatenbank 190 kann eine Kartenkomponente 192 und eine Datenbankkomponente 194 beinhalten. Die Kartenkomponente 192 kann ein oder mehrere Referenzbilder sammeln und jeweilige Referenzbilder für Schilder, Wegweiser, Werbetafeln, Straßenschilder usw. analysieren, wodurch eine Datenbank an Referenzbildern aufgebaut wird, die durchsucht werden kann. Die Kartenkomponente 192 kann mit diesen Schildern verknüpfte Informationen, wie Ortungsinformationen, Positionsinformationen, Koordinateninformationen usw., extrahieren und sie in der Datenbankkomponente 194 speichern. Zum Beispiel kann die Datenbankkomponente 194 Koordinaten speichern, die mit einer oder mehreren Ecken eines oder mehrerer Schilder verknüpft sind.
  • In einer oder mehreren Ausführungsformen kann die Kartenkomponente 192 Informationen sammeln, die mit Schildern, Wegweisern, Werbetafeln oder Straßenschildern aus der realen Welt oder einer Betriebsumgebung verknüpft sind. Diese Informationen können ein Vorlagenbild, ein Datenbankbild oder ein Referenzbild eines Schildes, eines Wegweisers, einer Werbetafel, eines Straßenschildes, verknüpfte dreidimensionale Ausrichtungsinformationen, Koordinaten usw. beinhalten. In einer oder mehreren Ausführungsformen kann die Kartenkomponente 192 ein oder mehrere skaleninvariante Referenz- oder „Roh”-Merkmalstransformations-(SIFT)-Merkmale aus diesen Vorlage- oder Referenzbildern der Schilder berechnen oder extrahieren. Auf diese Weise können SIFT-Merkmale von Vorlagen- oder Referenzbildern der Ortungsdatenbank 190 vorab berechnet werden.
  • Ferner kann die Kartenkomponente 192 eine oder mehrere Positions-, Standorts- oder Koordinateninformationen verarbeiten, berechnen oder empfangen, die mit einem Wegweiser, einer Werbetafel oder einem Straßenschild verknüpft sind. Zum Beispiel kann die Kartenkomponente 192 eine reale 3D-Position (z. B. Wegweiserposition oder Wegweiserstandorte) eines oder mehrerer SIFT-Merkmale oder SIFT-Punkte auf einer Plakatwand schätzen. In einer oder mehreren Ausführungsformen kann die Kandidatenkomponente 192 eine oder mehrere Eckpositionen für eine Plakatwand oder Schildtafel schätzen oder bestimmen, in Kombination mit der realen 3D-Position unter Verwendung eines globalen Positionsbestimmungssystems.
  • Zum Beispiel kann die Kartenkomponente 192 eine Starr-Körper-Transformation zwischen einem Rahmen und einer trägen Messeinheit (Inertial Measurement Unit, IMU) oder Sensorkomponente, die Referenzbilder von Schildern, Wegweisern, Werbetafeln, Straßenschildern in 3D-Punkte des Schildes aufnimmt, durchführen, um 3D-Koordinaten im Verhältnis zur IMU oder Sensorkomponente zu erhalten. In einer oder mehreren Ausführungsformen kann die Kartenkomponente 192 3D-Koordinaten eines Schildes, eines Wegweisers, einer Werbetafel, eines Straßenschildes im Hinblick auf ein fixes kartesisches Koordinatensystem oder ein Weltkoordinatensystem (World Coordinate System, WCS) bestimmen, basierend auf einer Position mit 6 Freiheitsgraden (6DoF) der trägen Messeinheit (IMU) oder Sensorkomponente, die durch ein differenziales globales Positionsbestimmungssystem (DGPS) bereitgestellt werden kann. Anders ausgedrückt kann die Kartenkomponente 192 DGPS oder GPS als eine Quelle von „Ground Truth” für die Erstellung einer Ortungsdatenbank 190 oder das Sammeln von Daten für die Datenbankkomponente 194 verwenden, wie ein oder mehrere Referenzbilder und entsprechende oder zugehörige Standort-, Positions- oder Koordinateninformationen.
  • In jedem Fall kann die Kartenkomponente 192 Schildtafelkartierung durchführen oder eine 3D-Karte erstellen, die ein oder mehrere Schilder oder Wegweiser und entsprechende 3D-Positionen, wahre Positionen, reale Positionen usw. beinhaltet. Die Kartierungskomponente 192 kann entsprechende Daten in der Datenbankkomponente 194 speichern.
  • In einer oder mehreren Ausführungsformen kann die Datenbankkomponente 194 ein oder mehrere Referenzbilder eines oder mehrerer Schilder, Wegweiser, Werbetafeln oder Straßenschilder und entsprechende 3D-Positionen, Standorte oder Koordinateninformationen für entsprechende Wegweiser oder Werbetafeln enthalten, speichern oder beherbergen. Zum Beispiel kann die Datenbankkomponente 194 Eckpositionen für eine oder mehrere der Werbetafeln speichern. Positionen oder Standorte können in einer Vielzahl von Formaten gespeichert werden, wie in einem kartesischen Koordinatensystem oder einem Weltkoordinatensystem (WCS). In einer oder mehreren Ausführungsformen kann die Datenbankkomponente 194 ein Teil des Systems 100 für schildbasierte Ortung sein. In anderen Ausführungsformen kann für schildbasierte Ortung aus der Ferne auf die Datenbankkomponente 194 zugegriffen werden oder sie kann durch das System 100 zugänglich sein. Zum Beispiel können Dritte, wie ein Vermessungsunternehmen, eine Datenbank an Wegweiserbildern aufbauen, auf die zwecks Vereinfachung der Ortung zugegriffen werden kann. In anderen Ausführungsformen kann die Datenbankkomponente 194 im System 100 für schildbasierte Ortung enthalten oder lokal in diesem vorhanden sein. Anders ausgedrückt kann eine Zuordnung an Bord des Fahrzeugs oder nicht an Bord des Fahrzeugs oder Systems 100 für schildbasierte Ortung durchgeführt werden.
  • Die Kommunikationskomponente 130 kann einen Bild- oder Schildkandidaten, der durch die Sensorkomponente 110 aufgenommen wurde, mit einem oder mehreren der Referenzbilder der Datenbankkomponente 194 oder Ortungsdatenbank 190 vergleichen. Hier kann die Kommunikationskomponente 130 nach einer Übereinstimmung zwischen einem oder mehreren Schildkandidaten oder Werbetafeln, die durch die Sensorkomponente 110 aufgenommen wurden, und Referenzbildern aus einer Ortungsdatenbank 190 oder Datenbankkomponente 194 entsprechender Werbetafelreferenzbilder bestimmen oder suchen (z. B. durch Datenverknüpfung).
  • Demnach können Bilder (oder z. B. daraus abgeleitete Schildkandidaten), die durch die Sensorkomponente 110 aufgenommen werden, mit einer Datenbank aus Vorlagen- oder Referenzbildern verglichen werden, die Positions- oder Standortdaten beinhaltet, die mit jeweiligen Bildern verknüpft sind. Zum Beispiel kann aus durch die Sensorkomponente 110 aufgenommen Bildern extrahierter Text mit Text verglichen werden, der mit Bildern der Ortungsdatenbank 190 oder Datenbankkomponente 194 verknüpft ist. In einer oder mehreren Ausführungsformen kann der Vergleich unter Verwendung eines merkmalsbasierten Ansatzes durchgeführt werden. Anders ausgedrückt kann die Kommunikationskomponente 130 unter Verwendung von Datenverknüpfung oder Merkmalszuordnung nach einer Übereinstimmung suchen. Mit anderen Worten, Merkmale, wie SIFT oder MSER-Merkmale von Schildkandidaten, können mit entsprechenden Merkmalen von Bildern der Ortsbestimmungsdatenbank 190 oder Datenbankkomponente 194 verglichen werden.
  • In einer oder mehreren Ausführungsformen kann die Kommunikationskomponente 130 putatives skaleninvariantes Merkmalstransformations-(SIFT)-Zuordnen implementieren, um Schildkandidatenbildsequenzen mit Referenzbildern zu vergleichen (z. B. Vergleichen eines Bildes oder Schildkandidatenabschnitts eines durch das System 100 aufgenommenen Bildes mit einem Bild aus der Ortungsdatenbank 190).
  • Zum Beispiel kann die Extrahierungskomponente 120 skaleninvariante Merkmalstransformations-(SIFT)-Merkmale von Schildkandidaten eines Bildes extrahieren, um Übereinstimmungen zwischen dem Schildkandidaten und Muster- oder Referenzbildern von Schildern aus einer Ortungsdatenbank 190 zu finden. Nun kann die Kommunikationskomponente 130 die Lokalisierungsdatenbank 190 durchsuchen, um eine Übereinstimmung zwischen SIFT-Merkmalen eines Schildkandidaten und Referenz- oder Roh-SIFT-Merkmalen von Vorlagen- oder Referenzbildern aus der Ortungsdatenbank 190, zum Beispiel basierend auf der größten Anzahl an putativen SIFT-Übereinstimmungen, zu finden. In einer oder mehreren Ausführungsformen bestimmt die Kommunikationskomponente 130 eine Übereinstimmung basierend auf einem SIFT-Übereinstimmungsgrenzwert. Wenn eine Anzahl an SIFT-Übereinstimmungen größer ist als der SIFT-Übereinstimmungsgrenzwert (z. B. 10 Merkmale), bestimmt die Kommunikationskomponente 130 in diesem Beispiel, dass es sich beim Schildkandidaten um eine Übereinstimmung mit dem entsprechenden Vorlagen- oder Referenzbild handelt. Auf diese Weise führt das Zuordnen, das durch die Kommunikationskomponente 130 bereitgestellt wird, zu sehr wenigen falschen positiven Zuordnungen.
  • In einer oder mehreren Ausführungsformen kann die Kommunikationskomponente 130 eine oder mehrere geometrische Einschränkungen anwenden oder eine oder mehrere putative Übereinstimmungen werden zwischen Schildkandidaten eines Bildes oder einer Bildabfolge und Vorlage- oder Referenzbildern aus einer Ortungsdatenbank 190 gefunden. Ferner kann die Kommunikationskomponente 130 zusätzliches Filtern basierend auf Zufallsprobenübereinstimmung (RANSAC) durchführen. In einer oder mehreren Ausführungsformen kann die Kommunikationskomponente 130 einen oder mehrere Ausreißer unter Verwendung von Homographie-basiertem Zufallsprobenübereinstimmung (RANSAC) ausschließen.
  • Die Ortungskomponente 150 kann Fahrzeugortung basierend auf einer Übereinstimmung zwischen einem Schildkandidaten und einem Referenzbild, mit dem Referenzbild verknüpften Koordinateninformationen und einer Ortungsformel oder einem Algorithmus ermöglichen. Zum Beispiel kann die Übereinstimmung eine Textübereinstimmung (z. B. Ortung basierend auf einer Übereinstimmung zwischen Text von einem erfassten Bild und Text aus einem Bild der Ortungsdatenbank 190), Merkmalsübereinstimmung (z. B. Ortung basierend auf einer Übereinstimmung zwischen Merkmalen in einem erfassten Bild und Merkmalen in einem Bild der Ortungsdatenbank 190) usw. sein. Auf diese Weise kann die Ortungskomponente 150 einen aktuellen Standort oder eine aktuelle Position eines Fahrzeugs bestimmen.
  • In einer oder mehreren Ausführungsformen kann die Ortungskomponente 150 die geschätzte Fahrzeugposition (oder Position der Sensorkomponente 110, Position der Bildaufzeichnungskomponente, geschätzte Kameraposition, Fahrzeugausrichtung usw.) basierend auf Winkel, Abstand, 3D-Positionen eines oder mehrerer SIFT-Merkmale eines Schilds oder einer Werbetafel usw. berechnen. Hier kann die Kommunikationskomponente 130 Positionsinformationen, die mit einer übereinstimmenden Werbetafel aus der Ortungsdatenbank 190 verknüpft sind, erhalten, wie die Eckpositionsinformationen einer Werbetafel. Unter Verwendung von 3D-2D-Übereinstimmungen kann die Ortungskomponente 150 einen geschätzten aktuellen Standort oder eine geschätzte aktuelle Position für ein Fahrzeug berechnen.
  • In einer oder mehreren Ausführungsformen kann die Ortungskomponente 150 die aktuelle Position des Fahrzeugs basierend auf einem Perspektive-n-Punkt(PnP)-Algorithmus berechnen. Zum Beispiel kann eine Eingabe in die Ortungskomponente 150 einen Satz an 3D-2D-Punktübereinstimmungen beinhalten, während eine Ausgabe der Ortungskomponente 150 eine Ausrichtung und Koordinaten eines Fahrzeugs in der realen Umgebung oder der Betriebsumgebung beinhalten kann. In anderen Ausführungsformen kann die Ortungskomponente 150 ein (PnP)-Lösungsmodul oder eine PnP-Einheit oder -Komponente implementieren, um die aktuelle Position des Fahrzeugs im Hinblick auf ein Weltkoordinatensystem (WCS) zu bestimmen. Die Ortung kann auf einer Vielzahl von Ansichten oder Bildern basieren, die durch die Sensorkomponente 110 aufgenommen werden. Die Navigationskomponente 160 kann basierend auf der aktuellen Position des Fahrzeugs eine oder mehrere Navigationsanweisungen bereitstellen. In einer oder mehreren Ausführungsformen kann das System 100 für schildbasierte Ortung eine globale Positionsbestimmungssystem-(GPS)-Einheit ergänzen oder GPS als Ausgangsposition verwenden, zum Beispiel um eine schnellere Zuordnung zu ermöglichen. Mit anderen Worten, es ist bekannt, dass sich ein Fahrzeug in einem bestimmten Bereich befindet, wobei der Umfang der Schildsuche oder Zuordnung (z. B. aus der Ortungsdatenbank 190) dementsprechend angepasst werden kann.
  • 2 ist eine Darstellung eines Ablaufdiagrammbeispiels eines Verfahrens 200 für schildbasierte Ortung gemäß einer oder mehreren Ausführungsformen. Das Verfahren 200 kann Erfassen eines Bildes 210, Extrahieren von Text und Erfassen von Liniensegmenten des Bildes unter 220, Erfassen von Vierecken, Durchführen von Viereckzusammenlegung oder Viereckfilterung 230, Bestimmen eines oder mehrerer Schildkandidaten aus einem oder mehreren Viereckkandidaten unter 240, Vergleichen von Schildkandidaten mit Referenzbildern einer Ortungsdatenbank unter 250 und Bereitstellen von Ortung unter 260 beinhalten.
  • Eine oder mehrere der nachfolgenden Abbildungen können mit Verweis auf eine oder mehrere Komponenten einer oder mehrerer anderer Abbildungen beschrieben werden. Zum Beispiel können 3–6 im Verhältnis zu einer oder mehrerer der Komponenten aus 1 gemäß einem System 100 für schildbasierte Ortung beschrieben. werden. 3A–B sind Darstellungen eines Textextrahierungsbeispiels 350 von einem Bild 300 gemäß einer oder mehreren Ausführungsformen. In 3A kann ein Bild 300 aufgenommen werden, wie durch eine Sensorkomponente 110 eines Systems 100 für schildbasierte Ortung. Hier kann das Bild ein oder mehrere Schilder, wie Schild 310A und 312A, beinhalten. Die Zeichen 310A und 312A können Text 320A bzw. 322A beinhalten. Die Extrahierungskomponente 120 kann Text 320A und 322A identifizieren oder extrahieren und die Kandidatenkomponente 140 kann Text 320A und 322A als Textkandidaten identifizieren. 3B ist eine Darstellung eines Beispiels einer grafischen Abbildung des extrahierten Texts 350, der 320B und 322B (z. B. der Zeichen 310A und 312A) beinhaltet. Als ein Beispiel kann die Extrahierungskomponente 120 den Text 320B und 322B basierend auf einer Strichstärkentransformation (SWT) erkennen oder extrahieren. In anderen Ausführungsformen kann optische Zeichenerkennung (OCR) verwendet werden.
  • 4A–B sind Darstellungen eines Viereckerkennungsbeispiels 450 von einem Bild 400 gemäß einer oder mehreren Ausführungsformen. Die Extrahierungskomponente 120 kann Liniensegmente erfassen oder Liniensegmenterfassung im Bild 400 durchführen. In 4A kann ein Bild 400 in eine Vielzahl von Liniensegmenten aufgeteilt oder als solche analysiert werden, einschließlich Liniensegmente, die mit einem ersten Schild 410A verknüpft sind, Liniensegmente, die mit einem zweiten Schild 412A verknüpft sind, andere Liniensegmente 430A (nicht alle Liniensegmente sind nummeriert). Das Bild 400 kann außerdem Text 420A und 422A beinhalten, der mit dem ersten Schild 410A bzw. dem zweiten Schild 412A verknüpft ist.
  • 4B ist eine Darstellung eines Bildes, in dem Liniensegmentfilterung durch die Kandidatenkomponente 140 oder die Extrahierungskomponente 120 durchgeführt werden kann. Ferner kann die Extrahierungskomponente 120 ein oder mehrere Vierecke im Bild erfassen oder Viereckerfassung 450 durchführen. In 4B können Liniensegmente 430B durch die Kandidatenkomponente 140 verworfen werden, weil keine Schnittpunkte gefunden werden. Für mit Schildern 410B und 412B verknüpfte Liniensegmente wurden durch die Extrahierungskomponente 120 Schnittpunkte 440B gefunden. Die Extrahierungskomponente 120 kann ein Begrenzungsrechteck (nicht dargestellt) um ein oder mehrere der Liniensegmente des Schildes 410B oder 412B oder einen oder mehrere der damit verknüpften Schnittpunkte platzieren. Auf diese Weise kann die Extrahierungskomponente 120 einen oder mehrere Viereckkandidaten bestimmen.
  • 5A–B sind Darstellungen eines Beispiels für Viereckfiltern 500 und Viereckzusammenlegen 550 von einem Bild gemäß einer oder mehreren Ausführungsformen. In 5A kann die Kandidatenkomponente 140 einen oder mehrere Viereckkandidaten aus den bestimmten Viereckkandidaten 510A, 512A, 534A und 532A filtern. Viereckkandidaten können unter Verwendung von Eckerfassung bestimmt werden, um Schnittpunkte 540A zu erfassen. Liniensegmente unter 530A, die kein Viereck bilden oder ausreichend Schnittpunkte aufweisen, können verworfen und demnach nicht als Viereckkandidaten angesehen werden. Die Extrahierungskomponente 120 kann Viereckkandidaten 510A und 512A aus 5A zusammenlegen, um zu einem Viereckkandidaten 510B in 5B zu werden. Auf diese Weise bleiben die Viereckkandidaten 510B, 532B und 534B in 5B. Die Kandidatenkomponente 140 oder die Extrahierungskomponente 120 kann ein weiteres Filtern oder eine weitere Kandidatenauswahl durchführen, indem sie Viereckkandidaten ausschließt, die sich nicht in einem Grenzwertnähen-Abstand zu einem Textkandidaten eines oder mehrerer Textkandidaten befinden. Da die Texte 520A und 522A zum Beispiel mit Viereckkandidaten 510A und 512A verknüpft sind und der Viereckkandidat 510B aus den Viereckkandidaten 510A und 512A kombiniert oder gebildet ist, ist der Viereckkandidat 510B mit dem jeweiligen Text 520A und 522A verknüpft. In 5B sind die Viereckkandidaten 532B und 534B nicht mit Textkandidaten verknüpft oder enthalten keine Textkandidaten. Demnach kann die Kandidatenkomponente 140 Viereckkandidaten 532B und 534B aus der Betrachtung filtern oder ausschließen, wodurch nur 510B als ein Viereckkandidat aus dem Bild aus 5B in Betracht gezogen wird.
  • 6A ist eine Darstellung von Beispielen für maximal stabile Extrembereich-(MSER)-Merkmale eines Bildes 600 gemäß einer oder mehreren Ausführungsformen. Hier kann der kombinierte Viereckkandidat 610A Text 620A beinhalten, der aufgeteilt oder mit maximal stabilen Extrembereichs-(MSER)-Merkmalen verknüpft sein kann. Andere MSER-Merkmale 630A können im Bild 600 vorhanden sein. Die Extrahierungskomponente 120 oder die Kandidatenkomponente 140 kann jedoch 610A aufgrund seiner Nähe zum Text 620A als einen Schildkandidaten identifizieren. Auf diese Weise kann ein Schildkandidat mit Text und einem oder mehreren Viereckkandidaten verknüpft sein.
  • 6B ist eine Darstellung eines Beispiels für das Zuordnen 650 eines aufgenommenen Bildes zu einem Referenzbild gemäß einer oder mehreren Ausführungsformen. Zum Beispiel kann ein Schildkandidat oder Bild 662 Merkmale (z. B. Punkte) aufweisen, die mit einem Referenzbild 652 übereinstimmen. In einer oder mehreren Ausführungsformen kann putative SIFT-Zuordnung verwendet werden, um derartige Zuordnung zu ermöglichen.
  • Zum Beispiel ist 6B eine visuelle Darstellung einer Zuordnung, die durch ein System 100 für schildbasierte Ortung durchgeführt werden kann. Bei 662 wird ein Bild gezeigt, das durch ein System 100 für schildbasierte Ortung aufgenommen wurde. Bei 652 wird ein Vorlagenbild oder ein Referenzbild aus einer Ortungsdatenbank 190 gezeigt. Hier kann die Kommunikationskomponente 130 eine putative Zuordnung zwischen Bild 662 und 652 durchführen. Zum Beispiel können Text- oder Textmerkmale aus den jeweiligen Bildern 662 und 652 unter Verwendung skaleninvarianter Merkmalstransformations-(SIFT)-Merkmale, die aus den jeweiligen Bildern 662 und 652 extrahiert wurden, verglichen werden. Die Merkmale von 652 können durch die Kartenkomponente 192 bestimmt oder vorbestimmt werden, während Merkmale des Schildkandidatenbildes 662 durch die Extrahierungskomponente 120 extrahiert werden können.
  • 6C ist eine Darstellung eines Beispiels für Ortung 690 basierend auf einem Perspektive-n-Punkt(PnP)-Algorithmus gemäß einer oder mehreren Ausführungsformen. Zum Beispiel kann die Ortungskomponente 150 eine aktuelle Position, einen Standort, eine Ausrichtung oder Koordinaten eines Fahrzeugs basierend auf einem Perspektive-n-Punkt(PnP)-Algorithmus basierend auf einem Satz an 3D-2D-Punktübereinstimmungen berechnen. Dies kann zum Beispiel in einem System als ein (PnP)-Lösungsmodul oder eine PnP-Einheit oder -Komponente implementiert werden.
  • Eine weitere Ausführungsform umfasst ein computerlesbares Medium, das computerausführbare Anweisungen beinhaltet, die konfiguriert sind, um eine oder mehrere Ausführungsformen der hierin vorgestellten Techniken zu implementieren. Eine Ausführungsform eines computerlesbaren Mediums oder einer computerlesbaren Vorrichtung, die auf diese Weise gebaut ist, ist in 7 dargestellt, wobei eine Implementierung 700 ein computerlesbares Medium 708, wie eine CD-R, DVD-R, ein Flash-Laufwerk, eine Platte eines Festplattenlaufwerks usw., beinhaltet, auf dem computerlesbare Daten 706 codiert sind. Diese computerlesbaren Daten 706, wie binäre Daten, die eine Vielzahl an Nullen und Einsen beinhalten, wie in 706 dargestellt, beinhalten wiederum einen Satz an Computeranweisungen 704, die konfiguriert sind, um gemäß eines oder mehreren der hierin ausgeführten Grundsätze zu arbeiten. In einer derartigen Ausführungsform 700 können prozessorausführbare Computeranweisungen 704 konfiguriert sein, um ein Verfahren 702, wie das Verfahren 200 aus 2, durchzuführen. In einer anderen Ausführungsform können die prozessorausführbaren Anweisungen 704 konfiguriert sein, um ein System, wie das System 100 aus 1, zu implementieren. Viele derartigen computerlesbaren Medien können von Fachleuten auf dem Gebiet erdacht werden, die konfiguriert sind, um gemäß hierin vorgestellten Techniken zu arbeiten.
  • Im in dieser Anmeldung verwendeten Sinne sollen sich die Bezeichnungen „Komponente”, „Modul”, „System”, „Schnittstelle” und dergleichen allgemein auf eine Computereinheit beziehen, entweder Hardware, eine Kombination aus Hardware und Software, Software, oder Software, die ausgeführt wird. Zum Beispiel kann eine Komponente ein Prozess, der auf einem Prozessor durchgeführt wird, ein Prozessor, ein Objekt, eine ausführbare Einheit, ein Ausführungsstrang, ein Programm oder ein Computer sein, wobei diese Aufzählung nicht abschließend ist. Zur Veranschaulichung können sowohl eine Anwendung, die auf einer Steuerung ausgeführt wird, als auch die Steuerung eine Komponente sein. Eine oder mehrere Komponenten, die sich in einem Prozess oder Ausführungsstrang befinden, und eine Komponente können sich auf einem Computer oder verteilt zwischen zwei oder mehr Computern befinden.
  • Des Weiteren wird der beanspruchte Gegenstand als ein Verfahren, eine Vorrichtung oder ein Herstellungsartikel implementiert, unter Verwendung von Standard-Programmierungs- oder Maschinenbautechniken, um Software, Firmware, Hardware oder eine beliebige Kombination davon zu erzeugen, um einen Computer zu steuern, sodass er den offenbarten Gegenstand implementiert. Die Bezeichnung „Herstellungsartikel” soll im hierin verwendeten Sinne ein Computerprogramm umfassen, auf das von jedem beliebigen computerlesbaren Gerät, Träger oder Medium zugegriffen werden kann. Selbstverständlich können zahlreiche Modifikationen an dieser Konfigurierung vorgenommen werden, ohne vom Umfang oder Geist des beanspruchten Gegenstandes abzuweichen.
  • 8 und die nachfolgende Beschreibung stellen eine Beschreibung einer geeigneten Computerumgebung bereit, um Ausführungsformen einer oder mehrerer der hierin aufgeführten Bestimmungen zu implementieren. Die Betriebsumgebung aus 8 ist lediglich ein Beispiel einer geeigneten Betriebsumgebung und soll keinerlei Einschränkung im Hinblick auf den Umfang der Nutzung oder die Funktionalität der Betriebsumgebung suggerieren. Beispielhafte Computervorrichtungen beinhalten, sind jedoch nicht beschränkt auf, persönliche Computer, Servercomputer, tragbare oder Laptop-Geräte, Mobilgeräte, wie Mobiltelefone, persönliche digitale Assistenten (PDAs), Mediaplayer und dergleichen, Multiprozessorsysteme, Verbraucherelektronikgeräte, Minicomputer, Mainframe-Computer, verteilte Computerumgebungen, die beliebige der obigen Systeme oder Vorrichtungen beinhalten usw.
  • Allgemein sind Ausführungsformen im allgemeinen Zusammenhang von „computerlesbaren Anweisungen” beschrieben, die durch ein oder mehrere Computervorrichtungen ausgeführt werden. Computerlesbare Anweisungen können über computerlesbare Medien verteilt werden, wie nachstehend beschrieben wird. Computerlesbare Anweisungen können als Programmmodule, wie Funktionen, Objekte, Anwendungsprogrammschnittstellen (Application Programming Interfaces, APIs), Datenstrukturen und dergleichen, implementiert werden, die eine oder mehrere Aufgaben durchführen oder einen oder mehrere abstrakte Datentypen implementieren. Typischerweise wird die Funktionalität der computerlesbaren Anweisungen wie gewünscht in verschiedenen Umgebungen kombiniert oder verteilt.
  • 8 zeigt ein System 800, das eine Computervorrichtung 812 beinhaltet, die konfiguriert ist, um eine oder mehrere hierin vorgesehene Ausführungsformen zu implementieren. In einer Konfigurierung beinhaltet die Computervorrichtung 812 wenigstens eine Prozessoreinheit 816 und einen Speicher 818. Abhängig von der genauen Konfigurierung und Art der Computervorrichtung kann der Speicher 818 flüchtig, wie RAM, nicht flüchtig, wie ROM, ein Flash-Speicher usw., oder eine Kombination der beiden sein. Diese Konfigurierung ist in 8 durch die gestrichelte Linie 814 dargestellt.
  • In anderen Ausführungsformen beinhaltet die Vorrichtung 812 zusätzliche Merkmale oder Funktionalität. Zum Beispiel kann die Vorrichtung 812 zusätzlichen Speicher beinhalten, wie einen entfernbaren Speicher oder nicht entfernbaren Speicher, einschließlich, jedoch nicht beschränkt auf, Magnetspeicher, optische Speicher usw. Derartige zusätzliche Speicher sind in 8 durch Speicher 820 dargestellt. In einer oder mehreren Ausführungsformen befinden sich computerlesbare Anweisungen, um eine oder mehrere der hierin bereitgestellten Ausführungsformen zu implementieren, in Speicher 820. Der Speicher 820 kann andere computerlesbare Anweisungen speichern, um ein Betriebssystem, ein Anwendungsprogramm usw. zu implementieren. Computerlesbare Anweisungen können zum Beispiel im Speicher 818 zur Ausführung durch die Prozessoreinheit 816 geladen sein.
  • Die Bezeichnung „computerlesbares Medium” beinhaltet im hierin verwendeten Sinne Computerspeichermedien. Computerspeichermedien beinhalten flüchtige und nicht flüchtige, entfernbare und nicht entfernbare Medien, die in jedem beliebigen Verfahren oder Technologie zum Speichern von Informationen, wie computerlesbaren Anweisungen oder anderen Daten, implementiert sind. Speicher 818 und Speicher 820 sind Beispiele von Computerspeichermedien. Computerspeichermedien beinhalten, sind jedoch nicht beschränkt auf, RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CD-ROM, DVDs oder andere optische Speicher, Magnetbandkassetten, Magnetband, Magnetplattenspeicher oder andere Magnetspeichervorrichtungen oder jedes beliebige andere Medium, das verwendet werden kann, um die gewünschten Informationen zu speichern, und auf die die Vorrichtung 812 zugreifen kann. Jedes beliebige derartige Computerspeichermedium ist Teil der Vorrichtung 812.
  • Die Bezeichnung „computerlesbares Medium” beinhaltet Kommunikationsmedien. Kommunikationsmedien führen typischerweise computerlesbare Anweisungen oder andere Daten in einem „modulierten Datensignal”, wie einer Trägerwelle oder einem anderen Transportmechanismus, aus und beinhalten beliebige Informationslieferungsmedien. Die Bezeichnung „moduliertes Datensignal” beinhaltet ein Signal, für das eine oder mehrere Charakteristiken derart eingestellt oder geändert wurden, um Informationen im Signal zu codieren.
  • Die Vorrichtung 812 beinhaltet Eingabevorrichtung(en) 824, wie Tastatur, Maus, Stift, Stimmeingabevorrichtung, Berührungseingabevorrichtung, Infrarotkameras, Videoeingabevorrichtungen oder eine beliebige andere Eingabevorrichtung. Ausgabevorrichtung(en) 822, wie eine oder mehrere Anzeigen, Lautsprecher, Drucker oder jede beliebige andere Ausgabevorrichtung, können mit der Vorrichtung 812 enthalten sein. Eingabevorrichtung(en) 824 und Ausgabevorrichtung(en) 822 können über eine Kabelverbindung, kabellose Verbindung oder eine beliebige Kombination davon mit der Vorrichtung 812 verbunden sein. In einer oder mehreren Ausführungsformen kann eine Eingabevorrichtung oder eine Ausgabevorrichtung von einer anderen Computervorrichtung als Eingabevorrichtung(en) 824 oder Ausgabevorrichtung(en) 822 für die Computervorrichtung 812 verwendet werden. Die Vorrichtung 812 kann Kommunikationsverbindung(en) 826 beinhalten, um Kommunikation mit einer oder mehreren anderen Vorrichtungen zu ermöglichen.
  • Wenngleich der Gegenstand in für strukturelle Merkmale oder methodologische Handlungen spezifischer Ausdrucksweise beschrieben wurde, versteht es sich, dass der Gegenstand der beigefügten Patentansprüche nicht unbedingt auf die spezifischen oben beschriebenen Merkmale oder Handlungen beschränkt ist. Stattdessen sind die spezifischen oben beschriebenen Merkmale und Handlungen als Ausführungsbeispiele offenbart.
  • Hierin sind verschiedene Vorgänge von Ausführungsformen bereitgestellt. Die Reihenfolge, in der ein oder mehrere oder alle der Vorgänge beschrieben sind, sollte nicht so ausgelegt werden, dass diese Vorgänge zwangsläufig von der Reihenfolge abhängen. Eine alternative Reihenfolge ist basierend auf dieser Beschreibung möglich. Ferner müssen nicht alle Vorgänge in hierin bereitgestellten Ausführungsformen zwangsläufig vorhanden sein.
  • Im in dieser Anwendung verwendeten Sinne soll „oder” ein einschließendes „oder” statt ein ausschließendes „oder” sein. Ferner kann ein einschließendes „oder” jede beliebige Kombination davon (z. B. A, B oder jede beliebige Kombination davon) beinhalten. Zusätzlich werden „ein” und „einer” im in dieser Anmeldung verwendeten Sinne allgemein als „ein/e oder mehr” bedeutend ausgelegt, außer anderweitig festgelegt oder im Zusammenhang deutlich als eine Singularform identifiziert. Zusätzlich bedeutet wenigstens eins von A und B und/oder dergleichen allgemein A oder B oder sowohl A als auch B. Sofern „beinhalten”, „aufweisen”, „aufweist”, „mit” oder Variationen davon in entweder der ausführlichen Beschreibung oder den Ansprüchen verwendet werden, sollen derartige Bezeichnungen in ähnlichem Maße einschließend sein wie die Bezeichnung „umfassend”.
  • Soweit nicht anderweitig angegeben, sollen „erst(e/r)”, „zweite(r/s)” oder dergleichen keinen zeitlichen Aspekt, räumlichen Aspekt, Reihenfolge usw. andeuten. Stattdessen werden derartige Bezeichnungen lediglich als Identifizierungen, Namen etc. für Merkmale, Elemente, Objekte usw. verwendet. Zum Beispiel entsprechen ein erster Kanal und ein zweiter Kanal allgemein Kanal A und Kanal B oder zwei unterschiedliche oder zwei identische Kanäle oder denselben Kanal. Zusätzlich bedeuten „umfassend”, „umfasst”, „beinhaltend”, „beinhaltet” oder dergleichen allgemein umfassend oder beinhaltend, jedoch nicht beschränkt auf.
  • Es versteht sich, dass es wünschenswert sein kann, verschiedene der oben beschriebenen Merkmale und andere Merkmale und Funktionen oder Alternativen oder Variationen davon in viele andere unterschiedliche Systeme oder Anwendungen zu kombinieren. Außerdem, dass verschiedene aktuell nicht vorhersehbare oder nicht erwartete Alternativen, Modifikationen, Variationen oder Verbesserungen daran nachfolgend durch Fachleute auf dem Gebiet vorgenommen werden können, die ebenfalls durch die nachfolgenden Patentansprüche abgedeckt werden sollen.
  • Hierin sind Systeme und Techniken für schildbasierte Ortung vorgesehen. Schildbasierte Ortung kann erzielt werden durch Aufnehmen eines Bildes einer Betriebsumgebung um ein Fahrzeug, Extrahieren eines oder mehrerer Textkandidaten aus dem Bild, Erfassen eines oder mehrerer Liniensegmente im Bild, Definieren eines oder mehrerer Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente, Bestimmen eines oder mehrerer Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten, Vergleichen eines oder mehrerer der Schildkandidaten mit einem oder mehreren Referenzbildern und Bestimmen eines Standortes des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder.

Claims (20)

  1. System für schildbasierte Ortung, umfassend: eine Sensorkomponente, die an einem Fahrzeug montiert ist, wobei die Sensorkomponente ein Bild einer Betriebsumgebung um das Fahrzeug aufnimmt; eine Extrahierungskomponente: die einen oder mehrere Textkandidaten aus dem Bild extrahiert; die ein oder mehrere Liniensegmente im Bild erfasst; und die einen oder mehrere Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente definiert; eine Kandidatenkomponente, die einen oder mehrere Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten bestimmt; eine Kommunikationskomponente, die einen oder mehrere der Schildkandidaten mit einem oder mehreren Referenzbildern einer Ortungsdatenbank vergleicht; und eine Ortungskomponente, die einen Standort des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder bestimmt.
  2. System nach Anspruch 1, wobei die Extrahierungskomponente einen oder mehrere der Textkandidaten basierend auf einer, SWT, extrahiert.
  3. System nach Anspruch 1, wobei die Kandidatenkomponente einen oder mehrere der Viereckkandidaten basierend auf einer Bodenebene filtert.
  4. System nach Anspruch 1, wobei die Extrahierungskomponente ein oder mehrere skaleninvariante Merkmaltransformations-, SIFT, -Merkmale aus einem oder mehreren der Schildkandidaten extrahiert.
  5. System nach Anspruch 1, wobei die Kandidatenkomponente einen oder mehrere der Schildkandidaten basierend auf einer Anzahl von skaleninvarianten Merkmalstransformations-, SIFT, -Merkmalen, die mit jeweiligen Schildkandidaten verknüpft sind, filtert.
  6. System nach Anspruch 1, wobei die Extrahierungskomponente ein oder mehrere der Liniensegmente basierend auf einem Liniensegmentlängenkriterium oder einem Grenzwertnähen-Abstand zu einem Textkandidaten filtert.
  7. System nach Anspruch 1, wobei die Kandidatenkomponente ein oder mehrere Liniensegmente basierend auf einem vertikalen Toleranzbereich oder einem horizontalen Toleranzbereich filtert.
  8. System nach Anspruch 1, wobei die Extrahierungskomponente eine Liniensegmentverknüpfung basierend auf zwei oder mehr kollinearen Liniensegmenten durchführt, die Endpunkte aufweisen, die sich weniger als eine Grenzwertnähe voneinander entfernt befinden.
  9. System nach Anspruch 1, wobei die Kandidatenkomponente einen oder mehrere der Viereckkandidaten basierend auf einem Grenzwertverhältnis eines Textkandidatenbereichs zum Viereckbereich filtert.
  10. System nach Anspruch 1, wobei die Kandidatenkomponente einen oder mehrere der Schildkandidaten basierend auf einer Anzahl an maximal stabilen Extrembereich-, MSER, -Merkmalen filtert, die mit jeweiligen Schildkandidaten verknüpft sind.
  11. System nach Anspruch 1, wobei die Kommunikationskomponente einen oder mehrere der Schildkandidaten mit einem oder mehreren der Referenzbilder basierend auf putativer skaleninvarianter Merkmaltransformations-, SIFT, -Zuordnung vergleicht.
  12. System nach Anspruch 1, wobei die Kommunikationskomponente einen oder mehrere Ausreißer basierend auf einer auf Homographie-basierten Übereinstimmung einer zufälligen Stichprobe, RANSAC, aus der Zuordnung ausschließt.
  13. System nach Anspruch 1, wobei die Ortungskomponente den Standort des Fahrzeugs unter Verwendung eines Perspektive-n-Punkt, PnP, -Lösungsmoduls bestimmt.
  14. System nach Anspruch 1, umfassend eine Navigationskomponente, die basierend auf dem Standort des Fahrzeugs eine oder mehrere Navigationsanweisungen erzeugt.
  15. Verfahren für schildbasierte Ortung, umfassend: Aufzeichnen eines Bildes einer Betriebsumgebung um ein Fahrzeug; Extrahieren eines oder mehrerer Textkandidaten aus dem Bild; Erfassen eines oder mehrerer Liniensegmente im Bild; Definieren eines oder mehrerer Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente; Bestimmen eines oder mehrerer Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten; Vergleichen eines oder mehrerer der Schildkandidaten mit einem oder mehreren Referenzbildern; und Bestimmen eines Standortes des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder.
  16. Verfahren nach Anspruch 15, umfassend das Extrahieren eines oder mehrerer der Textkandidaten basierend auf einer Strickstärkentransformation.
  17. Verfahren nach Anspruch 15, umfassend: Extrahieren eines oder mehrerer skaleninvarianter Merkmalstransformation-, SIFT, -Merkmale aus einem oder mehreren der Schildkandidaten; und Filtern eines oder mehrerer der Schildkandidaten basierend auf einer Anzahl an SIFT-Merkmalen, die mit jeweiligen Schildkandidaten verknüpft sind.
  18. Verfahren nach Anspruch 15, umfassend das Filtern eines oder mehrerer der Liniensegmente basierend auf einem Liniensegmentlängenkriterium oder einem Grenzwertnähen-Abstand zu einem Textkandidaten.
  19. Verfahren nach Anspruch 15, umfassend das Filtern eines oder mehrerer der Schildkandidaten basierend auf einer Anzahl an maximal stabilen Extrembereich-, MSER, -Merkmalen, die mit jeweiligen Schildkandidaten verknüpft sind.
  20. System für schildbasierte Ortung, umfassend: eine Sensorkomponente, die an einem Fahrzeug montiert ist, wobei die Sensorkomponente ein Bild einer Betriebsumgebung um das Fahrzeug aufnimmt; eine Extrahierungskomponente: die einen oder mehrere Textkandidaten aus dem Bild basierend auf einer Strichstärkentransformation, SWT, extrahiert; die ein oder mehrere Liniensegmente im Bild erfasst; und die einen oder mehrere Viereckkandidaten basierend auf einem oder mehreren der Textkandidaten, einem oder mehreren der Liniensegmente und einem oder mehreren Schnittpunkten jeweiliger Liniensegmente definiert; eine Kandidatenkomponente, die einen oder mehrere Schildkandidaten für das Bild basierend auf einem oder mehreren der Viereckkandidaten und einem oder mehreren der Textkandidaten bestimmt; eine Kommunikationskomponente, die einen oder mehrere der Schildkandidaten basierend auf putativer skaleninvarianter Merkmaltransformations-, SIFT, -Zuordnung mit einem oder mehreren Referenzbildern einer Ortungsdatenbank vergleicht; und eine Ortungskomponente, die einen Standort des Fahrzeugs basierend auf einer Übereinstimmung zwischen einem oder mehreren der Schildkandidaten und einem oder mehreren der Referenzbilder bestimmt.
DE102016214875.3A 2015-08-11 2016-08-10 Schildbasierte Ortung Withdrawn DE102016214875A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/822,951 2015-08-11
US14/822,951 US10395126B2 (en) 2015-08-11 2015-08-11 Sign based localization

Publications (1)

Publication Number Publication Date
DE102016214875A1 true DE102016214875A1 (de) 2017-02-16

Family

ID=57908231

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016214875.3A Withdrawn DE102016214875A1 (de) 2015-08-11 2016-08-10 Schildbasierte Ortung

Country Status (4)

Country Link
US (1) US10395126B2 (de)
JP (1) JP6822797B2 (de)
CN (1) CN106446769B (de)
DE (1) DE102016214875A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233741A1 (de) * 2020-05-18 2021-11-25 Volkswagen Aktiengesellschaft Verfahren und system zum bestimmen einer eigenposition eines kraftfahrzeugs sowie ein mit einem solchen system ausgerüstetes kraftfahrzeug

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
US10630962B2 (en) 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
US10755136B2 (en) * 2017-05-16 2020-08-25 Nec Corporation Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN107688806B (zh) * 2017-08-21 2021-04-20 西北工业大学 一种基于仿射变换的自由场景文本检测方法
US10621453B2 (en) * 2017-11-30 2020-04-14 Wipro Limited Method and system for determining relationship among text segments in signboards for navigating autonomous vehicles
KR102333033B1 (ko) * 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
US10460185B2 (en) 2018-01-30 2019-10-29 Toyota Motor Engineering & Manufacturing North America, Inc. Roadside image tracking system
CN108303721B (zh) * 2018-02-12 2020-04-03 北京经纬恒润科技有限公司 一种车辆定位方法及系统
US11293769B2 (en) * 2018-05-14 2022-04-05 Qualcomm Incorporated Techniques for route selection
JP7088136B2 (ja) * 2018-08-31 2022-06-21 株式会社デンソー 標示物認識システム及び標示物認識方法
US10650548B1 (en) * 2019-01-30 2020-05-12 StradVision, Inc. Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection
US10885666B2 (en) * 2019-02-06 2021-01-05 Ford Global Technologies, Llc Hybrid metric-topological camera-based localization
CN115014383A (zh) * 2019-02-14 2022-09-06 御眼视觉技术有限公司 用于车辆的导航系统和用于导航车辆的方法
KR102226843B1 (ko) * 2019-02-26 2021-03-12 주식회사 핀그램 오브젝트 검출 시스템 및 그 방법
US10930011B2 (en) * 2019-07-02 2021-02-23 Billups, Inc. Digital image processing system for object location and facing
CN112348875B (zh) * 2019-08-08 2024-04-16 北京地平线机器人技术研发有限公司 一种标志杆的结构化参数表示确定方法及装置
CN112348874B (zh) * 2019-08-08 2024-05-14 北京地平线机器人技术研发有限公司 一种车道线的结构化参数表示确定方法及装置
CN112784174A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 确定位姿的方法、装置和系统
CN113932820A (zh) * 2020-06-29 2022-01-14 杭州海康威视数字技术股份有限公司 对象检测的方法和装置
US20220179857A1 (en) * 2020-12-09 2022-06-09 Here Global B.V. Method, apparatus, and system for providing a context-aware location representation
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
CN115229804B (zh) * 2022-09-21 2023-02-17 荣耀终端有限公司 组件贴合方法和装置
CN116350352B (zh) * 2023-02-23 2023-10-20 北京纳通医用机器人科技有限公司 手术机器人标志位识别定位方法、装置及设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844505A (en) 1997-04-01 1998-12-01 Sony Corporation Automobile navigation system
DE19743705C1 (de) 1997-10-02 1998-12-17 Ibs Integrierte Business Syste Verfahren zum Sammeln und Verknüpfen von Positionsdaten aus Satellitenortung und weiteren Daten sowie Verwendungen dafür
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
US7321305B2 (en) 2005-07-05 2008-01-22 Pinc Solutions Systems and methods for determining a location of an object
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US8131118B1 (en) 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
GB2458278A (en) * 2008-03-11 2009-09-16 Geoffrey Cross A method of recognising signs in images taken from video data
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
US8374390B2 (en) * 2009-06-24 2013-02-12 Navteq B.V. Generating a graphic model of a geographic object and systems thereof
US8509488B1 (en) 2010-02-24 2013-08-13 Qualcomm Incorporated Image-aided positioning and navigation system
JP5675194B2 (ja) * 2010-07-15 2015-02-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2458335B1 (de) 2010-11-24 2016-07-06 Denso Corporation Vorrichtung und Verfahren zur Straßenermittlung
JP5557036B2 (ja) * 2010-12-03 2014-07-23 アイシン・エィ・ダブリュ株式会社 退出判定装置、退出判定プログラム及び退出判定方法
JP5714940B2 (ja) * 2011-03-04 2015-05-07 国立大学法人 熊本大学 移動体位置測定装置
US9253607B2 (en) 2011-12-16 2016-02-02 Maxlinear, Inc. Method and system for location determination and navigation using textual information
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
JP5580502B1 (ja) * 2013-03-06 2014-08-27 楽天株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP6201488B2 (ja) * 2013-07-29 2017-09-27 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
JP6303362B2 (ja) * 2013-09-27 2018-04-04 日産自動車株式会社 マップマッチング装置及びこれを備えたナビゲーション装置
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
KR101830249B1 (ko) * 2014-03-20 2018-03-29 한국전자통신연구원 이동체의 위치 인식 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233741A1 (de) * 2020-05-18 2021-11-25 Volkswagen Aktiengesellschaft Verfahren und system zum bestimmen einer eigenposition eines kraftfahrzeugs sowie ein mit einem solchen system ausgerüstetes kraftfahrzeug

Also Published As

Publication number Publication date
JP6822797B2 (ja) 2021-01-27
CN106446769B (zh) 2021-09-28
US10395126B2 (en) 2019-08-27
JP2017054494A (ja) 2017-03-16
CN106446769A (zh) 2017-02-22
US20170046580A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
DE102016214875A1 (de) Schildbasierte Ortung
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
DE102013208521B4 (de) Kollektives Erlernen eines hochgenauen Straßenmodells
DE102018105417A1 (de) Fahrzeugortung unter verwendung von kameras
EP2087459B1 (de) Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
DE102014206704B4 (de) Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse
DE102012207620B4 (de) System und Verfahren für die Lichtsignaldetektierung
JP2017054494A5 (de)
DE112020000590T5 (de) Karte und verfahren zum erstellen einer karte
DE102019202252A1 (de) Robuste simultane lokalisierung und kartierung durch entfernung dynamischer verkehrsteilnehmer
DE112011103690T5 (de) Erkennung und Verfolgung sich bewegender Objekte
DE102016116818A1 (de) Verfahren und Vorrichtung zum Erfassen einer Fahrzeugkontur durch Punktwolkendaten
DE102017123180A1 (de) Rückwertige Hinderniserkennung und Abstandsschätzung
DE102012222497A1 (de) System und Verfahren zum Erkennen von Parkraumlinienmarkierungen für Fahrzeuge
DE202010018498U1 (de) Abgleich eines ungefähr lokalisierten Anfragebildes mit einem Referenzbildsatz
Scharwächter et al. Visual guard rail detection for advanced highway assistance systems
DE102022134876A1 (de) STRAßENKARTENERSTELLSYSTEM UND VERFAHREN ZUR NUTZUNG
US20200191577A1 (en) Method and system for road image reconstruction and vehicle positioning
DE102021129426A1 (de) Verfahren und System zum Lernen eines neuralen Netzes zur Bestimmung eines Pose eines Fahrzeugs in einer Umgebung
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
DE102017116360A1 (de) Clustering von erfassungen von gegenständen entlang strassen für navigationsbezogene vorgänge
DE102015204529A1 (de) Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel
DE102020134119B3 (de) Verfahren zur Lokalisierung eines Kraftfahrzeugs in einer Assistenzkarte, Kraftfahrzeug, Computerprogramm und elektronisch lesbarer Datenträger
EP3259703A1 (de) Mobilgerät zum erfassen eines textbereiches auf einem identifikationsdokument
DE102019102561A1 (de) Verfahren zum Erkennen einer Pflastermarkierung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020580000

R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee