DE3830496C1 - Vorrichtung zum Erkennen und Verfolgen von Objekten - Google Patents

Vorrichtung zum Erkennen und Verfolgen von Objekten

Info

Publication number
DE3830496C1
DE3830496C1 DE3830496A DE3830496A DE3830496C1 DE 3830496 C1 DE3830496 C1 DE 3830496C1 DE 3830496 A DE3830496 A DE 3830496A DE 3830496 A DE3830496 A DE 3830496A DE 3830496 C1 DE3830496 C1 DE 3830496C1
Authority
DE
Germany
Prior art keywords
target
image
objects
parameters
target recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE3830496A
Other languages
English (en)
Inventor
Nikolaus Dipl Ing Schweyer
Fred Holick
Rudolf Dipl Ing Pfefferle
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LFK Lenkflugkoerpersysteme GmbH
Original Assignee
Daimler Benz Aerospace AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Benz Aerospace AG filed Critical Daimler Benz Aerospace AG
Priority to DE3830496A priority Critical patent/DE3830496C1/de
Priority to GBGB8914928.0A priority patent/GB8914928D0/en
Priority to GB8919202A priority patent/GB2305567B/en
Priority to FR8911718A priority patent/FR2736149B1/fr
Priority to SE8902945A priority patent/SE8902945D0/xx
Priority to US07/411,158 priority patent/US5762292A/en
Application granted granted Critical
Publication of DE3830496C1 publication Critical patent/DE3830496C1/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41GWEAPON SIGHTS; AIMING
    • F41G7/00Direction control systems for self-propelled missiles
    • F41G7/34Direction control systems for self-propelled missiles based on predetermined target position data
    • F41G7/343Direction control systems for self-propelled missiles based on predetermined target position data comparing observed and stored data of target position or of distinctive marks along the path towards the target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30212Military
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Description

Die Erfindung betrifft eine Vorrichtung zur Erkennung von Strukturen, die zumindest streckenweise geradlinige Abschnitte aufweisen und im Be­ reich der Abschnitte eine bekannte Konfiguration aufweisen, welche in einem Rechner abgespeichert werden kann, so daß Struktur und/oder Ob­ jekte identifizierbar sind.
Seit längerer Zeit wird bei Navigationsverfahren der Anflug auf ein be­ stimmtes Zielgebiet mittels Trägheitsnavigation ermöglicht. Die Genau­ igkeit reicht jedoch meist nicht aus, um Punktziele und mit einem Schuß, insbesondere mobile Ziele anzugreifen. Ein solcher Zielanflug setzt immer die vorherige Zielortung bzw. Zielerkennung voraus. Dies kann erfolgen auf aktivem oder passivem Wege mit Hilfe von Empfän­ gern, Sensoren, Kameras usw. Meist ist der Weg in die Umgebung des Zielgebietes bereits vorgegeben und eine Zielsuch- und Zielerkennungs­ einrichtung ist erst für den Zielanflug nötig. In der neueren Luft­ fahrtelektronik will man sinnvoll profitieren von der Computertechnik, z. B. wie es in der Zeitschrift "Elektronik" vom 15.05.87 Seiten 8 und 9 beschrieben ist, indem man die digitalisierte Navigationskarten ver­ wendet. Die digital abgespeicherten Karten werden abschnittsweise vom Computerspeicher abgerufen und in einem Bildkorrelator mit dem gerade aufgenommenen Bild aus einem sogenannten "Forward-Looking-Sensor" oder einer TV-Kamera verglichen.
Dieses Navigationsprinzip läßt sich auch anwenden auf die Erkennung von Festzielen, indem ein Bild des Ziels mitgeführt und das Sensorbild da­ mit verglichen wird.
Abgesehen davon, daß hier eine ansehnliche Speicherkapazität erforder­ lich ist, die auf kleinstem Raum untergebracht werden soll und die ausfallsicher arbeiten muß, ist es nötig, die Karten ständig auf dem neuesten Stand zu halten, also zu aktualisieren, will man Fehler bei der Zielerkennung ausschließen. Außerdem müssen beim Zielanflug in ge­ ringer Höhe aus jeder gewünschten Anflugrichtung aktuelle Zielbilder vorhanden sein, die meteorologische und jahreszeitliche Voraussetzun­ gen umfassen. Ein solches Raster- oder Abtastverfahren ist z. B. in der DE-OS 29 14 693 beschrieben. Solche Verfahren ermöglichen hohe Präzi­ sion sind jedoch bezüglich ihrer Auswertung und Logistik noch recht aufwendig. Gleiches oder ähnliches gilt für die Referenzaufnahmen und Vergleiche wie sie in der DE-PS 31 10 691 und in der DE-OS 34 27 020 beschrieben sind.
Aus der US-PS 47 00 397 ist ein Navigationssystem bekannt, das auf Kar­ ten mit linearen Erkennungsmerkmalen (Straßen, Schienen, Kanälen) be­ ruht. Dabei werden die entlang des Kurses eines Flugkörpers liegenden Merkmale in ihrer Folge, bzw. Abstände und Winkelabweichungen be­ stimmt. Objekte, die außerhalb der Kurslinie liegen oder sich bewegen oder nichtlinear sind, können nach diesem Navigationsverfahren nicht erkannt werden.
Aus der DE-OS 31 09 702 ist ein Navigationssystem bekannt, bei dem ebenfalls Karten - auf linienhafte Strukturen reduziert - benutzt wer­ den. Allerdings wird bei diesem Verfahren ein "Sensor" verwendet, mit dem nur eine strahlen- oder rosettenförmige Abtastung eines bestimmten Bildausschnittes möglich ist.
Aufgabe der Erfindung ist es, eine Zielerkennungseinrichtung zu schaf­ fen, die ohne die Bildkorrelation, die zwischen jedem aufgenommen und jedem abgespeicherten (Gesamt-)Bild der Karte vorgenommen werden muß, auskommt. Außerdem sollen auch Objekte, insbesondere mobile, die nicht direkt auf der Kurslinie liegen, erkannt werden.
Gelöst wird diese Aufgabe bei einer Einrichtung gemäß Patentanspruch 1. Eine weitere erfinderische Maßnahme befaßt sich damit, die Zieler­ kennungseinrichtung in einer Navigationsvorrichtung für Flugkörper, die gegen Zielobjekte eingesetzt werden, zu verwenden. Weitere Aus- und Weiterbildungen der Erfindung, sowie Vorteile derselben, sind der nachfolgenden Beschreibung und Zeichnung von Ausführungsbeispielen zu entnehmen.
Der wesentlichste Vorteil der Erfindung wird darin gesehen, daß zur Er­ kennung von z. B. straßenähnlichen oder anderen typischen Strukturen ei­ ne Beschreibung mit charakteristischen Parametern genügt, die unabhän­ gig sind von Tages- und Jahreszeit sowie von der Anflugrichtung, und daß diese Parameter einfach aus herkömmlichen Landkarten ableitbar sind, wobei die Verfügbarkeit digitaler Landkarten das Ableiten der Pa­ rameter erleichtert, und daß dieses Verfahren sehr robust ist gegen Störungen (wegen diesen fehlenden Kanten). Die primäre Information zur Erkennung bei z. B. straßenähnlichen oder anderen mit Übergängen behaf­ teten Strukturen liegt in den Kanten. Die Kanten und Nichtkanten las­ sen sich an den Helligkeitsunterschieden, z. B. zwischen einer Straße und dem Straßenrand, Flußufer (Umfeld, Gelände), sicher erkennen.
Es ist nur noch eine gute Straßenkarte und mit ihrer Hilfe eine Vorein­ weisung nötig, eine digitalisierte Flächenkarte jedoch entbehrlich. Damit entfällt auch der nötige Speicher- und Auswerteaufwand der be­ schriebenen bekannten Bildkorrelation.
Beim erfindungsgemäßen Verfahren und der Vorrichtung bzw. Einrichtung zur Durchführung derselben, werden Flugkörper und/oder Sensor gemäß der Karte auf ein Ziel vorausgerichtet und sobald sie das Zielgebiet - zu­ mindest grob - erkannt haben, wird der Sensor im Detail ausgerichtet und nachgeführt und damit der Flugkörper mit Hilfe der neuen Navigations­ einrichtung auch auf das Ziel zu gesteuert bzw. gelenkt.
Dieses System benötigt nur einen abbildenden Sensor und eine Bildverar­ beitungselektronik für Zielerkennung und Lenkung des Flugkörpers dort­ hin. Die Missionsplanung für den Flugkörper ist sehr einfach und die Mission kann autonom von der Vorrichtung durchgeführt werden, bei sehr einfacher Missionsplanung, z. B. entlang einer festgelegten Straße, die der Sensor zu erkennen vermag. Selbstverständlich ist die neue Vorrich­ tung nicht nur auf das Erkennen von Straßen und/oder Objekten be­ schränkt, sondern auch für Schienenanlagen, Flugplätze, Start-, Lande- und Rollbahnen und dgl. mehr geeignet, um Aufgaben durchzuführen, wie sie unter anderem in der bereits eingangs genannten Deutschen PS 31 10 691 und DE-Offenlegungsschrift 34 27 020 beschrieben sind. Insbe­ sondere können auch auf den Straßen oder straßenähnlichen Strukturen mit bleibenden Leitlinien, Übergängen, Kanten, Konturen Fahrzeuge aller Art bzw. Fahrzeugkolonnen erkannt werden. Die Missionsplanung umfaßt ledig­ lich für die Voreinweisung die Festlegung des Straßentyps und des An­ flugkurses und damit des Aufsetzpunktes auf der Straße. Die vorgegebene Straße oder ähnliche Anlage wird erkannt, durch die vorbekannte Breite der Straße, bei einfachen Straßen z. B. 6 Meter, bei Autobahnen außerdem noch die Breite des Grimstreifens etc., durch ihre Richtung und den Zeitpunkt des Erscheinens im Bild. Es werden jedoch keine Bilder der ge­ suchten Straße benötigt. Gleiches gilt für andere Strukturen wie Bauten oder andere Objekte mit charakteristischen Elementen.
Ein Ausführungsbeispiel der Erfindung ist nachstehend anhand der Figuren erläutert. Es zeigen:
Fig. 1a eine mögliche Kontur eines aufgenommenen Objekts, punktiert nach der Segmentation, mit ausgezogenem Strich vergröbert für die Konturanalyse;
Fig. 1b Auszüge wie beim Überfliegen vom vorausschauenden Sensor für die Segmentierung und Auswertung gemacht;
Fig. 2 das Ergebnis einer normalen (2a) und einer komplementären (2b) Hough-Transformation, wobei in der komplementären Transformation auch das Vorzeichen von Kanten berücksichtigt wird;
Fig. 2c das Prinzip der Hough-Transformation zur Erkennung von Geraden (Kanten) im Bild;
Fig. 3 ein Kantenanalysenverfahren;
Fig. 4 einen Filter zur richtungsselektiven Gradientenberechnung;
Fig. 5 einen Flugkörper mit Zielerkennungseinrichtung;
Fig. 6 ein Blockschaltbild der Vorrichtung zur Erkennung und zum An­ fliegen von Zielen.
Beschreibung eines Ausführungsbeispiels der Erfindung
Das neue System der Zielerkennung und -Verfolgung arbeitet als Straßen­ trackersystem mit einem abbildenden IR-Sensor im Flugkörper, der schräg nach vorne ausgerichtet ist, so daß die Lenkkommandos an den Flugkörper rechtzeitig erfolgen. Der IR-Sensor ist in drei Achsen stabilisiert, so daß auch bei Rollmanövern die Straße stets im Sehfeld des Sensors gehal­ ten wird und die Lenkung aufrechterhalten bleibt.
Für den Einsatz wird vorausgesetzt, daß der Flugkörper durch ein Träger- Flugzeug und/oder entsprechende Vorlenkverfahren in die Nähe der ge­ wünschten Straße gebracht wird, und daß ein Inertial-Navigation-Sy­ stem-Paket die Flugkörper-Lage und -Höhe liefert.
Das neue Straßentrackersystem besteht aus den zwei Hauptkomponenten
  • - Sensorik
  • - Signalverarbeitung
Die Sensorik enthält das Wärmebildgerät, die 3-Achsen-Stabilisierung und die Elektronik hierfür. Zum Betrieb wird eine entsprechende Stromver­ sorgung und komprimierter Stickstoff für die Detektorkühlung benötigt. Das Bildsignal steht in digitaler form zur Verfügung. Über eine serielle Schnittstelle erfolgt die Steuerung der Sensorik sowie Statusrückmeldun­ gen. Die Sensorik ist komplett in der Flugkörper-Spitze untergebracht. Die Signalverarbeitung leitet aus den Bildern der Sensorik Lenksignale für den Flugkörper ab. Sie meldet außerdem das Vorhandensein und die Positionen von Fahrzeugen auf der Straße. Über eine Schnittstelle be­ steht eine Verbindung zum Flugkörper. Hierüber werden die Daten zur Lenkung des Flugkörpers und zur Steuerung und Kontrolle des Straßen­ trackersystems Übertragen. Die Signalverarbeitung besitzt ferner eine Schnittstelle nach außen, über die ein Bediengerät angeschlossen werden kann. Damit können Selbsttests ausgelöst bzw. von einer Bodenstation ab­ gefragt werden. Eine Videoschnittstelle zur Aufzeichnung der Bilder auf konventionellen Videorekordern ist ebenfalls vorhanden.
Ziellenkungs- und Navigationsverfahren
Im folgenden wird ein typischer Einsatzablauf beschrieben. Nach ent­ sprechender Einsatzplanung und Datenübermittlung an den Flugkörper bringt ein Trägerflugzeug den Flugkörper (event. auch mehrere) in die Nähe des Einsatzgebietes. In sicherer Entfernung wird der Flugkörper ausgeklinkt, und er beginnt den Anflug auf die festgelegte Straße mit Hilfe seines Intertial-Navigations-Systems (INS).
In geeigneter Entfernung vor dem Aufsetzpunkt wird das Straßentracker­ system aktiviert. Es startet zuerst die Suchphase, in der nach der ge­ wünschten Straße gesucht wird. Andere Straßen oder ähnliche Strukturen sind in dieser Phase auszuscheiden. Nach Erkennen der Straße wird der Flugkörper auf die Straße eingeschwenkt und es beginnt die Straßenver­ folgung. Während dieser Phase wird gleichzeitig kontinuierlich nach Zie­ len auf der Straße gesucht und deren Vorhandensein bzw. Positionen an den Flugkörper gemeldet.
Besondere Kennzeichen der Erfindung:
  • - Verwendung eines abbildenden Sensors (TV, IR, Radar, Laser), der die gesuchte Straße als Band, d. h. in 2 Kanten abbildet (ausreichende geometrische Auflösungen) und kontinuierlich Bilder liefert (CCD/Kamera, Video, Wärmebildgerät)
  • - Extraktion der im Bild vorhandenen Kanten durch Ermittlung von Hel­ ligkeitsgradienten mit der Möglichkeit, richtungsselektiv zu arbeiten
  • - Selektion von Kantenpunkten durch adaptive Schwellwertbildung und Verwendung von lokalen Extremwerten der Helligkeitsgradienten
  • - Durchführung einer Parametertransformation (Hough-Transformation) mit den selektierten Kantenpunkten in der Art, daß kolineare Kan­ tenpunkte, d. h. Geradenstücke, in der Transformationsebene (Para­ meterebene) durch lokale Extremwerte markiert werden - jeder Extrem­ wert entspricht genau einer Geraden im Bild. Seine Koordinaten in der Parameterebene stellen zwei eine Gerade beschreibende Para­ meter dar, z. B. Steigung und Achsenabschnitt.
  • - die gesuchte Straße wird durch ihre relative Richtung zum Flugkörper (Anflugrichtung) und ihre Breite charakterisiert, sowie durch den ungefähren Zeitpunkt des Erscheinens im Bild (abgeleitet aus der Nullage oder absoluten Position bei Verwendung eines Navigations­ systems) - Richtung, Breite und Zeitpunkt stellen die einzigen, nötigen Vorinformationen dar, und können anhand von üblichem, ein­ fachem Kartenmaterial bestimmt werden,
  • - anhand der Vorinformationen Richtung und Breite wird die Parameter­ ebene nach zwei korrespondierenden Extremwerten (Geraden im Bild) abgesucht, die am besten die Bedingungen der gesuchten Straße erfül­ len. Dabei wird auch die Kantenpolarität und die perspektivische Verzerrung berücksichtigt, denn die parallelen Straßenkanten werden als zwei aufeinanderzulaufende Kanten abgebildet - Verwendung der Flughöhe, der Flugkörperlage, der Sehfeldgröße und des Sichtlinien­ winkels zur Berechnung dieser Verzerrung
  • - Erkennung der gesuchten Straße in zwei Moden
  • a) Suchmode
    Hier wird in einem großen Erwartungsbereich mit grober Para­ meterabstufung nach Straßenkandidaten gesucht
  • b) Feinmode
    Hier wird der gefundene Straßenkandidat wiederholt, d. h. mehrere Bilder, mit feiner Parameterabstufung analysiert, um die genaue Richtung und Breite der Straße bestimmen zu können.
  • - Verfolgung der gefundenen Straße durch Wiederholen vorgenannter Operationen in mehreren Bildausschnitten, die mit Hilfe einer Prä­ diktion für das jeweils folgende Bild in Größe und Position so ge­ wählt werden, daß sie beide Straßenkanten Überdecken. Der Zweck für die Wahl mehrerer Bildausschnitte liegt in einer sicheren Verfolgung bei größeren Verdeckungen (in einem der Ausschnitte ist die Straße meist sichtbar) und in der Möglichkeit, Kurven zu erkennen bzw. bei kurvigem Verlauf besser extrapolieren zu können.
  • - Ermittlung der mittleren Straßenhelligkeit sowie der Varianz
  • - Segmentierung des Bildes im Bereich der lokalisierten Straße unter Verwendung der Grauwerte des Originalbildes bzw. auch zusätzlich der Kanteninformation derart, daß die drei Grauwertzonen, nämlich die gelernte Straßenhelligkeit, alle helleren und alle dunkleren Be­ reiche unterschieden werden.
  • - Ermittlung der Konturen aller Objekte heller oder dunkler als die Straße, die durch die Segmentierung entstanden sind
  • - Analyse der Konturen mit Hilfe von Größen- und Formmerkmalen zur Er­ kennung von Zielobjekten nach Anspruch 8 oder 9 und Rückweisung aller Störobjekte
  • - Durchführung von Plausibilitätsprüfungen mit den Zielkandidaten und!oder Objektkandidaten durch Vergleich der jeweiligen Größe mit der Entfernung (aus Flughöhe, Aspektwinkel und Lage im Bild er­ rechenbar), Berücksichtigung der Lage auf der Straße und mehrfache Bestätigung in wiederholten Erkennungsoperationen weiterer Bilder.
Die Zeichnung zeigt in den Fig. 1-5 die Einzelheiten gemäß der Kurzbeschreibung, welche dem Fachmann aus den Abbildungen verständlich sind.
Wie die Zeichnung (Fig. 6) zeigt, hat der bemannte oder unbemannte Flug­ körper gemäß Missionsplanung (Flugplan) eine Voreinweisung oder Vorgabe Über seinen Kurs, seine Bahn, seine Geschwindigkeit etc. mit der er das Zielgebiet grob anfliegt. Hat er dies erreicht - was aus den Iner­ tial-Navigation-System-Daten hervorgeht - so werden fortlaufende Auf­ nahmen vom vorausschauenden Sensor 1 gemacht und die Einzelbildauszüge einer Auswerteschaltung zugeführt, die einen Kantenextraktor 2, einen Punktselektor 3 und einen Parametertransformator 4 enthält. Alle ge­ nannten Einheiten sind mit dem Rechner zur Zielerkennung, insbesondere straßenähnlicher Ziele und Verfolgung bzw. Nachführung 5, verbunden. Dieser Rechner führt auch eine Schwellwertbestimmung (2 Schwellwerte) und eine Richtungsselektion im Kantenextraktor 2 durch. Er ermittelt an­ hand der Extremwerte in der Parameterebene, ob eine Straßenstruktur im Bild enthalten ist, die den gespeicherten Straßenparametern entspricht.
Die vom Sensor aufgenommenen Bilder, hier Grauwert-Bilder, werden eben­ falls der Segmentierungseinheit 6 und/oder einer Einheit 7 zur Erkennung der Variationsbreite der Helligkeit zugeführt und aus einem oder besser aus beiden Einheiten 6 und 7 werden die dreistufigen Bilder mit den Grau­ werten heller/Straße/dunkler der Konturermittlung in der Einheit 8 zuge­ führt und in der Einheit 9 analysiert sowie in der Einheit 10 bewertet. Die Einheiten 6 bis 10 stellen die Hauptteile der Auswerteschaltung für die Zielerkennung dar, während die Zielerkennung als weiteren Hauptteil den Sensor 1 benötigt, eingebaut in den Flugkörper, und dort lagestabili­ siert angeordnet, wie Fig. 5 zeigt. Zur Navigationsvorrichtung gehört wei­ terhin, daß nach der Ermittlung der Lage von Straßensegmenten aber auch von querverlaufenden Segmenten (z. B. Kreuzungen) durch die Verarbeitung in den Stufen 2-5 die Anordnung dieser Segmente zueinander verglichen wird mit dem in einem erweiterten Speicher 11 abgelegten Soll-Verlauf. Durch diesen Vergleich, der in Stufe 5 stattfindet, kann die absolute Position im Gelände festgestellt und über einen geeigneten Ausgang an die Flugkör­ perlenkung weitergegeben werden, bzw. zur Verbesserung der Genauigkeit ei­ nes Tnertial-Navigations-Systems verwendet werden. Das Ausrichten eines Lenkflugkörpers mit Inertial-Navigations-Systems kann z. B. nach Art der DE-PS 36 22 064 erfolgen und mit Hilfe der dort beschriebenen Einrichtung ähnlich arbeitender Einrichtungen zum Ausrichten eines Flugkörpers auf ei­ ne Referenzlage und/oder Nullage bzw. absolute Position als Ausgangspunkt für notwendige oder erwünschte Messungen und/oder andere Maßnahmen.
Die Erfindung beinhaltet auch eine Navigationseinrichtung mit Mitteln zur Erkennung von Straßenstrukturen bei der der Rechner die durch Vergleich der gemessenen Parameter mit den abgespeicherten Parametern in der Auswer­ teschaltung (2-5, 11) gewonnenen Ergebnisse unter Berücksichtigung der ge­ messenen Bahndaten - wie an sich bekannt - zu Daten/Signalen zur Lenkung/ Führung eines Flugkörpers zur Zielverfolgung weiterverarbeitet.
Diese Navigationseinrichtung wird zur Erkennung und Verfolgung (Ansteue­ rung) von auf dem Boden sich auf bekannten Trassen bewegenden Objekten an­ gewandt, oder sie dient der Erkennung und Verfolgung (Ansteuerung) von auf dem Boden stillstehender Objekte insbesondere Bauten wie Brücken, An­ tennen, Hangars, Vielecke, Prismen, Kugeln etc. mit wenigstens teilweise typischen Grundelementen.

Claims (6)

1. Vorrichtung zum Erkennen und Verfolgen von Objekten anhand von solchen charakteristischen Merkmalen (z. B. einer Kontur/Signatur) an denen diese von weitem aus der Luft vor einem Hintergrund identifizier­ bar sind mit Hilfe eines abbildenden Sensors und einer Verarbeitungs­ schaltung für die von diesem gewonnenen Signale zum Vergleich mit vorher abgespeicherten Referenzsignalen, gekennzeichnet durch die Vereinigung folgender Merkmale:
  • a) die Ausgangssignale eines an sich bekannten lagestabilisierten abbildenden Sensors (1) werden bezüglich der darin enthaltenen Helligkeitsgradienten zum Zweck der Extraktion von Kantenlinien (2) des Objektes analysiert;
  • b) aus den lokalen Extremwerten der Helligkeitsgradienten werden mittels adaptiver Schwellwertbildung in der Signalverarbeitungs­ schaltung Kantenpunkte selektiert (3);
  • c) durch eine Parametertransformation (Hough-Transf. 4) werden jeweils auf einer Geraden liegende Kantenpunkte durch lokale Extremwerte dargestellt, die durch ihre Parameter (z. B. Steigung und Achsenabschnitt) jeweils einen Geradenabschnitt kennzeichnen;
  • d) die gemessenen Parameter werden mit den abgespeicherten Referenz-Parametern (11) unter Berücksichtigung gemessener Bahn­ daten (wie Dauer, Weg, Höhe, Lage des Objektes, Kurs) in einem Auswerterechner (5) verglichen, und das Vergleichsergebnis (Position, Objekt-Richtung) wird zur Weiterverarbeitung an des­ sen Ausgang zur Verfügung gestellt und/oder angezeigt;
  • e) das Ausgangssignal des Sensors (1) wird innerhalb mehrerer Bild­ ausschnitte auf mittlere Helligkeit und Varianz analysiert;
  • f) es wird innerhalb mehrerer Bildausschnitte jeweils ein Grau­ wert-Histogramm von Kantenpunkten berechnet;
  • g) aus den Daten von e) und f) werden für jeden der Bildausschnitte zwei Schwellwerte errechnet, die die Helligkeitswerte in drei Worte hell/soll/dunkel aufteilen und so das Bild in ein Drei­ stufen-Bild umwandeln;
  • h) alle als "hell" oder "dunkel" bezeichneten Bildteile werden auf ihre Größe, Form und Lage hin grob analysiert, um festzustellen, ob es sich um gesuchte Ziele handeln könnte, bzw. ob mögliche Zielobjekte mit anderen Objekten zusammenhängen, und wenn das der Fall ist, werden die Zielobjekte abgetrennt;
  • i) alle möglichen Zielobjekte werden mittels Form-, Lage- und Orientierungsmerkmalen genau analysiert, um festzustellen, ob es sich um gesuchte Ziele handelt.
2. Zielerkennungseinrichtung nach Anspruch 1, dadurch gekenn­ zeichnet, daß die Zielsuche mindestens 2-stufig von grob auf fein um­ schaltbar ist, indem die Parameterabstufung bei der Bestimmung der loka­ len Extremwerte verkleinert wird.
3. Zielerkennungseinrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Genauigkeit der Ziel suche gesteigert wird, in­ dem die einzelnen Suchschritte oder Suchstufen mit jeweils mehreren unterschiedlichen Bildausschnitten wiederholt werden.
4. Zielerkennungseinrichtung nach einem der vorhergehenden An­ sprüche, dadurch gekennzeichnet, daß nach dem Vergleich der gemessenen Parameter mit den abgespeicherten Parametern in der Auswerteschaltung mittels des Rechners eine Plausibilitäts-Prüfung des Ergebnisses (Ziel­ suche) erfolgt, insbesondere bezüglich Größe, Entfernung, Lage und Häu­ figkeit des Objektes und daß dadurch insbesondere Störobjekte ausge­ schieden werden.
5. Zielerkennung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei der Verarbeitung (siehe Zeichnung) in (2) und/oder (3) nur Kantenrichtungen berücksichtigt werden, die innerhalb eines vorgegebenen Toleranzbereichs um eine erwartete Richtung liegen.
6. Zielerkennungseinrichtung nach wenigstens einem der vorhergehen­ den Ansprüche, gekennzeichnet durch einen abbildenden Sensor, eine Si­ gnalverarbeitungsschaltung und eine Auswerteschaltung mit einem Rech­ ner zur Durchführung einer Grauwertanalyse der Ausgangssignale des ab­ bildenden Sensors (z. B. 8 bit Grauwert-Bild entspricht einem Gradien­ tenbild)m wobei die Signalverarbeitungsschaltung Schwellwertgeber ent­ hält für die Helligkeiten so, daß in der Signalauswerteschaltung eine Auslesung auf drei Werte Hell/soll/dunkel erfolgt, hieraus ein Flächen­ schwerpunkt und Kontur-Merkmale des Ziels ermittelt werden, insbesonde­ re durch Erzeugen von Koordinaten des Ziels ermittelt werden, insbeson­ dere durch Erzeugen von Koordinaten des Ziels und seiner Konturpunkte und der Rechner zur Zielerkennung nach der Ortung durch Abfragen der Merkmale feststellt, ob es nach Entscheidungsbaum und Regeln der hie­ rarchischen Abfrage sich um ein gesuchtes Ziel handelt, eigens in der Verarbeitung (2) bis (5) auch die Vorzeichen des gewonnenen Gradienten­ bildes auswertet für die Zielrichtungsbestimmung und daß im Rechner au­ ßer einem Binärbild - Kanten und Nichtkanten - auch auf einer Geraden liegende Kantenpunkte, insbesondere aus einem oder mehreren Bildaus­ schnitten, gewonnen werden.
DE3830496A 1988-09-08 1988-09-08 Vorrichtung zum Erkennen und Verfolgen von Objekten Expired - Fee Related DE3830496C1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
DE3830496A DE3830496C1 (de) 1988-09-08 1988-09-08 Vorrichtung zum Erkennen und Verfolgen von Objekten
GBGB8914928.0A GB8914928D0 (en) 1988-09-08 1989-06-29 Vorrichtung zum erkennen und verfolgen von objekten
GB8919202A GB2305567B (en) 1988-09-08 1989-08-22 Apparatus for recognition and tracking of objects
FR8911718A FR2736149B1 (fr) 1988-09-08 1989-09-07 Dispositif de reconnaissance et de poursuite d'objets
SE8902945A SE8902945D0 (sv) 1988-09-08 1989-09-07 Objekten
US07/411,158 US5762292A (en) 1988-09-08 1989-09-11 Apparatus for identification and tracking of objects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE3830496A DE3830496C1 (de) 1988-09-08 1988-09-08 Vorrichtung zum Erkennen und Verfolgen von Objekten
US07/411,158 US5762292A (en) 1988-09-08 1989-09-11 Apparatus for identification and tracking of objects

Publications (1)

Publication Number Publication Date
DE3830496C1 true DE3830496C1 (de) 1996-09-19

Family

ID=25871980

Family Applications (1)

Application Number Title Priority Date Filing Date
DE3830496A Expired - Fee Related DE3830496C1 (de) 1988-09-08 1988-09-08 Vorrichtung zum Erkennen und Verfolgen von Objekten

Country Status (5)

Country Link
US (1) US5762292A (de)
DE (1) DE3830496C1 (de)
FR (1) FR2736149B1 (de)
GB (2) GB8914928D0 (de)
SE (1) SE8902945D0 (de)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008080606A1 (de) * 2006-12-29 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
EP1983292A1 (de) * 2007-04-18 2008-10-22 LFK-Lenkflugkörpersysteme GmbH Verfahren zur Optimierung der bildgestützten automatischen Navigation eines unbemannten Flugkörpers
EP2060873A2 (de) * 2007-11-17 2009-05-20 LFK-Lenkflugkörpersysteme GmbH Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers
EP1975850A3 (de) * 2007-03-28 2009-08-26 Honeywell International Inc. Landebahnsegmentierung mittels Scheitelbestimmung
US10744322B2 (en) 2005-09-19 2020-08-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Cochlear implant, device for generating a control signal for a cochlear implant, device for generating a combination signal and combination signal and corresponding methods
RU2732916C1 (ru) * 2019-06-24 2020-09-24 Федеральное государственное казенное военное образовательное учреждение высшего образования "Ярославское высшее военное училище противовоздушной обороны" Министерства обороны Российской Федерации Комплексный обнаружитель прямолинейной траектории воздушного объекта в пространстве с использованием преобразования Хафа

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899580A3 (de) * 1997-08-29 2000-02-02 Kabushiki Kaisha Toshiba System zur Ortung eines Zieles und Anflug-Leitsystem
US6355922B1 (en) * 1999-06-14 2002-03-12 Raytheon Company Imaging system and method for hardbody detection and sensor fixed artifact rejection
AU2001238478C1 (en) * 2000-02-15 2006-11-09 Id Biomedical Corporation Of Quebec Proteosome influenza vaccine
US8916809B2 (en) * 2003-08-12 2014-12-23 Omnitek Partners Llc Projectile having a window for transmitting power and/or data into the projectile interior
US7298867B2 (en) * 2004-02-20 2007-11-20 Lockheed Martin Corporation Component association tracker system and method
IL162032A (en) * 2004-05-17 2009-05-04 Rafael Advanced Defense Sys Optical target search accessory for bullet
FR2888944B1 (fr) 2005-07-20 2007-10-12 Eurocopter France Procede de detection par telemetrie d'objets filaires suspendus
US7826666B2 (en) * 2008-02-27 2010-11-02 Honeywell International Inc. Methods and apparatus for runway segmentation using sensor analysis
FR2954520B1 (fr) * 2009-12-18 2012-09-21 Thales Sa Procede de designation d'une cible pour un armement a guidage terminal par imagerie
US8344655B2 (en) * 2010-01-25 2013-01-01 Altman Stage Lighting Co., Inc. Power and data track lighting system
FR2957447B1 (fr) 2010-03-15 2012-10-26 Eurocopter France Procede et dispositif pour voler a l'aide d'un aeronef a basse altitude de maniere securisee
KR101733116B1 (ko) * 2010-12-10 2017-05-08 한국전자통신연구원 고속 스테레오 카메라를 이용한 구형 물체의 비행 정보 측정 시스템 및 방법
CN102354457B (zh) * 2011-10-24 2013-10-16 复旦大学 基于广义霍夫变换的交通信号灯位置检测方法
US8326831B1 (en) 2011-12-11 2012-12-04 Microsoft Corporation Persistent contextual searches
US8513580B1 (en) * 2012-06-26 2013-08-20 The United States Of America As Represented By The Secretary Of The Navy Targeting augmentation for short-range munitions
US8766975B2 (en) 2012-07-19 2014-07-01 Honeywell International Inc. Method of correlating images with terrain elevation maps for navigation
DE102017113799A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Fahrassistenz für eine einspurige Straße
CN110082781B (zh) * 2019-05-20 2021-12-17 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及系统
WO2021056309A1 (en) * 2019-09-26 2021-04-01 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for detecting road markings from a laser intensity image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3110641A1 (de) * 1980-11-26 1982-06-24 ICD Corp., Tokyo Ferngesteuertes spielzeugmotorrad
DE3109702A1 (de) * 1981-03-13 1982-09-23 Mühlenfeld, Eike, Prof. Dr.-Ing., 3392 Clausthal-Zellerfeld "navigationsstuetzung durch einen kontursensor mit kartenvergleich"
DE3427020A1 (de) * 1984-07-21 1986-01-23 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Navigations- und flugfuehrungsverfahren
US4700307A (en) * 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3071765A (en) * 1950-08-11 1963-01-01 Gerald C Schutz Radar map guidance system
US3069654A (en) * 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
DE2914639A1 (de) * 1979-04-11 1980-10-23 Basf Ag Verfahren zum einsiegeln von streifenfoermigen brandschutzmaterialien
EP0005918B1 (de) * 1979-05-09 1983-05-04 Hughes Aircraft Company Bildnachführsystem
DE3110691C2 (de) * 1981-03-19 1985-07-18 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Navigationssystem für lenkbare Flugkörper
US4881270A (en) * 1983-10-28 1989-11-14 The United States Of America As Represented By The Secretary Of The Navy Automatic classification of images
GB2164427B (en) * 1984-09-10 1988-01-06 Nader Dadabhoy Daroga Missile control systems
US4739401A (en) * 1985-01-25 1988-04-19 Hughes Aircraft Company Target acquisition system and method
US4707647A (en) * 1986-05-19 1987-11-17 Gmf Robotics Corporation Gray scale vision method and system utilizing same
DE3622064A1 (de) * 1986-07-01 1988-01-21 Messerschmitt Boelkow Blohm Einrichtung zur automatischen optischen azimut-ausrichtung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3110641A1 (de) * 1980-11-26 1982-06-24 ICD Corp., Tokyo Ferngesteuertes spielzeugmotorrad
DE3109702A1 (de) * 1981-03-13 1982-09-23 Mühlenfeld, Eike, Prof. Dr.-Ing., 3392 Clausthal-Zellerfeld "navigationsstuetzung durch einen kontursensor mit kartenvergleich"
US4700307A (en) * 1983-07-11 1987-10-13 General Dynamics Corp./Convair Division Feature navigation system and method
DE3427020A1 (de) * 1984-07-21 1986-01-23 Messerschmitt-Bölkow-Blohm GmbH, 8012 Ottobrunn Navigations- und flugfuehrungsverfahren

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DE-Z: "Elektronik", 15.5.87 S.8-9 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10744322B2 (en) 2005-09-19 2020-08-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Cochlear implant, device for generating a control signal for a cochlear implant, device for generating a combination signal and combination signal and corresponding methods
WO2008080606A1 (de) * 2006-12-29 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zum bestimmen einer position basierend auf einem kamerabild
US8121350B2 (en) 2006-12-29 2012-02-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for determining a position on the basis of a camera image from a camera
EP1975850A3 (de) * 2007-03-28 2009-08-26 Honeywell International Inc. Landebahnsegmentierung mittels Scheitelbestimmung
EP1983292A1 (de) * 2007-04-18 2008-10-22 LFK-Lenkflugkörpersysteme GmbH Verfahren zur Optimierung der bildgestützten automatischen Navigation eines unbemannten Flugkörpers
DE102007018187A1 (de) 2007-04-18 2008-10-30 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Optimierung der bildgestützten automatischen Navigation eines unbemannten Flugkörpers
DE102007018187B4 (de) * 2007-04-18 2013-03-28 Lfk-Lenkflugkörpersysteme Gmbh Verfahren zur Optimierung der bildgestützten automatischen Navigation eines unbemannten Flugkörpers
EP2060873A2 (de) * 2007-11-17 2009-05-20 LFK-Lenkflugkörpersysteme GmbH Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers
EP2060873A3 (de) * 2007-11-17 2012-06-27 LFK-Lenkflugkörpersysteme GmbH Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers
DE102007054950B4 (de) * 2007-11-17 2013-05-02 Mbda Deutschland Gmbh Verfahren zur Stützung der selbsttätigen Navigation eines niedrig fliegenden Flugkörpers
RU2732916C1 (ru) * 2019-06-24 2020-09-24 Федеральное государственное казенное военное образовательное учреждение высшего образования "Ярославское высшее военное училище противовоздушной обороны" Министерства обороны Российской Федерации Комплексный обнаружитель прямолинейной траектории воздушного объекта в пространстве с использованием преобразования Хафа

Also Published As

Publication number Publication date
SE8902945D0 (sv) 1989-09-07
GB8919202D0 (en) 1996-12-04
FR2736149A1 (fr) 1997-01-03
GB2305567B (en) 1998-01-07
FR2736149B1 (fr) 2000-01-21
US5762292A (en) 1998-06-09
GB8914928D0 (en) 1996-11-27
GB2305567A (en) 1997-04-09

Similar Documents

Publication Publication Date Title
DE3830496C1 (de) Vorrichtung zum Erkennen und Verfolgen von Objekten
DE60307911T2 (de) Verfahren zum Leiten eines Flugzeuges während der Endphase der Landung und dazugehörige Vorrichtung
DE69635569T2 (de) Vorrichtung zum Bestimmen der lokalen Position eines Autos auf einer Strasse
EP1505556B1 (de) Verfahren und Vorrichtung zur Erkennung eines Flughindernisses
DE69021354T2 (de) System zur Detektion eines Hindernisses.
DE60126382T2 (de) Verfahren und Gerät zur Erkennung von Gegenständen
DE112020006426T5 (de) Systeme und verfahren zur fahrzeugnavigation
EP0429952A2 (de) Autonomes Landesystem
WO2013056884A1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
JP2008506926A (ja) 自動地上走行管理
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
EP2387017B1 (de) Verfahren und Vorrichtung zur Erfassung von Verkehrsdaten aus digitalen Luftbildsequenzen
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE102019216548A1 (de) Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks
DE4140406C2 (de) Verfahren zur Orientierung, Navigation, Führung und Überwachung von Flugzeugen
DE3915633C2 (de)
DE4416557A1 (de) Verfahren und Vorrichtung zur Stützung der Trägheitsnavigation eines ein entferntes Ziel autonom ansteuernden Flugkörpers
EP3811286A1 (de) Verfahren und anordnung zum erkennen von objekten an anlagen
EP3621035A1 (de) Verfahren zum führen eines fahrzeugs hinter einem vorausfahrenden fahrzeug
DE102021100583A1 (de) System und verfahren zur fahrzeugnavigation mit geländetexterkennung
DE102008050456B4 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102020127315B4 (de) System und Verfahren zum Annotieren von Automobilradardaten
Murashov et al. Method of determining vehicle speed according to video stream data
DE10015164A1 (de) Kommunikations-Verfahren mit einem ROSAR-Gerät

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: LFK LENKFLUGKOERPERSYSTEME GMBH, 81669 MUENCHEN, D

8339 Ceased/non-payment of the annual fee