DE10145608B4

DE10145608B4 - Modellbasierte Objektklassifikation und Zielerkennung

Info

Publication number: DE10145608B4
Application number: DE10145608A
Authority: DE
Inventors: Henrik Dipl.-Ing. Baur; Helmuth Dr.-Ing. Eggers; Lars Dipl.-Inf. Krüger; Rainer Dr.-Ing. Ott
Original assignee: EADS Deutschland GmbH
Current assignee: Airbus Defence and Space GmbH
Priority date: 2001-09-15
Filing date: 2001-09-15
Publication date: 2006-01-26
Anticipated expiration: 2021-09-16
Also published as: CA2460615C; WO2003025843A2; CA2460615A1; US20040267682A1; WO2003025843B1; WO2003025843A3; US8005261B2; DE10145608A1; EP1425709A2

Abstract

Verfahren zur modellbasierten Klassifikation und/oder Zielerkennung eines Objektes, das folgende Schritte umfasst:
a) Aufzeichnen eines Bildes eines Objektes,
b) Bestimmen eines Merkmals, das ein Teil des Objektes darstellt,
c) Bestimmen von mindestens einer Bedingung, die mit dem Merkmal verknüpft ist und die die Anwendbarkeit des Merkmals bezüglich folgender Informationen anzeigt:
c1) Verdeckung durch Teile des erkannten Objektes, und/oder
c2) Aktuelle Beleuchtungssituation, und/oder
c3) Uhrzeit zum Zeitpunkt der Bildaufnahme, und/oder
c4) Bewegungsinformation des erkannten Objektes, und/oder
c5) Bewegungsinformation anderer Objekte, und/oder
c6) Position und Orientierung des erkannten Objektes nach zumindest einer der folgenden Kriterien:
c6.1) zur Bildaufnahme-Einrichtung und/oder der die Bildaufnahme-Einrichtung tragenden technischen Einrichtung, und/oder
c6.2) zu mit dem vorliegenden Verfahren klassifizierten und lokalisierten Objekten, und/oder
c6.3) zu mit anderen Verfahren klassifizierten und/oder lokalisierten Objekten, und/oder
c6.4) zu ortsfesten Einrichtungen
d) Durchführen der Klassifikation und/oder Zielerkennung des...

Description

Die vorliegende Erfindung betrifft allgemein eine modellbasierte Objektklassifikation und Zielerkennung und insbesondere eine Struktur und die Abarbeitung von Modellen zur Objektklassifikation und Lagebestimmung.

Alle bisher bekannten Verfahren aus dem Stand der Technik, die explizite Geometriemodelle zum Matching verwenden, extrahieren aus den Eingabedaten nur wenige Merkmale gleichzeitig. Dafür gibt es mehrere Gründe.

Zum einen ist es schwierig, verschiedene Merkmale so zu fusionieren, dass gleiche Ausgangswerte eine gleiche Bedeutung haben. Zum anderen gibt es rein praktische Gründe, die in den folgenden beiden Abschnitten näher erläutert werden.

Des weiteren sind die Regeln, wann ein Merkmal eines Modells zu überprüfen ist, entweder ebenso fest einprogrammiert, wie das Merkmal selbst oder werden aus der Geometrie des Objektes bestimmt.

Die bisher bekannten Systeme, so auch die von D. G. Lowe in "Fitting Parametrized Three-Dimensional Models To Images", IEEE Transact. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 5, 1991, von L. Stephan et al. in "Portable, scalable architecture for model-based FLIR ATR and SAR/FLIR fusion", Proc. of SPIE, Vol. 3718, Automatic Target Recognition IX, April 1999, und die in der EP-A-622 750 beschriebenen haben allgemein eine feste Anordnung der Bildverarbeitung und insbesondere eine feste Anordnung der Vorverarbeitung.

Gemäß diesen bekannten Systemen wird als erstes das Bild eingelesen, dann wird es vorverarbeitet und danach das Matching durchgeführt. Das führt dazu, dass in den bekannten Systemen entweder alle Vorverarbeitungen, deren Ergebnisse in irgendeinem Modell enthalten sind, durchgeführt werden müssen, oder dass fest implementierte Tests durchgeführt werden müssen, die das umgehen.

Aus der DE 10045360 A1 ist ein Verfahren zur Klassifizierung von Dokumenten, insbesondere von Banknoten, bekannt, bei welchem anhand von Merkmalen mit höherer Signifikanz ein zu klassifizierendes Dokument in eine bestimmte Klasse eingeordnet wird. Hierbei wird das Dokument in einzelne Merkmalsbereiche unterteilt, welche vorzugsweise quadratisch sind. Unter diesen Merkmalsbereichen werden zusätzlich ausgewählte Merkmalsbereiche gebildet, welche für die Ermittlung der Klasse herangezogen werden. Die Festlegung dieser ausgewählten Merkmalsbereiche erfolgt dabei in einem separaten Adaptionsprozess vor der Klassifizierung anhand von Referenzdokumenten. Hierbei weisen die ausgewählten Merkmalsbereiche eine höhere Signifikanz, d.h. Unterscheidungskraft, als die anderen Merkmalsbereiche, auf.

Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren für die Objektklassifikation und die Zielerkennung zur Verfügung zu stellen, das den erforderlichen Rechenaufwand minimiert und dennoch gleichzeitig robuster ist.

Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Verfahren für die Objektklassifikation und die Zielerkennung zur Verfügung zu stellen, das die Anzahl der Vorverarbeitungsschritte minimiert.

Diese Aufgaben sowie weitere der nachstehenden Beschreibung und Figuren zu entnehmenden Aufgaben werden durch ein Verfahren gemäß den anliegenden Ansprüchen erfüllt.

Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Darin zeigen:
1 den Ablauf der Objekterkennung auf oberster Ebene;
2 den ausführlichen Ablauf des Matching-Blocks der 1;
3 ein im Bildaufnahme-Block der 1 akquiriertes Bild;
4 eine die gesuchten Objekte umschließende Region (ROI), die aus einem rechteckigen Teilabschnitt des Bildes der 3 besteht; und
5a bis 5e am Beispiel des Kantenrezeptors wie die Merkmalsanforderung funktioniert.
Die vorliegende Erfindung basiert auf der Erkenntnis, dass bestimmte Merkmale nur aus speziellen Ansichten sichtbar sind. So sind z. B. die Fenster der Frachtraumtüren von Hubschraubern nur von der Seite sichtbar, von anderen Blickwinkeln jedoch nicht. Analoges gilt für die Beleuchtungsverhältnisse, die die Erkennung von Frachtraumtüren oder von weiteren Elementen von Hubschraubern (wie z. B. Räder, Tragelast usw.) nur unter bestimmten Lichtverhältnissen zulassen. Daher wird gemäß der vorliegenden Erfindung mindestens ein zu erkennendes Merkmal mit mindestens einer Bedingung oder mindestens einer Regel verknüpft. Selbstverständlich ist es möglich eine Vielzahl von Merkmalen mit jeweiligen bestimmten Bedingungen zu verknüpfen und/oder mehrere Bedingungen mit einem einzigen zu erkennenden Merkmal zu assoziieren. Dadurch müssten unter diesen Umständen nur die Merkmale aus dem Bild extrahiert werden, bei denen die jeweilig verknüpfte Bedingung erfüllt ist. Anders ausgedrückt, muss für eine Frachtraumtür, die nach Lage des Hubschraubers in Bezug auf eine Kamera gar nicht sichtbar sein kann, keine Objektklassifikation und/oder Zielerkennung durchgeführt werden.
Erfindungsgemäß wurde die Möglichkeit gefunden, diverse Merkmale (sogenannte "Features", z. B. Kanten, Flächenumfänge, Hot-Spots) auf einfache und konsistente Art und Weise im Modell abzulegen und die Extraktion dieser Merkmale in effektiver Weise durchzuführen.
Will man in den bekannten Bildverarbeitungssystemen aus dem vorstehend genannten Stand der Technik weitere Merkmale extrahieren, so muss man deren Aufrufe inklusive Parameterübergabe für jede Anwendung bzw. jedes Modell explizit programmieren. Das kann je nach System mehr oder weniger aufwendig sein. Diese starre Reihenfolge bestehend aus der Aufnahme eines Bildes, aus der Segmentierung des aufgenommenen Bildes und der Vorverarbeitung des durch die Segmentierung erfassten Bildes ist aus der EP-A-622 750 bekannt.
In Übereinstimmung mit der vorliegenden Erfindung ist jedes Merkmal, das zu erkennen ist, mit einer Bedingung versehen, die seine Anwendbarkeit feststellt. Der Algorithmus dieser Bedingung ist beliebig frei programmierbar und nicht nur auf die Geometrie des Objektes beschränkt. Die Bedingung kann z.B. auch die Entfernung des zu erkennenden Objektes von der Kamera, die Beleuchtungsverhältnisse (z. B. Kontrast), Geschwindigkeit, Höhe, relative Stellung, usw. untersuchen.
Durch die Berücksichtigung einer oder mehreren der Bedingungen kann die durch "Nichtsichtbarkeit" bzw. "Nichterfassbarkeit" eines Merkmals verursachte überflüssige Arbeit übergangen und das Verfahren erfindungsgemäß gleichzeitig robuster gemacht, da fehlende Merkmale nicht zu einer schlechteren Bewertung des Modells führen.
Nach einem weiteren besonders bevorzugten Aspekt der vorliegenden Erfindung wird jedes eine Bedingung erfüllende Merkmal, das somit in einer Vorverarbeitung eines Teilschritts der Bildverarbeitung benötigt wird, von diesem Teilschritt angefordert. Dabei sind die Reihenfolge der Vorverarbeitung als auch der Algorithmus des Teilschritts im Modell abgelegt (z. B. als Nummer einer Funktion in einer Liste von verfügbaren Funktionen). Dadurch wird die in einer starren Anordnung von Bildaufnahme, Vorverarbeitung und Klassifikation/Lokalisation überflüssige Arbeit umgangen.
Da verschiedene Teilschritte unter Umständen gleiche Merkmale brauchen (z.B. benötigen die Merkmale linke Kante und rechte Kante eines Objektes die Vorverarbeitung "Kantenbild") oder Teilergebnisse von niedrigeren Vorverarbeitungen Eingaben für höhere Vorverarbeitungen darstellen (z. B. Kantenbild und Wavelet-Zerlegung des gefilterten Originalbilds, mit deren Hilfe mittels lokaler Wavelet-Basen die lokalen Eigenschaften einer Funktion effizient untersucht werden können), werden alle "wiederverwendungswürdigen" Vorverarbeitungsschritte in der Reihenfolge der Erstellung, beginnend mit dem Originalbild, abgespeichert. Wird eine bestimmte Vorverarbeitung benötigt, so wird durch die Bildverarbeitung eine "Anforderung" dieser Vorverarbeitung mit allen vorhergehenden Stufen dieser Vorverarbeitung, beginnend beim Original, durchgeführt.
Die Behandlung der Anforderung besteht darin, die Vorverarbeitung auszuführen und das Ergebnis abzulegen und bereitzustellen oder wenn bereits vorhanden, das abgelegte Ergebnis bereitzustellen, ohne eine Neuberechnung durchzuführen. Somit können, wie bereits erwähnt, vorhandene Vorverarbeitungen oder Serien von Vorverarbeitungen aus einem Zwischenspeicher (Cache) schnell aufgerufen werden. Wird z.B. für ein Merkmal A die Vorverarbeitung 1 durchgeführt und sind für ein weiteres Merkmal B die Vorverarbeitungen 1, 2 und 3 erforderlich, so kann auf die zwischengespeicherte Vorverarbeitung 1 des Merkmals 1 gemäß der Erfindung zugegriffen werden, womit die Verarbeitungszeit verkürzt wird.
Durch diese Schritte ist es möglich, alle für die Erkennung eines Objektes nötigen Merkmale (nach einer entsprechenden Normalisierung) zu extrahieren und dem Erkennungsprozess zuzuführen. Man ist also nicht mehr durch Geschwindigkeits- oder Wartungsgründe an eine kleine Zahl von Merkmalen gebunden. Natürlich verlangen die Vorverarbeitungen des Systems gemäß der Erfindung auch Zeit für die Berechnung, aber es werden nur die Berechnungen ausgeführt, die unbedingt notwendig sind, da jede Vorverarbeitung nur einmal durchzuführen ist. Dadurch können verschiedene Merkmale extrahiert werden, solange die Gesamtzeit aller Vorverarbeitungen die maximale Laufzeit nicht überschreitet.
Das vorstehend beschriebene Verfahren zur Vorverarbeitung kann erfindungsgemäß unabhängig von der Erkenntnis, dass bestimmte Merkmale nur aus speziellen Ansichten sichtbar sind, implementiert werden. Anders ausgedrückt, kann die vorliegende Vorverarbeitung unabhängig von der Verknüpfung mit einer der bestimmten Bedingung ausgeführt werden, obwohl die Kombination der zwei Merkmale sich besonders vorteilhaft in Bezug auf den Rechenaufwand und Robustheit des Systems auswirkt.
Das erfindungsgemäße Verfahren zur Vorverarbeitung ist im Vergleich zum Stand der Technik besonders vorteilhaft. So erkennt das von D. G. Lowe in "Fitting Parametrized Three-Dimensional Models To Images", IEEE Transact. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 5, 1991, vorgestellte Verfahren das gesuchte Objekte anhand von Kanten.
Diese Kanten werden als parametrisierte Kurven ausgedrückt und die freien Parameter (Raumlage und interne Freiheitsgrade) durch ein Näherungsverfahren bestimmt. Relevant ist das Verfahren dadurch, dass es geometrische Vorverarbeitungen in einem Cache ablegt. Allerdings betrifft der Cache des bekannten Verfahrens von Lowe lediglich Sichtbarkeitsbedingungen, während der erfindungsgemäße Cache oder Zwischenspeicher nicht in der Art der Vorverarbeitung beschränkt ist. Ebenfalls sind die Sichtbarkeitsbedingungen nur aus der Geometrie des Objektes bestimmt und nicht frei wählbar. Ansonsten ist das Verfahren von Lowe ein typischer Vertreter von Verfahren mit fest implementierter Vorverarbeitung.
Das Verfahren gemäß L. Stephan et. al. ("Portable, scalable architecture for model-based FLIR ATR and SAR/FLIR fusion", Proc. of SPIE, Vol. 3718, Automatic Target Recognition IX, Aug. 1999) extrahiert aus den Radar-Bildern (SAR) nicht näher spezifizierte Merkmale sowie Kanten aus den Infrarot Bildern (FLIR Bildern). Mit jedem dieser Merkmale wird eine getrennte Hypothesenbildung durchgeführt und diese Hypothesen werden zuletzt fusioniert. Die ganze Vorverarbeitung ist in einer festen Reihenfolge im System implementiert, nur die zu findenden Geometriemodelle sind austauschbar. In der EP-A-622 750 ist die genaue Art und Reihenfolge der Vorverarbeitungen vorgegeben.
Nunmehr wird unter Bezugnahme auf die begleitenden 1 bis 5e ein derzeit besonders bevorzugtes Ausführungsbeispiel der Erfindung erläutert. Dieses Ausführungsbeispiel kann in einer für den Fachmann wohl bekannten Art und Weise abgeändert werden und es ist keineswegs beabsichtigt den Schutzumfang der Erfindung auf das nachstehende Beispiel zu beschränken. Vielmehr wird der Schutzumfang durch die Merkmale der Ansprüche und deren Äquivalente bestimmt.
1 zeigt einen Ablauf der Objekterkennung auf oberster Ebene. Im Schritt 1 erfolgt im Bildaufnahme-Block die Akquisition des Bildes mit einer Kamera, Laden eines gespeicherten Bildes oder Erzeugung eines VR-Bildes. Ein im Bildaufnahme-Block der 1 akquiriertes Bild wird exemplarisch in der 3 gezeigt.
Im Schritt 2 (ROI-Erstellung) erfolgt eine einfache und schnelle Grob-Detektion des Objektes im Bild, d. h. die Vorgabe einer rechteckigen Region, die die gesuchten Objekte weitestgehend umschließt. Die Abkürzung ROI (Region Of Interest) bezeichnet diese die gesuchten Objekte umschließende Region, die unter Bezugnahme auf die 4 zu sehen ist. Verfahren zur Bestimmung einer derartigen ROI sind an und für sich bekannt. Dazu zählen Schwellwertverfahren, Pixelklassifikation usw. Es muss auch eine Zuordnung der aktuell gebildeten ROI zu einer ROI aus dem letzten Bild erfolgen.
Im Schritt 3 erfolgt eine Entscheidung, ob das Objekt in der Region Of Interest zum ersten Mal mit einer ROI versehen wurde oder nicht. Dieser Schritt ist notwendig, da noch keine zu prüfenden Hypothesen existieren, die der ROI zugeordnet sind und somit noch keine Prüfung der Hypothesen erfolgen kann.
Falls die Entscheidung im Schritt 3 "Ja" lautet, erfolgt im Schritt 4 die Hypotheseninitialisierung. Hier wird die Zuordnung eines oder mehrere 7-Tuples zu einer ROI durchgeführt. Das 7-Tupel besteht aus der Art des Objektes (z. B. Modell-Nummer (im Falle eines Hubschraubers 1 = Hind, 2 = Helix, 3 = Bell Ranger, usw.)) und den geschätzten sechs Freiheitsgraden unter der Annahme dieser Modellklasse. Die initiale Erstellung der sechs Freiheitsgraden kann z.B. durch systematisches Probieren erfolgen.
Falls die Entscheidung im Schritt 3 "Nein" lautet, wird im Schritt 5 das Hypothesen-Update durchgeführt. Im Falle einer bereits existierenden Hypothese muss die durch die Bewegung des Objektes im Raum entstandene neue Lage der Lage des Objektes im Bild angepasst werden. Dazu wird eine im Stand der Technik bekannte Bewegungsprädiktion mittels eines Trackers (z. B. Kalman-Filter) durchgeführt.
Im Schritt 5 der 1 erfolgt das unter Bezugnahme auf die 2 ausführlich beschriebene Matching.
Im Schritt 6 der 1 wird die 2D-3D-Pose-Schätzung implementiert. Aus der Lageänderung der Rezeptoren und der angenommenen Lage der Rezeptoren im Raum (aus Hypothese) kann mittels der 2D-3D-Pose-Schätzung die Lageänderung des Objektes im Raum geschätzt werden. Verfahren dazu sind im Stand der Technik bekannt (siehe z.B. Haralick: Pose Estimation from Corresponding Point Data, IEEE Transactions on Systems, Man and Cybernetics, Vol. 19, No. 6, Nov./Dec. 1989).
Im Schritt 7 (Block "Besser") der 1 wird die Güte des Modells ermittelt. Das ist notwendig, da das Matching die Rigiditätseigenschaft des Objektes verletzt. Durch die Pose-Schätzung und Neu-Projektion ist die Rigidität gewährleistet, da Fehler einzelner Rezeptoren gemittelt werden und eine einzige Pose (6 Freiheitsgrade) für alle Rezeptoren entstehen. Eine weiteres Matching im gleichen Bild ist sinnvoll, um hier das bestmögliche Ergebnis, d. h. den geringstmöglichen Fehler zwischen Hypothese und Bild zu erreichen. Deshalb wird bei einer Verschlechterung (oder sehr kleinen Verbesserung) angenommen, dass der optimale Punkt bereits erreicht ist.
Im Schritt 8 der 1 (Block "Klassifikation") erfolgt die Auswertung aller Hypothesen, insbesondere ihrer Gütewerte, einer ROI. Die Klassifikation ergibt entweder die Entscheidung für eine bestimmte Klasse und Pose (durch Auswahl oder Kombination von Pose-Werten verschiedener Hypothesen) oder die Information, dass das Objekt keiner bekannten Klasse zugeordnet werden kann.
Im Schritt 9 der 1 erfolgt die Auswertung von Klasse, Güte und Orientierung. Dem Nutzer kann die Information aus der Klassifikation in verschiedenster Weise angezeigt werden (z. B. Lage und Klasse als Overlay ins Bild) oder es können direkt Handlungen abgeleitet werden (z. B. Auslösen einer Waffe). Dies kann nach jedem Bild oder in größeren, regelmäßigen Abständen oder beim Über- oder Unterschreiten bestimmter Güteschwellen oder der Klassifikation bestimmt werden.
Die Einzelheiten der Anpassung (Matching) sind unter Bezug auf die 2 erläutert.
Im Schritt 10 der 2 erfolgt die Überprüfung von Regeln. Die Regel jedes Rezeptors wird ausgewertet und anhand des Ergebnisses der Rezeptor in die 2D-Repräsentation (Graph) übernommen oder nicht. Da für verschiedene Applikationen verschiedene Regeln existieren können, die auch beliebige Information zum Regelergebnis verarbeiten, wird hier am Beispiel einer geometrisch motivierten Regelfunktion beschrieben, wie das Verfahren operiert. Es ist anzumerken, dass die Parameter der Regelfunktion nicht nur die Geometrie des Objektes und dessen aktuelle Pose berücksichtigen müssen. Auch andere Informationen (z.B. Sonnenstand, Horizontlinie, Freund-Feind-Positionen, Funkfeuer, Uhrzeit) können, so verfügbar, zum Regelergebnis beitragen.
Die Regelfunktion der "Vector-Angle"-Regel enthält drei Parameter, die im Modell gespeichert sind:
a, b und x. Ihr Ergebnis ist r.
Die Regelfunktion selbst hat folgende Form:
Der Vektor z ist der Einheitsvektor in z-Richtung (Blickrichtung der Kamera). Matrix R ist die Rotationsmatrix aus der Hypothese, die das Modell aus seiner Ursprungslage (parallel zum Kamerakoordinatensystem) in seine aktuelle Ansicht rotiert. x ist ein Vektor, der die mittlere Blickrichtung vom Objekt nach außen beschreibt (z. B. die Außennormale einer Fläche).
Liefert r einen von 0 verschiedenen Wert, so wird der Rezeptor in die 2D-Repräsentation übernommen. Die Werte zwischen 0 und 1 stehen zur weiteren Auswertung zur Verfügung, sind aber momentan nicht im Gebrauch.
Im Schritt 11 der 2 wird die Projektion der Rezeptoren durchgeführt.
Schritt 11 wird für jeden Rezeptor, der sich durch die Prüfung im Graphen befindet, getrennt (und u. U. parallel) durchgeführt. Dabei wird zuerst der Rezeptorreferenzpunkt p ³ in die Bildmatrix als p ² projiziert. p 2 = P(R p 3 + t)
Matrix R ist die o. g. Rotationsmatrix, t der Vektor vom Ursprung des Kamerakoordinatensystem zum Ursprung des Modellkoordinatensystem in der Szene (Translationsvektor). Matrix P ist die Projektionsmatrix oder Kameramodell:
Dabei ist f die Brennweite der Kamera, f_sx und f_sy die Auflösung der Kamera in Pixel pro mm. p ² ist ein homogener Vektor (u, v und Skalierung) in Pixeln relativ zum Kamerahauptpunkt. Dieser wird entsprechend in die Pixelkoordinaten x und y umgerechnet.
Anschließend wird die Projektionsfunktion des Rezeptors aufgerufen, die die rezeptorspezifischen Daten projiziert. Ein Beispiel dafür ist ein Kantenrezeptor, dessen Anfangs- und Endpunkte im 3-D am Modell definiert sind und durch diese Funktion in gleicher Weise wie der Referenzpunkt in die Bildmatrix projiziert werden.
Im Schritt 12 erfolgt die Speicherung der 3D-Punkte. Es wird eine Liste von Hypothesen-Punkten im 3-D angelegt, wobei ein oder mehrere Punkte pro Rezeptoren in einer definierten Reihenfolge gespeichert werden. Der Rezeptorreferenzpunkt jedes Rezeptors ist immer in der Liste zu finden, weitere Punkte sind optional. Der Kantenrezeptor speichert noch die Anfangs- und Endpunkte zusätzlich.
In Schritt 13 wird die Graph-Erzeugung implementiert. Aus der Punktwolke der in die Bildmatrix projizierten Punkte wird, falls das für das folgende Matching-Verfahren nötig ist, ein Graph durch Tesselation erzeugt. Das verwendete Verfahren ist bekannt und in folgendem Artikel beschrieben: Watson, D.F., 1981, Computing the n-dimensional Delaunay tessellation with application to Voronoi polytopes: The Computer J., 24(2), p. 167–172.
Im Schritt 14 wird das 2D-Matching durchgeführt, wobei entweder das Elastic-Graph-Matching Verfahren von Prof. v.d. Malsburg durchgeführt oder ein anderes Verfahren ähnlicher Zielsetzung. Ein solches Verfahren wurde von uns implementiert, das spezielle Eigenschaften aufweist, die mit dem Tracking des Objektes im Zusammenhang steht. Durch das Verfahren muss die bestmögliche Lage des gesuchten Merkmals in der Nähe der Startposition gefunden werden, wobei ein Tradeoff zwischen Merkmalsgüte und Abweichung von der gegebenen Graph-Konfiguration wünschenswert ist. In diesem Schritt ist es deshalb nötig, eine irgendwie geartete Abtastung des Bildes mit der Applikationsfunktion des Rezeptors durchzuführen. Jeder abgetasteten Position wird die Match-Güte der Applikationsfunktion zugeordnet, so dass die günstigste Lage bestimmt werden kann.
Am Beispiel des Kantenrezeptors wird nun gezeigt, wie die Merkmalsanforderung funktioniert. Dazu wird dessen Algorithmus als Pseudocode gegeben:
req=Wurzel des Vorverarbeitungsbaums(5.a)
req=FordereAn(req,KantenBild,schwelle=10,sigma=1)(5.b)
req=FordereAn(req,DistanzBild,MaximaleDistanz=100)(5.c)
bild=BildAusBaum(req)(5.d)
BestimmeChamferDistanzEntlangDerLinie(bild,linie)(5.e)
Von der Bildaufnahme (Block 1) bis zum Beginn von 5b ist der Vorverarbeitungs-Cache nur mit dem Originalbild belegt.
Gemäß des Pseudocodes 5a (siehe 5.a) wird der Zeiger req auf die Wurzel des Baums gesetzt.
In der Anforderung (5.b) (s. 5b) wird festgestellt, dass es noch keinen Knoten des Typs Kantenbild mit den o. g. Parametern gibt. Dann wird dieser mittels der registrierten Routine zur Berechnung eines Kantenbildes erzeugt.
(5.c) erzeugt auf gleiche Weise das Distanzbild (s. 5c).
(5.d) liest das Bild aus req aus und (5.e) berechnet die Güte des Merkmals, indem es den mittleren Abstand (in Pixeln) zu einer Bildkante bestimmt. Die Werte werden dazu direkt aus dem Kantenbild entnommen. Dazu wird auf die 5d und 5e verwiesen.
Bei der Schätzung der nächsten Position wird der Baum-Iterator (req) in (5.a) wieder an die Wurzel gesetzt, und in (5.b) und (5.c) ohne Berechnung weiterbewegt.
Andere Rezeptoren, die im Modell hinterlegt sind, können diesen Baum noch erweitern, wie der freie Platz auf der rechten Seite der 5e andeuten soll.
Im Schritt 15 der 2 erfolgt die Speicherung der 2D-Punkte. Die Punkte p ² nach dem Matching-Schritt werden in gleichen Reihenfolgen wie in (12) in einer Liste abgelegt. Dabei ist darauf zu achten, dass die Synchronität beider Listen gewährleistet bleibt, um keine Inkonsistenzen beim Matching zu erzeugen.

Claims

Verfahren zur modellbasierten Klassifikation und/oder Zielerkennung eines Objektes, das folgende Schritte umfasst: a) Aufzeichnen eines Bildes eines Objektes, b) Bestimmen eines Merkmals, das ein Teil des Objektes darstellt, c) Bestimmen von mindestens einer Bedingung, die mit dem Merkmal verknüpft ist und die die Anwendbarkeit des Merkmals bezüglich folgender Informationen anzeigt: c1) Verdeckung durch Teile des erkannten Objektes, und/oder c2) Aktuelle Beleuchtungssituation, und/oder c3) Uhrzeit zum Zeitpunkt der Bildaufnahme, und/oder c4) Bewegungsinformation des erkannten Objektes, und/oder c5) Bewegungsinformation anderer Objekte, und/oder c6) Position und Orientierung des erkannten Objektes nach zumindest einer der folgenden Kriterien: c6.1) zur Bildaufnahme-Einrichtung und/oder der die Bildaufnahme-Einrichtung tragenden technischen Einrichtung, und/oder c6.2) zu mit dem vorliegenden Verfahren klassifizierten und lokalisierten Objekten, und/oder c6.3) zu mit anderen Verfahren klassifizierten und/oder lokalisierten Objekten, und/oder c6.4) zu ortsfesten Einrichtungen d) Durchführen der Klassifikation und/oder Zielerkennung des Objekts durch die Erfassung des Merkmals, falls die Bedingung die Anwendbarkeit des Merkmals anzeigt.
Verfahren nach Anspruch 1, wobei Schritt b) das Bestimmen einer Vielzahl an Merkmalen umfasst, wobei Schritt c) das Bestimmen von mindestens einer Bedingung für jedes der Merkmale umfasst, und wobei Schritt d) die Klassifikation und/oder Zielerkennung des Objekts durch die Erfassung der Vielzahl an Merkmalen umfasst.
Verfahren nach Anspruch 1 oder 2, wobei der Algorithmus der mindestens einen Bedingung beliebig frei programmierbar ist.
Verfahren nach einem oder mehreren der Ansprüche 1-3, wobei die Bedingung gewählt wird aus einer Gruppe bestehend aus: Geometrie des Objektes, Entfernung des Objekts von einer Kamera, Beleuchtungsverhältnisse, Kontrast, Geschwindigkeit des Objekts, Höhe des Objekts, und relative Stellung des Objekts zu einer Kamera.
Verfahren nach einem oder mehreren der Ansprüche 1-4, das weiterhin mindestens einen Schritt zur Vorverarbeitung für die Erfassung eines bestimmten Merkmals umfasst, und wobei vor der Vorverarbeitung für das bestimmte Merkmal eine Überprüfung erfolgt, ob die Vorverarbeitung für das bestimmte Merkmal im Zusammenhang mit einem anderen Merkmal erfolgt ist und falls ja, die Verwendung der Vorverarbeitung des anderen Merkmals für das bestimmte Merkmal.
Verfahren nach Anspruch 5, wobei die durchgeführten Vorverarbeitungen in einem Cache-Speicher abgelegt werden.
Verfahren nach Anspruch 5 oder 6, wobei das Merkmal "linke Kante" oder "rechte Kante" eines Objektes ist, und wobei jedes dieser Merkmale die Vorverarbeitung "Kantenbild" umfasst.
Verfahren nach einem oder mehreren der Ansprüche 5-7, wobei alle wiederverwendungswürdige Vorverarbeitungsschritte in der Reihenfolge der Erstellung abgespeichert werden.
Verfahren nach einem oder mehreren der Ansprüche 6-8, wobei der Cache nicht in der Art der Vorverarbeitung beschränkt ist.