DE4205056A1

DE4205056A1 - Verfahren und system zum abtasten einer szene zu dem zweck des klassifizierens einer mehrzahl von sich bewegenden objekten

Info

Publication number: DE4205056A1
Application number: DE4205056A
Authority: DE
Inventors: Nahum Shahaf; Moshe Meidan
Original assignee: Israel Aircraft Industries Ltd
Current assignee: Israel Aircraft Industries Ltd
Priority date: 1991-02-19
Filing date: 1992-02-19
Publication date: 1992-09-03
Also published as: IL97290A; US5309159A

Description

Die vorliegende Erfindung betrifft generell die Klassifizierung von Objekten, und zwar insbesondere die Klassifizierung von Ob jekten in einem weiten Blickfeld.

In der Technik sind verschiedene Verfahren zum Klassifizieren von Objekten in einem Blick- oder Sichtfeld bekannt. Typischer weise überstreicht ein Sensorsystem irgendeiner geeigneten Art, wie beispielsweise ein CCD-Detektor und dessen zugehörige Optik oder ein Nachtsichtsystem, ein weites Blick- oder Sichtfeld (das nachstehend auch abgekürzt als FOV entsprechend den engli schen Worten "Field of View" bezeichnet wird), während es die ses Blick- oder Sichtfeld kontinuierlich abtastet. Ein indivi duelles Betrachtungsfeld (das nachstehend auch abgekürzt als FOR entsprechend den englischen Worten "Field of Regard" be zeichnet wird) wird einmal pro Umdrehung oder Überstreichung, Durchlauf, Schwenkung o. dgl. abgetastet, wobei ein individuel les Betrachtungsfeld die Szene ist, welche mittels des Sensor systems in einem gegebenen Augenblick detektierbar ist. Das Er gebnis des Abtastens eines individuellen Betrachtungsfelds zu einer gegebenen Zeit erzeugt Positionsmessungen, die sich auf die Objekte in dem Betrachtungsfeld beziehen.

Irgendein stationäres Objekt in dem individuellen Betrachtungs feld kann leicht klassifiziert werden, da es bei jeder Abta stung dieses Betrachtungsfeldes an demselben Ort erscheint.

Sich bewegende Objekte jedoch sind schwieriger zu klassifizie ren, da sich ihre Orte in dem Betrachtungsfeld zwischen den Ab tastungen des Betrachtungsfelds ändern. Außerdem ist es, wenn eine Anzahl von sich bewegenden Objekten in dem Betrachtungs feld vorhanden ist, ein nichttriviales Problem, zu definieren oder zu bestimmen, welche der Messungen zu dem einen sich bewe genden Objekt gehört, und welche zu einem anderen sich bewegen den Objekt gehört. Diese Mehrdeutigkeit entsteht deshalb, weil die Zeit zwischen den Abtastungen eines Betrachtungsfelds, wel che als die Wiedersehzeit bekannt ist, im Vergleich zu der Be wegungsgeschwindigkeit der Objekte typischerweise lang ist.

Eine mögliche Lösung besteht darin, die Überstreichungsrate bzw. -geschwindigkeit zu erhöhen, um die Wiedersehzeit zu ver mindern. Unglücklicherweise erzeugt eine schnelle Überstrei chungsrate bzw. -geschwindigkeit typischerweise niedrige Sig nal-zu-Rauschen-Verhältnisse (die nachstehend abgekürzt auch als SNR entsprechend dem englischen Ausdruck "Signal to Noise Ratio" bezeichnet werden) und kann die Messungen verschmieren, verwischen, undeutlich machen oder dergleichen. Das erzeugt ein unannehmbar hohes Niveau von Messungen, welche nicht zu einem wahren, sich bewegenden Objekt gehören; solche Messungen sind als Fehl- oder Falschmessungen oder Fehl- bzw. Falschalarme be kannt. Weiterhin ergibt sich aufgrund der schnellen Überstrei chungsrate bzw. -geschwindigkeit für einige der Abtastungen des individuellen Betrachtungsfelds keine Messung des sich bewegen den Objekts, obwohl das Objekt vorhanden war. Das hat eine Ver minderung der Wahrscheinlichkeit einer Detektion von sich bewe genden Objekten zur Folge.

Die Klassifizierung und Bahnverfolgung von einer Mehr- oder Vielzahl von Zielen ist in der Technik als Vielfachzielbahnver folgung bekannt (diese wird nachstehend auch abgekürzt als MTT entsprechend dem englischen Ausdruck "Multiple Target Tracking" bezeichnet), und sie hat eine Anzahl von Anwendungen, und zwar sowohl militärischer als auch nichtmilitärischer Art. Die mili tärischen Anwendungen umfassen ausgeklügelte Waffenabschußsy steme und Satellitenüberwachung, und die nichtmilitärischen An wendungen umfassen Luftverkehrskontrolle und/oder -steuerung. MTT ist z. B. in dem Buch "Multiple-Target Tracking with Radar Applications" von Samuel S. Blackman, herausgegeben von Artech House, Inc., Dedham, Ma., USA, 1986 beschrieben.

Aufgabe der vorliegenden Erfindung ist es insbesondere, ein Sy stem und ein Verfahren zum Klassifizieren von sich bewegenden Objekten durch mehrmaliges Abtasten einer Szene und durch Kom binieren der Positionsinformationen von den mehrfachen Detek tionen zu Bewegungsinformationen zur Verfügung zu stellen.

Es wird daher gemäß einer bevorzugten Ausführungsform der vor liegenden Erfindung ein Verfahren zum Abtasten einer Szene für den Zweck des Klassifizierens einer Mehrzahl von sich bewegen den Objekten, die sich in der Szene befinden und eine mittlere Entfernung zwischen sich haben, zur Verfügung gestellt. Das Verfahren umfaßt die Verfahrensschritte des Ausführens eines Überstreichens der Szene; des Erzeugens, während des Überstrei chens, einer Mehr- oder Vielzahl von Detektionen von wenigstens einem Teil der Szene mit einer derartigen Rate oder Geschwin digkeit, daß eine Entfernung, welche von den sich bewegenden Objekten zwischen den Detektionen durchlaufen wird, klein in Bezug auf die mittlere Entfernung ist; und des Berechnens, aus den mehrfachen oder vielfachen Detektionen, von zweidimensiona len Bewegungsinformationen für wenigstens einige der sich bewe genden Objekte.

Weiterhin umfaßt gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung der Verfahrensschritt des Berechnens den Verfahrensschritt des Erzeugens eines Geschwindigkeitsvektors generell für jedes sich bewegende Objekt.

Darüberhinaus werden gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung die Verfahrensschritte des Ausfüh rens, Erzeugens und Berechnens eine Mehrzahl von Malen wieder holt. Das Verfahren umfaßt außerdem bevorzugt den Verfahrens schritt des Vorhersagens der erwarteten Orte von zweiten Ge schwindigkeitsvektoren eines zweiten Überstreichens, welches auf ein erstes Überstreichen folgt, aus ersten Geschwindig keitsvektoren des ersten Überstreichens.

Außerdem wird gemäß einer bevorzugten Ausführungsform der vor liegenden Erfindung ein Verfahrensschritt des Vergleichens und/oder Zusammenpassens der ersten Geschwindigkeitsvektoren des ersten Überstreichens mit den zweiten Geschwindigkeitsvek toren des zweiten Überstreichens einbezogen.

Weiter umfaßt gemäß einer bevorzugten Ausführungsform der vor liegenden Erfindung der Schritt des Vergleichens und/oder Zu sammenpassens den Schritt des Erzeugens von Vorwärtstoren, wel che den ersten Geschwindigkeitsvektoren entsprechen. Es können auch Rückwärtstore, welche den zweiten Geschwindigkeitsvektoren entsprechen, erzeugt werden. Das vorgenannte "Zusammenpassen" kann insbesondere ein "passendes Verbinden" der Geschwindig keitsvektoren beinhalten oder sein.

Zusätzlich umfaßt gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung der Verfahrensschritt des Vergleichens und/oder Zusammenpassens den Verfahrensschritt des Definierens eines Zusammenpassens, wenn ein zweiter Geschwindigkeitsvektor in einem Vorwärtstor eines ersten Geschwindigkeitsvektors ist und der erste Geschwindigkeitsvektor in einem Rückwärtstor des zweiten Geschwindigkeitsvektors ist. Der Verfahrensschritt des Vergleichens und/oder Zusammenpassens (das auch ein Aufeinan derabstimmen beinhalten oder sein kann) wird ausgeführt, nach dem der Verfahrensschritt des Erzeugens eines Geschwindigkeits vektors ausgeführt worden ist.

Außerdem wird gemäß einer bevorzugten Ausführungsform der vor liegenden Erfindung der Verfahrensschritt des Ausführens eines Überstreichens in einer schrittartigen Weise ausgeführt.

Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfin dung wird weiterhin ein System zum Abtasten einer Szene für den Zweck des Klassifizierens einer Mehrzahl von sich bewegenden Objekten, die sich darin befinden, zur Verfügung gestellt, wo bei das System folgendes umfaßt: ein Sensorsystem zum Abtasten von wenigstens einem Teil der Szene; eine Motoreinrichtung zum Überstreichen der Szene mittels des Sensorsystems; eine Sensor betätigungs- bzw. -betriebseinrichtung zum Erzeugen einer Mehr zahl von Detektionen von wenigstens einem Teil der Szene mit einer solchen Rate oder Geschwindigkeit, daß eine von den sich bewegenden Objekten zwischen den Detektionen durchlaufene Ent fernung mit Bezug auf die mittlere Entfernung klein ist; und eine Prozessoreinrichtung zum Erzeugen, aus den mehrfachen oder vielfachen Detektionen, von zweidimensionalen Bewegungsinforma tionen für wenigstens einige der sich bewegenden Objekte.

Zusätzlich gibt die Sensorbetätigungs- oder -betriebseinrich tung gemäß einer bevorzugten Ausführungsform der Erfindung zunächst dem Sensorsystem an, daß es einen ersten Teil der Szene eine Mehr- oder Vielzahl von Malen abtastet, und später bewegt sie das Sensorsystem dahingehend, daß es nach einem zweiten, unterschiedlichen Teil der Szene zu zielt.

Weiterhin ist das Sensorsystem gemäß einer bevorzugten Aus führungsform der vorliegenden Erfindung ein solches aus der folgenden Gruppe: Nachtsichtsysteme, Vidicon-Kameras oder CCD- Kameras. Alternativ kann das Sensorsystem ein FLIR-System sein, welches vorzugsweise eine Einrichtung zum internen Abtasten aufweist (wobei ein FLIR-System ein nach vorwärts gerichtetes oder schauendes Infrarotsystem ist).

Schließlich arbeitet gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung die Motoreinrichtung in einer schrittweisen Art.

Die vorstehenden sowie weitere Vorteile und Merkmale der Erfin dung seien nachfolgend in Verbindung mit den Figuren der Zeich nung anhand von bevorzugten Ausführungsformen des erfindungsge mäßen Verfahrens und Systems näher beschrieben und erläutert; es zeigen:

Fig. 1 eine teilweise bildliche und teilweise in Block darstellung gezeigte Veranschaulichung eines Systems zum Klas sifizieren von sich in einer Szene bewegenden Objekten, das ge mäß einer bevorzugten Ausführungsform der vorliegenden Erfin dung aufgebaut ist und nach einer Ausführungsform des erfin dungsgemäßen Verfahrens arbeitet;

Fig. 2A und 2B Veranschaulichungen von Messungen, die durch das System der Fig. 1 beim Betrachten einer identischen Szene während zwei aufeinanderfolgenden Zeitdauern erzeugt wor den sind, und weiterhin umfassen die Fig. 2A und 2B die Kom bination der jeweiligen Messungen zu zwei zusammengesetzten Bildern;

Fig. 3 eine Veranschaulichung der Überlagerung der beiden zusammengesetzten Bilder der Fig. 2A und 2B;

Fig. 4 eine Veranschaulichung eines Ablaufdiagramms eines Verfahrens der Fehlerextrapolation, das gemäß der vorliegenden Erfindung arbeitet und wirksam ist;

Fig. 5 eine Veranschaulichung, die für das Verständnis der Berechnungen gemäß dem Ablaufdiagramm der Fig. 4 hilfreich ist; und

Fig. 6 eine Veranschaulichung von Messungen aus drei auf einanderfolgenden Zeitdauern, die für das Verständnis der Be rechnungen der Beschleunigung des sich bewegenden Objekts hilfreich ist.

In der nun folgenden detaillierten Beschreibung und Erläuterung von bevorzugten Ausführungsformen des Verfahrens und des Sy stems gemäß der Erfindung sei zunächst auf Fig. 1 Bezug genom men, welche ein System der vorliegenden Erfindung veranschau licht. Das System umfaßt ein Sensorsystem 10 zum Detektieren von Objekten, die sich innerhalb eines abzutastenden Bereichs 12 bewegen, und ein typischerweise wenigstens eine Linse umfas sendes optisches System 14 zum Fokussieren von Licht auf das Sensorsystem 10 und zum Definieren eines Betrachtungsfelds (FOR) 16, welches das Sensorsystem 10 in jedem gegebenen Augen blick detektieren kann. Der Bereich 12 kann ein Bereich sein, welcher einen Teil oder die Gesamtheit des Umfangs eines Krei ses bildet. Das Sensorsystem 10 wird typischer- bzw. vorzugs weise über ein Motorsystem 17 um eine Achse 18 gedreht, welche das Zentrum des Bereichs 12 bildet.

Das Sensorsystem 10 kann irgendeine Art von Positions- und/oder Richtungssensorsystem sein, welches typischerweise dazu benutzt wird, einen Bereich 12 in einer periodischen Art und Weise ab zutasten. Beispiele von Sensorsystemen sind nach vorwärts schauende oder gerichtete Infrarotsysteme (FLIR-Systeme), Nachtsichtsysteme, Vidicon-Kameras und/oder Ladungsgekoppelte- Einrichtungs(CCD)-Kameras. Andere Sensorsysteme umfassen Rönt genstrahlen- oder Gammastrahlensensoren oder Positionsschallsensoren. Das Betrachtungsfeld (FOR) ist im allgemeinen ein rechteckiges Blick- oder Sichtfeld (FOV).

Der Bereich 12 wird typischerweise in eine Mehr- oder Vielzahl von Abtastbereichen 20 von der Größe des Betrachtungsfelds (FOR) 16 unterteilt. Die Abtastbereiche 20 können einander be nachbart sein, wie in Fig. 1 gezeigt ist, oder sie können von einander weg gespreizt oder im Abstand voneinander angeordnet sein.

Der Bereich 12 wird typischerweise für den Zweck des Detektie rens und Klassifizierens von sich bewegenden und stationären Objekten 22 bzw. 24 abgetastet. In Abhängigkeit von der jewei ligen Anwendung können die Objekte 22 und 24 Fahrzeuge bzw. Landfahrzeuge, Schiffe, Flugzeuge oder irgendwelche anderen Ob jekte sein, von denen es gewünscht wird, daß deren Bewegung in ihrer Bahn verfolgt wird.

Um den Bereich 12 abzutasten, hält das Motorsystem 17 typi scherweise das Sensorsystem 10 lange genug in einer gegebenen Position an, so daß das Sensorsystem 10 in einen Abtastbereich 20 "starren" kann. Demgemäß ist das Motorsystem 17 typischer weise irgendein geeignetes Motorsystem, welches in einer schrittweisen Art arbeiten kann, wie beispielsweise ein Schrittmotor.

In Fig. 1 ist das Sensorsystem 10 in dem Zustand gezeigt, in welchem es in einen Abtastbereich starrt, der mit 28 bezeichnet ist. Während der Zeit des Starrens detektiert das Sensorsystem 10 mit einer schnellen Rate oder Geschwindigkeit wiederholt den Bereich 28, so daß es dadurch eine Mehr- oder Vielzahl von Mes sungen 30 des Bereichs 28 erzeugt. Gemäß der vorliegenden Er findung ist die Detektionsrate oder -geschwindigkeit ziemlich schnell bezüglich der mittleren erwarteten Geschwindigkeit der sich bewegenden Objekte 22.

Die Messungen 30 des Bereichs 28 sind typischerweise Bilder, und sie sowie ihre Meßzeit werden in einem Prozessor 32, wie beispielsweise einem Personalcomputer (PC) gespeichert. Die Messungen werden verarbeitet, und zwar typischerweise unter Verwendung einer Bildverarbeitungsschaltung und/oder eines Bildverarbeitungsprogramms, wie es beispielsweise die Bildver arbeitungsschaltung VS100 ist, welche von der Firma Imaging Technology Inc. von Woburn, Massachusetts in USA hergestellt wird, und diese Verarbeitung der Messungen dient dazu, zweidi mensionelle Objektortskoordinateninformationen zu erzeugen, die hier auch als eine "Detektion" bezeichnet werden.

Da sich das Objekt 22 in dem abgetasteten Bereich 28 bewegt, verändert sich dessen Ort in dem Abtastbereich 28. Zum Beispiel befindet sich das Objekt 22 bei einer Messung 30a, die eine er ste Messung sei, an einem ersten Ort, der sich im unteren lin ken Bereich des Bilds befindet. Wenn eine letzte Messung 30d ausgeführt wird, hat sich das Objekt 22 beispielsweise zu einem Ort bewegt, der sich im unteren rechten Bereich des Bilds be findet. Die Detektionen des Objekts 22 sind typischerweise die Koordinaten der Orte der Mitte oder des Zentrums des Objekts 22.

Am Ende der Zeit, während der das System in ein vorbestimmtes Betrachtungsfeld starrt (diese Zeit wird nachstehend auch als "Betrachtungs- oder Starrzeit" bezeichnet), dreht das Motorsy stem 17 das Sensorsystem 10 um die Achse 18 zu einem neuen ab zutastenden Bereich 34, der z. B., wie dargestellt, dem abgeta steten Bereich 28 benachbart ist. Das Sensorsystem 10 erzeugt nun einen Satz von Messungen des abgetasteten Bereichs 34, wel che Messungen mit dem Bezugszeichen 36 versehen sind. Die Mes sungen 36 und ihre Meßzeit werden auch in dem Prozessor 32 ge speichert.

Auf diese Art und Weise tastet das Sensorsystem 10 den gesamten Bereich 12 ab. Nach einer vorbestimmten Wiedersehzeit, welche typischerweise länger ist als beim Stand der Technik, kehrt das Sensorsystem 10 zu dem abgetasteten Bereich 28 zurück und ta stet ihn in der vorstehend beschriebenen Art und Weise erneut ab. Gemäß der vorliegenden Erfindung, und wie weiter unten in näheren Einzelheiten beschrieben ist, zeigen die Informationen, die aus der ersten Abtastung herausgelesen bzw. gewonnen worden sind, dem System generell, wohin sich die sich bewegenden Ob jekte in dem abgetasteten Bereich 28 während der Zeit, in wel cher das Sensorsystem 10 den Bereich 28 nicht detektiert hat, bewegt haben.

Es sei nun auf die Fig. 2A und 2B Bezug genommen, welche eine Mehrzahl von Messungen 50 und 52 veranschaulichen, die während zwei aufeinanderfolgender Betrachtungs- oder Starrzei ten irgendeines abgetasteten Bereichs 20 erzeugt worden sind. Es sind zwei Messungen 50 und zwei Messungen 52 veranschau licht. Es sei jedoch darauf hingewiesen, daß zwei Messungen pro Betrachtungs- oder Starrzeit ein Minimum sind.

In den Messungen 50 und 52 ist eine Mehrzahl von Detektionen 51 enthalten, die als Punkte dargestellt sind, wobei einige dieser Detektionen von einem sich bewegenden Objekt empfangen worden sind, während einige der Detektionen Fehl- oder Falschdetektio nen sind, die aufgrund von Rauschen entstehen. Wie es an sich bekannt ist, ist es möglich, zu identifizieren, welche Detek tionen 51 wahre oder echte Detektionen sind, und welche falsche oder fehlerhafte Detektionen sind, und zwar geschieht das da durch, daß man gerade nach einer der Messungen 50 oder 52 sieht bzw. eine dieser Messungen genauer in Augenschein nimmt.

Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfin dung werden die Messungen einer gegebenen Betrachtungs- oder Starrzeit miteinander zu einer Kombinationsmessung kombiniert. Demgemäß werden die Messungen 50 miteinander kombiniert, um eine Kombinationsmessung 54 zu erzeugen, und die Messungen 52 werden miteinander kombiniert, um eine Kombinationsmessung 56 zu erzeugen.

Da die Messungen während einer gegebenen Betrachtungs- oder Starrzeit in enger zeitlicher Aufeinanderfolge erzeugt werden, hat sich irgendein sich bewegendes Objekt zwischen den Messun gen nur um einen sehr kleinen Betrag bewegt. Demgemäß sind in den Kombinationsmessungen 54 und 56 die Detektionen 51 eines wahren oder echten sich bewegenden Objekts sehr nahe aneinan der. Beispielsweise sind die mit den Bezugszeichen 53a und 53b versehenen Detektionen in der Kombinationsmessung 54 höchst wahrscheinlich Detektionen von zwei sich bewegenden Objekten, und die Detektionen 55a, 55b und 55c in der Kombinationsmessung 56 sind höchstwahrscheinlich Detektionen von drei sich bewegen den Objekten.

Die Fehl- oder Falschdetektionen andererseits sind zufällig um hergestreut, und die Wahrscheinlichkeit ist gering, daß zwei Fehl- oder Falschdetektionen von zwei aufeinanderfolgenden Mes sungen nahe aneinander genug sind, um als ein sich bewegendes Objekt identifiziert zu werden.

Die Detektionen 53 und 55 werden durch Standard-MTT-Korrela tionstechniken identifiziert. Diese und andere Standard-MTT- Techniken sind in näheren Einzelheiten in dem Buch "Multiple- Target Tracking with Radar Applications" von Samuel S. Black man, publiziert von Artech House, Inc., Dedham, Ma., USA, 1986 beschrieben, welches Buch durch diese Bezugnahme mit zum Offen barungsinhalt der vorliegenden Anmeldung gemacht wird.

Im einzelnen wird für jede Detektion 51 einer ersten Messung 50 ein Tor definiert, innerhalb dessen eine Detektion 51 von der zweiten Messung 50 zu finden sein muß. Wenn eine Detektion 51 innerhalb des Tors gefunden wird, wird die Detektion als eine solche von demselben sich bewegenden Objekt betrachtet. Eine entsprechende Operation findet mit den Messungen 52 statt.

Da die Zeit zwischen der Mehr- oder Vielzahl von Messungen 50 und zwischen der Mehr- oder Vielzahl von Messungen 52 klein ist, ist das verwendete Tor klein mit Bezug auf Tore, die beim Stand der Technik verwendet werden, und daher ist die Wahr scheinlichkeit, daß zwei Fehl- oder Falschmessungen als ein sich bewegendes Objekt identifiziert werden, klein bzw. gering. Es sei darauf hingewiesen, daß die Wahrscheinlichkeit des Identifizierens von Fehl- oder Falschmessungen als sich bewegende Objekte in hohem Maße mit einer zunehmenden Anzahl von Messun gen pro Betrachtungs- oder Starrzeit abnimmt.

Wenn die Detektionen 53 und 55 einmal identifiziert worden sind, werden die übrigen Detektionen, welche nun als falsch oder fehlerhaft definiert sind, für den Rest der Berechnungen ignoriert.

Jede der Detektionen 53a, 53b, 55a, 55b und 55c definiert einen Geschwindigkeitsvektor, diese Geschwindigkeitsvektoren, die mit den Bezugszeichen 57a, 57b, 58a, 58b und 58c bezeichnet sind, geben die Richtung und Geschwindigkeit der Bewegung des sich bewegenden Objekts an. Die Geschwindigkeitsvektoren 57 und 58 geben Informationen, welche sich auf die wahrscheinliche Posi tion des sich bewegenden Objekts in der nächsten Betrachtungs- oder Starrzeit wie auch in der vorhergehenden Betrachtungs- oder Starrzeit beziehen, und demgemäß machen sie das Tor oder Fenster, das für die Identifizierung des nächsten Orts des sich bewegenden Objekts notwendig ist, gegenüber dem Stand der Tech nik schmal. Aus diesem Grund bilden die Geschwindigkeitsvekto ren 57 und 58 die Basiselemente für die Berechnungen der vor liegenden Erfindung.

Die Tatsache, daß ein Geschwindigkeitsvektor definiert werden kann, ist nicht genug zum Klassifizieren der sich bewegenden Objekte. Typischerweise ist es erwünscht, die Bewegung der sich bewegenden Objekte über eine lange Zeitdauer zu kennen und zu klassifizieren, daß die zu einer späteren Zeit gesehenen Ob jekte tatsächlich dieselben wie die zu einer früheren Zeit ge sehenen Objekte sind. Demgemäß ist es z. B. notwendig, zu klas sifizieren, daß die Detektion 55c eine spätere Detektion des selben Objekts ist, das durch die Detektion 53a ausfindig ge macht worden ist.

Geschwindigkeitsvektoren 57 werden dazu benutzt, den nächsten Ort des sich bewegenden Objekts vorherzusagen. Zu diesem Zweck wird ein Tor geöffnet, und zwar gemäß Standard-MTT-Techniken, indem die Geschwindigkeitsvektoren 57 und bekannte Messungen sowie Positionsdetektionsfehler verwendet werden. Das läßt sich durch die Betrachtung einer Überlagerung 60 der Kombinations messungen 54 und 56 verstehen, die in Fig. 3 gezeigt ist, wo rauf nun Bezug genommen wird.

Aus den Geschwindigkeitsvektoren 57a und 57b und aus bekannten Fehlern beim Definieren der Detektionen 51 und 53 können Vorwärts-Fehlerextrapolationskurven 70 und 72 definiert werden, und zwar gemäß Standard-MTT-Techniken, wobei diese Vorwärts- Fehlerextrapolationskurven 70 und 72 die Bereiche innerhalb des Abtastbereichs 30 definieren bzw. begrenzen, von denen vernünf tigerweise erwartet werden kann, daß sich die sich bewegenden Objekte innerhalb derselben während der Zeit zwischen zwei auf einanderfolgenden Betrachtungs- oder Starrzeiten, in welchen die zusammengesetzten Bilder 54 und 56 erzeugt worden sind, be wegt haben. In entsprechender Weise können Rückwärts-Fehlerex trapolationskurven 74, 76 und 78 aus Geschwindigkeitsvektoren 58a, 58b und 58c und bekannten Fehlern beim Definieren der De tektionen 51 und 55 definiert werden. Die Kurven 74, 76 und 78 definieren bzw. begrenzen Bereiche, aus denen die sich bewegen den Objekte, welche die Geschwindigkeitsvektoren 58 erzeugt ha ben, gekommen sind.

Zusätzlich können Tore 79 berechnet werden, welche die Bereiche innerhalb der Fehlerextrapolationskurven 70 bis 78 genauer de finieren, von denen erwartet wird, daß die Geschwindigkeitsvek toren 57 oder 58 innerhalb derselben gefunden werden.

Ein erster und zweiter Geschwindigkeitsvektor werden von dem selben sich bewegenden Objekt erzeugt, wenn der erste innerhalb des Tors der Vorwärts-Extrapolationskurve des zweiten ist und der zweite innerhalb des Tors der Rückwärts-Extrapolationskurve des ersten ist. Demgemäß ist aus Fig. 3 ersichtlich, daß die Geschwindigkeitsvektoren 57a und 58c von demselben Objekt fest gelegt werden, wie es auch bei den Geschwindigkeitsvektoren 57b und 58a der Fall ist.

Es sei nun auf Fig. 4 Bezug genommen, die ein Ablaufdiagramm des Fehlerextrapolationsverfahrens zum Vergleichen und/oder Zu sammenpassen der Geschwindigkeitsvektoren 57 und 58 miteinan der, wie hier oben beschrieben, veranschaulicht. Das Verfahren beginnt im Schritt 80 mit der Berechnung einer Mehrzahl von De tektionen 51 aus zwei aufeinanderfolgenden Messungen 50. Stan dardtechniken, wie hier oben erörtert, werden dazu benutzt, um Detektionen von einem einzelnen, sich bewegenden Objekt, wie z. B. die Detektionen 53 der Fig. 2A, zu definieren. Wenn mehr als zwei Messungen 50 verfügbar sind, werden alle von ihnen dazu benutzt, Detektionen 53 zu erzeugen. Die Fehl- oder Falschdetektionsdaten werden an dieser Stelle entfernt.

In Schritt 82 werden die Geschwindigkeitsvektoren 57 aus den Detektionen 53 des Schritts 80 wie folgt berechnet:

v_a=(r_2a-r_1a)/(t₂-t₁) (1)

worin v_a ein Geschwindigkeitsvektor ist, r_1a und r_2a sind Posi tionsvektoren für die beiden Detektionen 53, und t₁ und t₂ sind Betrachtungs- oder Starrzeiten für die Messungen 50. Gleichar tige Berechnungen werden für die anderen Geschwindigkeitsvekto ren ausgeführt. Für Systeme, in denen mehr als zwei Messungen angewandt werden, kann die Gleichung (1) dahingehend modifi ziert sein, daß ein geeigneter mittlerer Geschwindigkeitsvektor 57 erzeugt wird.

Im Schritt 84 beginnt eine Schleife für die Gesamtheit der Ge schwindigkeitsvektoren 57, die im Schritt 82 erzeugt worden sind.

Im Schritt 86 wird ein Vorwärtstor 79 gemäß Standard-MTT-Tech niken und unter Verwendung der Geschwindigkeitsvektoren 57 wie auch irgendeines bekannten Meßfehlers definiert. Wie es auf dem Fachgebiet bekannt ist, kann eine a priori Objektbeschleuni gungsinformation auch dazu benutzt werden, das Tor 79 zu defi nieren (es sei hier darauf hingewiesen, daß unter "definieren" hier auch begrenzen, festlegen o. dgl. u. a. verstanden werden kann).

Es sei nun kurz auf Fig. 5 Bezug genommen, welche das Vor wärtstor 79 der vorliegenden Erfindung mit Vorwärtstoren des Standes der Technik vergleicht. Der Stand der Technik, der von einem Punkt 89 aus arbeitet und keine Richtungsinformation hat, definiert einen 360°-Kreis 87, von dem erwartet wird, daß in nerhalb desselben die nächste Detektion zu finden ist. Alterna tiv wird, wenn der Stand der Technik einige a priori Informa tionen hat, ein Abschnitt 91 des Kreises als das Tor definiert. Die vorliegende Erfindung andererseits benutzt den Geschwindig keitsvektor 57 dazu, dessen Tor 79 zu definieren. Da der Ge schwindigkeitsvektor Richtungs- und Geschwindigkeitsinformation enthält, ist der Bereich des Tors 79 viel kleiner und viel ge nauer als jedes der Tore nach dem Stande der Technik.

Es sei darauf hingewiesen, daß die vorliegende Erfindung typi scherweise eine längere Wiedersehzeit als der Stand der Technik hat. Das ist jedoch kein Problem, da es die Benutzung von zwei dimensionalen Geschwindigkeitsvektoren anstatt diejenige von eindimensionalen Positionen ermöglicht, eine genauere Vorher sage des Orts des sich bewegenden Objekts in der nächsten Be trachtungs- oder Starrzeit zu machen, selbst wenn die Wieder sehzeit zwischen den Betrachtungs- oder Starrzeiten lang ist.

Es sei nun wieder auf Fig. 4 Bezug genommen. In Schritt 88 werden die Messungen 52 empfangen. Es werden keine Berechnungen ausgeführt, bis wenigstens zwei Messungen 52 verfügbar sind. Dieses ist gegensätzlich zu MTT-Systemen nach dem Stande der Technik, welche Berechnungen über jede Messung ausführen, wenn diese empfangen worden ist. Wenn einmal zwei Messungen empfan gen worden sind, werden Standard-Techniken benutzt, um Detek tionen von einem einzelnen, sich bewegenden Objekt zu definie ren, wie z. B. die Detektionen 55 der Fig. 2B.

In Schritt 90 werden die Geschwindigkeitsvektoren 58 aus den Detektionen 55 des Schritts 88 gemäß der Gleichung (1) berech net.

Im Schritt 92 wird eine Überprüfung der Anzahl von Geschwindig keitsvektoren 58, die im Schritt 90 berechnet worden sind, aus geführt, dahingehend, welche innerhalb des Vorwärtstors 79, das im Schritt 86 berechnet worden ist, zu finden sind. Wenn nur ein Geschwindigkeitsvektor 58 gefunden wird, wie in dem Fall des Geschwindigkeitsvektors 58c mit Bezug auf den Geschwindig keitsvektor 57c (Fig. 3), dann wird der Geschwindigkeitsvektor 58 im Schritt 94 mit dem vorliegenden Geschwindigkeitsvektor 57 verglichen und/oder zusammengepaßt, und die Berechnungen der Schleife 84 werden für den nächsten Geschwindigkeitsvektor 57 wiederholt.

Wenn keine Geschwindigkeitsvektoren 58 in dem Tor 79 gefunden werden, dann wird der vorliegende Geschwindigkeitsvektor 57 als ein Fehl- oder Falschgeschwindigkeitsvektor definiert, und die Berechnungen der Schleife 84 werden für den nächsten Geschwin digkeitsvektor 57 wiederholt.

Wenn mehr als ein Geschwindigkeitsvektor 58 in dem Vorwärtstor 79 vorhanden ist, dann wird ein Rückwärtstor 79 im Schritt 96 für einen der Geschwindigkeitsvektoren im Tor 79 geöffnet. Wenn im Schritt 98 der vorliegende Geschwindigkeitsvektor 57 in dem Rückwärtstor 79 gefunden wird, dann geht das Verfahren weiter zum Schritt 94. Anderenfalls wird ein anderer Geschwindigkeits vektor 58, der im Vorwärtstor 79 gefunden worden ist, im Schritt 100 ausgewählt, und die Schritte 96 und 98 werden wie derholt, bis entweder ein Zusammenpassen erfolgt oder nicht mehr Geschwindigkeitsvektoren 58 übrig bleiben.

Wenn einmal alle der Geschwindigkeitsvektoren 57 mit ihren je weiligen Geschwindigkeitsvektoren 58 zusammengepaßt oder pas send verbunden sind, erfolgt eine Wiederholung des Verfahrens unter Verwendung der Geschwindigkeitsvektoren 58 als die an fänglichen Vektoren.

Es sei darauf hingewiesen, daß es dann, wenn eine Anzahl von Messungen 50 und 52 benutzt wird, möglich ist, Geschwindig keitsvektoren 57 und 58 zu berechnen, selbst wenn einige der Detektionen 51 fehlen. Es sei z. B. angenommen, daß fünf Messun gen 50 und 52 erzeugt werden. Wenn das sich bewegende Objekt während einer der Messungen nicht detektiert worden ist, kann der Geschwindigkeitsvektor noch aus den übrigen vier Messungen berechnet werden, und die Genauigkeit des Tors wird nicht be einträchtigt. Das ist ein robusteres Verfahren als bei den MTT- Systemen nach dem Stande der Technik, deren Genauigkeit beein trächtigt wird, wenn eine Detektion nicht verfügbar ist.

Es sei nun auf Fig. 6 Bezug genommen, die einen Abtastbereich 110 mit Informationen von drei aufeinanderfolgenden Betrach tungs- oder Starrzeiten veranschaulicht. Es sind sechs Ge schwindigkeitsvektoren 58d bis 58i dargestellt. Nimmt man an, daß gemäß dem Verfahren der Fig. 4 bestimmt worden ist, daß die Vektoren 58d bis 58f zu einem sich bewegenden Objekt O₁ ge hören und daß die Vektoren 58g bis 58i zu einem anderen sich bewegenden Objekt O₂ gehören, dann sieht man, daß die vorlie gende Erfindung dahingehend arbeitet, daß sie die Beschleuni gungen der beiden Objekte berechnet. Wie man aus Fig. 6 sieht, führt das Objekt O₁ eine sich beschleunigende Bewegung in einer Drehrichtung aus, während das Objekt O₂ eine sich verzögernde Bewegung in einer Translationsrichtung ausführt.

Die Zeit jedes Geschwindigkeitsvektors 58 ist als die mittlere Zeit der Detektionen 51, welche ihn erzeugt haben, definiert. Die Beschleunigung eines Objekts wird dann als die Differenz zwischen zwei aufeinanderfolgenden Geschwindigkeitsvektoren, geteilt durch die Differenz ihrer jeweiligen Zeiten, berechnet.

Es sei darauf hingewiesen, daß die Beschleunigungsberechnungen zwei oder mehr Geschwindigkeitsvektoren 58 pro Objekt erfor dern.

Wie oben erwähnt, kann die vorliegende Erfindung bei FLIR-Sen sorsystemen verwendet werden. Gemäß einer bevorzugten Ausfüh rungsform der vorliegenden Erfindung sind die FLIR-Systeme sol che, welche interne Abtastung mit einer hohen Rate oder Ge schwindigkeit derart haben, daß ein zweidimensionaler Bereich innerhalb eines kurzen Zeitraums abgetastet werden kann. In solchen Systemen ist die Zeit, in welcher eine Messung auf tritt, die mittlere Zeit, die zum Abtasten des Bereichs erfor derlich ist.

Es sei darauf hingewiesen, daß der Ausdruck "CCD" ladungsgekop pelte Einrichtungen oder Bausteine bezeichnet.

Selbstverständlich ist die Erfindung nicht auf die dargestell ten und/oder beschriebenen Ausführungsformen beschränkt, son dern sie läßt sich im Rahmen des Gegenstandes der Erfindung, wie er in den Patentansprüchen angegeben ist, sowie im Rahmen des allgemeinen Erfindungsgedankens, wie er den gesamten Unter lagen zu entnehmen ist, in vielfältiger Weise abwandeln und mit Erfolg ausführen.

Mit der Erfindung werden ein Verfahren und ein System zum Abta sten einer Szene für den Zweck des Klassifizierens einer Mehr zahl von sich bewegenden Objekten, die sich in der Szene befin den und eine mittlere Entfernung zwischen sich haben, zur Ver fügung gestellt, und zwar umfassend die Schritte des Ausführens eines Überstreichens der Szene; des Erzeugens während des Über streichens, einer Mehr- oder Vielzahl von Detektionen von we nigstens einem Teil der Szene mit einer Rate oder Geschwindig keit derart, daß eine von den sich bewegenden Objekten zwischen Detektionen durchlaufene Entfernung klein mit Bezug auf die mittlere Entfernung ist; und Berechnens, aus den mehreren oder vielen Detektionen, von zweidimensionaler Bewegungsinformation für wenigstens einige der sich bewegenden Objekte.

Claims

1. Verfahren zum Abtasten einer Szene für den Zweck des Klassifizierens einer Mehrzahl von sich bewegenden Objekten, die sich in der Szene befinden und eine mittlere Entfernung zwischen sich haben, wobei das Verfahren die folgenden Verfah rensschritte umfaßt:
Ausführen eines Überstreichens, Absuchens, Durchlaufens o. dgl. der Szene (12);
Erzeugen, während des Überstreichens, Absuchens, Durchlau fens o. dgl., einer Mehr- oder Vielzahl von Detektionen (53, 55) von wenigstens einem Teil (20) der Szene (12) mit einer Rate oder Geschwindigkeit derart, daß eine von den sich bewegenden Objekten (20) zwischen Detektionen durchlaufene Entfernung klein mit Bezug auf die mittlere Entfernung ist; und
Berechnen, aus den mehreren oder vielen Detektionen (53, 55), von zweidimensionaler Bewegungsinformation für wenigstens einige der sich bewegenden Objekte (22).

2. Verfahren nach Anspruch 1, dadurch gekenn zeichnet, daß der Verfahrensschritt des Berechnens den Verfahrensschritt des Erzeugens eines Geschwindigkeitsvektors (57, 58) generell für jedes sich bewegende Objekt (22) umfaßt.

3. Verfahren nach Anspruch 2, dadurch gekenn zeichnet, daß die Verfahrensschritte des Ausführens, Erzeugens und Berechnens eine Mehrzahl von Malen wiederholt werden, und daß das Verfahren außerdem den Verfahrensschritt des Vorhersagens, aus ersten Geschwindigkeitsvektoren von einem ersten Überstreichen, Absuchen, Durchlaufen o. dgl., der erwar teten Orte von zweiten Geschwindigkeitsvektoren von einem zwei ten Überstreichen, Absuchen, Durchlaufen o. dgl., welches auf das erste Überstreichen, Absuchen, Durchlaufen o. dgl. folgt, umfaßt.

4. Verfahren nach Anspruch 3, dadurch gekenn zeichnet, daß es den Verfahrensschritt des Verglei chens, Zusammenpassens, passend Verbindens, Aufeinanderabstim mens, o. dgl. der ersten Geschwindigkeitsvektoren von dem ersten Überstreichen, Absuchen, Durchlaufen o. dgl. mit den zweiten Ge schwindigkeitsvektoren von dem zweiten Überstreichen, Absuchen, Durchlaufen o. dgl. umfaßt.

5. Verfahren nach Anspruch 4, dadurch gekenn zeichnet, daß der Verfahrensschritt des Vergleichens, Zusammenpassens, passend Verbindens, Aufeinanderabstimmens o. dgl. den Verfahrensschritt des Erzeugens von Vorwärtstoren (70, 72) umfaßt, welche den ersten Geschwindigkeitsvektoren entsprechen.

6. Verfahren nach Anspruch 4 oder 5, dadurch ge kennzeichnet, daß der Verfahrensschritt des Ver gleichens, Zusammenpassens, passend Verbindens, Aufeinanderab stimmens o. dgl. den Verfahrensschritt des Erzeugens von Rück wärtstoren (74, 76, 78) umfaßt, welche den zweiten Geschwindig keitsvektoren entsprechen.

7. Verfahren nach Anspruch 4 oder 5, dadurch ge kennzeichnet, daß der Verfahrensschritt des Ver gleichens, Zusammenpassens, passend Verbindens, Aufeinanderab stimmens o. dgl. den Verfahrensschritt des Definierens eines Zu sammenpassens, wenn ein zweiter Geschwindigkeitsvektor in einem Vorwärtstor (70, 72) eines ersten Geschwindigkeitsvektors ist und der erste Geschwindigkeitsvektor in einem Rückwärtstor (74, 76, 78) des zweiten Geschwindigkeitsvektors ist, umfaßt.

8. Verfahren nach Anspruch 6, dadurch gekenn zeichnet, daß der Verfahrensschritt des Vergleichens, Zusammenpassens, passend Verbindens, Aufeinanderabstimmens o. dgl. den Verfahrensschritt des Definierens eines Zusammenpas sens, wenn ein zweiter Geschwindigkeitsvektor in einem Vor wärtstor (70, 72) eines ersten Geschwindigkeitsvektors ist und der erste Geschwindigkeitsvektor in einem Rückwärtstor (74, 76, 78) des zweiten Geschwindigkeitsvektors ist, umfaßt.

9. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, insbesondere nach Anspruch 4, dadurch gekenn zeichnet, daß der Verfahrensschritt des Vergleichens, Zusammenpassens, passend Verbindens, Aufeinanderabstimmens o. dgl. ausgeführt wird, nachdem der Verfahrensschritt des Er zeugens eines Geschwindigkeitsvektors (57, 58) ausgeführt wor den ist.

10. Verfahren nach einem oder mehreren der vorhergehenden Ansprüche, insbesondere nach Anspruch 1, dadurch gekenn zeichnet, daß der Verfahrensschritt des Ausführens ei nes Überstreichens, Absuchens, Durchlaufens, o. dgl. in einer schrittartigen Weise ausgeführt wird.

11. System zum Abtasten einer Szene für den Zweck des Klassifizierens einer Mehrzahl von sich bewegenden Objekten, die sich in der Szene befinden und eine mittlere Entfernung zwischen sich haben, wobei das System folgendes umfaßt:
ein Sensorsystem (10) zum Abtasten von wenigstens einem Teil (20) der Szene (12);
eine Motoreinrichtung (17) zum Durchlaufenlassen des Sen sorsystems (10) durch die Szene (12);
eine Sensorbetätigungs- oder -betriebseinrichtung zum Er zeugen einer Mehr- oder Vielzahl von Detektionen (53, 55) von wenigstens einem Teil (20) der Szene (12) mit einer Rate oder Geschwindigkeit derart, daß eine durch die sich bewegende Ob jekte (22) zwischen Detektionen durchlaufene Entfernung mit Be zug auf die mittlere Entfernung klein ist; und
eine Prozessoreinrichtung (32) zum Erzeugen, aus den meh reren oder vielen Detektionen (53, 55), von zweidimensionaler Bewegungsinformation für wenigstens einige der sich bewegenden Objekte (22).

12. System nach Anspruch 11, dadurch gekenn zeichnet, daß die Sensorbetätigungs- oder -betriebs einrichtung dem Sensorsystem (10) zunächst angibt, einen ersten Teil (28) der Szene (12) eine Mehr- oder Vielzahl von Malen ab zutasten, und später das Sensorsystem (10) dazu bewegt, daß es nach einem zweiten, unterschiedlichen Teil (34) der Szene (12) hinzielt.

13. System nach Anspruch 11 oder 12, dadurch ge kennzeichnet, daß das Sensorsystem (10) ein sol ches aus der folgenden Gruppe ist: Nachtsichtsysteme, Vidicon- Kameras oder CCD-Kameras.

14. System nach Anspruch 11, 12 oder 13, dadurch ge kennzeichnet, daß das Sensorsystem (10) ein FLIR- System (vorwärtsschauendes Infrarotsystem) ist.

15. System nach Anspruch 14, dadurch gekenn zeichnet, daß das FLIR-System eine Einrichtung zum in ternen Abtasten aufweist.

16. System nach Anspruch 11, 12 oder 13, dadurch ge kennzeichnet, daß das Sensorsystem (10) ein Posi tionsschalldetektor ist oder einen oder mehrere Positions schalldetektoren umfaßt.

17. System nach einem der Ansprüche 11 bis 16, dadurch gekennzeichnet, daß die Motoreinrichtung (17) in einer schrittweisen Art arbeitet.