-
Die vorliegende Erfindung bezieht sich auf die Erkennung von Objekten und insbesondere auf Techniken zur Fernerkennung und -messung von Objekten.
-
Es ist bekannt, dass elektromagnetische Strahlung verwendet wird, um das Vorhandensein von Objekten zu erkennen (z.B. von Hand gehaltene Detektoren, die zur Erkennung von Objekten auf oder unter dem Boden verwendet werden, und Durchgangsbögen auf Flughäfen).
-
Die herkömmlichen Detektoren, die auf Flughäfen eingesetzt werden, sind jedoch unter Umständen nicht in der Lage, die Abmessungen von Objekten in nennenswertem Umfang zu bestimmen, so dass sie möglicherweise nicht in der Lage sind, zwischen Objekten unterschiedlicher Art, d.h. zwischen harmlosen (Gürtelschnallen, Kameras) und potenziell gefährlichen (Pistolen, Messer), zu unterscheiden.
-
Das Aufspüren verborgener Waffen, insbesondere von Handfeuerwaffen, kann ein sehr großes Problem für Sicherheitsanwendungen darstellen, die derzeit ohne ein nicht tragbares System nicht überwacht werden können, z.B. Stichprobenkontrollen in einer städtischen Umgebung. Der Einsatz von Mikrowellen (elektromagnetische Wellen mit Wellenlängen im Bereich von Zentimetern bis Millimetern) kann ein Mittel zur distanzierten Erfassung und Identifizierung verborgener leitender Gegenstände wie Handfeuerwaffen und Messer sein. Große Metallgegenstände, wie z.B. Handfeuerwaffen, können bei Bestrahlung mit Mikrowellen niedriger Leistung eine deutlich andere und im Allgemeinen größere Reaktion ergeben als die des menschlichen Körpers, der Kleidung und/oder gutartiger, normal getragener Gegenstände. Die größere Reaktion kann mit einer Kombination aus Antenne und empfindlichem Empfänger erkannt werden.
-
Durch aktive Bestrahlung eines Objekts mit Mikrowellen- und/oder Millimeterwellenstrahlung über einen großen gewobbelten und/oder abgestuften Frequenzbereich kann der Frequenzgang des Rücklaufsignals den Bereich und/oder Informationen über die Abmessungen des Objekts liefern. Dieses Verfahren kann im Wesentlichen äquivalent zur Verwendung eines schnellen Mikrowellenimpulses und der Messung der Antwort als Funktion der Zeit sein, wie sie im konventionellen RADAR verwendet wird. Die Auswahl eines Teils des Rücklaufsignals innerhalb eines bestimmten Bereichs kann die positive Identifizierung des verdächtigen Objekts unterstützen und kann auch dazu beitragen, Hintergrundsignale zurückzuweisen. Die Analyse des Zeitverhaltens kann weitere Informationen über die Abmessungen des Ziels liefern. Diese Technik kann auch auf die Erkennung dielektrischer Schichten angewendet werden, wie z.B. einer Sprengstoffweste, die an einen Selbstmordattentäter geschnallt ist (siehe „Active millimeter wave detection of concealed layers of dielectric material“, Bowring N. J., Baker J. G., Rezgui N., Southgate M., Proceedings of the SPIE 6540-52 2007; und „A sensor for the detection and measurement of thin dielectric layers using reflection of frequency scanned millimetric waves“, Bowring N.J., Baker J.G., Rezgui N., Alder J.F. Meas, Set Technol 19 024004 (7pp) 2008). Solche Techniken wurden bisher jedoch nicht zur Erkennung und Messung von Metallobjekten eingesetzt.
-
Es wurde ein System vorgeschlagen, das auf dem RADAR mit Wobbelfrequenz basiert (
US 6359582 ,
US 6856271 und
US7450052 ). In den offenbarten Systemen kann die Frequenz typischerweise um 1 GHz um etwa 6 GHz gewobbelt werden. Die erreichbare Tiefenauflösung beträgt daher nur 15 cm, so dass das System möglicherweise keine Details der Objekte angibt. Die Erkennung beruht auf dem Vergleich von groben Merkmalen des Signals als Ganzes mit ähnlichen verdächtigen und gutartigen Signalen, denen das System zuvor ausgesetzt war. Auch die Messung der Polarisationseigenschaften des gestreuten Signals kann verwendet werden.
-
Bei den vorgenannten Patenten macht die niedrige Betriebsfrequenz die Winkelauflösung der Antennen schlecht und das weite Sichtfeld macht es schwierig, bestimmte Ziele ausfindig zu machen und/oder festzustellen, auf welchem Teil des Ziels sich die Bedrohung befindet. Dies kann durch den Wechsel zu höheren Frequenzen verbessert werden, wo die Mikrowellenoptik wirksam wird. Dies kann besonders wichtig für die Detektion von Sprengstoffen sein, bei denen der Kontrast zum Körpersignal gering ist. Systeme, die mit höheren Frequenzen arbeiten, aber immer noch eine begrenzte Bandbreite haben, wurden von Gorman et al. (
US 6967612 ) und von Millitech (
US 5227800 ) vorgeschlagen. Viele Systeme wurden hergestellt, um Bilder des Ziels entweder mit aktiver Mikrowellenbestrahlung oder der passiven thermischen Emission des Ziels zu erhalten (SPIE 2007). Diese Systeme verwenden Multi-Detektor-Anordnungen und eine Form der mechanischen Abtastung. Passive Systeme liefern zwar realistischere Bilder, neigen aber dazu, langsam zu sein und einen schlechten Kontrast für dielektrische Ziele zu zeigen. Aktive Beleuchtungssysteme können schneller erfasst werden, können aber unter starken Reflexionen von gutartigen Objekten wie dem menschlichen Körper leiden, die es schwierig machen, sie von metallischen Bedrohungsobjekten zu unterscheiden. Alle Scansysteme erfordern unter Umständen eine komplexe Interaktion mit dem Menschen oder der künstlichen Intelligenz, um das Bild zu interpretieren und/oder die verdächtigen Merkmale zu erkennen. Dies macht ihren Einsatz in vielen Anwendungen schwierig.
-
Es liegt auf der Hand, dass Systeme, die Bedrohungsobjekte auf Distanz identifizieren können, viele Anwendungen haben können, bei denen konventionelle Metalldetektorkabinen ungeeignet sind. Dazu können die verdeckte Überwachung und der mobile Einsatz in Straßen und Gebäuden gehören.
-
Die
WO 2009/115818 zielte darauf ab, diesem Bedarf durch die Bereitstellung eines Systems zur Fernerkennung einer oder mehrerer Abmessungen eines metallischen und/oder dielektrischen Objekts zu begegnen. Das System besteht aus einer Übertragungsvorrichtung, einer Erkennungsvorrichtung und einer Steuereinrichtung. Die Übertragungsvorrichtung enthält ein Übertragungselement und ist so konfiguriert, dass sie Mikrowellen- und/oder mm-Wellenstrahlung in eine vorbestimmte Richtung lenkt. Die Erkennungsvorrichtung ist so konfiguriert, dass sie Strahlung von einer Einheit empfängt, die aus der übertragenen Strahlung resultiert, und ein oder mehrere Detektionssignale im Frequenzbereich erzeugt. Die Steuereinrichtung kann die folgenden drei Betriebsschritte steuern: (i) Bewirken, dass die übertragene Strahlung über einen vorbestimmten Frequenzbereich gewobbelt wird, (ii) Durchführen einer Transformationsoperation an dem (den) Detektionssignal(en), um ein oder mehrere transformierte Signale im Zeitbereich zu erzeugen, und (iii) Bestimmen, aus einem oder mehreren Merkmalen des transformierten Signals, einer oder mehrerer Abmessungen eines metallischen oder dielektrischen Objekts, auf das die übertragene Strahlung einfällt.
-
Dieses in der
WO 2009/115818 beschriebene System befasste sich mit den allgemeinen Fragen der verdeckten Überwachung und des mobilen Einsatzes in Straßen und Gebäuden, bot jedoch keine vollständige Lösung.
-
Vor diesem Hintergrund ist die vorliegende Erfindung entstanden.
-
Gemäß der vorliegenden Erfindung wird ein System zur Fernerkennung einer oder mehrerer Abmessungen eines metallischen und/oder dielektrischen Objekts gebildet, das Folgendes aufweist: mindestens eine Sensorkomponente, die so konfiguriert ist, dass sie ein oder mehrere in Frage kommende Objekte identifiziert, eine Übertragungsvorrichtung, die ein Übertragungselement aufweist und so konfiguriert ist, dass sie Mikrowellen- und/oder mm-Wellenstrahlung ausrichtet, eine Erkennungsvorrichtung, die so konfiguriert ist, dass sie Strahlung von einer Einheit empfängt, die aus der übertragenen Strahlung resultiert, und ein oder mehrere Erkennungssignale im Frequenzbereich erzeugt, und eine Steuereinrichtung, wobei die Steuereinrichtung betrieben werden kann:
- (i) Standortdaten für das eine oder die mehreren in Frage kommenden Objekte auf der Grundlage der von der Sensorkomponente empfangenen Daten zu erzeugen;
- (ii) die Übertragungsvorrichtung zu veranlassen, Strahlung auf ein in Frage kommendes Objekt zu richten,
- (iii) zu bewirken, dass die übertragene Strahlung kontinuierlich über einen vorbestimmten Frequenzbereich gewobbelt wird,
- (iv) eine Transformationsoperation an dem (den) Erkennungssignal(en) durchzuführen, um ein oder mehrere transformierte Signale zu erzeugen, und
- (v) aus einem oder mehreren Merkmalen des transformierten Signals eine oder mehrere Eigenschaften des in Frage kommenden Objekts zu bestimmen, auf das die übertragene Strahlung auftrifft.
-
Durch kontinuierliches Wobbeln über einen vorbestimmten Frequenzbereich durch Anwendung eines beweglichen Filters und durch Koordinierung des Betriebs der Sendevorrichtung mit einer Sensorkomponente zur Identifizierung der in Frage kommenden Objekte bietet die vorliegende Erfindung eine wesentliche Änderung des Ansatzes, mit der einige der Schwachstellen in früheren Systemen überwunden werden sollen.
-
Die Kombination der Bedrohungserkennung unter Verwendung von Mikrowellen- und/oder mm-Wellenstrahlung mit Sensordaten, die von einer oder mehreren Sensorkomponenten erhalten werden, ermöglicht es dem System, Personen oder Objekte (kollektiv als in Frage kommende Objekte bezeichnet) zu identifizieren und zu verfolgen, deren erfasste Daten vermuten lassen, dass sie eine statistische Wahrscheinlichkeit haben, ein oder mehrere Objekte von Interesse oder Bedrohungsobjekte zu tragen. Die Übertragungsvorrichtung kann daher auf diese Person oder dieses Objekt ausgerichtet werden und die Person verfolgen, während sie sich mit oder ohne ein zugehöriges trennbares Objekt wie eine Tasche, einen Rucksack oder ähnliches durch die Umgebung bewegt. Dies ermöglicht eine wesentliche Änderung im Ansatz vom Scannen der Umgebung mit der Übertragungsvorrichtung zur Identifizierung eines oder mehrerer in Frage kommender Objekte zur Verwendung von Sensordaten zur Analyse der Umgebung und zur Priorisierung des Scannens mit der Übertragungsvorrichtung.
-
In diesem Zusammenhang kann das „in Frage kommende Objekt“ eine Person sein, die ein oder mehrere verborgene metallische und/oder dielektrische Objekte mit sich führt. Alternativ oder zusätzlich kann das in Frage kommende Objekt ein unbelebter Gegenstand wie eine Tasche sein, der von einer Person getragen oder ohne Kontakt mit der Person in der Umgebung platziert werden kann.
-
Der Schritt der Bestimmung eines oder mehrerer Eigenschaften des in Frage kommenden Objekts weist die Identifizierung des Vorhandenseins oder Nichtvorhandenseins eines metallischen und/oder dielektrischen Objekts von Interesse auf. Wenn festgestellt wird, dass das in Frage kommende Objekt keine metallischen und/oder dielektrischen Objekte von Interesse trägt, können diese als Objekte mit geringem Risiko eingestuft und nicht weiter verfolgt werden.
-
Wenn festgestellt wird, dass das in Frage kommende Objekt ein metallisches und/oder dielektrisches Objekt aufweist, dann werden eine oder mehrere Abmessungen dieses Objekts während des Bestimmungsschritts identifiziert. Auf diese Weise können nicht bedrohliche metallische und/oder dielektrische Objekte identifiziert und von einer Klassifizierung als bedrohlich ausgeschlossen werden, wodurch „falsch-positive“ Ergebnisse vom System reduziert werden.
-
Das System der vorliegenden Erfindung kann ferner so konfiguriert sein, dass es auf der Grundlage der ermittelten Eigenschaften bestimmt, dass das in Frage kommende Objekt ein Objekt von Interesse ist, und nach der Bestimmung, dass das in Frage kommende Objekt ein Objekt von Interesse ist, kann das System so konfiguriert sein, dass es das in Frage kommende Objekt unter Verwendung des mindestens einen Sensors verfolgt.
-
Die Erzeugung von Standortdaten kann die Erzeugung einer geschätzten Position des in Frage kommenden Objekts innerhalb eines Modells der Szene umfassen, die vom Sensor, der ein Videosensor sein kann, betrachtet wird. Bei dem Umgebungsmodell kann es sich um ein dreidimensionales Modell eines Ortes von Interesse handeln, der von einer oder mehreren Sensorkomponenten überwacht wird. Die Erzeugung eines solchen Modells ermöglicht es, die Position eines als Objekt von Interesse identifizierten Objekts vor und nach der Klassifizierung zu verfolgen. Dies ist besonders wichtig in einer überfüllten oder chaotischen Umgebung, da Verdeckungen von Objekten von Interesse überwunden werden können, indem man die Bewegung der Person oder des Objekts durch die Umgebung verfolgt und dann die Mikrowellen-/mm-Wellenstrahlung bei einer späteren Gelegenheit auf das Objekt richtet, sobald die Verdeckung aufgelöst ist.
-
Mit vom System markierten und verfolgten Objekten von Interesse, z.B. mit Hilfe einer eindeutigen ID, die dem Objekt während der Identifizierung zugewiesen wird, können die Betreiber von Sicherheitssystemen Personen und Gegenstände mit hohem Risiko schnell identifizieren und beurteilen, ob Handlungsbedarf besteht.
-
In einigen Ausführungsformen weist die mindestens eine Sensorkomponente einen Videosensor auf. Darüber hinaus kann in einigen Ausführungsformen die Identifizierung und Bestimmung der Eigenschaften der in Frage kommenden Objekte autonom durchgeführt werden. Zum Beispiel kann die Identifizierung und Klassifizierung der in Frage kommenden Objekte durch tief lernende Algorithmen oder neuronale Netze unter Verwendung eigener Klassifikationsbibliotheken für Bedrohungen/Nicht-Bedrohungen erfolgen.
-
Der Einsatz von tief lernender Videoanalyse, die es Sensorkomponenten ermöglicht, in Frage kommende Objekte zu identifizieren, zu klassifizieren und in einigen Fällen zu verfolgen, in Kombination mit der Mikrowellen- und/oder mm-Strahlung, können Überprüfungsvorrichtungen des Systems der vorliegenden Erfindung zur Erkennung von Bedrohungsobjekten somit einen automatisierten, ganzheitlichen Ansatz zur Erkennung von Bedrohungen bieten.
-
Die Steuereinrichtung kann ferner konfiguriert sein, eine Höhe und/oder Breite des in Frage kommenden Objekts zu bestimmen. In einigen Ausführungsformen weist das Veranlassen, dass die Strahlung auf das in Frage kommende Objekt gerichtet wird, das Steuern der Übertragungsvorrichtung auf, ein Strahlenbündel über das in Frage kommende Objekt streichen zu lassen. Das Strahlenbündel kann einen Durchmesser zwischen 10 und 50 Zentimetern haben.
-
Bei einigen Ausführungsformen ist die Steuereinrichtung innerhalb der Erkennungsvorrichtung untergebracht. Die Steuereinrichtung kann auch so konfiguriert sein, dass sie mit einer Webanwendung kommuniziert und über einen zugehörigen webbasierten Client gesteuert werden kann. Von Vorteil ist, dass ein so konfiguriertes System die Last der Videoverarbeitung von einem Benutzergerät, das auf die Steuereinrichtung zugreift, abwälzen kann, so dass das System ohne spezielle Hardware ferngesteuert werden kann.
-
Frühere Systeme, wie z.B. das in der
WO 2009/115818 offenbarte, beruhen auf einer schrittweisen Abtastung des Frequenzbereichs, um Merkmale zu bestimmen, indem Daten zwischen einzelnen Grenzen über den Frequenzbereich hinweg akkumuliert werden. Dieser Ansatz berücksichtigt keine Überschneidungen in Daten-Clustern, die auf verschiedene Bedrohungsarten hinweisen, und bietet effektiv einen Vorverarbeitungsfilter. Datenausreißer, die z.B. durch den menschlichen Körper selbst verursacht werden, werden als Ergebnis dieses schrittweisen Durchlaufs durch den Frequenzbereich in einen bestimmte, zwischen benachbarten Grenzen definierte Platz aufgenommen. Diese Ausreißer können die Daten für diesen Platz verzerren, was zu einer fehlerhaften Klassifizierung führt. Umgekehrt kann eine besonders signifikante Spitze in den Daten, die auf eine Bedrohung hindeutet, als Folge dieser Verkürzung der Daten übersehen werden. Darüber hinaus könnten Signalinformationen für dasselbe Ziel in einen anderen Platz fallen und zu einer anderen Klassifizierung führen.
-
Zu den Eigenschaften des Objekts können eine oder mehrere der Oberflächenkonturen, die Oberflächentextur, die dielektrische Textur und/oder die dreidimensionale Form des Objekts gehören, von dem die übertragene Strahlung reflektiert wurde. Mit diesem Ansatz ist das System in der Lage, zusätzlich zu Einzelstückwaffen wie Handfeuerwaffen und dergleichen auch fragmentierte Vorrichtungen zu identifizieren. Darüber hinaus ermöglicht dieser Ansatz die Erkennung dielektrischer und anderer nichtmetallischer Objekte, was die Identifizierung von Sprengstoffen erleichtert.
-
Das System kann zur Befestigung auf einem geeigneten Substrat montiert werden. Das Substrat kann jeder unbewegliche Gegenstand mit ausreichender Festigkeit sein, um das System zu tragen. Das Substrat kann z.B. eine Wand, ein Türpfosten, ein Sims oder ein anderes Stück Stadtmobiliar oder Gebäudearchitektur sein, das dem System den gewünschten Sichtbereich des zu überwachenden Ortes gibt.
-
Die Halterung kann so konfiguriert sein, dass das System relativ zum Substrat, auf dem es montiert ist, geschwenkt und/oder geneigt werden kann. Diese Bewegung des Systems relativ zum Substrat, auf dem es montiert ist, ermöglicht es dem System, sein Gesamtsichtfeld im Vergleich zu einem System auf einer statischen Halterung zu vergrößern.
-
Der Steuereinrichtung kann so betrieben werden, dass sie eine oder mehrere Eigenschaften des Objekts mit Hilfe eines Clustering-Algorithmus bestimmt. Ein Clustering-Algorithmus ist für diese Anwendung gut geeignet, da es möglich ist, festzustellen, dass nicht Bedrohungsobjekte und unterschiedliche Varianten von Bedrohungsobjekten deutliche Unterschiede in den Signalmerkmalen erzeugen.
-
Die Steuereinrichtung kann so betrieben werden, dass sie eine von mehreren Eigenschaften des Objekts bestimmt, und zwar durch einen vorbereitenden Filterungsschritt, um Spitzen aus den transformierten Signalen zu eliminieren. Spitzen in den transformierten Signalen können vom menschlichen Körper selbst herrühren und können dazu führen, dass die nachgeschaltete Datenverarbeitung weniger effektiv ist. Es ist daher vorteilhaft, diese aus den Rohdaten zu entfernen, bevor eine Verarbeitung der Daten stattfindet.
-
Die Steuereinrichtung kann so betrieben werden, dass sie die transformierten Signale im Anschluss an den vorbereitenden Schritt der Filterung einer Kleinste-Mittlere-Quadrate-Anpassung unterzieht, um Spitzen aus den transformierten Signalen zu eliminieren.
-
Der Steuereinrichtung kann so betrieben werden, dass sie eine oder mehrere Eigenschaften eines Objekts, auf das die übertragene Strahlung auftrifft, durch Kurvenanpassung an ein Polynom n-ten Grades bestimmt, wobei n 3 oder größer als 3 sein kann. In einigen Ausführungsformen ist n kleiner als 11. Um die Anpassung der Daten zu verbessern, kann mehr als eine Darstellung der Kurve unter Verwendung eines anderen Polynoms erstellt werden. Zum Beispiel können die Polynome 3. und 8. Grades eingesetzt werden, wobei das Polynom 3. Grades der niedrigeren Auflösung entspricht und das Polynom 8. Grades die höhere Auflösung anspricht.
-
Eine Gewichtung kann auf mindestens einen Koeffizienten eines Polynoms angewendet werden. Dadurch kann das System in der Lage sein, mit Clusterüberlappungen umzugehen. Es ermöglicht dem System, die Verteilung eines Koeffizienten zu normalisieren und dadurch die Korrelation zwischen jedem der Koeffizienten zu beseitigen.
-
Das System kann ferner einen Speicher enthalten, in dem eine Vielzahl von Klassifikatoren gespeichert sind, die verschiedene Objekteigenschaften anzeigen.
-
Die Erfindung wird nun weiter und genauer beschrieben, nur als Beispiel und unter Bezugnahme auf die beiliegenden Zeichnungen, in welchen:
- 1 ein Blockdiagramm eines Objekterkennungssystems ist, das in Übereinstimmung mit einigen Aspekten der Erfindung arbeiten kann;
- 2 ein Beispiel für ein kardanisch aufgehängtes Objekterkennungssystem gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
- 3 eine idealisierte Kurve zeigt, die repräsentativ für Daten ist, die in Übereinstimmung mit einigen Aspekten der Erfindung erhalten wurden;
- 4 einen realen Datensatz zeigt, der geglättet und an Polynomdaten n-ten Grades angepasst wurde;
- 5 Polynomkoeffizienten zeigt, die in einem 2D-Raum aufgetragen sind und Cluster aufweisen, die drei verschiedene Bedrohungs- oder Nicht-Bedrohungsklassifikationen anzeigen; und
- 6A bis 6C einen Datenpunkt P zeigen, der in den 2D-Raum von 5 eingeführt wurde, um das Klassifizierungsergebnis zu bestimmen;
- 7 ein Beispiel für ein Objekterkennungssystem zeigt, das in Verbindung mit einer Sensorkomponente gemäß einigen Aspekten der vorliegenden Erfindung arbeitet;
- 8 eine Beispiels-Sensorkomponentenkonfiguration zur Schätzung der Position eines Individuums in einem Bereich von Interesse zeigt.
-
Verschiedene weitere Aspekte und Ausführungsformen der vorliegenden Erfindung werden Fachleuten im Hinblick auf die vorliegende Offenbarung offensichtlich werden.
-
DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Ausführungsformen der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen, in denen Ausführungsformen der Erfindung dargestellt sind, ausführlicher beschrieben. Diese Erfindung kann jedoch in vielen verschiedenen Formen ausgeführt werden und sollte nicht so ausgelegt werden, dass sie auf die hier dargelegten Ausführungsformen beschränkt ist. Vielmehr sind diese Ausführungsformen so ausgebildet, dass diese Offenbarung gründlich und vollständig ist und einem Fachmann den Umfang der Erfindung vollständig vermittelt. Gleiche Zahlen beziehen sich durchgehend auf gleiche Elemente.
-
Es sollte klar sein, dass, obwohl die Begriffe „erste“, „zweite“ usw. hier verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Begriffe eingeschränkt werden sollten. Diese Begriffe werden nur verwendet, um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erstes Element als ein zweites Element bezeichnet werden, und ebenso könnte ein zweites Element als ein erstes Element bezeichnet werden, ohne vom Umfangsbereich der vorliegenden Erfindung abzuweichen. In der hier verwendeten Form schließt der Begriff „und/oder“ jede beliebige Kombination eines oder mehrerer der zugehörigen aufgeführten Elemente ein.
-
Es wird davon ausgegangen, dass, wenn ein Element, wie z.B. eine Schicht, ein Bereich oder ein Substrat, als „auf“ oder sich auf ein anderes Element „darauf“ erstreckend bezeichnet wird, es sich direkt auf dem anderen Element befinden oder sich direkt auf das andere Element erstrecken kann oder auch dazwischenliegende Elemente vorhanden sein können. Wenn dagegen ein Element als „direkt auf“ bezeichnet wird oder sich auf ein anderes Element „direkt darauf“ erstreckend, sind keine dazwischenliegenden Elemente vorhanden. Wenn ein Element als „verbunden“ oder „gekoppelt“ mit einem anderen Element bezeichnet wird, kann es direkt mit dem anderen Element verbunden oder gekoppelt sein, oder es können auch dazwischenliegende Elemente vorhanden sein. Wenn dagegen ein Element als „direkt verbunden“ oder „direkt gekoppelt“ mit einem anderen Element bezeichnet wird, sind keine dazwischenliegenden Elemente vorhanden.
-
Relative Begriffe wie „unter“ oder „über“ oder „obere“ oder „untere“ oder „horizontal“ oder „vertikal“ können hier verwendet werden, um eine Beziehung eines Elements, einer Schicht oder eines Bereichs zu einem anderen Element, einer anderen Schicht oder einem anderen Bereich zu beschreiben, wie in den Figuren dargestellt. Es wird davon ausgegangen, dass diese Begriffe verschiedene Ausrichtungen der Vorrichtung zusätzlich zu der in den Figuren dargestellten Ausrichtung umfassen sollen.
-
Die hier verwendete Terminologie dient nur der Beschreibung bestimmter Ausführungsformen und ist nicht als Beschränkung der Erfindung gedacht. Wie hier verwendet, sollen die Singularformen „ein“, „eine“, und „der, die das“ auch die Pluralformen einschließen, es sei denn, aus dem Kontext geht eindeutig etwas anderes hervor, ferner wird davon ausgegangen, dass die Begriffe „aufweisen“, „aufweisend“, „einschließen“ und/oder „einschließend“, wenn sie hier verwendet werden, das Vorhandensein von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten angeben, aber das Vorhandensein oder die Hinzufügung von einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
-
Sofern nicht anderweitig definiert, haben alle hier verwendeten Begriffe (einschließlich technischer und wissenschaftlicher Begriffe) dieselbe Bedeutung, wie sie üblicherweise von einem gewöhnlichen Fachmann auf dem Gebiet, zu dem diese Erfindung gehört, verstanden wird. Es wird ferner davon ausgegangen, dass hier verwendete Begriffe so ausgelegt werden sollten, dass sie eine Bedeutung haben, die mit ihrer Bedeutung im Zusammenhang mit dieser Beschreibung und der betreffenden Technik übereinstimmt, und dass sie nicht in einem idealisierten oder übermäßig formalen Sinn interpretiert werden, sofern dies hier nicht ausdrücklich so definiert ist.
-
In der hier verwendeten Bedeutung wird unter „Bedrohungsobjekt“ ein metallischer oder dielektrischer Gegenstand verstanden, unabhängig davon, ob er speziell für eine Angriffsverwendung konstruiert oder bestimmt ist oder nicht, der das Potential hat, in angreifender oder gewalttätiger Weise verwendet zu werden. Darunter fallen auch zerlegte Waffen, die aus einer Vielzahl von Einzelteilen bestehen können, die getrennt voneinander angeordnet sind und nicht als ein einziges Objekt präsentiert werden.
-
Im Folgenden wird die vorliegende Erfindung anhand von Flussdiagrammdarstellungen und/oder Blockdiagrammen von Verfahren, Systemen und Computerprogrammprodukten entsprechend Ausführungsformen der Erfindung beschrieben. Es wird davon ausgegangen, dass einige Blöcke der Flussdiagrammdarstellungen und/oder Blockdiagramme und Kombinationen einiger Blöcke in den Flussdiagrammdarstellungen und/oder Blockdiagrammen durch Computerprogrammbefehle implementiert werden können. Diese Computerprogrammbefehle können in einer Mikrosteuereinrichtung, einem Mikroprozessor, einem digitalen Signalprozessor (DSP), einem Field Programmable Gate Array (FPGA), einer Zustandsmaschine, einer speicherprogrammierbaren Steuerung (PLC) oder einer anderen Verarbeitungsschaltung, einem Allzweckrechner, einem Spezialrechner oder einer anderen programmierbaren Datenverarbeitungsvorrichtung gespeichert oder implementiert werden, um so einen Automaten zu erzeugen, so dass die Befehle, die über den Prozessor des Computers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zur Implementierung der im Flussdiagramm und/oder im Blockdiagrammblock bzw. -blöcken spezifizierten Funktionen/Handlungen schaffen.
-
Diese Computerprogrammbefehle können auch in einem computerlesbaren Speicher gespeichert werden, der einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung so anweisen kann, dass sie in einer bestimmten Weise funktionieren, so dass die in dem computerlesbaren Speicher gespeicherten Befehle einen Fertigungsgegenstand erzeugen, der Befehlsmittel aufweist, die die im Flussdiagramm und/oder Blockdiagrammblock bzw. -blöcken spezifizierte Funktion/Handlung implementieren.
-
Die Computerprogrammbefehle können auch auf einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung geladen werden, um zu bewirken, dass eine Reihe von Betriebsschritten auf dem Computer oder einer anderen programmierbaren Vorrichtung ausgeführt werden, um einen computerimplementierten Prozess zu erzeugen, so dass die Befehle, die auf dem Computer oder einer anderen programmierbaren Vorrichtung ausgeführt werden, Schritte zum Implementieren der im Flussdiagramm und/oder dem Blockdiagrammblock oder in den Blockdiagrammblöcken spezifizierten Funktionen/Handlungen vorsehen. Es ist zu verstehen, dass die in den Blöcken bezeichneten Funktionen/Handlungen außerhalb der in den Betriebsdarstellungen angegebenen Reihenfolge auftreten können. So können z.B. zwei nacheinander dargestellte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden oder die Blöcke können manchmal in umgekehrter Reihenfolge ausgeführt werden, je nach der/den betreffenden Funktionalität/Handlungen. Obwohl einige der Diagramme Pfeile auf Kommunikationspfaden enthalten, um eine primäre Kommunikationsrichtung zu zeigen, ist es zu verstehen, dass die Kommunikation in entgegengesetzter Richtung zu den dargestellten Pfeilen erfolgen kann.
-
Verkörperungen der Erfindung können verwendet werden, um das Vorhandensein und/oder die Größe von unter der Kleidung verborgenen metallischen und/oder dielektrischen Gegenständen aus der Ferne zu erkennen. Ausführungsformen können hier zur Fernerkennung von metallischen und/oder dielektrischen Objekten verwendet werden. Ein Dielektrikum ist in diesem Zusammenhang eine nicht leitende (d.h. isolierende) Substanz wie Keramik, die eine ausreichend niedrige Dielektrizitätskonstante hat, um Mikrowellen durchzulassen. Ein Keramikmesser oder eine Keramikpistole oder ein Block aus Plastiksprengstoff sind Beispiele für diese Art von Material.
-
Einige Ausführungsformen von Erkennungssystemen werden hier offenbart. 1 enthält Ausführungsformen mit direkter Erkennung ohne Phasenerkennung. In einigen Ausführungsformen kann die Hardware in einem tragbaren und verdeckt einsetzbaren System enthalten sein.
-
1 ist ein Blockdiagramm eines Erkennungssystems 100 für gefährliche Objekte. Für die direkten Erkennungsreaktionen (ohne die Phase) weist das Erkennungssystem 100 eine Mikrowellen- und/oder mm-Wellenquelle 102 (40 GHz Agilent Mikrowellensynthesizer) auf. Das System weist eine Mikrowellen- und/oder mm-Wellenquelle 102, ein Erkennungssystem mit einer Steuereinrichtung (PC) 104, drei 20 dB Standard-Hornantennen, die als Sender 106 und erste und zweite Empfänger 108, 109 für das Ku- und Q-Band verwendet werden, einen direkten Nullvorspannungs-Direktdetektor 110, gefolgt von einem Verstärker 112, und einer Hochgeschwindigkeits-Datenerfassungskarte (PCI-6132 National Instrument Interface) 114 auf. Der erste Empfänger 108 und der zweite Empfänger 109 sind für den Empfang kopolarisierter bzw. kreuzpolarisierter Signale konfiguriert. Der Verstärker 112 kann ein Gleichstromverstärker oder ein Wechselstromverstärker sein. In einigen Ausführungsformen kann das System mit Hilfe von Steuersoftware gesteuert werden, die unter anderem Labview- oder C#-Code aufweist.
-
Im Gebrauch und Betrieb verwendet das System 100 elektromagnetische Strahlung im Mikrowellen- oder Millimeter (mm)-Wellenband, wobei die Wellenlänge vergleichbar oder kürzer als die Größe des zu erfassenden Objekts 116 ist. Das Objekt 116 kann sich am und/oder im Körper einer Person, in Behältern und/oder Gepäckstücken befinden und/oder in und/oder auf einer anderen Einheit verborgen sein (nicht abgebildet). Die verdächtige Einheit (z.B. eine Person; nicht abgebildet) wird vom Sender 106 mit Strahlung bestrahlt, so dass das (Bedrohungs-) Objekt 116 vollständig von einer kontinuierlichen Welle dieser Strahlung bestrahlt wird (d.h. die Strahlung wird nicht gepulst, sondern ständig eingeschaltet gehalten). Die Strahlungsintensität liegt weit innerhalb sicherer Betriebsgrenzen, kann aber in jedem Fall durch die Empfindlichkeit des Detektors 110 bestimmt werden. Als Beispiel wird im Bereich von 14-40 GHz eine Leistung von 0 dBm mit einer typischen Strahlfläche 118 von 0,125 m2 verwendet, was einem Strahl mit 20 cm Durchmesser entspricht. In einigen Ausführungsformen kann die Hardware jedoch so ausgelegt sein, dass eine mehr oder weniger große Strahlfläche 118 erzeugt wird.
-
Die Frequenz und folglich die Wellenlänge der Strahlung wird durch einen angemessenen Bereich gewobbelt und kann als gewobbelte CW- und/oder Dauerstrichstrahlung bezeichnet werden. Die Grenzwerte können durch die verwendeten Geräte oder durch Vorschriften am Einsatzort festgelegt werden, umfassen jedoch z.B. einen 5 GHz-Wobbel ab 75 GHz; einen 20 GHz-Wobbel oder mehr ab 14, 50 oder 75 GHz; und einen 35 GHz-Wobbel ab 75 GHz. Bei den Daten handelt es sich um eine kontinuierliche Echtzeitablenkung. Typischerweise können 256 oder mehr Datenpunkte erfasst werden. In einigen Ausführungsformen können Daten zwischen 14 und 40 GHz erfasst werden, was einen Wobbelbereich von 26 GHz ergibt.
-
Die Anstrahlung und Erkennung kann vom betreffenden Objekt 116 entfernt erfolgen, z.B. in einem Abstand von einem Meter oder mehr, obwohl es keine Unter- oder Obergrenze für diesen Abstand gibt. Die Obergrenze des Erfassungsabstands kann durch die Millimeter- oder Mikrowellenfokussieroptik festgelegt werden, obwohl bei dieser Technik ein kleiner Strahl an der Beugungsgrenze nicht erforderlich ist. Der effektive Bereich des Systems 100 umfasst einige zehn Zentimeter (cm) bis zu vielen zehn Metern (m). In einigen Ausführungsformen kann eine Vorrichtung je nach gewählter Frequenz in einer Reichweite von etwa 1 m bis 10 m betrieben werden. Einige Mikrowellenfrequenzen werden durch die Atmosphäre gedämpft, und im Allgemeinen werden atmosphärische Fenster, wie sie um 94 GHz zu finden sind, gewählt, um diese Effekte zu minimieren. In einigen Ausführungsformen können die Quelle der elektromagnetischen Strahlung 102 und der Detektor 110 nebeneinander montiert und auf ein entferntes Objekt 116 oder eine entfernte Einheit (nicht abgebildet) fokussiert werden.
-
Die Mikrowellen- und/oder mm-Wellenquelle 102, der Sender 106, der erste 108 und zweite 109 Empfänger, die beiden Detektoren 110, die beiden Verstärker 112 und die Hochgeschwindigkeits-Datenerfassungskarte 114 befinden sich alle in einem Gehäuse (nicht abgebildet). Das Gehäuse ist mit einer Halterung auf einem geeigneten Substrat befestigt (nicht abgebildet). Die Halterung ermöglicht es, das Gehäuse als Ganzes zu schwenken und zu kippen. Alternativ kann die Halterung so konfiguriert sein, dass sie je nach Lage des Substrats, auf dem das Gehäuse montiert ist, nur eine Schwenk- oder nur eine Kippbewegung ermöglicht. Das Substrat kann eine Wand, ein Dach oder ein anderes Stück Stadtmöbel oder Innenarchitektur sein, und es wird so gewählt, dass der Sender 106 das zu überwachende Gebiet optimal abdeckt.
-
Alternativ kann, wie im Beispiel von 2 gezeigt, das Gehäuse 103 auf einem Tragbügel 105 montiert sein, um eine schnellere und gleichmäßigere Rotationsabtastung zu erreichen. Eine beispielhafte Betriebseinstellung für ein kardanisch aufgehängtes Anzeigesystem besteht darin, das System zur Erkennung von Bedrohungsobjekten zu veranlassen, die Mikrowellen- und/oder mm-Wellen-Strahlungsquelle 102 über 4 m weite Kreisbahnen 107 innerhalb des interessierenden Ortes abzutasten, um die in Frage kommenden Objekte 111 zu überprüfen. Eine so konfigurierte Halterung ist in der Lage, alle nicht verdeckten Bedrohungen in einem Bereich von 10 bis 30 m in weniger als 1 Sekunde zu scannen.
-
2 veranschaulicht ferner eine Beispielkonfiguration innerhalb des Gehäuses 103 des Detektors, bei der ein drehbarer Spiegel 119 zwischen der Mikrowellen- und/oder mm-Wellen-Strahlungsquelle 102 und einer Fokussierlinse 120 angeordnet ist. Eine solche Konfiguration kann eine schnelle Abtastung des Strahlenbündels durch kontrollierte Ablenkung mit Hilfe des drehbaren Spiegels ermöglichen. Diese schnelle Abtastung kann ohne Bewegung des eigentlichen Detektorkopfes erfolgen, wodurch dem Detektorkopf effektiv ein größeres Sichtfeld zur Verfügung steht.
-
Die Hochgeschwindigkeits-Datenerfassungskarte 114 erfasst die Daten von den Verstärkern 112 und sendet diese dann zur Verarbeitung an die Steuereinrichtung 104. Die Verbindung zwischen der Karte 114 und der Steuereinrichtung 104 erfolgt über jedes geeignete lokale Netzwerk, einschließlich, aber nicht beschränkt auf Wi-Fi.
-
In einigen Ausführungsformen besteht die Steuereinrichtung 104 aus einem eingebetteten Computer, wie z.B. einer Mikrosteuereinrichtung, wobei die Mikrosteuereinrichtung zusammen mit der Erkennungsvorrichtung im Gehäuse untergebracht ist. In solchen Ausführungsformen kann die Mikrosteuereinrichtung für eine drahtlose Zwei-Wege-Kommunikation mit einem Prozessor außerhalb des Gehäuses konfiguriert sein, um eine Fernsteuerung der Erkennungsvorrichtung zu ermöglichen.
-
Ein externer Prozessor kann es einem Benutzer ermöglichen, über eine webbasierte Schnittstelle auf die Erkennungsvorrichtung zuzugreifen und sie zu steuern, so dass die Last der Verarbeitung auf die Erkennungsvorrichtung verlagert wird und Benutzer, die das Sicherheitssystem zur Erkennung von Bedrohungsobjekten betreiben, dies über nicht spezialisierte Hardware-Geräte wie z.B. ein Telefon, Tablet oder Laptop mit niedriger Spezifikation und Zugang zum Internet tun können.
-
3 zeigt einen computergenerierten idealisierten Datensatz einer Fast-FourierTransformation (FFT) der empfangenen Daten. Das Diagramm zeigt die Amplitude A gegen die Frequenz f. Die Kurve zeigt eine typische Reaktion des Systems auf die Reflexion des gesendeten Strahls an einem menschlichen Körper. Wie aus 3 ersichtlich ist, folgen die Daten im Großen und Ganzen der Form einer Rayleigh-Verteilung mit einer kleinen Anzahl auffälliger Ausreißer. Dies sind die Ausreißer, von denen angenommen wird, dass sie vom menschlichen Körper selbst herrühren und die in einem vorbereitenden Filterschritt vor der weiteren Verarbeitung der Daten, um das Vorhandensein oder Fehlen und die Art der Bedrohung zu bestimmen, entfernt werden. Wenn die in 3 identifizierten Ausreißer entfernt worden sind, werden die verbleibenden Daten weiter verarbeitet.
-
Ein realer Datensatz, der einer Glättung unterzogen wurde, ist in 4 dargestellt. Dies veranschaulicht beliebige Einheiten auf der y-Achse gegenüber der Frequenz f auf der x-Achse. Die Polynomkoeffizienten 3. und 8. Grades, die in 4 als durchgezogene Linien dargestellt sind, scheinen die gestreute Antwort angemessen zu beschreiben. Die Genauigkeit, mit der das Polynom die Daten darstellt, hängt von der richtigen Wahl des Polynoms ab.
-
Die Polynomkoeffizienten werden in einem Raum n-ten Grades aufgetragen. 5 zeigt ein Beispiel für einen 2D-Raum. Ein Trainingsdatensatz wird zur Bildung von Clustern verwendet, die das Vorhandensein oder Fehlen eines Bedrohungselementes und insbesondere die Art des Bedrohungselementes anzeigen. Diese werden in einem Raum aufgetragen, der durch den Y-Achsenabschnitt (y-Achse) gegen den Gradienten auf der x-Achse gekennzeichnet ist. O bezeichnet Datenpunkte, die unter Umständen erhalten wurden, in denen keine Bedrohung vorlag. + und x kennzeichnen verschiedene Arten von Bedrohungselementen, die hier als Bedrohungselement 1 bzw. 2 zusammengefasst sind.
-
Die Varianz innerhalb des Trainingsdatensatzes wird in einen Grad an Sicherheit in der Klassifizierung umgewandelt. Wenn es zu viele Daten aus unterschiedlichen Quellen gibt, führt dies zu einer aggressiveren Überlappung zwischen den Clustern, was wiederum die Klassifizierung erschweren kann. In Fällen, in denen die Cluster nicht genau definiert sind, kann es möglich sein, mehrere Klassifikationen zu kombinieren, um die Wahrscheinlichkeit des Vorhandenseins eines Bedrohungselementes zu ermitteln.
-
Die in 4 dargestellten Daten werden dann einer Clustering-Vektoranalyse unterzogen, um einen einzelnen Punkt P zu erzeugen, der sich in dem in 5 dargestellten Raum befindet, und die Lage des Punktes P wird dann zur Bestimmung des Klassifizierungsergebnisses verwendet. Drei Beispiele für das Ergebnis der Clustering-Vektoranalyse sind in den 6A-6C dargestellt. In jedem Fall kann die Wahrscheinlichkeit eines gegebenen Bedrohungs- oder Nicht-Bedrohungszustandes des Datenpunktes P bestimmt werden, indem die euklidischen Abstände a, b und c, welche die Abstände vom Punkt P zur mittleren Position jedes Clusters oder zum Clusterzentrum sind, verglichen werden, obwohl alternative mathematische Verfahren eingesetzt werden können. Die Größe der Abstände steht im Zusammenhang mit der Sicherheit, mit der eine Bedrohungsklassifizierung gegeben sein kann. Beispielsweise ist in 6C die Entfernung a sehr kurz, und daher besteht eine hohe Wahrscheinlichkeit, dass Bedrohungselement 1 vorhanden ist. In den 6A und 6B sind alle Abstände a, b und c relativ groß, so dass die Prognose weniger eindeutig ist als in 6C. Der Abstand a ist jedoch deutlich kürzer als die Abstände b und c in 6A, so dass die Schlussfolgerung vernünftig ist, dass sich 6A auch auf das Bedrohungselement 1 bezieht, auch wenn dies weniger eindeutig ist als in 6C. 6B zeigt einen weiteren Datenpunkt P, der ziemlich große Abstände a, b und c aufweist. Die Abstände a und c sind sehr ähnlich und kleiner als der Abstand b. Daraus lässt sich die Schlussfolgerung ziehen, dass ein Bedrohungselement vorhanden ist, aber es ist nicht ganz klar, ob es sich um Bedrohungselement 1 oder Bedrohungselement 2 handelt. Obwohl in 6 drei Klassifikatoren dargestellt sind, kann man davon ausgehen, dass zur Bestimmung der Gesamtklassifizierung mehrere Klassifikatoren verwendet werden könnten. Einige der Klassifikatoren können ein Hinweis auf den Körpertyp des Subjekts sein.
-
In einigen Ausführungsformen können Gewichtungen der Koeffizienten eingeführt werden, um die Daten so zu skalieren, dass sie normalisiert werden. Dies kann nützlich sein, wenn es beträchtliche Überschneidungen in Clustern gibt, die eine eindeutige Klassifizierung verhindern.
-
In einigen Ausführungsformen kann Hardware, die den hier beschriebenen Systemen entspricht, ein tragbares Gerät bilden und/oder Teil eines tragbaren Geräts sein (d.h. klein genug, um von einer Person getragen zu werden oder in einem Auto transportiert zu werden, um darin betrieben werden zu können).
-
Unter Bezugnahme auf 7 ist das oben beschriebene Erkennungssystem für Bedrohungsobjekte der vorliegenden Erfindung ferner so konfiguriert, dass es in Koordination mit einer Sensorkomponente 109 zur Identifizierung von in Frage kommenden Personen 111 arbeitet, die von der Mikrowellen-/mm-Strahlungsquelle 102 des Erkennungssystems für Bedrohungsobjekte auf Bedrohungsobjekte gescannt werden sollen.
-
Der hier definierte Begriff „Sensorkomponente“ bezieht sich auf jeden Sensor oder Satz von Sensoren, der in der Lage ist, Informationen über einen Ort von Interesse zu liefern. Die Sensorkomponente kann zum Beispiel eine oder mehrere Videokameras, Wärmebildsensoren, passive SONAR-Detektoren oder LIDAR-Detektoren aufweisen.
-
Wenn die Sensorkomponente mehrere Arten von Sensoren aufweist, die Informationen über einen Ort von Interesse liefern, kann das System der vorliegenden Erfindung ein Sensorfusionsmodul aufweisen, das eine Schnittstelle mit den Sensoren bildet und so konfiguriert ist, dass es die verschiedenen Arten von Informationen vereinigt, um eine dreidimensionale Szene des Ortes von Interesse zu rekonstruieren. In einigen Ausführungsformen verarbeitet das Sensorfusionsmodul auch die vereinigten Sensordaten, um zu identifizieren, welche in Frage kommende Objekte 111 potentielle Bedrohungen darstellen und von der Mikrowellenstrahlungsquelle überprüft werden sollten.
-
In anderen Ausführungsformen sind die Sensoren selbst mit geringen Verarbeitungskapazitäten ausgestattet und so konfiguriert, dass sie in Frage kommende Objekte identifizieren und entscheiden, welche in Frage kommende Objekte überprüft werden sollten. In wieder anderen Ausführungsformen werden sowohl die Identifizierung der in Frage kommenden Objekte als auch die Schritte zur Klassifizierung der Bedrohung von einem Server oder einer zentralen Verarbeitungseinheit durchgeführt.
-
In einigen Ausführungsformen weist die Sensorkomponente eine oder mehrere Videokameras auf, die so konfiguriert sind, dass sie eine Anzahl in Frage kommender Objekte von Interesse innerhalb eines Sichtfeldes der einen oder mehreren Kameras identifizieren und mit der Steuereinrichtung des Systems zur Erkennung von Bedrohungsobjekten kommunizieren, um die Strahlung auf die identifizierten in Frage kommende Objekte zu lenken. In einigen Ausführungsformen kann die Sensorkomponente eine Vielzahl von Videokameras oder sogar ein ganzes Überwachungskameranetzwerk aufweisen, in das das Erkennungssystem für Bedrohungsobjekte der vorliegenden Erfindung integriert werden kann.
-
Unter Bezugnahme auf 8 ist eine Beispielausführung der vorliegenden Erfindung dargestellt, bei der das System zur Erkennung von Bedrohungsobjekten in Verbindung mit zwei oder mehr Videokameras betrieben wird.
-
Konkret zeigt 8 zwei Kameras 115 und 117 mit überlappenden Sichtfeldern, mit den lokalen Koordinatensystemen C1 und C2, die auf einen Punkt in einem als Weltkoordinatensystem bezeichneten Referenzkoordinatensystem gerichtet sind. Im Weltkoordinatensystem ist dieser Punkt Wx, Wy, Wz, aber wenn er in Bezug auf die Kamera 115 gemessen wird, wird dieser Punkt durch C1x, C1y, C1z und in Bezug auf Kamera 117 durch C2x, C2y, C2z dargestellt. Wenn die Einheitsvektoren jedes Koordinatenrahmens bekannt sind, ist es möglich, zwischen den einzelnen Bezugsrahmen mit Hilfe einer Transformationsmatrix zu konvertieren. Eine dreidimensionale Positionsschätzung des Punktes in Bezug auf die Kameras kann somit durch Kombination der Informationen aus beiden Kameras vorgenommen werden.
-
Ein quadratisches „Schachbrettmuster“ wird als bekanntes Ziel verwendet, um die Anfangsparameter der Kameras 115 und 117 zu kalibrieren, wodurch Parameter wie Position und Orientierung der Kameras zueinander bestimmt werden können.
-
Diese Computer-Vision-Technik wird auch verwendet, um die Matrizen der Kameras zu erzeugen, die andere relevante Parameter wie Linsenverzerrung, Neigung, Drehung und Gieren enthalten. Sobald diese Faktoren bestimmt sind, sind die Kameras in der Lage, dreidimensionale Positionsschätzungen für in Frage kommende Objekte zu generieren, die in ihr Sichtfeld gelangen.
-
Die Informationen von jeder Kamera werden kombiniert, um eine robuste Tracking-Lösung zu erstellen. Die Position der in Frage kommenden Objekte, z.B. Fußgänger und unbeaufsichtigte Taschen, werden bestimmt und durch Begrenzungsrahmen in einem dreidimensionalen Pixel-Koordinatensystem dargestellt. In einigen Ausführungsformen wird dieser Begrenzungsrahmen an eine übergeordnete Komponente in der Software-Architektur zur Einbindung in ein Video-Overlay gesendet. Die Informationen werden auch dazu verwendet, Änderungen in der Ausrichtung der Kameras zu berechnen, z.B. Änderungen der Schwenk- und Neigebewegungen oder der Drehung der Kameras, die durch die Kameras verursacht werden, die ein Objekt von Interesse verfolgen.
-
In einigen Ausführungsformen, bei denen die Sensorkomponente mehrere Videokameras 115 und 117 aufweist, weist das Verfahren zur Implementierung der oben beschriebenen Bedrohungserkennung drei Stufen auf.
-
In einer ersten Stufe wird ein in Frage kommendes Objekt erkannt und in einer Video-Zuspielung identifiziert, wobei ihm optional von einem Prozessor eine eindeutige ID zugewiesen wird, und seine Position und optional seine Grössenabmessungen relativ zur Videokamera definiert wird/werden.
-
Softwarekomponenten sind mit jeder einzelnen Kamera und gegebenenfalls mit den anderen Sensorkomponenten verbunden und extrahieren Metriken aus jedem Kamerabild und jedem anderen erfassten Parameter. Diese Metriken werden verwendet, um ein Modell der erfassten Szene in 3D zu erstellen. Zu den Metriken können die Objekterkennung oder die Erkennung von Merkmalspunkten gehören. Dieses Modul kann auch Schätzungen der räumlichen Lage im 3D-Raum berechnen. In einigen Ausführungsformen läuft ein Exemplar dieser Softwarekomponente für jede Kamera oder jeden anderen Sensor, und die Ausführung dieses Prozesses kann entweder lokal oder entfernt von dem/den Sensor(en) erfolgen.
-
Es stehen verschiedene Verfahren der metrischen Extraktion zur Verfügung, einschließlich der Hintergrundsubtraktion im Fall von stationären Kameras und Objekterkennungsalgorithmen, die tiefe neuronale Netze verwenden.
-
In einigen Ausführungsformen wird jeder Satz von Metriken von den Kameras Bild für Bild gesendet und erfordert eine Synchronisierung mit Verfahren, die Metadaten-Zeitstempel enthalten können. Auf diese Weise kann das System variierende Faktoren zwischen den Kameras ausgleichen, einschließlich Unterschiede in der Latenzzeit und der Bildfrequenz.
-
Diese erste Stufe könnte ferner die Durchführung einer Objektklassifizierung der in Frage kommenden Objekte aufweisen, sobald sie identifiziert sind, um festzustellen, ob es sich bei ihnen um eine Person oder einen Gegenstand, wie z.B. einen Koffer, handelt. Die erste Stufe könnte auch den Schritt umfassen, dass, wenn festgestellt wird, dass es sich bei dem in Frage kommenden Objekt um eine Person handelt, Gesichtserkennung und sogar eine Verhaltensanalyse dieser Person durchgeführt wird und die ermittelten Attribute mit einer Datenbank bekannter Personen von Interesse verglichen werden. Eine solche Videoanalyse kann mit Hilfe von Tiefenlernalgorithmen und neuronalen Netzen durchgeführt werden.
-
Merkmale wie die Bildsegmentierung des in Frage kommenden Objekts zusammen mit der Posenschätzung können ebenfalls eingesetzt werden, um den Klassifizierungsalgorithmen ein kontextbezogenes Bewusstsein zu vermitteln. Dies dient dazu, die Informationen über den Körperkontext des Radarstrahls zu erweitern, um die Bedrohungsklassifizierung entsprechend zu ändern. Wenn der Radarstrahl auf einen Bereich des in Frage kommenden Objekts gerichtet ist, von dem bekannt ist, dass er eine schwierige Umgebung für eine bestimmte Klassifizierungsbibliothek erzeugt, z.B. Gürtel und Reißverschlüsse, die bekanntermaßen in einigen Klassifizierungsbibliotheken das Risiko falsch positiver Ergebnisse bergen, kann der Algorithmus stattdessen zu einer geeigneteren Klassifizierungsbibliothek wechseln.
-
In einer zweiten Stufe wird die Position des/der identifizierten in Frage kommenden Objekts/Person in einer Koordinatentransformation wie oben beschrieben verwendet, um die Änderung der Zeigerichtung der Erkennungsvorrichtung für Bedrohungsobjekte zu berechnen, die erforderlich ist, um die Strahlung auf das/die in Frage kommende Objekt/Person zu richten. Beispielsweise kann ein Schwenken/Neigen/Zoomen für das System bestimmt werden. Alternativ kann eine Drehung eines kardanisch aufgehängten Systems berechnet werden.
-
In einer dritten Stufe kann das/die identifizierte in Frage kommende Objekt/Person teilweise oder vollständig vom Erkennungssystem für Bedrohungsobjekte gescannt werden, um das in Frage kommende Objekt als bedrohlich oder nicht bedrohlich zu klassifizieren. Dies kann z.B. ein Hin- und Herschwingen oder „Nicken“ der Zeigerichtung der vom Erkennungssystem für Bedrohungsobjekte ausgesandten Strahlung über das/die in Frage kommende Objekt/Person aufweisen, um es/sie ganz oder teilweise zu scannen und festzustellen, ob das in Frage kommende Objekt ein Objekt von Interesse ist. Dies wird in 7 veranschaulicht. Das teilweise Scannen eines in Frage kommenden Objekts kann beispielsweise das Scannen eines Teils einer Person aufweisen, von der festgestellt wurde, dass sie möglicherweise ein Bedrohungsobjekt verbirgt.
-
In einigen Ausführungsformen kann die Steuereinrichtung Verstärkungs-Lernalgorithmen anwenden, um ein Abtastmuster zu verwenden, das auf der wahrgenommenen Form des in Frage kommenden Objekts basiert, um sicherzustellen, dass das gesamte Profil des in Frage kommenden Objekts vor der Bedrohungsbewertung gescannt wird, anstatt die Strahlung mit einer einfachen Nickbewegung über Objekte zu leiten. Solche optimierten Scanverfahren stellen sicher, dass Personen und Gegenstände nicht als nicht bedrohlich markiert werden, wenn Teile ihres Profils noch nicht auf verborgene Bedrohungsobjekte gescannt worden sind.
-
In anderen Ausführungsformen kann das Scannen die Einstellung der Richtung des Strahlenbündels mit Hilfe des drehbaren Spiegels 119 aufweisen, der oben in Bezug auf 2 beschrieben wurde. Das schnelle Scannen und Feineinstellung der Strahlenrichtung, die durch den drehbaren Spiegel 119 ermöglicht wird, ist besonders vorteilhaft zum Scannen von Gruppen zusammengedrängter in Frage kommender Objekte, da die gesamte Gruppe in das erweiterte Sichtfeld des Detektors fallen kann. So kann der Detektor beispielsweise eine ganze Gruppe von in Frage kommenden Personen auf Bedrohungsobjekte untersuchen, ohne den Detektorkopf überhaupt zu bewegen.
-
Im Gegensatz zu herkömmlichen Detektoren mit großer Strahlbreite, die möglicherweise auch in der Lage sind, schnell Cluster von in Frage kommenden Objekten zu scannen, ermöglicht der Ansatz der vorliegenden Erfindung, jedem identifizierten Objekt eine eindeutige ID zuzuweisen und den einmal überprüften Objekten Bedrohungs-/Nicht-Bedrohungs-Klassifikationen zuzuordnen, die Auflösung und Verfolgung von in Frage kommenden Objekten von Interesse innerhalb des Clusters, selbst wenn sich der Cluster auflöst. Beispielsweise kann eine Person von Interesse in einer Menschenmenge identifiziert und nach dem Verlassen der Menschenmenge verfolgt werden.
-
In einigen Ausführungsformen kann das System, wenn festgestellt wird, dass es sich bei dem in Frage kommenden Objekt um eine Bedrohung oder um ein Objekt von Interesse handelt, auch so konfiguriert werden, dass es die dem Objekt während der Identifizierungsphase zugewiesene eindeutige ID verwendet, um das Objekt von Interesse mit Hilfe der Sensorkomponente zu verfolgen und zu überwachen, während es gleichzeitig, wie oben beschrieben, weiterhin neue in Frage kommende Objekte identifiziert und scannt.
-
Für jede Kamera werden Metriken bestimmt, die die Positionen der in Frage kommenden Objekte repräsentieren. Wenn genügend Kameras vorhanden sind, um alle vernünftigen Standpunkte abzudecken (einschließlich der direkt darüber liegenden), ist es möglich, diese Daten zu ergänzen, um Probleme mit Verdeckungen, fehlenden Erkennungen, falschen Erkennungen (die von einem Standpunkt aus auftreten können, aber nicht von anderen) und andere Einschränkungen zu überwinden.
-
Darüber hinaus kann die Verwendung eines erweiterten Kalman-Filters, eines Partikelfilters oder eines anderen auf maschinellem Lernen basierenden Tracking-Filters hilfreich sein, um der Möglichkeit fehlender Entdeckungen in Frames bei dem Nachverfolgungsverfahren Rechnung zu tragen, die entweder durch Verdeckung oder durch eine andere Einschränkung des Algorithmus verursacht werden, insbesondere da es unwahrscheinlich ist, dass die physische Umgebung, in der das System eingesetzt wird, eine umfassende, unverdeckte Übersicht über die Szene erlaubt. Solche Techniken ermöglichen es, dass in Frage kommende Objekte auch in Abwesenheit von erfassten Daten weiterverfolgt werden können, und zwar für jede Kamera und/oder auch auf höherer Ebene innerhalb der 3D-Rekonstruktion.
-
In einigen Ausführungsformen kann ein in Frage kommendes Objekt, wenn festgestellt wird, dass es keine Bedrohung darstellt, eine Nicht-Bedrohungsklassifizierung in Verbindung mit seiner eindeutigen ID haben, um zu vermeiden, dass dasselbe Objekt zweimal überprüft wird; an diesem Punkt kann das System die Verfolgung des Objekts einstellen.
-
Obwohl hier beispielhafte Verfolgungsrichtlinien beschrieben werden, wird man es zu schätzen wissen, dass das Bedrohungserkennungssystem der vorliegenden Erfindung konfigurierbar ist, und insbesondere, dass die Verfolgungsrichtlinie des Systems so konfiguriert werden kann, dass Objekte je nach Benutzeranforderungen verfolgt oder nicht verfolgt werden.
-
In einigen Ausführungsformen ermöglicht die Integration der Sensorkomponente und des Systems zur Erkennung von Bedrohungsobjekten die autonome Identifizierung und Abtastung von in Frage kommende Objekten und die anschließende autonome Verfolgung der Objekte, die als Objekte von Interesse bestimmt wurden.
-
In einigen Ausführungen kann die Sensorkomponente an einem nahegelegenen, aber vom Erkennungssystem für Bedrohungsobjekte verschiedenen Ort untergebracht sein. Eine solche Konfiguration kann die Auflösung von Verdeckungen von Zielobjekten ermöglichen, indem das in Frage kommende Objekt immer im Blickfeld mindestens eines der beiden Elemente Sensorkomponente und Erkennungsvorrichtung für Bedrohungsobjekte ist.
-
Von den Fachleuten wird es zudem geschätzt, dass die Erfindung zwar beispielhaft anhand mehrerer Ausführungsformen beschrieben wurde, aber nicht auf die offenbarten Ausführungsformen beschränkt ist und dass alternative Ausführungsformen konstruiert werden könnten, ohne vom Erfindungsumfang, wie er in den beigefügten Ansprüchen definiert ist, abzuweichen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 6359582 [0006]
- US 6856271 [0006]
- US 7450052 [0006]
- US 6967612 [0007]
- US 5227800 [0007]
- WO 2009/115818 [0009, 0010, 0025]
