DE112009000485T5

DE112009000485T5 - Objektvergleich für Verfolgung, Indizierung und Suche

Info

Publication number: DE112009000485T5
Application number: DE112009000485T
Authority: DE
Inventors: Mahesh Waltham Saptharishi; Dimitri A. Shrewsbury Lisin
Original assignee: VideoIQ Inc
Current assignee: Motorola Solutions Inc
Priority date: 2008-03-03
Filing date: 2009-03-03
Publication date: 2011-03-17
Also published as: GB2492246A8; US10339379B2; GB2492246B; TW200945218A; GB201014670D0; KR101592889B1; WO2009111498A2; GB201211440D0; US10417493B2; US11176366B2; US20140176727A1; KR20150123968A; WO2009111499A2; US20190303667A1; US20090244291A1; GB2492246A; TWI508003B; KR20100124309A; US20170262702A1; US9697425B2

Abstract

Kamerasystem (100) mit:
einer Bilderfassungsvorrichtung (102) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen;
einem Objektdetektionsmodul (204), das mit der Bilderfassungsvorrichtung (102) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen;
einem Objektverfolgungsmodul (206), das mit dem Objektdetektionsmodul (204) verbunden ist und betriebsfähig ist, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen, wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind; und
einem Übereinstimmungsklassifikator (218), der mit dem Objektverfolgungsmodul (206) verbunden ist, zum Vergleichen von Objektfällen, wobei der Übereinstimmungsklassifikator (218) betriebsfähig ist, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts...

Description

Verwandte Anmeldungen
Diese Anmeldung beansprucht den Nutzen unter 35 U. S. C. § 119(e) der vorläufigen US-Anmeldung Nr. 61/033 349 mit dem Titel ”Method of Dynamic Object and Event Classification”, eingereicht am 3. März 2008, und der vorläufigen US-Anmeldung Nr. 61/033 284 mit dem Titel ”Method and System for Tracking Objects Under Video Surveillance”, eingereicht am 3. März 2008, die beide durch den Hinweis in ihren Gesamtheiten hierin aufgenommen werden.
Technisches Gebiet
Diese Offenbarung bezieht sich im Allgemeinen, aber nicht ausschließlich auf eine Videoüberwachung und insbesondere auf den Vergleich von Objekten, die in mehreren Bildern dargestellt sind.
Hintergrundinformationen
Automatisierte Sicherheits- und Überwachungssysteme verwenden typischerweise Videokameras oder andere Bilderfassungsvorrichtungen oder Sensoren, um Bilddaten zu sammeln. In den einfachsten Systemen werden durch die Bilddaten dargestellte Bilder für eine zeitgleiche Rasterung durch Sicherheitspersonal angezeigt und/oder für eine spätere Bezugnahme nach einem Sicherheitsbruch aufgezeichnet. In diesen Systemen wird die Aufgabe der Detektion von interessierenden Objekten von einem menschlichen Beobachter durchgeführt. Ein signifikanter Vorteil tritt auf, wenn das System selbst die Objektdetektion und -verfolgung entweder teilweise oder vollständig durchführen kann.
In einem typischen Überwachungssystem kann man beispielsweise an der Verfolgung eines detektieren Objekts wie z. B. eines Menschen, eines Fahrzeugs, eines Tiers, usw., das sich durch die Umgebung bewegt, interessiert sein.
Existierende Systeme, die zur Verfolgung von detektierten Objekten in der Lage sind, versuchen, Objekte unter Verwendung von Bewegungsvorhersage und Verfolgung von ausgewählten Merkmalen in aufeinander folgenden Videoeinzelbildern zu verfolgen. Andere Verfahren, wie z. B. das SIFT-Verfahren, versuchen, das Aussehen eines Falls eines Objekts genau darzustellen, so dass die Darstellung verwendet werden kann, um mehrere Fälle eines Objekts ungeachtet ihrer zeitlichen Nähe zu vergleichen. Bekannte Verfolgungssysteme leiden jedoch unter einem oder mehreren (1) der Unfähigkeit, trainiert zu werden, (2) dem Mangel an Integration in Objektsuch-, Objektindizierungs- und Objektklassifikationssysteme, (3) einer ungeeigneten Objektverfolgungs- und Objektsuchleistung, und (4) ineffektiven Verfolgungsfähigkeiten über Kameras.
Kurzbeschreibung der Zeichnungen
1 ist ein bildhaftes Diagramm eines Kamerasystems gemäß einem Ausführungsbeispiel.
2 ist ein vereinfachtes Blockdiagramm von einer der Bilderfassungsvorrichtungen in dem in 1 gezeigten System.
3 ist ein Blockdiagramm, das ein Verfahren zum Erzeugen einer Eingabe für den Übereinstimmungsklassifikator von 2 gemäß einem Ausführungsbeispiel darstellt.
4 ist ein Blockdiagramm des Übereinstimmungsklassifikators von 2.
5A ist ein Blockdiagramm, das einen der anfänglichen N – 1 Schritte in dem in 4 gezeigten Übereinstimmungsklassifikator zeigt.
5B ist eine Darstellung von Annahme- und Ablehnungsschwellenwerten, die in dem in 5A gezeigten Schritt verwendet werden.
6 ist ein Ablaufplan, der ein Verfahren zur Verwendung des Übereinstimmungsklassifikators gemäß einem Ausführungsbeispiel darstellt.
7 ist ein Ablaufdiagramm eines Übereinstimmungsklassifikator-Trainingsverfahrens.
8 ist ein Ablaufplan eines Übereinstimmungsklassifikator-Trainingsverfahrens.
9 ist ein Ablaufplan eines weiteren Übereinstimmungsklassifikator-Trainingsverfahrens.
10 ist ein Blockdiagramm eines Objektverfolgungssystems.
11 ist ein Ablaufplan eines Objektverfolgungsverfahrens.
12 ist ein Hybrid-Blockdiagramm und Ablaufplan eines weiteren Objektverfolgungssystems.
13A und 13B sind Hybrid-Blockdiagramme und Ablaufpläne eines Verfolgungsverfahrens zwischen Kameras.
14 ist ein Blockdiagramm eines Objektindizierungssystems.
15 ist ein bildhaftes Diagramm eines Objektsuchverfahrens.
Ausführliche Beschreibung von Ausführungsbeispielen
Überblick
Ein Kamerasystem umfasst eine Bilderfassungsvorrichtung, ein Objektdetektionsmodul, das mit der Bilderfassungsvorrichtung verbunden ist, ein Objektverfolgungsmodul, das mit dem Objektdetektionsmodul verbunden ist, und einen Übereinstimmungsklassifikator, der mit dem Objektverfolgungsmodul verbunden ist. Die Bilderfassungsvorrichtung weist ein Blickfeld auf und erzeugt Bilddaten, die mehrere Bilder des Blickfeldes darstellen. Das Objektdetektionsmodul empfängt die Bilddaten und ist betriebsfähig, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen. Das Objektverfolgungsmodul ist betriebsfähig, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet werden. Der Übereinstimmungsklassifikator ist betriebsfähig, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts abgeleitet sind, zu vergleichen. Das zweite Objekt wird in einem zweiten Bild detektiert, das von den Bildern der ersten Gruppe verschieden ist. Die zweite Signatur stellt Merkmale des zweiten Objekts dar, die vom zweiten Bild abgeleitet werden. Der Übereinstimmungsklassifikator analysiert den ersten Satz von Daten, um festzustellen, ob die zweite Signatur mit der ersten Signatur übereinstimmt oder nicht. Der Übereinstimmungsklassifikator arbeitet zum Vergleichen von Objektfällen in einer Weise, die zumindest teilweise durch einen Trainingsprozess festgelegt wurde, der den Übereinstimmungsklassifikator unter Verwendung eines Satzes von möglichen Objektmerkmalen automatisch konfiguriert.
Ein Verfahren verfolgt ein durch ein Kamerasystem erfasstes Objekt. Das Verfahren erfasst erste und zweite Bilder eines Blickfeldes des Kamerasystems, detektiert ein erstes Objekt, das im ersten Bild erfasst ist, und ein zweites Objekt, das im zweiten Bild erfasst ist, und erzeugt eine erste Signatur des ersten Objekts und eine zweite Signatur des zweiten Objekts. Die erste Signatur stellt einen ersten Satz von Merkmalen des ersten Objekts dar und die zweite Signatur stellt einen zweiten Satz von Merkmalen des zweiten Objekts dar. Das Verfahren erzeugt Daten, die von der ersten und der zweiten Signatur abgeleitet sind. Die Daten entsprechen einer ersten Teilmenge von Merkmalen, die aus dem ersten Satz ausgewählt sind, und einer zweiten Teilmenge von Merkmalen, die aus dem zweiten Satz ausgewählt sind. Ein Trainingsprozess bestimmt automatisch die Merkmale des ersten und des zweiten Satzes, die für die Aufnahme in die erste und die zweite Teilmenge ausgewählt werden sollen. Das Verfahren analysiert die Daten, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist.
Ein Verfahren erzeugt Indexelemente von Objekten in Bildern, die von einem Kamerasystem erfasst werden. Das Verfahren erfasst eine erste Gruppe von mehreren Bildern eines Objekts in einem Blickfeld des Kamerasystems, detektiert das Objekt in der ersten Gruppe von mehreren Bildern und erzeugt einen ersten Satz von Einzelbildsignaturen des Objekts. Die Einzelbildsignaturen des ersten Satzes entsprechen Merkmalen des Objekts, die von den mehreren Bildern der ersten Gruppe abgeleitet sind. Das Verfahren erzeugt eine erste mittlere Signatur des Objekts. Die erste mittlere Signatur ist ein Mittelwert der Einzelbildsignaturen des ersten Satzes. Die erste mittlere Signatur ist ein erstes Indexelement des Objekts. Das Verfahren erzeugt eine kumulative Signatur des Objekts. Die kumulative Signatur ist ein gewichteter Mittelwert der Einzelbildsignaturen des ersten Satzes. Das Verfahren erfasst ein zweites Bild des Objekts, detektiert das Objekt im zweiten Bild und erzeugt eine zweite Einzelbildsignatur, die vom zweiten Bild abgeleitet ist. Das Verfahren aktualisiert die kumulative Signatur durch Gewichten der zweiten Einzelbildsignatur und Mitteln der gewichteten zweiten Einzelbildsignatur mit der kumulativen Signatur. Das Verfahren stellt fest, ob die aktualisierte kumulative Signatur und die erste gemittelte Signatur als Übereinstimmung angenommen oder abgelehnt werden soll. Die erste mittlere Signatur wird auf der Basis der zweiten Einzelbildsignatur aktualisiert, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen werden. Eine zweite mittlere Signatur des Objekts wird auf der Basis der zweiten Einzelbildsignatur erzeugt, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung abgelehnt werden. Die zweite mittlere Signatur ist ein zweites Indexelement des Objekts.
Ein Verfahren durchsucht Daten, um Bilder eines Objekts zu identifizieren, das von einem Kamerasystem erfasst wird. Das Verfahren erfasst ein erstes Objekt in einem Bild eines Blickfeldes des Kamerasystems. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellen. Das Verfahren zeigt ein Bild des ersten Objekts auf einer Anzeige an, nimmt eine Benutzereingabe an, die eine Auswahl des ersten Objekts angibt, und führt Feststellungen hinsichtlich dessen durch, ob die erste Signatur einer Gruppe von Signaturen entspricht, die einem Satz von Objekten entsprechen, die in Bildern des Blickfeldes des Kamerasystems erfasst wurden. Das Verfahren sendet eine Benachrichtigung, wenn eine zweite Signatur eines zweiten Objekts des Satzes mit der ersten Signatur übereinstimmt.
Ein Kamerasystem umfasst eine Bilderfassungsvorrichtung, ein Objektdetektionsmodul, das mit der Bilderfassungsvorrichtung verbunden ist, eine Benutzerschnittstelle, die mit der Bilderfassungsvorrichtung verbunden ist, einen Übereinstimmungsklassifikator, ein Objektverfolgungsmodul, das mit dem Übereinstimmungsklassifikator und dem Objektdetektionsmodul verbunden ist, und ein Suchmodul, das mit dem Übereinstimmungsklassifikator und der Benutzerschnittstelle verbunden ist. Die Bilderfassungsvorrichtung weist ein Blickfeld auf und erzeugt Bilddaten, die mehrere Bilder des Blickfeldes darstellen. Das Objektdetektionsmodul empfängt die Bilddaten und ist betriebsfähig, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen. Die Benutzerschnittstelle umfasst eine Anzeige zum Anzeigen von Objekten, die vom Objektdetektionsmodul detektiert werden, und eine Eingabevorrichtung, die betriebsfähig ist, um Objekte, die vom Objektdetektionsmodul detektiert werden, in Reaktion auf Benutzerbefehle auszuwählen. Der Übereinstimmungsklassifikator ist betriebsfähig, um Objekte, die durch das Objektdetektionsmodul detektiert werden, zu vergleichen. Das Objektverfolgungsmodul ist betriebsfähig, um Fälle von Objekten, die vom Objektdetektionsmodul detektiert werden, zeitlich zuzuordnen, und ist auch betriebsfähig, um den Übereinstimmungsklassifikator heranzuziehen, um festzustellen, ob Fälle von Objekten zugeordnet werden sollen oder nicht. Das Suchmodul ist betriebsfähig, um gespeicherte Bilder von Objekten, die durch die Eingabevorrichtung ausgewählt werden, abzurufen, und ist auch betriebsfähig, um den Übereinstimmungsklassifikator heranzuziehen, um ein gespeichertes Bild eines ausgewählten Objekts aufzufinden.
Kamerasystem
Mit Bezug auf die vorstehend aufgelisteten Zeichnungen beschreibt dieser Abschnitt spezielle Ausführungsbeispiele und ihre ausführliche Konstruktion und Operation. Die hierin beschriebenen Ausführungsbeispiele werden nur zur Erläuterung und nicht zur Begrenzung dargelegt. Der Fachmann auf dem Gebiet wird angesichts der Lehren hierin erkennen, dass ein Bereich von Äquivalenten zu den hierin beschriebenen Beispielausführungsbeispielen besteht. Vor allem sind andere Ausführungsbeispiele möglich, Veränderungen können an den hierin beschriebenen Ausführungsbeispielen vorgenommen werden und es können Äquivalente zu den Komponenten, Teilen oder Schritten bestehen, die die beschriebenen Ausführungsbeispiele bilden.
Wie ein Fachmann auf dem Gebiet angesichts dieser Offenbarung erkennen wird, können bestimmte Ausführungsbeispiele bestimmte Vorteile gegenüber dem bekannten Stand der Technik erreichen, einschließlich einiger oder aller der folgenden: (1) Vereinigung von Objektverfolgungs-, Objektindizierungs- und Objektsuchverfahren, (2) Implementieren eines trainierbaren Übereinstimmungsklassifikators für die Objektverfolgung, -indizierung und -suche, (3) Fähigkeit, nach Fällen eines Objekts zu suchen, das vor einer Regelverletzung erfasst wurde, (4) Fähigkeit, vorher erfasste Objekte zu erkennen, nachdem ein neuer Objekttyp zu einer Detektionsbibliothek hinzugefügt ist, (5) Fähigkeit, die Objektverfolgung, -indizierung und -suche an Umgebungsänderungen anzupassen, (6) Fähigkeit, neue Merkmale hinzuzufügen, um die Detektions- und Klassifikationsgenauigkeit zu optimieren, (7) Implementieren eines Verfolgungssystems mit hoher Geschwindigkeit, das eine genaue Verfolgung selbst bei relativ niedrigen Bildraten ermöglicht, (8) Implementieren eines genauen Verfolgungssystems an einer eingebetteten Plattform unter Verwendung einer kostengünstigen Hardware, (9) Fähigkeit, die Objektdetektionsgenauigkeit und Objektklassifikationsgenauigkeit durch Zurückführen von genauen Verfolgungsdaten zu verbessern, und (10) Fähigkeit, Objekte über Kameras in Echtzeit automatisch zu verfolgen. Diese und weitere Vorteile von verschiedenen Ausführungsbeispielen werden beim Lesen des Rests dieses Abschnitts ersichtlich.
Der Deutlichkeit und Kürze halber werden bestimmte Aspekte von Komponenten oder Schritten von bestimmten Ausführungsbeispielen ohne übermäßiges Detail dargestellt, wenn ein solches Detail für den Fachmann auf dem Gebiet angesichts der Lehren hierin ersichtlich wäre und/oder wenn ein solches Detail ein Verständnis von relevanteren Aspekten der Ausführungsbeispiele verschleiern würde.
1 ist ein bildhaftes Diagramm eines Kamerasystems 100 gemäß einem Ausführungsbeispiel. Das Kamerasystem 100 umfasst Bilderfassungsvorrichtungen 102, eine Benutzerschnittstelle 104 und eine entfernte Speicher/Verarbeitungseinheit 106 (z. B. einen entfernten Server), die in einem Netzwerk 108 miteinander verbunden sind. Das Netzwerk 108 kann einen beliebigen Typ von verdrahtetem oder drahtlosem Netzwerk umfassen. Obwohl das Kamerasystem 100 von 1 mehrere Bilderfassungsvorrichtungen 102 umfasst, die in einem Netzwerk verbunden sind, kann das Kamerasystem 100 eine einzelne Bilderfassungsvorrichtung 102 umfassen. Die Bilderfassungsvorrichtungen 102 können ein internes Speichersystem 110 mit einem Festplattenlaufwerk (HD) 111 und einer Metadaten-Datenbank (DB) 112 umfassen. Die Bilderfassungsvorrichtungen 102 können beispielsweise ein Speichersystem umfassen, das in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nrn. 12/105 971 und 12/105 893 mit dem Titel ”Content Aware Storage of Video Data” bzw. ”Extending the Operational Lifetime of a Hard-Disk Drive Used in Video Data Storage Applications” beschrieben ist, die beide durch den Hinweis in ihren Gesamtheiten hierin aufgenommen werden. Die Benutzerschnittstelle 104 umfasst eine Anzeige 114 und eine Eingabevorrichtung 116. Die Bilderfassungsvorrichtungen 102 erfassen Bilder von ihrem jeweiligen Blickfeld und erzeugen Bilddaten, die die Bilder darstellen. Es soll selbstverständlich sein, dass Bilder sich auf Standbilder oder Bewegungsvideobilder beziehen können. Die Bilddaten werden über das Netzwerk 108 zur Benutzerschnittstelle 104 übertragen und Bilder von einem oder mehreren der Blickfelder werden auf der Anzeige 114 dargestellt. Die Eingabevorrichtung 116 ist betriebsfähig, um einem Benutzer zu ermöglichen, Benutzerrückmeldungsinformationen für das Kamerasystem 100 bereitzustellen. Die Bilddaten können auch über das Netzwerk 108 zur entfernten Speicher/Verarbeitungseinheit 106 übertragen werden.
2 ist ein vereinfachtes Blockdiagramm von einer der Bilderfassungsvorrichtungen 102. Die Bilderfassungsvorrichtung 102 kann eine Videokamera mit hoher Auflösung wie z. B. eine Megapixel-Videokamera sein. Die Bilderfassungsvorrichtung 102 kann auch Daten von außerhalb des sichtbaren Spektrums (z. B. Wärmeenergie) erfassen. Zusätzlich zum Speichersystem 110 umfasst die Bilderfassungsvorrichtung 102 eine Bildverarbeitungseinheit, die ein Videoanalysemodul 200 zum Analysieren von Bildern, die durch die Bilderfassungsvorrichtung 102 erfasst werden, umfasst. Die Bildverarbeitungseinheit muss nicht in einem Gehäuse 202 der Bilderfassungsvorrichtung 102 enthalten sein, wie in 2 dargestellt. Überdies kann die entfernte Speicher/Verarbeitungseinheit 106 auch eine Bildverarbeitungseinheit umfassen.
Das Videoanalysemodul 200 umfasst eine Anzahl von Modulen zum Durchführen von verschiedenen Aufgaben. Das Videoanalysemodul 200 umfasst beispielsweise ein Objektdetektionsmodul 204 zum Detektieren von Objekten, die im Blickfeld der Bilderfassungsvorrichtung 102 erscheinen. Das Objektdetektionsmodul 204 kann ein beliebiges bekanntes Objektdetektionsverfahren wie beispielsweise eine Bewegungsdetektion oder Fleckdetektion verwenden. Das Objektdetektionsmodul 204 kann die Systeme umfassen und die Detektionsverfahren verwenden, die in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nr. 10/884 486 mit dem Titel ”Methods and Systems for Detecting Objects of Interest in Spatio-Temporal Signals” beschrieben sind, deren gesamter Inhalt durch den Hinweis hierin aufgenommen wird.
Das Videoanalysemodul 200 umfasst auch ein Objektverfolgungsmodul 206, das mit dem Objektdetektionsmodul 204 verbunden ist. Wie hierin verwendet, bedeutet der Begriff ”verbunden” direkt oder indirekt über eine oder mehrere Vermittler logisch oder physikalisch verbunden. Das Objektverfolgungsmodul 206 ist betriebsfähig, um Fälle eines durch das Objektdetektionsmodul 204 detektierten Objekts zeitlich zuzuordnen. Das Objektverfolgungsmodul 206 erzeugt Metadaten entsprechend Objekten, die es verfolgt. Die Metadaten können Signaturen des Objekts entsprechen, die das Aussehen oder andere Merkmale des Objekts darstellen. Die Metadaten können zur Metadaten-Datenbank 112 zur Speicherung übertragen werden. Das Objektverfolgungsmodul 206 wird nachstehend genauer beschrieben.
Das Videoanalysemodul 200 umfasst auch ein zeitliches Objektklassifikationsmodul 208. Das zeitliche Objektklassifikationsmodul 208 ist betriebsfähig, um ein Objekt gemäß seinem Typ (z. B. Mensch, Fahrzeug, Tier) durch Betrachten des Aussehens des Objekts über die Zeit zu klassifizieren. Mit anderen Worten, das Objektverfolgungsmodul 206 verfolgt ein Objekt für mehrere Einzelbilder (d. h. mehrere Bilder) und das zeitliche Objektklassifikationsmodul 208 bestimmt den Typ des Objekts auf der Basis seines Aussehens in den mehreren Einzelbildern. Das zeitliche Objektklassifikationsmodul 208 kann Informationen hinsichtlich der Bahn eines Objekts (z. B. ob die Bahn glatt oder chaotisch ist, ob sich das Objekt bewegt oder bewegungslos ist) und das Vertrauen von Klassifikationen, die durch ein Objektklassifikationsmodul 210 durchgeführt werden, die über mehrere Einzelbilder gemittelt werden, kombinieren. Klassifikationsvertrauenswerte, die durch das Objektklassifikationsmodul 210 bestimmt werden, können beispielsweise auf der Basis der Gleichmäßigkeit der Bahn des Objekts eingestellt werden. Das zeitliche Objektklassifikationsmodul 208 kann ein Objekt einer unbekannten Klasse zuweisen, bis das Objekt durch das Objektklassifikationsmodul eine ausreichende Anzahl von Malen klassifiziert wird und eine vorbestimmte Anzahl von Statistiken erhoben wurde. Beim Klassifizieren eines Objekts kann das zeitliche Objektklassifikationsmodul 208 auch berücksichtigen, wie lange das Objekt im Blickfeld war. Das zeitliche Objektklassifikationsmodul 208 kann eine Endbestimmung über die Klasse eines Objekts auf der Basis der vorstehend beschriebenen Informationen durchführen. Das zeitliche Objektklassifikationsmodul 208 kann auch eine Hysteresemethode zum Ändern der Klasse eines Objekts verwenden. Beispielsweise kann ein Schwellenwert für den Übergang der Klassifikation eines Objekts von unbekannt zu einem Menschen festgelegt werden und dieser Schwellenwert kann größer sein als ein Schwellenwert für den entgegengesetzten Übergang (z. B. von einem Menschen zu unbekannt). Das zeitliche Objektklassifikationsmodul 208 kann Metadaten in Bezug auf die Klasse eines Objekts erzeugen und die Metadaten können in der Metadaten-Datenbank 112 gespeichert werden.
Das Videoanalysemodul 200 umfasst auch das Objektklassifikationsmodul 210, das mit dem Objektdetektionsmodul 204 verbunden ist. Im Gegensatz zum zeitlichen Objektklassifikationsmodul 208 bestimmt das Objektklassifikationsmodul 210 den Typ eines Objekts auf der Basis eines einzelnen Falls (d. h. eines einzelnen Bildes) des Objekts. Das Objektklassifikationsmodul kann die Systeme umfassen und die Verfahren verwenden, die in der im gemeinsamen Besitz stehenden US-Patentanmeldung Nr. _/_,_ (Anwaltsregisternr. 37686/8:2) mit dem Titel ”Dynamic Object Classification” beschrieben sind, deren gesamter Inhalt durch den Hinweis hierin aufgenommen wird. Das zeitliche Objektklassifikationsmodul 208 kann die vom Objektklassifikationsmodul 210 durchgeführten Klassifikationen zusammenfassen.
Das Videoanalysemodul 200 umfasst auch ein Objektindizierungsmodul 212, das mit dem Speichersystem 110 verbunden ist. Das Objektindizierungsmodul 212 ist betriebsfähig, um Signaturen für Objekte zu erzeugen. Die Signaturen können in der Metadaten-Datenbank 112 gespeichert werden und können als Indexelemente für Videobilder der Objekte wirken. Das Objektindizierungsmodul 212 wird nachstehend genauer beschrieben.
Das Videoanalysemodul 200 umfasst auch ein Objektsuchmodul 214, das mit dem Speichersystem 110 und der Benutzerschnittstelle 104 verbunden ist. Das Objektsuchmodul 214 ist betriebsfähig, um Signaturen zu durchsuchen, die im Speichersystem 110 gespeichert sind, um zu identifizieren, ob ein Objekt in vorher erfassten Bildern vorhanden war. Das Objektsuchmodul 214 wird nachstehend genauer beschrieben.
Das Videoanalysemodul 200 umfasst auch ein Objektkategorisierungsmodul 216, das mit dem Objektklassifikationsmodul 210 verbunden ist. Das Objektkategorisierungsmodul 216 ist betriebsfähig, um die Verfolgung zu priorisieren, wenn mehrere Objekte in einem Bild detektiert werden. Das Objektkategorisierungsmodul 216 ist beispielsweise betriebsfähig, um Klassifikationsinformationen zu verwenden, die vom Objektklassifikationsmodul 210 erzeugt werden, um eine Reihenfolge festzulegen, um zu versuchen, Objekte eines aktuellen Einzelbildes Objekten, die in vergangenen Einzelbildern detektiert wurden, zuzuordnen. Das Objektkategorisierungsmodul 216 wird nachstehend genauer beschrieben.
Daten, die vom Videoanalysemodul 200 erzeugt werden, können von einer Regelmaschine 220 verwendet werden, um festzustellen, ob eine oder mehrere vom Benutzer festgelegte Regeln verletzt wurden oder nicht. Die Regelmaschine 220 kann beispielsweise einen Alarm auslösen, der auf der Anzeige 114 der Benutzerschnittstelle dargestellt wird, wenn ein Mensch im Blickfeld von einer der Bilderfassungsvorrichtungen 102 detektiert wird.
Wie hierin verwendet, ist der Begriff ”Modul” eine Komponente, die ein oder mehrere Hardware-Schaltungen oder -vorrichtungen und/oder eine oder mehrere Softwareroutinen, Funktionen, ein Objekt oder dergleichen umfassen kann. Ein Modul kann vollständig Hardware, vollständig Software sein, Firmware umfassen oder eine gewisse Kombination der vorangehenden umfassen. Wie hierin verwendet, bezieht sich der Begriff ”System” auf eine materielle Sache.
Übereinstimmungsklassifikator
Das Videoanalysemodul 200 umfasst auch einen Übereinstimmungsklassifikator 218, der mit dem Objektverfolgungsmodul 206, dem Objektindizierungsmodul 212 und dem Objektsuchmodul 214 verbunden ist. Der Übereinstimmungsklassifikator 218 ist betriebsfähig, um ein Eingangsmuster z zu empfangen, das Signaturen von zwei Objekten darstellt, und festzustellen, ob die Signaturen übereinstimmen (z. B. ob die Signaturen ausreichend ähnlich sind). Der Übereinstimmungsklassifikator 218 kann vom Objektverfolgungsmodul 206, vom Objektindizierungsmodul 212 und vom Objektsuchmodul 214 verwendet werden, um die Module bei ihren verschiedenen Operationen zu unterstützen. Folglich kann ein einheitliches Gerüst zum Verfolgen, Indizieren und Suchen über den Übereinstimmungsklassifikator 218 erreicht werden.
Der Übereinstimmungsklassifikator 218 ist betriebsfähig, um Objekte auf der Basis der Signaturen (z. B. Merkmale oder Aussehenseigenschaften) der Objekte zu vergleichen. Der Übereinstimmungsklassifikator 218 empfängt beispielsweise Daten (d. h. das Eingangsmuster z) in Bezug auf die Signaturen von zwei Objekten, die in verschiedenen Einzelbildern erfasst sind, und stellt fest, ob die Objekte demselben physikalischen Objekt entsprechen.
Eine Signatur eines Objekts kann aus einer Teilmenge von Merkmalen F ^ = {f_k1, f_k2, ..., f_km} bestehen, die aus einem Satz von Merkmalen F = {f₁, f₂, f₃, ..., f_n} ausgewählt sind. Die Elemente von F ^ können als eine gewisse Transformation eines Bildbereichs R eines Objekts betrachtet werden. Folglich kann eine Signatur x eines Objekts die folgende Form annehmen:
Die Merkmale f ^₁, f ^₂, ..., f ^_m eines Objekts können einer Anzahl von Aussehenseigenschaften entsprechen, wie z. B., jedoch nicht begrenzt auf das Seitenverhältnis, den Farbton, die Intensität, Kantenorientierungen, die Textur, Eckenmerkmale, Rohbildpixeldaten, normierte Sättigung und lokalisierte Deskriptoren, wie z. B. Merkmale einer maßstabsinvarianten Merkmalstransformation (SIFT). Die Merkmale umfassen sowohl Farbmerkmale (z. B. Farbton und Sättigung) als auch Graustufenmerkmale (z. B. Intensität und Kantenorientierung). Dies ermöglicht, dass der Übereinstimmungsklassifikator 218 mit sowohl Farb- als auch Schwarz-Weiß-Bildern arbeitet. Ein Bild eines Objekts kann in Bereiche oder Unterfenster unterteilt werden und die Merkmale f ^₁, f ^₂, ..., f ^_m können den Aussehenseigenschaften des Objekts in den Bereichen oder Unterfenstern entsprechen. Überdies können die Merkmale f ^₁, f ^₂, ..., f ^_m Merkmalsvektoren (z. B. Histogramme, in denen die Histogrammintervallbereiche Vektorkomponenten entsprechen) der Aussehenseigenschaften darstellen und können vom Übereinstimmungsklassifikator 218 verwendet werden, um festzustellen, ob Objekte übereinstimmen oder nicht. Histogramme der Kantenorientierungen eines Objekts können beispielsweise für verschiedene Bereiche (z. B. Unterfenster) des Bildes des Objekts konstruiert werden. Mit anderen Worten, ein Bild eines Objekts kann in Unterfenster unterteilt werden und Kantenorientierungen können für jedes Pixel der Unterfenster berechnet werden. Die Kantenorientierung eines Pixels kann unter Verwendung eines steuerbaren Filters (z. B. unter Verwendung eines Gauß-Ableitungsfilters in mehreren Richtungen) abgeleitet werden. Ein Bild kann beispielsweise mit einer ersten Ableitung einer Gauß-Verteilung, die in null und 90 Grad orientiert ist, gefaltet werden, die als Basisfilter verwendet werden können, um zahlreiche Orientierungen zu synthetisieren. Gauß-Ableitungsantworten können in acht Orientierungen für jedes Pixel berechnet werden und für jedes Pixel kann die Orientierung mit der maximalen Antwort als Richtung für das Pixel gewählt werden. Die Verwendung eines steuerbaren Filters ermöglicht, dass dominante Richtungen den Pixeln eines Unterfensters zugewiesen werden, und ermöglicht, dass ein Histogramm der Richtungen für das Unterfenster konstruiert wird. Für ein gegebenes Pixel kann beispielsweise ein steuerbares Filter in mehreren Richtungen verwendet werden, um mehrere Antworten zu erzeugen, und die Richtung, die der maximalen Richtungsableitungsantwort entspricht, wird als Richtung des Pixels zugewiesen. Eine Signatur x eines Objekts kann die Eindeutigkeit des Objekts erfassen, während sie Aussehensvariationen unter verschiedenen Fällen des Objekts ermöglicht. Obwohl es nicht erforderlich ist, kann eine Signatur eines Objekts mit der für das Kamerasystem 100 erhältlichen maximalen Auflösung berechnet werden und kann durch eine nachträgliche Abwärtsabtastung oder Kompression nicht beeinflusst werden.
3 ist ein Blockdiagramm, das ein Verfahren 300 zeigt, das verwendet werden kann, um eine Eingabe z für den Übereinstimmungsklassifikator 218 auf der Basis einer Signatur x von einem ersten Objekt und einer Signatur y von einem zweiten Objekt zu erzeugen. Im Allgemeinen werden die Signaturen x und y vom ersten und vom zweiten Objekt kombiniert, um die Eingabe z zu bilden (Schritt 302). Das Merkmal f ^₁ der Signatur x kann beispielsweise mit dem Merkmal f ^₁ der Signatur y kombiniert werden. Die Signaturen x und y können mathematisch unter Verwendung von Kombinationsfunktionen wie z. B. eines Histogrammschnitts oder einer Verkettung von Merkmalen kombiniert werden. Eine Kombinationsfunktion könnte man sich als Abstandsmaß d zwischen den Merkmalen vorstellen. Viele verschiedene Abstandsmaße können verwendet werden, um die Eingabe z bereitzustellen, wie z. B. ein L₁-Abstand, ein Manhattan-Abstand, ein L₂-Abstand und ein Bhattacharyya-Abstand. Folglich sind viele Kombinationen oder Abstandsmaße beispielsweise für das Merkmal f ^₁ der Signatur x und das Merkmal f ^₁ der Signatur y möglich. Die Abstandsmaße können einem Maß einer Ähnlichkeit zwischen den Merkmalen entsprechen; Fälle desselben Objekts können im Merkmalsraum ”nahe” liegen (z. B. kleines Abstandsmaß), während Fälle von verschiedenen Objekten im Merkmalsraum ”weit entfernt” sein können (z. B. großes Abstandsmaß). Wenn beispielsweise Kantenorientierungshistogramme von den Signaturen x und y kombiniert werden, kann die Verkettung der Kantenorientierungshistogramme als Abstandsmaß d dienen. Die Eingabe z wird zum Übereinstimmungsklassifikator 218 geliefert und der Übereinstimmungsklassifikator 218 trifft eine Entscheidung hinsichtlich dessen, ob das erste und das zweite Objekt übereinstimmen. Wie nachstehend beschrieben, kann ein Trainingsprozess automatisch die besten Merkmale der Signaturen x und y zusammen mit der besten Kombination oder dem besten Abstandsmaß wählen, um ein hohes Niveau an Genauigkeit beim Vergleich von Objekten zu erreichen. Die Ausgabe des Übereinstimmungsklassifikators 218 kann einem Entscheidungsschrittwert s(z) entsprechen, wie nachstehend beschrieben. Der Entscheidungsschrittwert s(z) kann angeben, ob das erste und das zweite Objekt übereinstimmen, und kann einen Wert umfassen, der einem Vertrauensniveau in seiner Entscheidung entspricht.
Der Übereinstimmungsklassifikator 218 kann durch ein Klassifikationsproblem dargestellt werden, das im Allgemeinen durch eine Klassifikatorfunktion Γ(z) definiert ist, wobei zwei Objekte, die durch das Eingangsmuster z dargestellt sind, als Übereinstimmung deklariert werden, wenn Γ(z) > 0, oder als Nicht-Übereinstimmung, wenn Γ(z) < 0. Im Allgemeinen wird die Klassifikatorfunktion Γ(z) mit einem Satz von Parametern parametrisiert und die Eingabe z besteht aus einer Kombination der vorstehend beschriebenen Merkmale. Die Größe der Ausgabe der Klassifikatorfunktion kann das Vertrauensniveau des Übereinstimmungsklassifikators 218 in seiner Entscheidung widerspiegeln. Dieses Vertrauensniveau kann ein Maß der Ähnlichkeit (oder Unähnlichkeit) bilden.
Ein Ausführungsbeispiel der Struktur des Übereinstimmungsklassifikators 218 wird nun mit Bezug auf 4–6 genauer beschrieben. Der Übereinstimmungsklassifikator 218 umfasst mehrere Schritte 400 (N Entscheidungsschritte), die in einer Kaskadenkonfiguration konfiguriert sind (d. h. Schritt 1, gefolgt von Schritt 2, gefolgt von Schritt 3, ..., gefolgt von Schritt N), wie in 4 gezeigt. Die N Schritte arbeiten zum Feststellen, ob zwei Signaturen übereinstimmen oder nicht. Im Gegensatz zu einem bekannten Kaskadenklassifikationssystem, das in Paul Viola & Michael Jones, "Robust Real-Time Face Detection", International Journal of Computer Vision, S. 137–154 (2004), vorgeschlagen ist, ist jeder der anfänglichen N – 1 Schritte des vorliegenden Ausführungsbeispiels betriebsfähig, um eine von drei Entscheidungen zu treffen: (1) Annehmen von zwei Objekten als Übereinstimmung, (2) Ablehnen der Objekte als Übereinstimmung (d. h. Deklarieren als Nicht-Übereinstimmung) und (3) Weiterleiten der Entscheidung zum nächsten Schritt. Die Eingabe z wird beispielsweise zu Schritt 1 geliefert und Schritt 1 entscheidet, ob (1) die Objekte als Übereinstimmung angenommen werden sollen, (2) die Objekte als Übereinstimmung abgelehnt werden sollen, oder (3) die Entscheidung zu Schritt 2 weitergeleitet werden soll. Die Entscheidung zum Annehmen, Ablehnen oder Weiterleiten basiert auf einem durch den Schritt erzeugten Wert (d. h. dem Entscheidungsschrittwert s(z)). Der letzte oder N-te Schritt ist betriebsfähig, um entweder (1) die Objekte als Übereinstimmung anzunehmen oder (2) die Objekte als Übereinstimmung abzulehnen.
5A ist ein Blockdiagramm, das einen der anfänglichen N – 1 Schritte 400 genauer zeigt. Jeder Schritt 400 umfasst eine oder mehrere Stufen 500. Für jede der Stufen 500 wird eine Kombination (z. B. ein Abstandsmaß oder eine Verkettung) von einem der Merkmale f ^₁, f ^₂, ..., f ^_m von einem ersten Objekt und einem entsprechenden der Merkmale f ^₁, f ^₂, ..., f ^_m von einem zweiten Objekt von der Eingabe z extrahiert (durch die Blöcke 502 dargestellt) und zu ihrer entsprechenden Stufe 500 geliefert. Eine Kombination des Merkmals f ^₁ vom ersten Objekt und des Merkmals f ^₁ vom zweiten Objekt kann beispielsweise zur ersten Stufe 500 geliefert werden. Jede Stufe 500 weist daher eine entsprechende Merkmalskombination auf, die ihr zugeordnet ist. Die Stufen/Merkmals-Kombination kann durch einen Lernalgorithmus während eines Trainingsprozesses vorbestimmt werden, wie nachstehend beschrieben. Überdies kann eine zur ersten Stufe (Stufe 1) von 5 gelieferte Merkmalskombination beispielsweise verschieden sein von oder dieselbe sein wie die zur zweiten Stufe (Stufe 2) gelieferte Merkmalskombination.
Im Allgemeinen kann eine Stufe 500 durch eine Stufenfunktion g dargestellt werden, die folgendermaßen definiert ist: g:(x, y) → γ g ∊ G (x, y) ∊ z und γ ∊ [–1, 1] (2) wobei G einen allgemeinen Satz darstellt, aus dem die spezifische Stufenfunktion g gewählt ist, und (x, y) eine Kombination eines aus der Signatur x extrahierten Merkmals und eines aus der Signatur y extrahierten Merkmals darstellt. Wie vorstehend beschrieben, kann eine Kombination von Merkmalen, die zu einer Stufe 500 geliefert wird, als Abstandsmaß d betrachtet werden. Der Satz G kann daher als G = D × T geschrieben werden, wobei D ein Satz aller möglichen Abstandsmaße ist, die in Schritt 302 von 3 berechnet werden (z. B. d ∊ D, d: (x, y) → z) und T einen Satz von möglichen Transformationen (d. h. Abbildungen) darstellt, so dass für t ∊ T, t:z → γ. Folglich kann die Stufenfunktion g die folgende erweiterte Form annehmen: g_i(f ^ x / k, f ^ y / k) = t(d(f ^ x / k, f ^ y / k)) (3)
Eine Stufe 500 stellt eine Diskriminantenfunktion dar, die einen Gewichtsvektor w ⇀ und eine Aktivierungsfunktion β umfasst. Wie vorstehend angegeben, können die Merkmale f ^₁, f ^₂, ..., f ^_m Merkmalsvektoren darstellen. Außerdem kann ein Abstandsmaß d zwischen Merkmalsvektoren einen Abstandsvektor d ⇀ darstellen. Die Stufenfunktion kann wie folgt umgeschrieben werden: g_i(d ⇀_k) = β_i(w ⇀_i·d ⇀_k) (4) wobei w ⇀_i·d ⇀_k das innere Produkt des Gewichtsvektors w ⇀ und des Abstandsvektors d ⇀_k darstellt. Die Aktivierungsfunktion β_i kann irgendeine Funktion sein, wie z. B., jedoch nicht begrenzt auf eine S-förmige Funktion oder eine Funktion auf radialer Basis. Die Aktivierungsfunktion β_i wird verwendet, um das innere Produkt des Gewichtsvektors w ⇀ und des Abstandsvektors d ⇀_k auf einen Wert zwischen null und eins abzubilden. Der Skalarwert γ kann durch Berechnen eines Differentials der Diskriminantenfunktion bestimmt werden. Im Gegensatz zu bekannten Kaskadenklassifikatoren, die dieselbe Diskriminantenfunktion für alle Stufen umfassen, können die Diskriminantenfunktionen für die Stufen des vorliegenden Ausführungsbeispiels voneinander verschieden sein. Überdies werden der Gewichtsvektor w ⇀_i und die Aktivierungsfunktion β_i für jede Stufe 500 während des Trainings automatisch bestimmt, wie nachstehend beschrieben.
Jeder Schritt 400 ist eine lineare Kombination (durch den Skalierungs- und Summierblock 502 dargestellt) von einer oder mehreren der Stufen 500. Mit anderen Worten, die Skalarwerte γ der Stufen 500 werden skaliert und summiert, um den Entscheidungsschrittwert s(z) zu erzeugen. Im Allgemeinen kann diese Funktion mathematisch wie folgt dargestellt werden:
Da s(z) (d. h. der Entscheidungsschrittwert) eine konvexe Kombination von Stufen ist, weisen s(z) und g(x, y) denselben Bereich auf. Gewichtungskoeffizienten α werden durch einen Lernalgorithmus während des Trainings gewählt. Der Entscheidungsschrittwert wird mit einem oder beiden eines Annahmeschwellenwerts τ_a und eines Ablehnungsschwellenwerts τ_r verglichen (durch den Block 506 dargestellt), um festzustellen, ob zwei Objekte übereinstimmen, die Objekte als Übereinstimmung abgelehnt werden sollen oder die Entscheidung zum nächsten Schritt 400 weitergeleitet werden soll. Der Vergleich kann folgendermaßen dargestellt werden: Annehmen, wenn τ_a < s(z) ≤ 1 Weiterleiten, wenn τ_r < s(z) ≤ τ_a Ablehnen, wenn –1 < s(z) ≤ τ_r (6)
5B stellt ein Beispiel des Annahme- und des Ablehnungsschwellenwerts im Intervall [–1, +1] dar. Der Annahmeschwellenwert τ_a und der Ablehnungsschwellenwert τ_r werden während des Trainings durch einen Lernalgorithmus auf der Basis von benutzerspezifischen falsch positiven und falsch negativen Raten gewählt. Jeder Schritt 400 kann Werte für τ_a und τ_r aufweisen, die verschieden sind von oder dieselben sind wie die anderen Schritte 400. Eine Entscheidung zum ”Annehmen” impliziert, dass der Klassifikator zuversichtlich ist, dass zwei Objekte übereinstimmen. Eine Entscheidung zum ”Weiterleiten” impliziert, dass der Klassifikator unsicher ist und die Entscheidung zum nächsten Schritt verschiebt. Eine Entscheidung zum ”Ablehnen” impliziert, dass der Klassifikator zuversichtlich ist, dass zwei Objekte nicht übereinstimmen. In irgendeinem Schritt wird, wenn die Entscheidung nicht darin besteht, zum nächsten Schritt 400 ”weiterzuleiten”, die Annahme/Ablehnungs-Entscheidung an diesem Punkt getroffen und die Auswertung ist vollständig. Der Entscheidungsschrittwert s(z) in diesem Schritt ist der Ausgangswert für den Übereinstimmungsklassifikator 218. Der Entscheidungsschrittwert kann einem Entscheidungsvertrauensniveau für den entsprechenden Schritt 400 entsprechen. Ein Entscheidungsschrittwert nahe eins kann beispielsweise darstellen, dass der entsprechende Schritt 400 zuversichtlicher ist, dass zwei Objekte übereinstimmen, im Vergleich zu einem Entscheidungsschrittwert, der geringfügig über dem Annahmeschwellenwert τ_a liegt. Alternativ kann eine Erhöhung des Entscheidungsschrittwerts nicht notwendigerweise einem höheren Entscheidungsvertrauensniveau entsprechen (d. h. eine Wahrscheinlichkeit, dass die Entscheidung korrekt war). Das Vertrauensniveau, das jedem Entscheidungsschrittwert zugeordnet ist, kann während des Trainings empirisch abgeschätzt werden, wenn Objekte mit verschiedenen Entscheidungsschrittwerten korrekt und falsch verglichen werden. Die Vertrauensniveaus der Entscheidungsschrittwerte werden nachstehend genauer beschrieben. Wie vorstehend angegeben, wird die Endstufe (Stufe N) im Übereinstimmungsklassifikator 218 dazu gezwungen, immer anzunehmen oder abzulehnen: Annehmen, wenn 0 < s(z) ≤ 1 Ablehnen, wenn –1 < s(z) ≤ 0 (7)
6 ist ein Ablaufplan, der einen Operationsablauf 600 des Übereinstimmungsklassifikators 218 als Beispiel darstellt. Zuerst werden die Signaturen eines ersten und eines zweiten Objekts kombiniert (Schritt 602). Das erste und das zweite Objekt können demselben physikalischen Objekt entsprechen. Schritt 602 korreliert mit Schritt 302 von 3. Die Eingabe z wird zum ersten Schritt 400 des Übereinstimmungsklassifikators 218 übertragen (Schritt 604). Die kombinierten Merkmale (z. B. die Abstandsmaße), die der ersten bis S-ten Stufe 500 entsprechen, werden in der Eingabe z identifiziert und aus dieser gewählt (Schritt 606). Alternativ können anstelle der Übertragung der Eingabe z zum ersten Schritt 400 die kombinierten Merkmale, die von den Stufen 500 des ersten Schritts 400 verwendet werden, ausgewählt werden und nur diese kombinierten Merkmale können zum ersten Schritt 400 übertragen werden. Die kombinierten Merkmale werden zu ihren jeweiligen Stufen 500 geliefert und die Stufen 500 bilden die kombinierten Merkmale auf Skalarwerte γ ab (Schritt 608). Die Skalarwerte werden skaliert (d. h. gewichtet) und summiert, um einen Entscheidungsschrittwert s(z) zu erzeugen (Schritt 610). Der Entscheidungsschrittwert wird mit einem oder mehreren des Annahmeschwellenwerts τ_a und des Ablehnungsschwellenwerts τ_r verglichen (Schritt 612). Wenn der Entscheidungsschrittwert größer ist als der Annahmeschwellenwert τ_a, werden das erste und das zweite Objekt als Übereinstimmung angenommen (Schritt 614). Wenn der Entscheidungsschrittwert geringer als oder gleich dem Ablehnungsschwellenwert τ_r ist, werden das erste und das zweite Objekt als Übereinstimmung abgelehnt (Schritt 616). Wenn der Entscheidungsschrittwert größer ist als der Ablehnungsschwellenwert τ_r, aber geringer als oder gleich dem Annahmeschwellenwert τ_a ist, wird die Eingabe z zum zweiten Schritt 400 weitergeleitet (oder als Alternative werden nur diejenigen Merkmalskombinationen, die vom zweiten Schritt 400 verwendet werden, zum zweiten Schritt 400 übertragen) (Schritt 618). Das erste und das zweite Objekt können in irgendeinem Schritt 400 innerhalb der Kaskade als Übereinstimmung angenommen oder abgelehnt werden.
Training des Übereinstimmungsklassifikators
Ein Verfahren zum Trainieren des Übereinstimmungsklassifikators 218 wird nun beschrieben. Herkömmliche Klassifikatoren können mit dem Lernalgorithmus AdaBoost oder einer gewissen Variante von AdaBoost trainiert werden. Obwohl AdaBoost in einigen Anwendungen seinen Wert bewiesen hat, haben der Algorithmus und die Zielfunktion, die in diesem Lernprozess verwendet wird, gewisse Begrenzungen. Damit AdaBoost wirksam ist, können beispielsweise Abstandsmaße von übereinstimmenden und nicht-übereinstimmenden Objekten einander nicht signifikant im Merkmalsraum überlappen. Mit anderen Worten, die Merkmale der Objekte sollten einen Klassifikationsraum gut trennen. Da AdaBoost schwache Lerner verwendet, kann überdies eine große Sammlung von schwachen Lernern erforderlich sein, um einen vollständigen Klassifikator zu bilden, der in der Lage ist, eine gewünschte Genauigkeit zu erreichen.
Gemäß einem Ausführungsbeispiel wird eine alternative Zielfunktion und ein Lernalgorithmus, der Sequentielle Diskriminantenfehlerminimierung (SDEM) genannt wird, verwendet, um den Übereinstimmungsklassifikator 218 zu trainieren. SDEM wurde in Saptharishi, "Sequential Discriminant Error Minimization: The Theory and its Application to Real-Time Video Object Recognition" (Carnegie Mellon University, 2005), vorgeschlagen, dessen gesamter Inhalt durch den Hinweis hierin aufgenommen wird. SDEM kann Merkmale oder Abstandsmaße behandeln, die einen Klassifikationsraum nicht notwendigerweise gut auftrennen. Im Gegensatz zu AdaBoost und anderen ähnlichen Unterstützungsverfahren kann SDEM schwache Lerner oder andere Diskriminantenfunktionen verwenden, die nicht notwendigerweise als schwach betrachtet werden. Folglich kann die Anzahl von Schritten 400 und Stufen 500 eines Objektklassifikators unter Verwendung von SDEM zum Training im Vergleich zu AdaBoost signifikant geringer sein. Für ein gegebenes Merkmal ist SDEM häufig in der Lage, den besten Klassifikator für den entsprechenden Merkmalsraum zu lernen. Die besten Merkmale von Objekten, Abstandsmaße und Transformationen können automatisch für ein gegebenes Klassifikationsproblem ausgewählt werden.
Im Allgemeinen wird der SDEM-Algorithmus verwendet, um die Kombination von Stufen 500 für jeden Schritt 400 zu trainieren. Wie in Gleichung (3) definiert, umfasst eine Stufe 500 eine Stufenfunktion g_i(x, y), die gleich einer Transformation t eines Abstandsmaßes d von Merkmalen f ^ x / k und f ^ y / k ist (d. h. t(d(f ^ x / k, f ^ y / k)) ). Die Trainingsaufgabe wählt die beste Transformation t, das beste Abstandsmaß d und das beste Merkmal f ^_k , so dass, wenn eine spezielle Stufe 500 zu einem Schritt 400 hinzugefügt wird, die Leistung des Objektklassifikators maximiert wird. Mit anderen Worten, der SDEM-Algorithmus wählt die Transformation t, das Abstandsmaß d und das Merkmal f ^_k für eine spezielle Stufe so aus, dass eine Zielfunktion maximiert wird. Der Satz F von Merkmalen und der Satz von Abstandsmaßen D können endlich sein und der Satz T von Transformationen kann kontinuierlich und differenzierbar sein. Gemäß dem SDEM-Algorithmus wird für jede Wahl eines diskreten Paars ( f ^_k, d_j) eine Suche in dem Satz T durchgeführt, um die Transformation t zu identifizieren, die an einem Trainingsdatensatz am besten arbeitet. Die Suche im Satz T kann unter Verwendung von uneingeschränkten Standard-Optimierungsverfahren durchgeführt werden, wie z. B., jedoch nicht begrenzt auf ein Quasi-Newton-Optimierungsverfahren. Sobald die beste Transformation t für jede Wahl von ( f ^_k, d_j) identifiziert ist, kann das beste Merkmal/Abstandsmaß-Paar gemäß einem abgeschätzten Verallgemeinerungsfehler ∊^(g) ausgewählt werden. Die Auswahl des besten Merkmal/Abstandsmaß-Paars kann folgendermaßen geschrieben werden: g(f ^ x / k, f ^ y / k) = min_{∀(k,j)∀t∈T}{∊ ^(t(d_j(f ^ x / k, f ^ y / k)))} (8)
Wenn jede Stufe 500 zu einem Schritt 400 hinzugefügt wird, kann es n eindeutige Merkmalstypen und b eindeutige Abstandsmaße geben. Folglich können insgesamt n × b Paare ( f ^_k, d_j) untersucht werden, wenn eine neue Stufe 500 hinzugefügt wird. Eine der Eigenschaften des SDEM-Algorithmus besteht darin, dass, wenn eine Stufe 500 zu einem Schritt 400 hinzugefügt wird, das Hinzufügen der Stufe 500 die Leistung des Objektklassifikators an dem Trainingsdatensatz verbessert. Wenn eine neue Stufe nicht identifiziert werden kann, die die Leistung des Objektklassifikators verbessert, endet der SDEM-Algorithmus automatisch. Anstatt zu warten, bis der SDEM-Algorithmus automatisch endet, kann alternativ eine Anzahl von Stufen 500 eines Schritts 400 durch einen Benutzer bestimmt werden. Mit anderen Worten, der SDEM-Algorithmus beendet das Training, wenn eine maximale Anzahl von Stufen 500, die vom Benutzer festgelegt werden, erreicht ist oder wenn keine Stufe 500 hinzugefügt werden kann, die die Leistung verbessert.
Der SDEM-Algorithmus wählt eine Reihe von Merkmalen, Abstandsmaßen und Transformationen derart aus, dass, wenn sie kombiniert werden, die Reihe ein einzelnes der Merkmale/Abstandsmaße/Transformationen übertrifft. Obwohl das Seitenverhältnis eines Objekts beispielsweise ein schlechtes Merkmal für die Verwendung zum Vergleich sein könnte, kann, wenn es mit lokalen Gradienteninformationen kombiniert wird, das Seitenverhältnis die Übereinstimmungsgenauigkeit, die den lokalen Gradienteninformationen allein entspricht, verbessern. Eine Anzahl von einfachen Merkmalen, Abstandsmaßen und Transformationen kann kombiniert werden, um einen sehr genauen Übereinstimmungsklassifikator 218 zu erzeugen. Die Trainingsaufgabe erzeugt Supermerkmale durch Kombinieren eines Satzes von Aussehensmerkmalen und Abstandsmaßen für zwei Objekte.
Die Trainingsaufgabe zum Aufbauen der Stufen 500 des ersten Schritts 400 wird nun mit Bezug auf 7 und 8 genauer beschrieben. Die folgende Beschreibung ist auch auf die Stufen 500 der anderen Schritte 400 anwendbar. 7 ist ein Blockdiagramm eines Verfahrens 700 zum Erzeugen von Trainingsdaten. Eine Sequenz von Bildern von Objekten kann einem Benutzer zur Überprüfung hinsichtlich dessen, ob die Bilder demselben Objekt oder verschiedenen Objekten entsprechen, präsentiert werden. Zwei Bilder können beispielsweise dem Benutzer zur Überprüfung gleichzeitig präsentiert oder nacheinander präsentiert werden. Wenn die Bilder demselben Objekt entsprechen, wird ein Übereinstimmungsbeispiel erzeugt (Schritt 702). Wenn die Bilder verschiedenen Objekten entsprechen, wird ein Nicht-Übereinstimmungs-Beispiel erzeugt (Schritt 704). Abstandsmaße d₁, d₂, ..., d_m werden für die Merkmale des Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiels verwendet. Den Merkmalen f ^₁,f ^₂, ..., f ^_k der Objekte der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele kann mehr als ein Abstandsmaß zugeordnet sein. Beispielsweise können b verschiedene Abstandsmaße für eines oder mehrere der Merkmale f ^₁, f ^₂, ..., f ^_k verfügbar sein. Folglich können d₁ und d₂ beide dem Merkmal f ^₁ der Objekte entsprechen. Die Merkmale f ^₁, f ^₂, ..., f ^_k der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele werden unter Verwendung von einem oder mehreren der verschiedenen Abstandsmaße, die den speziellen Merkmalen zugeordnet sind, kombiniert. Wenn beispielsweise d₁ f ^₁ entspricht, wird d₁ verwendet, um das Merkmal f ^₁ eines Objekts eines Übereinstimmungsbeispiels mit dem Merkmal f ^₁ des anderen Objekts des Übereinstimmungsbeispiels zu kombinieren. Die Merkmale f ^₁ der Objekte der anderen Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele können auch kombiniert werden. Nachdem eine Anzahl von Übereinstimmungs- und Nicht-Übereinstimmungs-Beispielen erzeugt sind und die Merkmale f ^₁, f ^₂, ..., f ^_k der Objekte der Beispiele unter Verwendung der geeigneten Abstandsmaße d₁, d₂, ..., d_m kombiniert sind, können die Beispiele und Kombinationen in einem Trainingsalgorithmus verwendet werden, um den Übereinstimmungsklassifikator 218 zu trainieren (Schritt 706).
8 ist ein Ablaufplan eines Trainingsverfahrens 800, das verwendet werden kann, um den Übereinstimmungsklassifikator 218 zu trainieren. Die Kombinationen von Merkmalen f ^₁, f ^₂, ..., f ^_m der Objekte der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele (d. h. Merkmalskombinationen 802) werden identifiziert und dem Abstandsmaß (z. B. d₁, d₂) zugeordnet, die verwendet wurden, um die Merkmale zu kombinieren (Schritte 804a, 804b, 804c). Für das Abstandsmaß d₁ werden beispielsweise die Kombinationen des geeigneten Merkmals f ^, die unter Verwendung von d₁ gebildet werden, identifiziert (Schritt 804a).
Nachdem die Merkmalskombinationen 802, die den Abstandsmaßen d₁, d₂, ..., d_m entsprechen, identifiziert sind, wird die beste Transformation t für jedes der Abstandsmaße d₁, d₂, ..., d_m ausgewählt (Schritte 806a, 806b und 806c). Da ein spezielles Merkmal f ^ jedem Abstandsmaß zugeordnet ist, wird die beste Transformation nicht nur für das Abstandsmaß, sondern auch für das Merkmal, das dem Abstandsmaß zugeordnet ist, ausgewählt. Die Transformationen können auf der Basis von Standard-Optimierungsverfahren ausgewählt werden. Eine Transformation t kann als Entscheidungsgrenze betrachtet werden, die die Merkmalskombinationen 802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele trennt. Folglich entspricht die beste Transformation t einer Entscheidungsgrenze, die die Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele für das entsprechende Merkmal f ^ und Abstandsmaß am besten trennt. Im Zusammenhang mit der Diskriminantenfunktion, die aus dem Gewichtsvektor w ⇀_i und der Aktivierungsfunktion β_i besteht, entspricht die Auswahl der besten Transformation t der Auswahl der Aktivierungsfunktion β_i und der Komponenten des Gewichtsvektors w ⇀_i, die die Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele am besten trennen. Die Aktivierungsfunktion β_i kann aus einem Satz von mehreren Funktionstypen ausgewählt werden, wie z. B., jedoch nicht begrenzt auf eine S-förmige Funktion und eine Funktion auf radialer Basis (z. B. eine Gauß-Funktion). Im Gegensatz zu bekannten Kaskaden-Klassifikatoren kann somit eine erste Stufe einen anderen Typ von Diskriminantenfunktion im Vergleich zu einer zweiten Stufe umfassen.
Nachdem die Transformationen für die Abstandsmaße d₁, d₂, ..., d_m ausgewählt sind, wird ein Wert einer Zielfunktion entsprechend jeder Abstandsmaß/Transformations-Kombination berechnet (Schritte 808a, 808b und 808c). Die Zielfunktion kann zu einem Maß von Fehlern proportional sein (z. B. Deklarieren einer Übereinstimmung als Nicht-Übereinstimmung oder umgekehrt) oder sie kann eine nicht-lineare, aber monoton veränderliche Funktion der Klassifikationsfehler sein. Die berechneten Werte der Zielfunktion können mit der Anzahl und/oder Schwere von Klassifikationsfehlern in Zusammenhang stehen, die von den verschiedenen Abstandsmaß/Transformations-Kombinationen gemacht werden. Ein erster berechneter Wert kann beispielsweise mit der Anzahl von Klassifikationsfehlern in Zusammenhang stehen, der vom Abstandsmaß d₁ und seiner entsprechenden Transformation gemacht werden. Die berechneten Werte der Zielfunktion werden verglichen und die Abstandsmaß/Transformations-Kombination, die den maximalen berechneten Wert aufweist, wird für die erste Stufe 500 des ersten Schritts 400 ausgewählt (Schritt 810).
Nachdem das Abstandsmaß (und sein zugehöriges Merkmal) und die Transformation für die erste Stufe 500 ausgewählt sind, werden die Merkmalskombinationen 802 der verschiedenen Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele unter Berücksichtigung der von der ersten Stufe 500 getroffenen Entscheidungen mit verschiedenen Gewichten gewichtet (Schritt 812). Jede der Merkmalskombinationen 802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele kann man sich als Datenpunkten im Funktionsraum entsprechend vorstellen. Die Merkmalskombinationen 802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele können als Funktion dessen gewichtet werden, wie nahe ihre entsprechenden Datenpunkte an der durch die erste Stufe 500 dargestellten Entscheidungsgrenze liegen. Die Merkmalskombinationen 802, die Datenpunkten nahe der Entscheidungsgrenze im Merkmalsraum entsprechen, können beispielsweise mit höheren Gewichten im Vergleich zu Merkmalskombinationen 802 mit Datenpunkten, die von der Entscheidungsgrenze weit weg liegen, gewichtet werden, so dass eine zweite Stufe 500 trainiert werden kann, indem man sich mehr auf diejenigen Merkmalskombinationen 802 konzentriert, die die erste Stufe 500 etwas verwirrt haben. Der Abstand zwischen einem Datenpunkt und der Entscheidungsgrenze der ersten Stufe 500 kann mit dem Skalarwert γ in Beziehung stehen, der für das dem Datenpunkt entsprechende Beispiel berechnet wurde.
Nachdem die Merkmalskombinationen 802 der Beispiele gewichtet sind, werden die besten Transformationen wieder für die Abstandsmaße d₁, d₂, ..., d_m ausgewählt (Schritte 806a, 806b und 806c werden wiederholt). Die Merkmalskombinationen 802, die den Abstandsmaßen d₁, d₂, ..., d_m entsprechen, werden jedoch nun gewichtet und die beste Transformation t für jedes der Abstandsmaße d₁, d₂, ..., d_m wird unter Berücksichtigung der ersten Stufe 500 ausgewählt. Die beste Transformation t kann der Transformation entsprechen, die zur größten Erhöhung des Zielfunktionswerts führt. Die Werte der Zielfunktion werden wieder berechnet und verglichen, um das Abstandsmaß/die Transformation für die zweite Stufe 500 zu bestimmen (Schritte 808a, 808b, 808c und 810 werden wiederholt). Um eine dritte Stufe 500 aufzubauen, werden die Merkmalskombinationen 802 der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele erneut gewichtet, wobei den Beispielen, die für die erste und die zweite Stufe 500 etwas verwirrend waren, höhere Gewichte gegeben werden. Wieder werden die Schritte 806a, 806b und 806c wiederholt, aber die Merkmalskombinationen 802, die den Abstandsmaßen d₁, d₂, ..., d_m entsprechen, werden nun erneut gewichtet und die beste Transformation t für jedes der Abstandsmaße d₁, d₂, ..., d_m wird unter Berücksichtigung der ersten und zweiten Stufe 500 ausgewählt. Die Werte der Zielfunktion werden wieder berechnet und verglichen, um das Abstandsmaß/die Transformation für die dritte Stufe 500 zu bestimmen (Schritte 808a, 808b, 808c und 810 werden wiederholt). Der Prozess des Auswählens des besten Abstandsmaßes, der besten Transformation und der Gewichtung der Merkmalskombinationen 802 der Beispiele über jede Iteration des Trainings einer neuen Stufe kann sich als Gradientenanstieg im Funktionsraum oder als Prozess zum Erhöhen des Gesamtwerts der Zielfunktion vorgestellt werden.
Sobald der erste Schritt 400 trainiert ist, werden die Schwellenwerte τ_a und τ_r derart ausgewählt, dass gewünschte falsch positive und falsch negative Raten erreicht werden können. Wenn die Stufen 500 für den ersten Schritt 400 konstruiert werden, werden überdies die Gewichtungskoeffizienten α auch ausgewählt. Wenn jede Stufe 500 zum ersten Schritt 400 hinzugefügt wird, werden beispielsweise die Gewichtungskoeffizienten α für die Stufen eingestellt, um die Werte für die Gewichtungskoeffizienten α zu finden, die der niedrigsten Gesamtfehlerrate für den ersten Schritt 400 entsprechen. Die Gewichtungskoeffizienten α können beispielsweise unter Verwendung einer Liniensuchoptimierungsstrategie ausgewählt werden.
Nachdem der erste Schritt 400 trainiert ist, können die Stufen 500 eines zweiten Schritts 400 trainiert werden. Weniger als alle der Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele, die zum Trainieren des ersten Schritts 400 verwendet werden, können jedoch verwendet werden, um den zweiten Schritt 400 zu trainieren. Beispielsweise können nur diejenigen Übereinstimmungs- und Nicht-Übereinstimmungs-Beispiele, die der erste Schritt 400 weder annehmen noch ablehnen konnte, zum Trainieren des zweiten Schritts 400 verwendet werden. Mit anderen Worten, der zweite Schritt 400 wird mit den Beispielen trainiert, die einen entsprechenden Entscheidungsschrittwert hatten, der größer war als der Ablehnungsschwellenwert τ_r, aber geringer als oder gleich dem Annahmeschwellenwert τ_a war. Dies ermöglicht, dass sich der zweite Schritt 400 nur auf diejenigen Beispiele konzentriert, die der erste Schritt 400 verwirrend fand.
Sobald der Übereinstimmungsklassifikator 218 mit den Beispielen trainiert ist, kann der Übereinstimmungsklassifikator 218 durch andere Trainingsschritte fortfahren, um die für die verschiedenen Stufen 500 ausgewählten Abstandsmaße/Transformationen zu verfeinern. Eine Methode hoher Ebene für das Trainieren des Übereinstimmungsklassifikators 218 ist im Ablaufplan von 9 gezeigt, der ein Trainingsverfahren 900 darstellt. Bilddaten 901 (z. B. rohe Videodaten) werden zu einem einfachen Basis- oder Keimsystem geliefert, das zu einer Basisdetektion, -verfolgung und -klassifikation von Objekten in der Lage ist. Das Basissystem detektiert, verfolgt und klassifiziert Objekte, die in den Bilddaten 901 dargestellt sind, und erzeugt Metadaten, die den Objekten entsprechen (Schritt 902). Das Basissystem wählt einen Satz von Objekten aus, die detektiert und verfolgt werden (Schritt 904). Die Auswahl der Objekte kann von der Menge an Zeit abhängen, die sich ein Objekt im Blickfeld einer Bilderfassungsvorrichtung 102 befand, oder kann davon abhängen, wie zuversichtlich das Basissystem bei seiner Klassifikation eines Objekts war. Andere Regeln können festgelegt werden, um vorzugeben, ob ein Objekt durch das Basissystem ausgewählt wird oder nicht.
Bilder der Objekte, die vom Basissystem ausgewählt werden, werden einem Benutzer auf einer Anzeige präsentiert, so dass der Benutzer die Objekte als Übereinstimmungs- oder Nicht-Übereinstimmungs-Beispiele manuell bezeichnen kann. Der Benutzer bezeichnet die Objekte manuell und die bezeichneten Beispiele werden zum trainierten Übereinstimmungsklassifikator 218 geliefert (Schritt 906). Merkmalskombinationen können für die bezeichneten Beispiele unter Verwendung der Abstandsmaße d₁, d₂, ..., d_m berechnet werden. Die Merkmalskombinationen der manuell bezeichneten Beispiele können den vorstehend beschriebenen Merkmalskombinationen 802 entsprechen. Der Übereinstimmungsklassifikator 218 wird mit den Merkmalskombinationen 802 trainiert, wie z. B. gemäß dem Trainingsverfahren 800, wie vorstehend mit Bezug auf 8 beschrieben (Schritt 800). Bilddaten 901 werden zum Übereinstimmungsklassifikator 218 geliefert. Der Übereinstimmungsklassifikator 218 stellt fest, ob Objekte, die in den Bilddaten 901 dargestellt sind, übereinstimmen oder nicht, und erzeugt Metadaten, die übereinstimmende und nicht-übereinstimmende Objekte darstellen (Schritt 910). Jeder Übereinstimmung und Nicht-Übereinstimmung, die vom Übereinstimmungsklassifikator 218 erzeugt wird, ist ein Übereinstimmungsvertrauensniveau zugeordnet. Das Übereinstimmungsvertrauensniveau entspricht dem Entscheidungsschrittwert des Schritts 400, der die Übereinstimmung oder Nicht-Übereinstimmung deklariert hat. Die durch den Übereinstimmungsklassifikator 218 erzeugten Übereinstimmungsvertrauensniveaus werden analysiert, um Fälle von Objekten zu identifizieren, die für den Übereinstimmungsklassifikator 218 verwirrend waren (z. B. Übereinstimmungen und Nicht-Übereinstimmungen mit niedrigen Übereinstimmungsvertrauensniveaus). Die Leistung des Übereinstimmungsklassifikators 218 wird ausgewertet, um festzustellen, ob die Leistung des Übereinstimmungsklassifikators annehmbar ist (Schritt 912).
Um festzustellen, ob die Leistung des Übereinstimmungsklassifikators annehmbar ist, kann ein zerlegter Testsatz verwendet werden, wobei Übereinstimmungen und Nicht-Übereinstimmungen des zerlegten Testsatzes vor der Klassifikation durch den Übereinstimmungsklassifikator 218 bekannt sind. Die Bilddaten 901, die zum Übereinstimmungsklassifikator 218 geliefert werden, können dem zerlegten Testsatz entsprechen, und die durch den trainierten Objektklassifikator durchgeführten Klassifikationen können mit den tatsächlichen Übereinstimmungen und Nicht-Übereinstimmungen verglichen werden. Aus diesem Vergleich kann die Leistung des Übereinstimmungsklassifikators 218 bestimmt werden. Wenn die Leistung nicht gleich der oder über irgendeinem vordefinierten Leistungsniveau liegt, werden die verwirrenden Objekte für den Benutzer für manuelle Bezeichnungen dargestellt (Schritt 904). Der Benutzer bezeichnet die verwirrenden Objekte und die neuen bezeichneten Übereinstimmungen und Nicht-Übereinstimmungen werden verwendet, um den Übereinstimmungsklassifikator 218 erneut zu trainieren (Schritte 906 und 908). Wenn der Übereinstimmungsklassifikator 218 erneut trainiert wird, können die Abstandsmaß/Transformations-Kombinationen für die verschiedenen Stufen 500 auf der Basis der neuen bezeichneten Beispiele aktualisiert werden. Der erneut trainierte Übereinstimmungsklassifikator wird verwendet, um Objekte zu klassifizieren, die in den Bilddaten 901 dargestellt sind, und die Leistung des erneut trainierten Übereinstimmungsklassifikators wird ausgewertet (Schritte 910 und 912). Der Neutrainingsprozess kann fortfahren, bis die Leistung des Übereinstimmungsklassifikators 218 annehmbar ist. Wenn die Leistung des Übereinstimmungsklassifikators 218 annehmbar ist, kann er eingesetzt werden (Schritt 914). Der Trainingsprozess kann in die folgenden Schritte umgestaltet werden:

1. Manuelles Bezeichnen eines gewissen kleinen Bruchteils eines Datensatzes.
2. Trainieren eines Übereinstimmungsklassifikators 218 unter Verwendung des Bruchteils des Datensatzes.
3. Verwenden eines neu trainierten Klassifikators, um den vollständigen Datensatz automatisch zu bezeichnen.
4. Auswählen eines Satzes von automatisch bezeichneten Datenpunkten, die für den Übereinstimmungsklassifikator 218 verwirrend waren.
5. Manuelles Bezeichnen der verwirrenden Datenpunkte.
6. Wiederholen des Trainings mit allen neuen bezeichneten Datenpunkten.
7. Gehen zu Schritt 3.

In Anbetracht der Architektur des Übereinstimmungsklassifikators 218 mit Schritten von Stufen kann ein neuer Schritt zum Übereinstimmungsklassifikator 218 hinzugefügt werden. Dieser neue Schritt kann trainiert werden, um Fehler zu korrigieren, die vom Übereinstimmungsklassifikator 218 gemacht wurden. Alternativ kann ein neuer Schritt trainiert werden, um den letzten oder N-ten Schritt des Übereinstimmungsklassifikators 218 zu ersetzen. Nachdem der Übereinstimmungsklassifikator 218 durch den vorstehend beschriebenen Prozess trainiert ist, kann der Übereinstimmungsklassifikator 218 verschiedene Operationen durchführen, wie z. B. Verfolgen, Erzeugen von Indexelementen und Durchführen von Suchen auf Objektbasis (z. B. Aussehensbasis). Mit anderen Worten, der Übereinstimmungsklassifikator 218 muss nicht separat für jede seiner verschiedenen Operationen trainiert werden.
Die Weise, in der der Übereinstimmungsklassifikator 218 arbeitet, um Objektfälle zu vergleichen, wurde zumindest teilweise durch einen Trainings- oder Selbstlernprozess bestimmt, der den Übereinstimmungsklassifikator 218 automatisch unter Verwendung eines Satzes von möglichen Objektmerkmalen konfiguriert. Diese Konfiguration kann eine oder mehrere der folgenden Bestimmungen umfassen: (1) Auswählen, welche Merkmale aus dem Satz von möglichen Merkmalen verwendet werden sollen; (2) Bestimmen der Reihenfolge, in der die ausgewählten Merkmale ausgewertet werden; (3) Bestimmen, wie mehrere Merkmale kombiniert werden (d. h. die zum Kombinieren von mehreren Variablen verwendeten Gewichtungskoeffizienten); (4) Auswählen von Abstandsmaßen aus einem Satz von verfügbaren Abstandsmaßen (z. B. L₂, Manhattan, Bhattacharyya). Weitere Aspekte des Übereinstimmungsklassifikators 218 können während des Trainingsprozesses konfiguriert werden. Der Trainingsprozess kann offline vor dem Einsatz des Übereinstimmungsklassifikators 218 und/oder online während des Online-Betriebs des Übereinstimmungsklassifikators 218 stattfinden.
Übereinstimmungsvertrauen
Der Entscheidungsschrittwert s(z) ist mit der Abschätzung des Übereinstimmungsklassifikators hinsichtlich dessen, wie ähnlich er denkt, dass zwei Objekte sind, korreliert (z. B. Übereinstimmungsvertrauen). Die Korrelation kann nicht linear sein, d. h. der Schritt 400 kann einen hohen positiven Wert erzeugen, aber die Objekte können nicht übereinstimmen. Durch den Trainingsprozess gilt typischerweise, je höher der Wert von s(z) ist, desto weniger wahrscheinlich hat Schritt 400 einen Fehler gemacht. Das Vertrauensniveau, das einem bestimmten Wert von s(z) zugeordnet ist, kann berechnet werden, indem zuerst eine Indikatorfunktion ε(Γ(z)) definiert wird, in der gilt:
Eine Vertrauensfunktion Ψ(Γ(z)) kann als Wahrscheinlichkeit, dass der Schritt 400 zwei Fälle als Übereinstimmung deklariert hat und dass es für eine Ausgabe von s(z) = v korrekt war, definiert werden. Folglich kann für ein kleines Quantisierungsintervall [v – Δ, v + Δ] die Vertrauensfunktion folgendermaßen ausgedrückt werden: Ψ(Γ(z)) = P_ε,Ω|Γ(ε(Γ(z)) = 0, ω = Übereinstimmung|s(z) < v + Δ) – P_ε,Ω|Γ(ε(Γ(z)) = 0, ω = Übereinstimmung|s(z) < v – Δ) (10)
Es ist zu beachten, dass betrachtet werden kann, dass der Schritt 400 zwei Fälle als Übereinstimmung deklariert, wenn s(z) > 0, d. h. P_.Ω|Γ(ω = Übereinstimmung|s(z) > 0) = 1. Für v > 0, kann folglich die Gleichung (10) ausgedrückt werden als: Ψ(Γ(z)) = P_ε|Ω,Γ(ε(Γ(z)) = 0|ω = Übereinstimmung, 0 < s(z) ≤ v + Δ) – P_ε|Ω,Γ(ε(Γ(z)) = 0|ω = Übereinstimmung, 0 < s(z) < v – Δ) (11)
Gleichung (11) stellt die wahre positive Rate dar, wenn v ∊ [Δ, 1 – Δ] und s(z) ∊ [v – Δ, v + Δ].
Ebenso kann das Vertrauen eines Schritts 400 beim Deklarieren, dass das Objekt zur negativen Klasse für v ≤ –Δ gehört, ausgedrückt werden als: Ψ(Γ(z)) = P_ε|Ω,Γ(ε(Γ(z)) = 0|ω = keine Übereinstimmung, v + Δ ≤ s(z) ≤ 0) – P_ε|Ω,Γ(ε(Γ(z)) = 0|ω = keine Übereinstimmung, v – Δ < s(z) ≤ 0) (12)
Gleichung (12) stellt die wahre negative Rate dar, wenn v ∊ [–1 +Δ, –Δ] und s(z) ∊ [v – Δ, v + Δ]. Wenn die Wahrscheinlichkeit (wie in Gleichungen (11) und (12) definiert), dass der Schritt 400 für irgendeinen beobachteten Ausgangswert s(z) = v korrekt ist, hoch ist, dann wird folglich Schritt 400 als in seiner Antwort vertrauenswürdig betrachtet. Für diese Selbstbewertung des Vertrauens wird ein Wahrscheinlichkeitsmaß p ^_ε|Ω,Γ aus den Trainingsbeispielen abgeschätzt und die Vertrauensfunktion Ψ(Γ(z)) wird gefolgert. Wenn die Vertrauensfunktion Ψ(Γ(z)) geringer ist als ein kritischer Vertrauensschwellenwert ψ_c für einen gegebenen Ausgangswert von s(z), dann wird Schritt 400 für diesen Ausgangswert als unsicher oder verwirrt betrachtet. Unsichere Klassifikationen werden zum nächsten Schritt 400 weitergeleitet. Somit kann die Vertrauensfunktion Ψ(Γ(z)) während des Trainings verwendet werden, um die Objekte, die für einen Übereinstimmungsklassifikator 218 verwirrend sind, zu identifizierten. Wenn Diskriminantenfunktionen, die die Stufen 500 bilden, eine gute Näherung für die optimale Bayes-Entscheidungsgrenze sind, dann steht der Entscheidungsschrittwert s(z) monoton mit der Vertrauensfunktion Ψ(Γ(z)) in Beziehung. Für die anfänglichen Schritte 400 kann der Objektklassifikator sich nicht gut der Bayes-Entscheidungsgrenze nähern. Folglich können der Entscheidungsschrittwert s(u) für einen gegebenen Schritt 400 und die Vertrauensfunktion Ψ(Γ(z)) nicht immer monoton in Beziehung stehen.
Die Vertrauensfunktion Ψ(Γ(z)) kann verwendet werden, um den Annahmeschwellenwert τ_a und den Ablehnungsschwellenwert τ_r für die verschiedenen Schritte 400 zu bestimmen. Im Gegensatz zu anderen Kaskaden-Klassifikatorarchitekturen kann, wenn die Vertrauensfunktion Ψ(Γ(z)) für Übereinstimmungen mit dem Entscheidungsschrittwert s(z) monoton zunimmt, der Annahmeschwellenwert τ_a derart gewählt werden, dass wahre positive Einschränkungen erfüllt werden. Wenn die Vertrauensfunktion Ψ(Γ(z)) nicht mit dem Entscheidungsschrittwert s(z) monoton zunimmt, dann kann der Annahmeschwellenwert τ_a bei 1 gesättigt bleiben, d. h. keine Fälle werden als Übereinstimmungen im entsprechenden Schritt 400 angenommen. Der Mangel an Monotonie deutet darauf hin, dass im Übereinstimmungsbereich die Entscheidungsgrenze den optimalen Bayes-Klassifikator nicht ausreichend gut widerspiegelt. Ebenso wird der Ablehnungsschwellenwert τ_r gewählt, wenn das Nicht-Übereinstimmungs-Vertrauen monoton mit dem Entscheidungsschrittwert s(z) in Beziehung steht. In der Praxis kann die Nicht-Übereinstimmungs-Klasse weitaus dichter im Merkmalsraum besetzt sein als die Übereinstimmungsklasse. Obwohl die monotone Beziehung für die Übereinstimmungsklasse in frühen Schritten nicht existieren kann, existiert sie folglich sehr wahrscheinlich für die Nicht-Übereinstimmungs-Klasse in den frühen Schritten. Das Übereinstimmungsvertrauensniveau, das dem Übereinstimmungsklassifikator 218 entspricht, ist das Klassifikationsvertrauen, das dem Entscheidungsschrittwert s(z) zugeordnet ist, der durch den Schritt 400 erzeugt wird, der eine Übereinstimmung entweder angenommen oder abgelehnt hat.
Verfolgung
Die Verfolgung kann man sich als Auffinden eines Objekts in jedem Videobild oder Bild und Feststellen von Entsprechungen zwischen sich bewegenden Objekten über Einzelbilder vorstellen. Die Verfolgung kann innerhalb einer einzelnen Bilderfassungsvorrichtung 102 oder über mehrere Bilderfassungsvorrichtungen 102 durchgeführt werden. Im Allgemeinen kann das Objektverfolgungsmodul 206 eine Objektbewegung zwischen Einzelbildern als Hinweis für die Verfolgung verwenden, während es sich auch auf den Übereinstimmungsklassifikator 218 für die Verfolgung verlässt. Die Verwendung des Übereinstimmungsklassifikators 218 für die Verfolgung kann eine genau Verfolgung ermöglichen, selbst wenn eine gewisse Verstopfung vorhanden ist, die Bewegung etwas unregelmäßig ist und eine ziemliche Anzahl von kreuzenden Objekten im Blickfeld einer Bilderfassungsvorrichtung 102 vorhanden sind.
10 ist ein Blockdiagramm eines Systems 1000, das vom Objektverfolgungsmodul 206 zum Verfolgen von Objekten verwendet wird. Das Objektverfolgungsmodul 206 umfasst ein Bewegungsmodellierungsmodul 1002, das betriebsfähig ist, um Änderungen des Orts eines Objekts zwischen aufeinander folgenden Bildern oder Einzelbildern eines Blickfeldes einer Bilderfassungsvorrichtung 102 abzuschätzen. Das Bewegungsmodellierungsmodul 1002 kann den Ort und die Größe eines Objekts in einem neuen Einzelbild auf der Basis seiner vorher abgeschätzten Bahn und Geschwindigkeit vorhersagen. Das Bewegungsmodellierungsmodul 1002 kann verwendet werden, um Beobachtungen von Objekten in einem aktuellen Einzelbild durch ihre Wahrscheinlichkeit oder Probabilität, dass sie einem speziellen Objekt entsprechen, das verfolgt wird, einzustufen. Das Objektverfolgungsmodul 206 kann eine Liste von verfolgten Objekten oder Zielen erzeugen, die in vorherigen Einzelbildern detektiert wurden. Die Liste von verfolgten Objekten kann beispielsweise zehn Objekte umfassen, das aktuelle Einzelbild kann fünf detektierte Objekte umfassen und eine Einstufung (z. B. eins bis fünf, wobei eins die höchste Einstufung ist) der fünf detektierten Objekte kann für jedes der zehn verfolgten Objekte auf der Basis von Übereinstimmungswahrscheinlichkeits-Informationen erzeugt werden. Das Objektverfolgungsmodul 206 kann eine Identifikationsnummer oder einen anderen Typ von Identifikationssymbol für jedes Objekt, das es verfolgt, erzeugen. Das Bewegungsmodellierungsmodul 1002 kann ein Kalman-Filter verwenden, um die Position und Geschwindigkeit eines Objekts vorherzusagen.
Nachdem das Bewegungsmodellierungsmodul 1002 Objekte des aktuellen Einzelbildes durch ihre Wahrscheinlichkeit für die Entsprechung zu verfolgten Objekten einstuft, kann das Objektverfolgungsmodul 206 den Übereinstimmungsklassifikator 218 heranziehen, um festzustellen, ob ein Objekt des aktuellen Einzelbildes einem verfolgten Objekt entspricht. Für ein gegebenes verfolgtes Objekt kann das Objektverfolgungsmodul 206 den Übereinstimmungsklassifikator 218 heranziehen, um zuerst festzustellen, ob das höchste eingestufte Objekt des aktuellen Einzelbildes dem verfolgten Objekt entspricht. Überdies kann das Objektverfolgungsmodul 206 Übereinstimmungswahrscheinlichkeits-Informationen verwenden, um eine Reihenfolge für die verfolgten Objekte zu bestimmen. Wenn beispielsweise das Bewegungsmodellierungsmodul 1002 feststellt, dass die Wahrscheinlichkeit einer Übereinstimmung zwischen einem ersten verfolgten Objekt und seinem höchsten eingestuften Objekt größer ist als die Wahrscheinlichkeit einer Übereinstimmung zwischen einem zweiten verfolgten Objekt und seinem höchsten eingestuften Objekt, dann kann das Objektverfolgungsmodul 206 den Übereinstimmungsklassifikator 218 heranziehen, um zu versuchen, das erste verfolgte Objekt mit seinem höchsten eingestuften Objekt zu vergleichen, bevor es versucht, das zweite verfolgte Objekt mit seinem höchsten eingestuften Objekt zu vergleichen. Obwohl das Bewegungsmodellierungsmodul 1002 als vor dem Übereinstimmungsklassifikator 218 verwendet beschrieben wurde, kann das Bewegungsmodellierungsmodul 100 vor oder nach dem Übereinstimmungsklassifikator 218 verwendet werden. Im Allgemeinen kann das Bewegungsmodellierungsmodul 1002 in Verbindung mit dem Übereinstimmungsklassifikator 218 verwendet werden. Das Bewegungsmodellierungsmodul 1002 kann verwendet werden, um zu helfen, das Vertrauen einer Übereinstimmung oder Nicht-Übereinstimmung, die durch den Übereinstimmungsklassifikator 218 deklariert wird, zu bestimmen. Der Übereinstimmungsklassifikator 218 kann beispielsweise deklarieren, dass zwei Objekte eine Übereinstimmung sind, aber das Bewegungsmodellierungsmodul 1002 kann feststellen, dass die zwei Objekte im Blickfeld zu weit auseinander liegen, als dass sie demselben Objekt entsprechen. In diesem Fall kann das Bewegungsmodellierungsmodul 1002 verwendet werden, um den Annahmeschwellenwert τ_a zu erhöhen. Das Übereinstimmungsvertrauensniveau das dem Übereinstimmungsklassifikator 218 zugeordnet ist, kann dann in Verbindung mit Feststellungen analysiert werden, die vom Bewegungsmodellierungsmodul 1002 durchgeführt werden, um eine Übereinstimmung oder Nicht-Übereinstimmung zu deklarieren.
11 ist ein Ablaufplan eines Verfolgungsprozesses 1100, der vom Objektverfolgungsmodul 206 verwendet werden kann. Ein erstes Objekt wird in einem ersten Bild erfasst und detektiert (Schritt 1102). Eine erste Signatur des ersten Objekts wird erzeugt (Schritt 1104). Die erste Signatur kann eines oder mehrere der vorstehend beschriebenen Merkmale umfassen. Das erste Objekt kann in der Liste von verfolgten Objekten enthalten sein. Ein zweites Objekt wird in einem zweiten Bild erfasst und detektiert (Schritt 1106). Das Objektverfolgungsmodul 206 kann das Bewegungsmodellierungsmodul 1102 verwenden, um die Wahrscheinlichkeit des zweiten Objekts für eine Entsprechung mit dem ersten Objekt auf der Basis der abgeschätzten Bahn und Geschwindigkeit des ersten Objekts einzustufen (Schritt 1108). Eine zweite Signatur des zweiten Objekts wird erzeugt (Schritt 1110). Die zweite Signatur kann eines oder mehrere der vorstehend beschriebenen Merkmale umfassen. Schritt 1110 muss nicht nach Schritt 1108 stattfinden (d. h. die zweite Signatur kann erzeugt werden, bevor das Bewegungsmodellierungsmodul 1102 verwendet wird). Die erste und die zweite Signatur werden kombiniert, wie vorstehend beschrieben (Schritt 1112). Die verschiedenen Merkmale (z. B. Histogramme) werden beispielsweise kombiniert. Die kombinierten Signaturen werden zum Übereinstimmungsklassifikator 218 übertragen und der Übereinstimmungsklassifikator 218 stellt fest, ob die erste und die zweite Signatur übereinstimmen (Schritt 1114). Der Übereinstimmungsklassifikator 218 deklariert eine Übereinstimmung oder eine Nicht-Übereinstimmung zusammen mit einem Übereinstimmungsvertrauensniveau. Wenn der Übereinstimmungsklassifikator 218 feststellt, dass die erste und die zweite Signatur übereinstimmen, wird die erste Signatur aktualisiert, wie nachstehend beschrieben, und andere Metadaten können erzeugt werden, wie z. B., jedoch nicht begrenzt auf Bewegungsinformationen (z. B. Geschwindigkeit, Bahn), Informationen, die der Anzahl von Einzelbildern entsprechen, in denen das erste Objekt detektiert wird, den Ort und die Größe des Objekts (z. B. die Größe eines Begrenzungskastens, der das Objekt umgibt), den Typ des Objekts (z. B. Klassifikationsbezeichnung, die durch das zeitliche Objektklassifikationsmodul 208 bestimmt wird), ein Klassifikationsvertrauensniveau und ein Übereinstimmungsvertrauensniveau.
Wie vorstehend beschrieben, kann der Übereinstimmungsklassifikator 218 Objektsignaturen verwenden, um festzustellen, ob Objekte übereinstimmen (d. h. ob Objekte Fälle voneinander sind). Verschiedene Signaturen können für jedes Objekt erzeugt werden. Eine Einzelbildsignatur und eine kumulative Signatur können beispielsweise vom Übereinstimmungsklassifikator 218 während der Verfolgung verwendet werden. Eine Einzelbildsignatur (z. B. eine momentane Signatur) kann das Aussehen eines Objekts in einem speziellen Videobild (d. h. einem Einzelbild des Objekts) darstellen. Eine Einzelbildsignatur kann eines oder mehrere der vorstehend beschriebenen Merkmale (z. B. Histogramme) umfassen, die auf der Basis des entsprechenden Einzelbildes berechnet werden. Eine Einzelbildsignatur kann für jeden Fall eines Objekts erzeugt werden. Die im vorherigen Absatz beschriebene zweite Signatur kann eine Einzelbildsignatur sein. Eine kumulative Signatur kann ein gewichteter Mittelwert einer Sequenz von Einzelbildsignaturen sein. Eine kumulative Signatur kann das Aussehen eines verfolgten Objekts (z. B. ein Objekt in der Liste von verfolgten Objekten) darstellen. Die Verwendung einer kumulativen Signatur für ein verfolgtes Objekt anstelle einer Einzelbildsignatur kann gegen Rauschen robuster sein, da eine kumulative Signatur über mehrere Einzelbilder gemittelt wird. Die im vorherigen Absatz beschriebene erste Signatur kann eine kumulative Signatur sein.
Eine kumulative Signatur kann aktualisiert werden, sobald ein verfolgtes Objekt mit einem neuen Fall durch den Übereinstimmungsklassifikator 218 verglichen wird. Die kumulative Signatur kann beispielsweise in Echtzeit aktualisiert werden, wenn neue Bilder eines Objekts erfasst werden. Überdies kann der Beitrag jeder Einzelbildsignatur entsprechend der Zeit verringert (z. B. exponential verringert) werden. Folglich können die jüngsten Einzelbildsignaturen am meisten zu einer kumulativen Signatur beitragen. Eine kumulative Signatur kann mathematisch wie folgt dargestellt werden: c_Objekt = ρC_Objekt + (1 – ρ)i_Beobachtung (13) wobei C_Objekt die kumulative Signatur darstellt, i_Beobachtung eine Einzelbildsignatur darstellt, die einem Fall eines Objekts entspricht, und ρ ein Abzugsfaktor ist, wobei 0 < ρ < 1. Wenn ein Objekt zum ersten Mal detektiert wird, kann die kumulative Signatur gleich der Einzelbildsignatur sein und kann danach der Gleichung (13) für anschließende Detektionen entsprechen.
Ein dritter Typ von Signatur – eine mittlere Signatur – kann auch für ein Objekt erzeugt werden. Wie eine kumulative Signatur umfasst eine mittlere Signatur eines Objekts Beiträge von Einzelbildsignaturen des Objekts. Im Gegensatz zur kumulativen Signatur werden jedoch die Einzelbildsignaturen, die zur mittleren Signatur beitragen, nicht unterschiedlich gewichtet. Mit anderen Worten, die Beiträge von Einzelbildsignaturen werden nicht gemäß der Zeit verringert. Folglich kann eine mittlere Signatur die Summe eines Satzes von Einzelbildsignaturen, dividiert durch die Anzahl von Einzelbildsignaturen des Satzes, darstellen. Die folgende Gleichung ist eine mathematische Darstellung einer mittleren Signatur a_Objekt eines Objekts:
wobei das Objekt für n Einzelbilder verfolgt wurde und k_i die Einzelbildsignatur für das i-te Einzelbild darstellt. Die mittlere Signatur kann in Echtzeit aktualisiert werden, wenn neue Einzelbildsignaturen erzeugt werden.
Die Kategorie oder Klasse von Objekten kann auch während der Verfolgung berücksichtigt werden. In vielen Anwendungen werden spezielle Kategorien oder Klassen (z. B. Menschen, Fahrzeuge, Tiere) von Objekten verfolgt. Das Objektkategorisierungsmodul 216 ist betriebsfähig, um ein Objekt in jedem Einzelbild als eine der interessierenden Klassen oder als ”unbekannt” zu kategorisieren. Das Objektkategorisierungsmodul 216 ist betriebsfähig, um Objektklasseninformationen und andere Informationen zu verwenden, um eine Reihenfolge zu erzeugen, in der verfolgte Objekte mit Objekten eines aktuellen Einzelbildes verglichen werden. Die ”Bedeutung” eines verfolgten Objekts kann beispielsweise der Anzahl von Einzelbildern entsprechen, in denen das verfolgte Objekt als etwas anderes als ”unbekannt” klassifiziert wurde. Folglich können verrauschte Beobachtungen, die sich bewegenden Blättern, Wasser, Kamerarauschen und dergleichen entsprechen, eine geringe Bedeutung aufweisen, da die verrauschten Beobachtungen gewöhnlich als ”unbekannt” klassifiziert werden. Das Objektkategorisierungsmodul 216 kann versuchen, verrauschte Beobachtungen als letztes zu vergleichen, was die Möglichkeit für einen Vergleich einer ”unbekannten” Beobachtung mit einem interessierenden Objekt wie z. B. einem Menschen oder Fahrzeug verringern kann. Das Objektkategorisierungsmodul 216 kann nützlich sein, wenn eine große Anzahl von Objekten in einem aktuellen Einzelbild erfasst werden und nicht ausreichend Betriebsmittel zur Verfügung stehen können, um alle Objekte zu verfolgen. In diesem Fall kann die ”Bedeutung” von verfolgten Objekten verwendet werden, um eine Reihenfolge für die Verfolgung zu bestimmen, in der die wichtigsten Objekte zuerst verfolgt werden.
12 ist ein Hybrid-Blockdiagramm und -Ablaufplan eines Verfahrens 1200 zum Verfolgen eines Objekts unter Verwendung von Klasseninformationen und der Module, die an diesem Verfahren beteiligt sind. Objekte werden in einem aktuellen Einzelbild detektiert und das Objektklassifikationsmodul 210 klassifiziert die Objekte des aktuellen Einzelbildes als entweder Mitglied von einer der Objektklassen (z. B. Mensch, Fahrzeug) oder als ”unbekannt”. Daten, die die klassifizierten Objekte 1202 darstellen, werden zum Bewegungsmodellierungsmodul 902 geliefert. Daten, die eine Liste von verfolgten Objekten darstellen, werden auch vom Objektkategorisierungsmodul 216 zum Bewegungsmodellierungsmodul 902 geliefert. Die verfolgten Objekte sind Objekte, die in jüngeren Einzelbildern beobachtet wurden. Das Objektkategorisierungsmodul 216 identifiziert die ”Bedeutung” jedes verfolgten Objekts auf der Basis der Anzahl von Einzelbildern, in denen das zeitliche Objektklassifikationsmodul 208 anzeigt, dass das verfolgte Objekt als Mitglied einer interessierenden Klasse klassifiziert wurde. Ein Benutzer kann beispielsweise festlegen, dass Menschen und/oder Fahrzeuge interessierende Klassen sind. In je mehr Einzelbildern ein verfolgtes Objekt durch das Objektklassifikationsmodul 210 als Mensch oder Fahrzeug klassifiziert wird, desto größer ist folglich die ”Bedeutung” des verfolgten Objekts. Das Objektkategorisierungsmodul 216 kann die Liste von verfolgten Objekten gemäß der Bedeutung sortieren. Die vom Objektkategorisierungsmodul 216 zum Bewegungsmodellierungsmodul 902 gelieferten Daten geben die Bedeutung von jedem der verfolgten Objekte an und umfassen auch Bewegungsinformationen (z. B. Position, Bahn, Geschwindigkeit) für jedes der verfolgten Objekte.
Das Bewegungsmodellierungsmodul 902 empfängt die Daten, die die Liste von verfolgten Objekten darstellen, und die Daten, die die klassifizierten Objekte 1202 darstellen. Das Bewegungsmodellierungsmodul 902 beginnt mit dem wichtigsten verfolgten Objekt von der Liste (z. B. einem ersten verfolgten Objekt) und stuft die klassifizierten Objekte 1202 auf der Basis ihrer Wahrscheinlichkeit für die Entsprechung mit dem ersten verfolgten Objekt ein. Signaturen von wahrscheinlichen Übereinstimmungen werden mit der Signatur des ersten verfolgten Objekts kombiniert und die kombinierten Signaturen werden zum Übereinstimmungsklassifikator 218 übertragen, um festzustellen, ob ein klassifiziertes Objekt 1202 mit dem ersten verfolgten Objekt übereinstimmt. Wenn ein klassifiziertes Objekt 1202 mit dem ersten verfolgten Objekt übereinstimmt, werden Bewegungsinformationen (z. B. Position, Bahn, Geschwindigkeit) und Aussehensinformationen (z. B. kumulative Signatur) des ersten verfolgten Objekts aktualisiert (Schritt 1204). Wenn ein klassifiziertes Objekt 1202 mit dem ersten verfolgten Objekt übereinstimmt, wird außerdem die Klasse des klassifizierten Objekts zum zeitlichen Objektklassifikationsmodul 208 übertragen, so dass die ”Bedeutung” des ersten verfolgten Objekts aktualisiert werden kann. Wenn keines der klassifizierten Objekte 1202 mit dem ersten verfolgten Objekt übereinstimmt, werden Informationen erzeugt, um eine Nicht-Übereinstimmung anzugeben. Die Informationen, die eine Nicht-Übereinstimmung angeben, können zum zeitlichen Objektklassifikationsmodul 208 übertragen werden und die ”Bedeutung” des ersten verfolgten Objekts kann aktualisiert werden.
Wenn ein verfolgtes Objekt für eine vorbestimmte Menge an Zeit nicht verglichen wird (z. B. kann das Objekt die Szene verlassen haben), kann die Liste von verfolgten Objekten durch Entfernen des verfolgten Objekts aktualisiert werden (Schritt 1206). Wenn ein verfolgtes Objekt von der Liste entfernt wird, können die Informationen des Objekts (z. B. Identifikationsnummer, Signatur, Klasse) zur Metadaten-Datenbank 112 zur Speicherung übertragen werden. Wenn ein klassifiziertes Objekt 1202 nicht mit irgendeinem der verfolgten Objekte übereinstimmt, kann das klassifizierte Objekt 1202 zur Liste von verfolgten Objekten hinzugefügt werden (Schritt 1206).
Das Kamerasystem 100 kann auch betriebsfähig sein, um eine Verfolgung zwischen Kameras oder eine Verfolgung zwischen mehreren Bilderfassungsvorrichtungen 102 durchzuführen. 13A und 13B sind Hybrid-Blockdiagramme und -Ablaufpläne von Verfolgungsprozessen 1300 und 1301 zwischen Kameras, die von einer Sendekamera bzw. einer Empfangskamera verwendet werden. Eine erste Bilderfassungsvorrichtung 102 (z. B. die Sendekamera) detektiert ein Objekt in ihrem Blickfeld und verfolgt das Objekt für eine Anzahl von Einzelbildern. Die Signatur des verfolgten Objekts 1302 kann zu anderen Bilderfassungsvorrichtungen 102 (z. B. Empfangskameras) geleitet werden (Schritt 1304). Die Signatur, die geleitet wird, kann eine mittlere Signatur des verfolgten Objekts 1302 sein. Die Signatur kann zu allen Bilderfassungsvorrichtungen 102 des Kamerasystems 100 oder zu bestimmten Bilderfassungsvorrichtungen 102 gemäß einer Leitweglenkungstabelle 1306 übertragen werden. Die Leitweglenkungstabelle 1306 kann Informationen umfassen, die der Wahrscheinlichkeit entsprechen, dass ein Objekt im Blickfeld einer Empfangskamera innerhalb eines bestimmten Zeitraums erschienen ist oder erscheint, nachdem oder während das Objekt im Blickfeld der Sendekamera erscheint. Die Leitweglenkungsinformationen werden über die Zeit erzeugt, wenn die Sendekamera Signaturen zu Empfangskameras sendet, und wenn die Empfangskameras zur Sendekamera Übereinstimmungsbenachrichtigungs-Informationen 1308 zurückmelden, die auf Übereinstimmungen und/oder Nicht-Übereinstimmungen hinweisen. Eine Empfangskamera, die von der Sendekamera weit entfernt angeordnet ist, kann beispielsweise selten, wenn überhaupt, eine Übereinstimmung melden, da ein Objekt, das von der Sendekamera verfolgt wird, von der Empfangskamera nicht innerhalb eines vorbestimmten Zeitraums erfasst werden kann (z. B. kann sich das Objekt nicht schnell genug zwischen dem Blickfeld der Sendekamera und dem Blickfeld der Empfangskamera bewegen).
Folglich können Wahrscheinlichkeitsinformationen verwendet werden, um Signaturen selektiv zu bestimmten Kameras zu übertragen, um andere Kameras nicht mit Vergleichsaufgaben zu belasten, wenn die Wahrscheinlichkeit dafür, dass die anderen Kameras das Objekt innerhalb eines vorbestimmten Zeitraums erfassen, niedrig ist.
Die Übereinstimmungsbenachrichtigungs-Informationen 1308 werden von einem Übereinstimmungsbenachrichtigungs-Antwortsender 1310 empfangen, der die Übereinstimmungsbenachrichtigungs-Informationen 1308 verwendet, um die Wahrscheinlichkeiten der Leitweglenkungstabellen zu aktualisieren. Wenn beispielsweise eine Empfangskamera eine Übereinstimmung meldet, kann der Übereinstimmungsbenachrichtigungs-Antwortsender 1310 die Wahrscheinlichkeit in der Leitweglenkungstabelle erhöhen, die dieser Empfangskamera entspricht. Die Übereinstimmungsbenachrichtigungs-Informationen 1308 können auch Signaturinformationen umfassen, die dem Objekt entsprechen, das von einer Empfangskamera verglichen wird. Der Übereinstimmungsbenachrichtigungs-Antwortsender kann die Signatur des Objekts aktualisieren, wenn eine Empfangskamera eine Übereinstimmung detektiert, und die aktualisierte Signatur in der Metadaten-Datenbank 112 speichern. Informationen, die die Empfangskamera identifizieren, die das Objekt verglichen hat, können auch in der Metadaten-Datenbank 112 gespeichert werden.
Wie in 13B gezeigt, wird eine Objektsignatur, die von der Sendekamera zu einer zweiten Bilderfassungsvorrichtung 102 (z. B. Empfangskamera) übertragen wird, in einer Übereinstimmungsdatenbank 1312 der Empfangskamera gespeichert. Die Übereinstimmungsdatenbank 1312 kann ein Teil des Speichersystems 100 sein. Die Signatur des Objekts wird mit einer oder mehreren aktiven Signaturen von Objekten, die von der Empfangskamera verfolgt werden, kombiniert. Die aktiven Signaturen der verfolgten Objekte können mittlere Signaturen sein und können in der Metadaten-Datenbank 112 der Empfangskamera gespeichert werden. Die kombinierten Signaturen werden zum Übereinstimmungsklassifikator 218 der Empfangskamera übertragen und der Übereinstimmungsklassifikator 218 versucht, die Signaturen für eine vorbestimmte Anzahl von Einzelbildern zu vergleichen (Schritt 1314). Wenn der Übereinstimmungsklassifikator 218 feststellt, dass die übertragene Signatur nicht mit einer der aktiven Signaturen für die vorbestimmte Anzahl von Einzelbildern übereinstimmt, wird die übertragene Signatur aus der Übereinstimmungsdatenbank 1312 entfernt (Schritt 1316). Die Leitweglenkungstabelle der Empfangskamera wird aktualisiert (z. B. wird die Wahrscheinlichkeit einer Übereinstimmung, die der Sendekamera entspricht, verringert) und die Empfangskamera benachrichtigt die Sendekamera über die Nicht-Übereinstimmung (Schritt 1318). Wenn der Übereinstimmungsklassifikator 218 feststellt, dass die übertragene Signatur mit einer der aktiven Signaturen übereinstimmt, kann die entsprechende aktive Signatur aktualisiert werden (z. B. wird die übertragene Signatur mit der aktiven Signatur gemittelt) und in der Metadaten-Datenbank 112 der Empfangskamera gespeichert werden und/oder die übertragene Signatur kann in der Metadaten-Datenbank 112 der Empfangskamera als neue Signatur für das Objekt gespeichert werden (Schritt 1320). Die Leitweglenkungstabelle der Empfangskamera wird dann aktualisiert (z. B. wird die Wahrscheinlichkeit einer Übereinstimmung, die der Sendekamera entspricht, erhöht) und die Empfangskamera benachrichtigt die Sendekamera über die Übereinstimmung (Schritt 1318).
Eine Verfolgung zwischen Kameras kann für eine automatische Kamerakalibrierung verwendet werden. Wenn beispielsweise der Ort eines Objekts im Blickfeld von jeder von mehreren Bilderfassungsvorrichtungen 102 bekannt ist und wenn die ungefähre Größe des Objekts bekannt ist, dann können der Abstand zwischen den Bilderfassungsvorrichtungen 102 und ihre relative Orientierung berechnet werden. Nach der Kalibrierung kann der Ort eines Objekts, das von den mehreren Bilderfassungsvorrichtungen 102 gleichzeitig verfolgt wird, in Koordinaten der dreidimensionalen (3-D) ”Welt” bestimmt werden. Folglich kann das System die Bewegung von Objekten nicht nur in einer zweidimensionalen Bildebene, sondern auch in 3-D analysieren.
Durch Implementieren des Objektverfolgungsmoduls 206 und des Übereinstimmungsklassifikators 218 kann die Objektverfolgung gegenüber bekannten Verfolgungssystemen signifikant verbessert werden. Überdies können Daten, die vom Objektverfolgungsmodul 206 erzeugt werden, zum Objektdetektionsmodul 204 und zum Objektklassifikationsmodul 210 geliefert werden, um die Objektdetektion und Objektklassifikation zu verbessern. Außerdem können Objekte in Echtzeit genau verfolgt werden.
Indizierung
Die Signaturen von Objekten wirken als Indexelemente für die Bilder oder Videoclips, in denen die Objekte erfasst werden. Die Indexelemente ermöglichen das Abrufen der Videoclips der Objekte, wenn die Objekte ausgewählt werden. Die Signaturen können in der Metadaten-Datenbank 112 gespeichert werden. Die Signaturen können im Vergleich zu den Bildern oder Videoclips, die zu den Objekten gehören, kompakt sein. Überdies können die Signaturen eine Suche auf Objektbasis ermöglichen. Sobald eine Signatur für ein Objekt erzeugt ist, können Verfolgungs- und Suchprozesse von Videobildern des Objekts unabhängig sein. Folglich müssen Videoinformationen nicht unkomprimiert sein, um Suchvorgänge durchzuführen, und der Suchprozess kann gegenüber unkomprimierten Artefakten und/oder schlechter Videoqualität robust sein.
Jedem Objekt kann mehr als eine Signatur zugeordnet sein. Ein Objekt kann beispielsweise mehrere Einzelbildsignaturen und kumulative und mittlere Signaturen mit den Einzelbildsignaturen aufweisen. Die mittlere Signatur eines Objekts kann zum Wirken als Indexelement für das Objekt nützlich sein.
Eine einzelne mittlere Signatur, die über die ganze Dauer berechnet wird, in der ein Objekt verfolgt wird, kann jedoch nicht geeignet sein, um eine Suche auf Objektbasis zu ermöglichen, da das Aussehen eines Objekts multimodal sein kann oder über die Zeit variieren kann (z. B. eine Vorderansicht eines Objekts gegenüber einer Seitenansicht, Beleuchtungsänderungen, Ansichten von verschiedenen Teilen des Objekts). Folglich ist das Objektindizierungsmodul 212 betriebsfähig, um zu bestimmen, wann eine neue mittlere Signatur für ein Objekt erzeugt werden soll. Überdies kann das Objektindizierungsmodul 212 betriebsfähig sein, um den Übereinstimmungsklassifikator 218 heranzuziehen, um festzustellen, ob das Aussehen eines Objekts sich genügend geändert hat oder nicht, so dass eine neue mittlere Signatur für das Objekt erzeugt werden sollte.
14 ist ein Blockdiagramm, das zeigt, wie der Übereinstimmungsklassifikator 218 für die Indizierung verwendet werden kann. Wenn eine neue Einzelbildsignatur 1402 eines Objekts von einem neuen Fall eines Objekts erzeugt wird und der neue Fall durch den Übereinstimmungsklassifikator 218 mit einem verfolgten Objekt verglichen wird, wird die kumulative Signatur 1404 des verfolgten Objekts in Bezug auf die Einzelbildsignatur 1402 aktualisiert. Nachdem die kumulative Signatur 1404 aktualisiert ist, wird die kumulative Signatur 1404 mit der mittleren Signatur 1406 des verfolgten Objekts kombiniert. Die kombinierten Signaturen 1408 werden zum Übereinstimmungsklassifikator 218 geliefert. Wenn der Übereinstimmungsklassifikator 218 feststellt, dass die kumulative Signatur 1404 und die mittlere Signatur 1406 übereinstimmen, wird die mittlere Signatur in Bezug auf die Einzelbildsignatur 1402 aktualisiert (Block 1410). Wenn der Übereinstimmungsklassifikator 218 feststellt, dass die kumulative Signatur 1404 und die mittlere Signatur 1406 nicht übereinstimmen, wird eine neue mittlere Signatur unter Verwendung der Einzelbildsignatur 1402 erzeugt (Block 1412). Die neue mittlere Signatur kann in der Metadaten-Datenbank 112 als zweites Indexelement für das Objekt gespeichert werden. Wenn das verfolgte Objekt mehrere mittlere Signaturen aufweist, kann die kumulative Signatur 1404 mit jeder der mehreren mittleren Signaturen verglichen werden und eine neue mittlere Signatur kann erzeugt werden, wenn die kumulative Signatur 1404 keiner der mehreren mittleren Signaturen entspricht. Wie vorstehend beschrieben, kann derselbe Übereinstimmungsklassifikator 218, der zum Verfolgen von Objekten verwendet wird, verwendet werden, um merkliche Änderungen des Aussehens eines Objekts zu detektieren, und folglich kann ein neues Indexelement unter Verwendung des Übereinstimmungsklassifikators 218 erzeugt werden.
Suche
Die Signaturen oder Indexelemente, die in der Metadaten-Datenbank 112 gespeichert werden, können das schnelle Durchsuchen einer großen Datenbank von Objekten nach einem spezifischen Objekt erleichtern, da aktuelle Pixelinformationen von Videobildern nicht erneut verarbeitet werden müssen. Das Objektsuchmodul 214 kann denselben Übereinstimmungsklassifikator 218, der zum Verfolgen und Indizieren verwendet wird, zum Suchen nach einem spezifischen Objekt verwenden. Der Übereinstimmungsklassifikator 218 ermöglicht zusammen mit den Signaturen von Objekten Suchvorgänge auf Objektbasis sowohl in historischem Video als auch Echtzeit-Videomitschnitten.
15 ist ein bildhaftes Diagramm eines Suchprozesses 1500, der nur als Beispiel vom Kamerasystem 100 durchgeführt werden kann; der Prozess 1500 ist mit einem beliebigen geeigneten Kamerasystem betriebsfähig. Eine der Bilderfassungsvorrichtungen 102 erfasst ein Bild eines Referenzobjekts und das Bild des Referenzobjekts wird auf der Anzeige 114 der Benutzerschnittstelle 104 angezeigt. Das Referenzobjekt kann für den Benutzer beispielsweise durch Darstellen eines Kastenumrisses um das Bild des Referenzobjekts hervorgehoben werden. Der Benutzer kann die Eingabevorrichtung 116 verwenden, um das Referenzobjekt auszuwählen. Die Eingabevorrichtung 116 kann beispielsweise eine Maus umfassen und der Benutzer kann mit einem Zeiger auf das Bild des Referenzobjekts unter Verwendung der Maus klicken. Folglich kann das Bild des Referenzobjekts als Hyper-Tag (etwas ähnlich zu einem Hyperlink in einer HTML-Seite) betrachtet werden. Wenn der Benutzer das Referenzobjekt auswählt, wird die Auswahl auf die Identifikationsnummer des Referenzobjekts abgebildet, die vom Objektverfolgungsmodul 206 der Bilderfassungsvorrichtung 102 erzeugt wird, die das Bild des Referenzobjekts erfasst hat (Schritt 1502). Die Identifikationsnummer des Referenzobjekts wird vom Objektsuchmodul 214 verwendet, um die Signatur des Referenzobjekts aus der Metadaten-Datenbank 112 abzurufen (Schritt 1504). Die abgerufene Signatur kann die mittlere Signatur des Referenzobjekts sein, und wenn das Referenzobjekt mehrere mittlere Signaturen aufweist, können die mehreren mittleren Signaturen abgerufen werden.
Zusätzlich zur mittleren Signatur kann eine oder mehrere schnelle Signaturen des Referenzobjekts aus der Metadaten-Datenbank 112 abgerufen werden. Eine schnelle Signatur kann ein einfacher Aussehensdeskriptor sein, der aus einer mittleren Signatur berechnet wird. Die schnelle Signatur kann berechnet werden, indem einige der Merkmale, die in der mittleren Signatur enthalten sind, verworfen werden, indem beispielsweise die Anzahl von Intervallbereichen in einem Histogramm verringert wird, oder indem eine Statistik über die Merkmale (z. B. maximale oder Entropiestatistik) berechnet wird. Die schnelle Signatur kann verwendet werden, um den Suchraum von gespeicherten Signaturen schnell zu verringern, indem Kandidatenobjekte entfernt werden, die sehr wahrscheinlich mit dem ersten Objekt nicht übereinstimmen. Zusätzlich zur schnellen Signatur können andere Kriterien vom Objektsuchmodul 214 verwendet werden, um offensichtliche Nicht-Übereinstimmungen schnell auszuschneiden. Das Objektsuchmodul 214 kann beispielsweise die Klasse des Referenzobjekts verwenden, um Kandidatenobjekte zu beseitigen. Überdies kann das Objektsuchmodul 214 Kandidatenobjekte auf der Basis der Zeit beseitigen (z. B. Kandidatenobjekte beseitigen, die vor einem vorbestimmten Zeitrahmen detektiert wurden) und/oder auf der Basis von einer oder mehreren Regelverletzungen, die dem Referenzobjekt zugeordnet sind (z. B. Kandidatenobjekte beseitigen, die keine ähnlichen Regelverletzungen ausgelöst haben).
Die schnelle(n) Signatur(en) des ersten Objekts wird (werden) zu den anderen Bilderfassungsvorrichtungen 102 über das Kameranetzwerk 108 übertragen. Die Metadaten-Datenbanken 112 der anderen Bilderfassungsvorrichtungen 102 werden nach schnellen Signaturen von Kandidatenobjekten durchsucht, die mit der (den) schnellen Signatur(en) des Referenzobjekts übereinstimmen. Die Objektsuchmodule 214 der anderen Bilderfassungsvorrichtungen 102 vergleichen die schnelle(n) Signatur(en) des Referenzobjekts mit den schnellen Signaturen der Kandidatenobjekte durch Berechnen eines Abstandsmaßes zwischen den Signaturen. Das Abstandsmaß kann dann mit einem vorbestimmten Schwellenwert verglichen werden. Der Schwellenwert kann derart festgelegt werden, dass die falsch negative Rate (z. B. die Rate des Verwerfens von Übereinstimmungen) niedrig ist, aber die falsch positive Rate (z. B. die Rate der Annahme von Nicht-Übereinstimmungen) hoch sein kann. Wenn die Objektsuchmodule 214 feststellen, dass eine oder mehrere schnelle Signaturen der Kandidatenobjekte mit der schnellen Signatur des Referenzobjekts übereinstimmen, rufen die Objektsuchmodule 214 die mittleren Signaturen der entsprechenden Kandidatenobjekte ab.
Die mittleren Signaturen der Kandidatenobjekte werden zur Bilderfassungsvorrichtung 102, die das Bild des Referenzobjekts erfasst hat, oder zur entfernten Speicher/Verarbeitungseinheit 106 übertragen (Schritt 1510). Der Übereinstimmungsklassifikator 218 der Bilderfassungsvorrichtung 102 oder der Übereinstimmungsklassifikator 218 der entfernten Speicher/Verarbeitungseinheit 106 wird verwendet, um die mittlere(n) Signatur(en) des Referenzobjekts mit den mittleren Signaturen der Kadidatenobjekte zu vergleichen (Schritt 1512). Der Übereinstimmungsklassifikator 218 vergleicht die mittleren Signaturen mit Verwerfungs-Nicht-Übereinstimmungen und mit Einstufungsübereinstimmungen auf der Basis des Übereinstimmungsvertrauensniveaus, das den Übereinstimmungen zugeordnet ist. Sobald die Übereinstimmungen eingestuft sind, kann eine Liste mit Darstellungen der eingestuften Übereinstimmungen auf der Anzeige 114 dargestellt werden (Schritt 1514). Außerdem werden Videobilder, die den Kandidatenobjekten der Übereinstimmungen entsprechen, über das Kameranetzwerk 108 von einer oder mehreren der Speichersysteme 110 oder von der entfernten Speicher/Verarbeitungseinheit 106 abgerufen. Der Benutzer kann eine Darstellung eines Kandidatenobjekts aus der Liste auswählen und die Videobilder des ausgewählten Kandidatenobjekts können auf der Anzeige 114 dargestellt werden.
Die Metadaten-Datenbank 112 der Bilderfassungsvorrichtung 102, die das Bild des Referenzobjekts erfasst hat, kann auch durchsucht werden, um Signaturen von potentiellen Übereinstimmungen zu identifizieren, ähnlich zum vorstehend beschriebenen Prozess 1500. Das Objektsuchmodul 214 der Bilderfassungsvorrichtung 102 kann beispielsweise die schnellen Signaturen zuerst durchsuchen und dann den Übereinstimmungsklassifikator 218 heranziehen, um die mittlere Signatur das Referenzobjekts mit der mittleren Signatur der potentiellen Übereinstimmungen zu vergleichen. Obwohl der Prozess 1500 das Vergleichen mit den Übereinstimmungsklassifikatoren 218 umfasst, die entweder in der Bilderfassungsvorrichtung 102, die das Bild des Referenzobjekts erfasst hat, oder in der entfernten Speicher/Verarbeitungseinheit 106 angeordnet sind, kann überdies ein Übereinstimmungsklassifikator 218, der irgendeiner anderen Bilderfassungsvorrichtung 102 zugeordnet ist, verwendet werden. Mit anderen Worten, der Vergleich kann an einer oder mehreren Bilderfassungsvorrichtungen 102 oder an der entfernten Speicher/Verarbeitungseinheit 106 durchgeführt werden.
Der Übereinstimmungsklassifikator 218 und das Objektsuchmodul 214 ermöglichen eine Form von Suche, die als ”Klicken und Suchen” bezeichnet werden kann. Ein Benutzer kann historisches Video von einer Vielfalt von Bilderfassungsvorrichtungen 102 durchsehen. Wenn ein spezielles Objekt interessant erscheint, kann der Benutzer nach allen Objekten suchen, die wie das spezielle Objekt aussehen. Überdies können Videoclips von ähnlich aussehenden Objekten für den Benutzer wiedergegeben werden. Die Suche kann über alle Bilderfassungsvorrichtungen 102 des Kamerasystems 100 oder über irgendeine vom Benutzer festgelegte Teilmenge durchgeführt werden. Da das Video nicht erneut verarbeitet werden muss, um eine Suche durchzuführen, kann die Suche schnell durchgeführt werden.
Der Übereinstimmungsklassifikator 218 und das Objektsuchmodul 214 ermöglichen auch eine Form von Suche, die als ”Klicken und Verfolgen” bezeichnet werden kann. Zusätzlich zum Durchführen von Suchvorgängen in Bezug auf historisches Video können Suchvorgänge für Fälle eines Objekts durchgeführt werden, das gerade in einem Live-Videomitschnitt erschienen ist. Ganz wie die Verfolgung zwischen Kameras fordert die Benutzerschnittstelle 104 (in Reaktion auf eine Benutzerauswahl) an, dass die Bilderfassungsvorrichtung 102, die ein interessierendes Objekt erfasst hat, die Signatur des Objekts zu den Bilderfassungsvorrichtungen 102 im Netzwerk 108 überträgt. Wenn eine Übereinstimmung festgestellt wird, wird die Benutzerschnittstelle 104 benachrichtigt und die Bilder des interessierenden Objekts werden auf der Anzeige 114 dargestellt.
Während des Durchsehens von Videodaten, die von einer Objektsuche abgerufen werden, kann ein Benutzer eine Übereinstimmung für gültig oder ungültig erklären. Für jede Übereinstimmung, die von einem Benutzer für gültig erklärt wird, kann eine Verknüpfung in der Metadaten-Datenbank 112 erzeugt werden und die entsprechenden Signaturen können aktualisiert werden. Für ungültige Übereinstimmungen können Signaturen als Ausschließungen der Übereinstimmung gegenüber der Signatur des Objekts bezeichnet werden. Benutzerüberprüfungsdaten können in der Metadaten-Datenbank gespeichert werden und später abgerufen werden, um den Übereinstimmungsklassifikator 218 erneut zu trainieren, was zu einer weiteren Verbesserung von Suchergebnissen und Verfolgungsergebnissen zwischen Kameras sowie Verfolgungsergebnissen innerhalb einer Kamera führt. Außerdem kann die Benutzerüberprüfung verwendet werden, um Suchergebnisse abzustimmen.
Anwendungen
Die vorstehend beschriebenen Systeme und Verfahren können verwendet werden, um eine Anzahl von Anwendungen zu erzeugen. Beispiele von einigen dieser Anwendungen werden in den folgenden Absätzen dargestellt.
Im Vergleich zu bekannten Systemen, die Verfolgungsinformationen nur dann erzeugen, wenn eine von einer Regelmaschine festgelegte Regel verletzt wurde, erzeugt das Kamerasystem 100 reiche Verfolgungsmetadaten, ob eine Regel verletzt wird oder nicht. Dies ermöglicht eine nachträgliche Suche oder das Durchsuchen von Videobildern, die erfasst wurden, bevor eine Regel verletzt wird. Da Metadaten erzeugt werden, die Objektaussehenseigenschaften umfassen, kann überdies ein Objekt als Mitglied einer neu erzeugten Objektklasse erkannt werden, selbst wenn ein Bild des Objekts vor der Erzeugung der neuen Objektklasse erfasst wurde.
Bekannte Verfolgungssysteme haben Probleme, dass sie Objekte aus dem Auge verlieren. Wenn beispielsweise eine Person hinter einer Parkbank geht, könnten die Beine der Person nicht sichtbar sein. Ein bekanntes Verfolgungssystem könnte der Meinung sein, dass die Person zu kurz ist, als dass sie eine Person ist. Folglich kann die Person verfolgt werden, bis die Person hinter der Parkbank geht. Da das Kamerasystem 100 viele verschiedene Aussehenseigenschaften verwenden kann, kann das Kamerasystem 100 vermeiden, Objekte aus dem Auge zu verlieren, wenn sie immer noch innerhalb des Blickfeldes vorhanden sind. Überdies kann der Übereinstimmungsklassifikator 218 im Vergleich zu bekannten Systemen die Verfolgung an Umgebungsänderungen anpassungsfähiger machen und kann die Detektion über verschiedene Kameratypen (und von Kamera zu Kamera im Allgemeinen) verbessern.
Da der Übereinstimmungsklassifikator 218 trainierbar ist, können neue Merkmale von Objekten ausgewählt werden, um die Detektions- und Verfolgungsgenauigkeit zu verbessern. Der Übereinstimmungsklassifikator 218 kann die Merkmale, die am wichtigsten sind, in der Trainingsphase vor dem Einsatz lernen und kann auch lernen, während er sich am Einsatzort befindet, um die Verfolgungsgenauigkeit zu verbessern.
Durch Herstellen von semantischen Verknüpfungen zwischen Videoströmen und detektierten Objekten kann ein Videoverlauf für ein spezielles Objekt erzeugt werden. Durch Auswählen eines menschlichen Objekts kann ein Benutzer beispielsweise automatisch Videoclips laden, die zeigen, wo die Person vorher von anderen Kameras detektiert wurde. Der Benutzer kann dann Begleiter der fraglichen Person bemerken und kann diese Begleiter auswählen und ihre Videoverläufe betrachten. Da Metadaten, die der Aussehenssignatur des Objekts entsprechen, in der Datenbank mit Videodaten verknüpft sind, die dem Ort entsprechen, wo es detektiert wurde, kann das Bild selbst als auswählbare Verknüpfung zum Durchsuchen der Datenbank verwendet werden.
Wenn ein Objekt von einer Bilderfassungsvorrichtung 102 erfasst wird, können die beschriebenen Systeme und Verfahren auch verwendet werden, um alle anderen Bilderfassungsvorrichtungen 102 zu benachrichtigen und in Anspruch zu nehmen, so dass sie automatisch beginnen können, nach demselben Objekt zu suchen und einen Alarm zu erzeugen, wenn es detektiert wird. Eine individuelle Person kann beispielsweise durch ein Casino verfolgt werden, das von Dutzenden von Kameras mit benachbarten, überlappenden Blickfeldern überwacht wird, einfach indem auf ein Bild geklickt wird und das System angewiesen wird, das Bild über alle Kameras zu verfolgen. Sobald eine Aussehenssignatur der Person detektiert wird, lenkt das System automatisch Live-Videodaten von der entsprechenden Kamera zu einem Monitor, der ermöglicht, dass Sicherheitspersonal die Person visuell verfolgt. Wenn sich die Person in das Blickfeld der nächsten Kamera bewegt, wird der Video-Mitschnitt automatisch umgeschaltet, so dass es nicht erforderlich ist, dass das Sicherheitspersonal zwischen den Kameras hin und herschaltet, um die Verfolgung des Weges der Person fortzusetzen.
Das Kamerasystem 100 kann automatisch Fußgänger erkennen, die ein geparktes Auto verlassen, und kann sie später mit Leuten vergleichen, die in das Auto einsteigen. Wenn eine Person, die in ein Auto einsteigt, nicht von der ursprünglichen Gruppe ist, die in dem Auto angekommen ist, kann Sicherheitspersonal alarmiert werden. Videoclips werden automatisch mit dem Alarm gesandt, so dass es leicht ist, zu überprüfen und schnell zu bestimmen, ob ein Problem vorliegt. Ein Sicherheitsbediensteter kann dann wählen, entweder den Autoeigentümer zu informieren (wenn das Auto durch das Autokennzeichen registriert ist) oder die Polizei herbeizurufen.
Mit der Fähigkeit, Objekte zu verfolgen, kann ein Betrug detektiert werden, indem der Weg von individuellen Käufern durch ein Einzelhandelsgeschäft verfolgt wird. Mit dieser Fähigkeit kann dem offenbarten System gelehrt werden, zu überprüfen, ob Käufer, die ein Geschäft mit Ware verlassen, eine Kasse besucht haben und die Ware erworben haben, bevor sie das Geschäft verlassen. Das System kann auch feststellen, ob Kunden an einer Rückgabetheke direkt von ihren Autos kamen, oder ob sie zuerst durch das Geschäft gelaufen sind, Produkte aus dem Geschäft ausgewählt haben und versuchten, sie zurückzugeben, also ob sie die Produkte erworben hätten. Dem Rückgabethekenbediensteten kann ein Clip des Kunden, der das Geschäft betritt, und seines Weges durch das Geschäft als Überprüfung gezeigt werden.
In Kombination mit dem Objektvergleich kann die Leistung von Gesichtserkennungs- und Autokennzeichen-Erkennungssystemen verbessert werden. Der Objektvergleich kann eine gute Verfolgungsfähigkeit durch das Gesamtaussehen und die Bewegung bereitstellen und kann Leute in irgendeiner Orientierung verfolgen, nicht nur dann, wenn sie so ausgerichtet sind, dass sie der Kamera zugewandt sind.
Das Kamerasystem 100 kann auch dazu konfiguriert sein, eine anomale Aktivität durch Überwachen von Fahrzeug- und Fußgängermuster über Tage oder Wochen automatisch zu erkennen. Risikoreiche Einrichtungen, die über potentielle Terroristenaktivitäten besorgt sind, können von diesem Merkmal profitieren. Wenn das Kamerasystem 100 wiederholt ein Fahrzeug erkennt, das für einen verlängerten Zeitraum geparkt ist, ohne dass jemand das Fahrzeug verlässt, kann ein Alarm wegen verdächtiger Aktivität erzeugt werden, um Sicherheitspersonal herbeizurufen, um die Videodaten zu überprüfen. Alternativ kann der Objektvergleich in Kombination mit einem Gesichtserkennungssystem Personen erkennen, die wiederholt in einer Einrichtung herumlaufen. Eine solche Handlung kann einen Kriminellen erfassen, der eine Einrichtung auskundschaftet. In einem anderen Beispiel kann das Kamerasystem 100 beispielsweise, wenn uniformierte Angestellte regelmäßig einen speziellen Pausenraum oder Lagerraum besuchen, dieses Muster erkennen. Wenn jemand, der keine solche Uniform trägt, einen dieser Räume betritt, kann das Kamerasystem 100 später mit einem automatischen Alarm reagieren.
Das Kamerasystem 100 kann verwendet werden, um zu messen, wie viele Leute beispielsweise an einer Kasse in einer Schlange stehen, und um einen Alarm entsprechend einer Regel einer Regelmaschine zu erzeugen. Außerdem kann das Kamerasystem 100 verwendet werden, um zu messen, wie lange jede Person in der Schlange stand, da das System 100 jede Person verfolgen kann. Wenn eine Person zu lang in der Schlange stand, kann eine Regel der Regelmaschine verletzt werden und ein Alarm kann erzeugt werden, um Unterstützung herbeizurufen (z. B. ein Alarm, um eine neue Kassenschlange zu öffnen). Überdies kann für Manager eine Statistik erzeugt werden, um zu helfen, die Kundendienstleistung zu messen.
Das Kamerasystem 100 kann verwendet werden, um zu helfen, Kindesentführungen beispielsweise in Einzelhandelsgeschäften zu verhindern. Das Kamerasystem 100 kann Kinder, wenn sie ein Geschäft betreten, und einen Erwachsenen, der das Kind begleitet, erkennen. Das Kamerasystem 100 kann auch einen Erwachsenen, dem das Kind nahe bleibt, während er durch das Geschäft geht, erkennen. Wenn das Kind das Geschäft verlässt, ohne dass der Erwachsene das Kind begleitet, kann ein Alarm erzeugt werden. Das Kamerasystem 100 kann auch den Ort des Erwachsenen identifizieren, so dass er benachrichtigt werden kann.
Das Kamerasystem 100 kann verwendet werden, um verlorene Kinder in Einzelhandelsgeschäften aufzufinden. Wenn beispielsweise ein Elternteil sein Kind verliert und einen Sicherheitsbediensteten benachrichtigt, kann der Sicherheitsbedienstete ein Bild des Elternteils finden, auf das Bild klicken, um andere Videobilder zu durchsuchen, und ein Bild identifizieren, als das Elternteil das Geschäft mit dem Kind betreten hat. Der Sicherheitsbedienstete kann dann auf ein Bild des Kindes klicken und die Bilderfassungsvorrichtung 102 durchsuchen, die zuletzt ein Bild des Kindes erfasst hat. Dies findet den Ort des Kindes im Geschäft schnell auf.
Das Kamerasystem 100 kann verwendet werden, um ein Problem zu verhindern, das ”Sweetheart-Betrug” genannt wird, der passiert, wenn eine Kassenperson absichtlich den Strichcode eines kostengünstigen Gegenstandes einliest, während sie so tut, als ob sie den Strichcode eines teureren Gegenstandes einlesen würde. Das Kamerasystem 100 kann mit den Kassen-(Point of Sale, POS)Datenausgängen einer Registrierkasse verbunden sein und kann das Aussehen von Produkten mit den Strichcodeinformationen vergleichen. Über einen Zeitraum kann das Kamerasystem 100 automatisch in der Metadaten-Datenbank 112 Aussehenssignaturen für verschiedene Produkte erzeugen. Nachdem das Kamerasystem 100 ein Niveau an Genauigkeit für die Produkterkennung erreicht hat, was das Kamerasystem 100 selbst bestimmen kann, kann es automatisch beginnen, Alarme zu erzeugen, sobald die Strichcodeinformationen nicht mit dem abgetasteten Bild übereinstimmen.
Das Kamerasystem 100 kann automatisch ein Video für höhere Priorität auf der Basis seiner Ähnlichkeit zu Filmmaterial, in dem ein kritisches Ereignis detektiert wird, kennzeichnen. Wenn beispielsweise ein Laptop von einem Arbeitsbereich gestohlen wird, kann das Kamerasystem 100 das Laptop automatisch von historischem Video erkennen können und kann die Person erkennen, die dem Laptop am nächsten war, als es verloren gegangen ist. Das Kamerasystem 100 kann dann automatisch alle Videobilder der verdächtigen Person als von höherer Priorität für die Speicherung, Zurückbehaltung oder das Abrufen und Durchsehen durch Sicherheitspersonal festlegen.
Abschluss
Die Verfahren und Systeme, die hierin dargestellt und beschrieben sind, können in einer Vielfalt von Formen sowohl aktiv als auch inaktiv existieren. Sie können beispielsweise teilweise oder vollständig als ein oder mehrere Softwareprogramme existieren, die aus Programmanweisungen in Quellencode, Objektcode, ausführbarem Code oder anderen Formaten bestehen. Irgendeines der obigen kann in komprimierter oder unkomprimierter Form auf einem computerlesbaren Medium, das Speichervorrichtungen umfasst, verkörpert sein. Beispielhafte computerlesbare Speichervorrichtungen umfassen einen RAM (Direktzugriffsspeicher), ROM (Festwertspeicher), EPROM (löschbarer, programmierbarer ROM), EEPROM (elektrisch löschbarer, programmierbarer ROM), Flash-Speicher eines herkömmlichen Computersystems und magnetische oder optische Platten oder Bänder.
Die vorstehend verwendeten Begriffe und Beschreibungen sind nur zur Erläuterung dargelegt und sind nicht als Begrenzungen gemeint. Der Übereinstimmungsklassifikator 218 kann beispielsweise ein Teil sein von – und die Klassifikationsverfahren können durchgeführt werden an – einer entfernten Verarbeitungseinheit wie z. B. der entfernten Speicher/Verarbeitungseinheit 106 (1), einem Computer, der der Benutzerschnittstelle 104 zugeordnet ist, einem anderen Knoten im Kameranetzwerk 108 oder einem anderen Server, wie z. B. einem an einem zentralen Ort oder in einem anderen Netzwerk. Der Fachmann auf dem Gebiet wird erkennen, dass viele Variationen, Verbesserungen und Modifikationen der hierin beschriebenen Konzepte möglich sind, ohne von den zugrunde liegenden Prinzipien der Erfindung abzuweichen. Der Schutzbereich der Erfindung sollte daher nur durch die folgenden Ansprüche und ihre Äquivalente bestimmt sein.
Zusammenfassung
Ein Kamerasystem (100) umfasst eine Bilderfassungsvorrichtung (102), ein Objektdetektionsmodul (204), ein Objektverfolgungsmodul (206) und einen Übereinstimmungsklassifikator (218). Das Objektdetektionsmodul (204) empfängt Bilddaten und detektiert Objekte, die in einem oder mehreren der Bilder erscheinen. Das Objektverfolgungsmodul (206) ordnet Fälle eines ersten Objekts, das in einer ersten Gruppe der Bilder detektiert wird, zeitlich zu. Das erste Objekt weist eine erste Signatur auf, die Merkmale des ersten Objekts darstellt. Der Übereinstimmungsklassifikator (218) vergleicht Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts, das in einem zweiten Bild detektiert wird, abgeleitet sind. Die zweite Signatur stellt Merkmale des zweiten Objekts dar, die vom zweiten Bild abgeleitet sind. Der Übereinstimmungsklassifikator (218) stellt fest, ob die zweite Signatur mit der ersten Signatur übereinstimmt. Ein Trainingsprozess konfiguriert den Übereinstimmungsklassifikator (218) automatisch unter Verwendung eines Satzes von möglichen Objektmerkmalen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Paul Viola & Michael Jones, ”Robust Real-Time Face Detection”, International Journal of Computer Vision, S. 137–154 (2004) [0047]
Saptharishi, ”Sequential Discriminant Error Minimization: The Theory and its Application to Real-Time Video Object Recognition” (Carnegie Mellon University, 2005) [0056]

Claims

Kamerasystem (100) mit: einer Bilderfassungsvorrichtung (102) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen; einem Objektdetektionsmodul (204), das mit der Bilderfassungsvorrichtung (102) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen; einem Objektverfolgungsmodul (206), das mit dem Objektdetektionsmodul (204) verbunden ist und betriebsfähig ist, um Fälle eines ersten Objekts, das in einer ersten Gruppe der mehreren Bilder detektiert wird, zeitlich zuzuordnen, wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind; und einem Übereinstimmungsklassifikator (218), der mit dem Objektverfolgungsmodul (206) verbunden ist, zum Vergleichen von Objektfällen, wobei der Übereinstimmungsklassifikator (218) betriebsfähig ist, um Objektfälle durch Analysieren von Daten, die von der ersten Signatur des ersten Objekts und einer zweiten Signatur eines zweiten Objekts abgeleitet sind, zu vergleichen, wobei das zweite Objekt in einem zweiten Bild detektiert wird, das von den Bildern der ersten Gruppe verschieden ist, und die zweite Signatur Merkmale des zweiten Objekts darstellt, die vom zweiten Bild abgeleitet sind, wobei der Übereinstimmungsklassifikator (218) den ersten Satz von Daten analysiert, um festzustellen, ob die zweite Signatur mit der ersten Signatur übereinstimmt oder nicht, wobei die Weise, in der der Übereinstimmungsklassifikator (218) arbeitet, um Objektfälle zu vergleichen, zumindest teilweise durch einen Trainingsprozess bestimmt wurde, der den Übereinstimmungsklassifikator (218) unter Verwendung eines Satzes von möglichen Objektmerkmalen automatisch konfiguriert.
Kamerasystem (100) nach Anspruch 1, wobei das zweite Objekt ein Fall des ersten Objekts ist.
Kamerasystem (100) nach Anspruch 1, wobei die zweite Signatur in Echtzeit erzeugt wird.
Kamerasystem (100) nach Anspruch 1, wobei der Übereinstimmungsklassifikator (218) N Entscheidungsschritte (400) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei die N Entscheidungsschritte (400) betriebsfähig sind, um festzustellen, ob das erste Objekt und das zweite Objekt übereinstimmen, wobei mindestens einer der N Entscheidungsschritte (400) betriebsfähig ist, um entweder (a) das erste Objekt und das zweite Objekt als Übereinstimmung anzunehmen, (b) das erste Objekt und das zweite Objekt als Übereinstimmung abzulehnen, oder (c) einen nächsten Schritt heranzuziehen, um festzustellen, ob das zweite Objekt mit dem ersten Objekt übereinstimmt oder nicht.
Kamerasystem (100) nach Anspruch 4, wobei der mindestens eine der N Entscheidungsschritte (400) eine Stufe (500) zum Abbilden eines Teils der Daten auf einen Skalarwert, der mit einem Übereinstimmungsvertrauen korreliert, umfasst.
Kamerasystem (100) nach Anspruch 5, wobei die erste Signatur Aussehensmerkmale des ersten Objekts darstellt und ein erstes Kantenorientierungshistogramm des ersten Objekts umfasst und die zweite Signatur Aussehensmerkmale des zweiten Objekts darstellt und ein zweites Kantenorientierungshistogramm des zweiten Objekts umfasst.
Kamerasystem (100) nach Anspruch 6, wobei das erste und das zweite Kantenorientierungshistogramm unter Verwendung eines steuerbaren Filters erzeugt werden.
Kamerasystem (100) nach Anspruch 6, wobei das erste und das zweite Kantenorientierungshistogramm kombiniert werden, um den Teil der Daten zu erzeugen.
Kamerasystem (100) nach Anspruch 8, wobei das erste und das zweite Kantenorientierungshistogramm durch eine Verkettung kombiniert werden.
Kamerasystem (100) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Kantenorientierungshistogramm umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Kantenorientierungshistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen.
Kamerasystem (100) nach Anspruch 6, wobei die erste Signatur ein erstes Farbtonhistogramm und ein erstes Intensitätshistogramm des ersten Objekts umfasst und die zweite Signatur ein zweites Farbtonhistogramm und ein zweites Intensitätshistogramm des zweiten Objekts umfasst.
Kamerasystem (100) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Farbtonhistogrammen umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Farbtonhistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen.
Kamerasystem (100) nach Anspruch 6, wobei die erste Signatur eine erste Gruppe von mehreren Intensitätshistogrammen umfasst, die einem ersten Satz von verschiedenen räumlichen Bereichen des ersten Objekts entsprechen, und die zweite Signatur eine zweite Gruppe von mehreren Intensitätshistogrammen umfasst, die einem zweiten Satz von verschiedenen räumlichen Bereichen des zweiten Objekts entsprechen, wobei die verschiedenen räumlichen Bereiche des zweiten Satzes den verschiedenen räumlichen Bereichen des ersten Satzes entsprechen.
Kamerasystem (100) nach Anspruch 1, wobei der Übereinstimmungsklassifikator (218) N Entscheidungsschritte (400) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei jeder der N Entscheidungsschritte (400) eine oder mehrere Stufen (500) zum Abbilden von Teilen der Daten auf Skalarwerte umfasst, wobei eine erste der Stufen (500) eine erste Diskriminantenfunktion zum Bestimmen eines ersten Skalarwerts umfasst, eine zweite der Stufen (500) eine zweite Diskriminantenfunktion zum Bestimmen eines zweiten Skalarwerts umfasst, und die erste und die zweite Diskriminantenfunktion aus einer Gruppe ausgewählt sind, die aus mehreren Diskriminantenfunktonen von verschiedenen Typen besteht.
Kamerasystem (100) nach Anspruch 1, wobei die erste Signatur eine kumulative Signatur des ersten Objekts ist, die von den Bildern der ersten Gruppe abgeleitet ist, und die zweite Signatur eine Einzelbildsignatur des zweiten Objekts ist, die vom zweiten Bild abgeleitet ist.
Kamerasystem (100) nach Anspruch 15, wobei die kumulative Signatur des ersten Objekts ein gewichteter Mittelwert von Einzelbildsignaturen des ersten Objekts ist, die von den Bildern der ersten Gruppe abgeleitet sind.
Kamerasystem (100) nach Anspruch 1, wobei das Objektverfolgungsmodul (206) ein Bewegungsmodellierungsmodul (1002) umfasst, das betriebsfähig ist, um Änderungen des Orts von Objekten zwischen aufeinander folgenden Bildern des Blickfeldes abzuschätzen, wobei das Bewegungsmodellierungsmodul (1002) betriebsfähig ist, um in Verbindung mit dem Übereinstimmungsklassifikator (218) verwendet zu werden, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist.
Kamerasystem (100) nach Anspruch 1, wobei die Bilderfassungsvorrichtung (102) eine erste von mehreren Bilderfassungsvorrichtungen (102) ist, die in einem Netzwerk (108) miteinander verbunden sind, wobei die mehreren Bilderfassungsvorrichtungen (102) eine zweite Bilderfassungsvorrichtung (102) umfassen, wobei die erste Gruppe von Bildern durch die erste Bilderfassungsvorrichtung (102) erfasst wird und das zweite Bild von der zweiten Bilderfassungsvorrichtung (102) erfasst wird.
Kamerasystem (100) nach Anspruch 18, wobei die erste Bilderfassungsvorrichtung (102) ein Gehäuse (202) umfasst, der Übereinstimmungsklassifikator (218) in dem Gehäuse (202) enthalten ist und die zweite Bilderfassungsvorrichtung (102) betriebsfähig ist, um die zweite Signatur des zweiten Objekts zum Übereinstimmungsklassifikator (218) der ersten Bilderfassungsvorrichtung (102) zu übertragen.
Kamerasystem (100) nach Anspruch 19, wobei der Übereinstimmungsklassifikator (218) feststellt, dass die zweite Signatur, die von der zweiten Bilderfassungsvorrichtung (102) übertragen wird, und die erste Signatur des ersten Objekts übereinstimmen, und die erste Bilderfassungsvorrichtung (102) betriebsfähig ist, um die zweite Bilderfassungsvorrichtung (102) über die Übereinstimmung zu benachrichtigen.
Kamerasystem (100) nach Anspruch 18, wobei der Übereinstimmungsklassifikator (218) ein Teil eines Prozessors ist, der von der ersten und der zweiten Bilderfassungsvorrichtung (102) entfernt ist, und die erste und die zweite Bilderfassungsvorrichtung (102) betriebsfähig sind, um die erste bzw. die zweite Signatur zum Prozessor zu übertragen.
Kamerasystem (100) nach Anspruch 21, wobei der Prozessor betriebsfähig ist, um eine Benachrichtigung zu einer oder beiden der ersten und der zweiten Bilderfassungsvorrichtung (102) zu übertragen, wenn der Prozessor feststellt, dass die erste und die zweite Signatur übereinstimmen.
Kamerasystem (100) nach Anspruch 1, wobei das zweite Objekt eines von mehreren Objekten ist, die im zweiten Bild detektiert werden, und das erste Objekt eines von mehreren verfolgten Objekten ist, die durch das Objektverfolgungsmodul (206) verfolgt werden, wobei das Kamerasystem (100) ferner umfasst: ein Objektklassifikationsmodul (210), wobei das Objektklassifikationsmodul (210) betriebsfähig ist, um Objekte als Mitglieder oder Nicht-Mitglieder einer Objektklasse zu klassifizieren; und ein Objektkategorisierungsmodul (216), das mit dem Übereinstimmungsklassifikator (218) und dem Objektklassifikationsmodul (210) verbunden ist, wobei das Objektkategorisierungsmodul (216) betriebsfähig ist, um eine Reihenfolge zu bestimmen, in der der Übereinstimmungsklassifikator (218) versucht, die verfolgten Objekte mit den mehreren Objekten, die im zweiten Bild detektiert werden, zu vergleichen, wobei die Reihenfolge auf Klassifikationen der verfolgten Objekte basiert, die durch das Objektklassifikationsmodul (210) bestimmt werden.
Kamerasystem (100) nach Anspruch 1, wobei die erste Signatur eine kumulative Signatur ist, die einen gewichteten Mittelwert von Einzelbildsignaturen des ersten Objekts darstellt, die von den Bildern der ersten Gruppe abgeleitet sind, die zweite Signatur eine Einzelbildsignatur des zweiten Objekts darstellt, die vom zweiten Bild abgeleitet ist, und der Übereinstimmungsklassifikator (218) feststellt, dass das zweite Objekt ein Fall des ersten Objekts ist.
Kamerasystem (100) nach Anspruch 24, das ferner umfasst: eine Datenbank (112) zum Speichern von mittleren Signaturen von detektierten Objekten, wobei die mittleren Signaturen Indexelemente der detektierten Objekte sind; und ein Objektindizierungsmodul (212), das mit dem Übereinstimmungsklassifikator (218) und der Datenbank (112) verbunden ist, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um eine erste mittlere Signatur für das erste Objekt zu erzeugen, wobei die erste mittlere Signatur einen Mittelwert der Einzelbildsignaturen des ersten Objekts darstellt, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um die erste mittlere Signatur zur Datenbank (112) zur Speicherung zu liefern.
Kamerasystem (100) nach Anspruch 25, wobei die Daten, die von der ersten Signatur des ersten Objekts und der zweiten Signatur des zweiten Objekts abgeleitet sind, ein erster Satz von Daten sind, das Objektindizierungsmodul (212) betriebsfähig ist, um den Übereinstimmungsklassifikator (218) heranzuziehen, um festzustellen, ob die zweite Signatur des zweiten Objekts zur ersten mittleren Signatur beitragen soll, und der Übereinstimmungsklassifikator (218) betriebsfähig ist, um einen zweiten Satz von Daten zu analysieren, die die erste Signatur und die erste mittlere Signatur darstellen, um festzustellen, ob die erste Signatur und die erste mittlere Signatur übereinstimmen.
Kamerasystem (100) nach Anspruch 26, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um die erste mittlere Signatur mit Beiträgen von der zweiten Signatur zu aktualisieren, wenn der Übereinstimmungsklassifikator (218) feststellt, dass die erste Signatur mit der ersten mittleren Signatur übereinstimmt.
Kamerasystem (100) nach Anspruch 26, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um eine zweite mittlere Signatur für das erste Objekt zu erzeugen, wenn der Übereinstimmungsklassifikator (218) feststellt, dass die erste Signatur nicht mit der ersten mittleren Signatur übereinstimmt, die zweite mittlere Signatur Beiträge von der zweiten Signatur umfasst und das Objektindizierungsmodul (212) betriebsfähig ist, um die erste und die zweite mittlere Signatur zur Datenbank (112) zur Speicherung zu liefern.
Kamerasystem (100) nach Anspruch 28, wobei die erste mittlere Signatur eine erste Ansicht des ersten Objekts darstellt und die zweite mittlere Signatur eine zweite Ansicht des ersten Objekts darstellt.
Kamerasystem (100) nach Anspruch 1, das ferner umfasst: eine Datenbank (112) zum Speichern von Signaturen von detektierten Objekten, wobei die Datenbank (112) einen Index für Bilder der detektierten Objekte vorsieht; eine Benutzerschnittstelle (104), die mit der Bilderfassungsvorrichtung (102) verbunden ist und eine Anzeige (114) zum Darstellen der mehreren Bilder des Blickfeldes für einen Benutzer umfasst, wobei die Benutzerschnittstelle (104) eine Eingabevorrichtung (116) umfasst, die eine Benutzerauswahl eines Objekts, das in einem oder mehreren der mehreren Bilder erscheint, ermöglicht, wobei ein Bild der ersten Gruppe, das eine Darstellung des ersten Objekts umfasst, auf der Anzeige (114) dargestellt wird, und das erste Objekt durch den Benutzer ausgewählt wird; und ein Suchmodul (214), das mit der Benutzerschnittstelle (104), der Datenbank (112) und dem Übereinstimmungsklassifikator (218) verbunden ist, wobei das Suchmodul (214) betriebsfähig ist, um die in der Datenbank (112) gespeicherten Signaturen zu durchsuchen, um zu identifizieren, ob das erste Objekt in einer zweiten Gruppe von Bildern der detektierten Objekte erscheint, wobei das Suchmodul (214) betriebsfähig ist, um den Übereinstimmungsklassifikator (218) heranzuziehen, um festzustellen, ob die erste Signatur des ersten Objekts mit einer oder mehreren der in der Datenbank (112) gespeicherten Signaturen übereinstimmt.
Kamerasystem (100) nach Anspruch 30, wobei der Übereinstimmungsklassifikator (218) betriebsfähig ist, um Vertrauensniveaus von Übereinstimmungen zu erzeugen, die zwischen der ersten Signatur und den zweiten Signaturen, die in der Datenbank (112) gespeichert sind, gemacht werden, und das Suchmodul (214) betriebsfähig ist, um eine Liste von Übereinstimmungen zu erzeugen, die gemäß den Vertrauensniveaus organisiert ist.
Kamerasystem (100) nach Anspruch 31, wobei die in der Datenbank (112) gespeicherten Signaturen mittlere Signaturen der detektierten Objekte umfassen, die Mittelwerte von Einzelbildsignaturen darstellen, die von Bildern der zweiten Gruppe abgeleitet sind, in denen die detektierten Objekte erscheinen, und die in der Datenbank (112) gespeicherten Signaturen schnelle Signaturen der detektierten Objekte umfassen, die vereinfachte Versionen der mittleren Signaturen darstellen.
Kamerasystem (100) nach Anspruch 32, wobei das erste Objekt eine schnelle Signatur umfasst, die eine vereinfachte Version der ersten Signatur darstellt, und das Suchmodul (214) betriebsfähig ist, um die schnelle Signatur des ersten Objekts mit den in der Datenbank (112) gespeicherten schnellen Signaturen zu vergleichen, um ein Segment der detektierten Objekte zu identifizieren, die nicht dem ersten Objekt entsprechen.
Kamerasystem (100) nach Anspruch 33, wobei die von der ersten Signatur des ersten Objekts und der zweiten Signatur des zweiten Objekts abgeleiteten Daten ein erster Satz von Daten sind und der Übereinstimmungsklassifikator (218) betriebsfähig ist, um einen zweiten Satz von Daten zu analysieren, die die erste Signatur des ersten Objekts und die mittleren Signaturen der detektierten Objekte darstellen, die keine Mitglieder des Segments sind.
Kamerasystem (100) nach Anspruch 31, wobei der Übereinstimmungsklassifikator (218) feststellt, dass die erste Signatur mit einer Signatur eines ersten der detektierten Objekte übereinstimmt, das Suchmodul (214) betriebsfähig ist, um Bilddaten, die ein Bild des ersten der detektierten Objekte darstellen, zur Übertragung zur Benutzerschnittstelle (104) abzurufen.
Kamerasystem (100) nach Anspruch 31, wobei die Bilderfassungsvorrichtung (102) eine erste von mehreren Bilderfassungsvorrichtungen (102) ist, die in einem Netzwerk (108) miteinander verbunden sind, und die mehreren Bilderfassungsvorrichtungen (102) eine zweite Bilderfassungsvorrichtung (102) umfassen.
Kamerasystem (100) nach Anspruch 36, wobei die Bilder der ersten Gruppe durch die erste Bilderfassungsvorrichtung (102) erfasst werden und die Bilder der zweiten Gruppe durch die zweite Bilderfassungsvorrichtung (102) erfasst werden.
Kamerasystem (100) nach Anspruch 37, wobei die zweite Bilderfassungsvorrichtung (102) ein Gehäuse (202) umfasst und der Übereinstimmungsklassifikator (218) in dem Gehäuse (202) enthalten ist.
Kamerasystem (100) nach Anspruch 37, wobei der Übereinstimmungsklassifikator (218) ein Teil eines Prozessors ist, der von der ersten und der zweiten Bilderfassungsvorrichtung (102) entfernt ist.
Verfahren zum Verfolgen eines Objekts, das von einem Kamerasystem (100) erfasst wird, wobei das Verfahren umfasst: Erfassen von ersten und zweiten Bildern eines Blickfeldes des Kamerasystems (100); Detektieren eines ersten Objekts, das im ersten Bild erfasst wird, und eines zweiten Objekts, das im zweiten Bild erfasst wird; Erzeugen einer ersten Signatur des ersten Objekts und einer zweiten Signatur des zweiten Objekts, wobei die erste Signatur einen ersten Satz von Merkmalen des ersten Objekts darstellt und die zweite Signatur einen zweiten Satz von Merkmalen des zweiten Objekts darstellt; Erzeugen von Daten, die von der ersten und der zweiten Signatur abgeleitet sind, wobei die Daten einer ersten Teilmenge von Merkmalen, die aus dem ersten Satz ausgewählt sind, und einer zweiten Teilmenge von Merkmalen, die aus dem zweiten Satz ausgewählt sind, entsprechen, wobei ein Trainingsprozess die Merkmale des ersten und des zweiten Satzes, die für den Einschluss in die erste und die zweite Teilmenge ausgewählt werden sollen, automatisch bestimmt; und Analysieren der Daten, um festzustellen, ob das zweite Objekt ein Fall des ersten Objekts ist.
Verfahren nach Anspruch 40, das ferner das Feststellen, dass das zweite Objekt ein Fall des ersten Objekts ist, umfasst.
Verfahren nach Anspruch 40, wobei die zweite Signatur in Echtzeit erzeugt wird.
Verfahren nach Anspruch 40, wobei Teile der ersten und der zweiten Signatur kombiniert werden, um die Daten zu erzeugen.
Verfahren nach Anspruch 43, wobei das Kamerasystem (100) einen Übereinstimmungsklassifikator (218) umfasst und der Übereinstimmungsklassifikator (218) N Entscheidungsschritte (400) umfasst, die in einer Kaskadenkonfiguration konfiguriert sind, wobei jeder der N Entscheidungsschritte (400) eine oder mehrere Stufen (500) zum Analysieren von Teilen der Daten umfasst.
Verfahren nach Anspruch 44, wobei die erste Teilmenge von Merkmalen Aussehensmerkmale mit einem ersten Kantenorientierungshistogramm des ersten Objekts sind und die zweite Teilmenge von Merkmalen Aussehensmerkmale mit einem zweiten Kantenorientierungshistogramm des zweiten Objekts sind.
Verfahren nach Anspruch 45, wobei eine Stufe (500) einen Teil der Daten, die vom ersten und vom zweiten Kantenorientierungshistogramm abgeleitet sind, auf einen Skalarwert abbildet, der ein Maß der Ähnlichkeit darstellt.
Verfahren nach Anspruch 40, wobei die erste Signatur eine kumulative Signatur ist, die einen gewichteten Mittelwert von Einzelbildsignaturen darstellt, die von mehreren Bildern des ersten Objekts abgeleitet sind, wobei das Verfahren ferner umfasst: Aktualisieren der ersten Signatur des ersten Objekts, wenn das zweite Objekt ein Fall des ersten Objekts ist, wobei die zweite Signatur gewichtet und mit der kumulativen Signatur gemittelt wird.
Verfahren nach Anspruch 40, wobei das Kamerasystem (100) eine erste und eine zweite Bilderfassungsvorrichtung (102) umfasst, die in einen Netzwerk (108) miteinander verbunden sind, wobei die erste und die zweite Bilderfassungsvorrichtung (102) ein erstes Blickfeld bzw. ein zweites Blickfeld aufweisen, wobei das Blickfeld des Kamerasystems (100) dem ersten Blickfeld und dem zweiten Blickfeld in Kombination entspricht, wobei das erste Bild des ersten Objekts durch die zweite Bilderfassungsvorrichtung (102) erfasst wird und das zweite Bild des zweiten Objekts durch die erste Bilderfassungsvorrichtung (102) erfasst wird.
Verfahren nach Anspruch 48, wobei die zweite Bilderfassungsvorrichtung (102) einen Übereinstimmungsklassifikator (218) zum Analysieren der Daten umfasst, wobei das Verfahren ferner umfasst: Übertragen der zweiten Signatur von der ersten Bilderfassungsvorrichtung (102) zur zweiten Bilderfassungsvorrichtung (102).
Verfahren nach Anspruch 48, wobei ein Prozessor, der von der ersten und der zweiten Bilderfassungsvorrichtung (102) entfernt ist, einen Übereinstimmungsklassifikator (218) zum Analysieren der Daten umfasst, wobei das Verfahren ferner umfasst: Übertragen der ersten und der zweiten Signatur von der ersten bzw. der zweiten Bilderfassungsvorrichtung (102) zum Prozessor.
Verfahren zum Erzeugen von Indexelementen von Objekten in Bildern, die von einem Kamerasystem (100) erfasst werden, wobei das Verfahren umfasst: Erfassen einer ersten Gruppe von mehreren Bildern eines Objekts in einem Blickfeld des Kamerasystems (100); Detektieren des Objekts in der ersten Gruppe von mehreren Bildern; Erzeugen eines ersten Satzes von Einzelbildsignaturen des Objekts, wobei die Einzelbildsignaturen des ersten Satzes Merkmalen des Objekts entsprechen, die von den mehreren Bildern der ersten Gruppe abgeleitet sind; Erzeugen einer ersten mittleren Signatur des Objekts, wobei die erste mittlere Signatur ein Mittelwert der Einzelbildsignaturen des ersten Satzes ist und die erste mittlere Signatur ein erstes Indexelement des Objekts ist; Erzeugen einer kumulativen Signatur des Objekts, wobei die kumulative Signatur ein gewichteter Mittelwert der Einzelbildsignaturen des ersten Satzes ist; Erfassen eines zweiten Bildes des Objekts; Detektieren des Objekts im zweiten Bild; Erzeugen einer zweiten Einzelbildsignatur, die vom zweiten Bild abgeleitet ist; Aktualisieren der kumulativen Signatur durch Gewichten der zweiten Einzelbildsignatur und Mitteln der gewichteten zweiten Einzelbildsignatur mit der kumulativen Signatur; und Feststellen, ob die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen oder abgelehnt werden sollen, wobei die erste mittlere Signatur auf der Basis der zweiten Einzelbildsignatur aktualisiert wird, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung angenommen werden, und eine zweite mittlere Signatur des Objekts auf der Basis der zweiten Einzelbildsignatur erzeugt wird, wenn die aktualisierte kumulative Signatur und die erste mittlere Signatur als Übereinstimmung abgelehnt werden, wobei die zweite mittlere Signatur ein zweites Indexelement des Objekts ist.
Verfahren nach Anspruch 51, das ferner umfasst: Ablehnen der aktualisierten kumulativen Signatur und der ersten mittleren Signatur als Übereinstimmung; und Speichern des ersten und des zweiten Indexelements des Objekts in einer Datenbank (112).
Verfahren nach Anspruch 52, wobei die erste mittlere Signatur eine erste Ansicht des Objekts darstellt und die zweite mittlere Signatur eine zweite Ansicht des Objekts darstellt.
Verfahren zum Durchsuchen von Daten, um Bilder eines Objekts zu identifizieren, das von einem Kamerasystem (100) erfasst wird, wobei das Verfahren umfasst: Erfassen eines ersten Objekts in einem Bild eines Blickfeldes des Kamerasystems (100), wobei das erste Objekt eine erste Signatur aufweist, die Merkmale des ersten Objekts darstellt; Anzeigen eines Bildes des ersten Objekts auf einer Anzeige (114); Annehmen einer Benutzereingabe, die eine Auswahl des ersten Objekts angibt; Durchführen von Bestimmungen hinsichtlich dessen, ob die erste Signatur mit einer oder mehreren Signaturen einer Gruppe übereinstimmt, die einem Satz von Objekten entsprechen, die in Bildern des Blickfeldes erfasst werden; und Senden einer Benachrichtigung, wenn eine zweite Signatur eines zweiten Objekts des Satzes mit der ersten Signatur übereinstimmt.
Verfahren nach Anspruch 54, wobei die Benachrichtigung das Anzeigen eines Bildes des zweiten Objekts auf der Anzeige (114) umfasst.
Verfahren nach Anspruch 54, wobei das Kamerasystem (100) eine erste und eine zweite Bilderfassungsvorrichtung (102) umfasst, die miteinander und mit der Anzeige (114) über ein Netzwerk (108) verbunden sind, wobei die erste und die zweite Bilderfassungsvorrichtung (102) ein erstes Blickfeld bzw. ein zweites Blickfeld aufweisen, wobei das Blickfeld des Kamerasystems (100) dem ersten Blickfeld und dem zweiten Blickfeld in Kombination entspricht, wobei das Bild des ersten Objekts durch die erste Bilderfassungsvorrichtung (102) erzeugt wird und die Bilder des zweiten Objekts durch die zweite Bilderfassungsvorrichtung (102) erfasst werden.
Verfahren nach Anspruch 54, wobei das erste Objekt eine schnelle Signatur umfasst, die eine vereinfachte Version der ersten Signatur darstellt, und die Objekte des Satzes schnelle Signaturen umfassen, die vereinfachte Versionen der Gruppe von Signaturen darstellen, wobei das Verfahren ferner umfasst: Vergleichen der schnellen Signatur des ersten Objekts mit den schnellen Signaturen der Objekte des Satzes vor dem Durchführen von Bestimmungen hinsichtlich dessen, ob die Signaturen der Gruppe mit der ersten Signatur übereinstimmen.
Verfahren nach Anspruch 54, das ferner das Abrufen der Gruppe von Signaturen von einer Datenbank (112) umfasst.
Kamerasystem (100) mit: einer Bilderfassungsvorrichtung (102) mit einem Blickfeld, die Bilddaten erzeugt, die mehrere Bilder des Blickfeldes darstellen; einem Objektdetektionsmodul (204), das mit der Bilderfassungsvorrichtung (102) verbunden ist und die Bilddaten empfängt, wobei das Objektdetektionsmodul (204) betriebsfähig ist, um Objekte zu detektieren, die in einem oder mehreren der mehreren Bilder erscheinen; einer Benutzerschnittstelle (104), die mit der Bilderfassungsvorrichtung (102) verbunden ist, wobei die Benutzerschnittstelle (104) eine Anzeige (114) zum Anzeigen von Objekten, die vom Objektdetektionsmodul (204) detektiert werden, und eine Eingabevorrichtung (116), die betriebsfähig ist, um Objekte, die durch das Objektdetektionsmodul (204) detektiert werden, in Reaktion auf Benutzerbefehle auszuwählen, umfasst; einem Übereinstimmungsklassifikator (218), der betriebsfähig ist, um Objekte, die durch das Objektdetektionsmodul (204) detektiert werden, zu vergleichen; einem Objektverfolgungsmodul (206), das mit dem Übereinstimmungsklassifikator (218) und dem Objektdetektionsmodul (204) verbunden ist, wobei das Objektverfolgungsmodul (206) betriebsfähig ist, um Fälle von Objekten, die durch das Objektdetektionsmodul (204) detektiert werden, zeitlich zuzuordnen, wobei das Objektverfolgungsmodul (206) betriebsfähig ist, um den Übereinstimmungsklassifikator (218) heranzuziehen, um festzustellen, ob Fälle von Objekten zugeordnet werden sollen oder nicht; und einem Suchmodul (214), das mit dem Übereinstimmungsklassifikator (218) und der Benutzerschnittstelle (104) verbunden ist, wobei das Suchmodul (214) betriebsfähig ist, um gespeicherte Bilder von Objekten, die durch die Eingabevorrichtung (116) ausgewählt werden, abzurufen, wobei das Suchmodul (214) betriebsfähig ist, um den Übereinstimmungsklassifikator (218) heranzuziehen, um ein gespeichertes Bild eines ausgewählten Objekts aufzufinden.
Kamerasystem (100) nach Anspruch 59, das ferner ein Objektindizierungsmodul (212) umfasst, das mit dem Übereinstimmungsklassifikator (218) und dem Objektdetektionsmodul (204) verbunden ist, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um ein oder mehrere Indexelemente für Objekte zu erzeugen, die durch das Objektdetektionsmodul (204) detektiert werden, wobei das Objektindizierungsmodul (212) betriebsfähig ist, um den Übereinstimmungsklassifikator (218) heranzuziehen, um festzustellen, ob ein neues Indexelement für ein detektiertes Objekt erzeugt werden soll.